創(chuàng)建PVE虛擬化集群
1，首先安裝三臺PVE主機(jī)，安裝過程參考本站之前的文章。
2，PVE主機(jī)安裝就緒后，創(chuàng)建PVE Cluster虛擬化集群。
需要通過PVE_shell創(chuàng)建。
3，在PVE1節(jié)點(diǎn)執(zhí)行以下命令：
pvecm create vclusters
4，在另外兩個(gè)節(jié)點(diǎn)執(zhí)行以下命令，加入集群
pvecm add 192.168.77.160
顯示successfully added node ‘pve-2’ to cluster就算成功了
5，查看PVE集群狀態(tài)，確認(rèn)集群已經(jīng)正確建立
在PVE-1節(jié)點(diǎn)上
pvecm status

成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、成都網(wǎng)站制作、積石山保安族東鄉(xiāng)族網(wǎng)絡(luò)推廣、微信小程序定制開發(fā)、積石山保安族東鄉(xiāng)族網(wǎng)絡(luò)營銷、積石山保安族東鄉(xiāng)族企業(yè)策劃、積石山保安族東鄉(xiāng)族品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供積石山保安族東鄉(xiāng)族建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com

root@pve-1:~# pvecm status
Quorum information

Date: Wed Jul 3 11:27:05 2019
Quorum provider: corosync_votequorum
Nodes: 3
Node ID: 0x00000001
Ring ID: 1/12
Quorate: Yes

Votequorum information

Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate

Membership information

Nodeid      Votes Name

0x00000001 1 192.168.77.160 (local)
0x00000002 1 192.168.77.170
0x00000003 1 192.168.77.180

全部節(jié)點(diǎn)都已經(jīng)加入集群
在所有節(jié)點(diǎn)上使用以下命令安裝Ceph。（ceph也是可以單獨(dú)安裝融合進(jìn)來的，單獨(dú)安裝的ceph還可以做其他使用，看需要）
pveceph install -version luminous

全部節(jié)點(diǎn)都已經(jīng)加入集群
在所有節(jié)點(diǎn)上使用以下命令安裝Ceph。（ceph也是可以單獨(dú)安裝融合進(jìn)來的，單獨(dú)安裝的ceph還可以做其他使用，看需要）
pveceph install -version luminous
配置ceph集群存儲(chǔ)網(wǎng)絡(luò)，在所有節(jié)點(diǎn)上執(zhí)行
pveceph init -network 192.168.77.0/24
創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控，在所有節(jié)點(diǎn)上執(zhí)行以下命令
pveceph createmon
查看硬盤信息

root@pve-1:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 20G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 512M 0 part
└─sda3 8:3 0 19.5G 0 part
├─pve-swap 253:0 0 2.4G 0 lvm [SWAP]
├─pve-root 253:1 0 4.8G 0 lvm /
├─pve-data_tmeta 253:2 0 1G 0 lvm
│ └─pve-data 253:4 0 8G 0 lvm
└─pve-data_tdata 253:3 0 8G 0 lvm
└─pve-data 253:4 0 8G 0 lvm
sdb 8:16 0 50G 0 disk
sdc 8:32 0 50G 0 disk
sdd 8:48 0 50G 0 disk
sr0 11:0 1 655.3M 0 rom
rbd0 252:0 0 32G 0 disk

創(chuàng)建ceph集群存儲(chǔ)OSD服務(wù)，在所有節(jié)點(diǎn)上執(zhí)行
因?yàn)槲覀兡M了三塊硬盤所有把三塊硬盤都加上
pveceph createosd /dev/sdb
pveceph createosd /dev/sdc
pveceph createosd /dev/sdd

創(chuàng)建完成后，查看OSD運(yùn)行狀態(tài)，確認(rèn)OSD運(yùn)行正常：

root@pve-1:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.43822 root default
-7 0.14607 host pve-1
6 hdd 0.04869 osd.6 up 1.00000 1.00000
7 hdd 0.04869 osd.7 up 1.00000 1.00000
8 hdd 0.04869 osd.8 up 1.00000 1.00000
-3 0.14607 host pve-2
0 hdd 0.04869 osd.0 up 1.00000 1.00000
2 hdd 0.04869 osd.2 up 1.00000 1.00000
3 hdd 0.04869 osd.3 up 1.00000 1.00000
-5 0.14607 host pve-3
1 hdd 0.04869 osd.1 up 1.00000 1.00000
4 hdd 0.04869 osd.4 up 1.00000 1.00000
5 hdd 0.04869 osd.5 up 1.00000 1.00000

6，創(chuàng)建集群存儲(chǔ)資源池，PVE內(nèi)建Ceph采用的是rbd的模型：最外層是pool，相當(dāng)于一塊磁盤，默認(rèn)的
pool名字叫做rbd。每個(gè)pool里面可以有多個(gè)image，相當(dāng)于文件夾。每個(gè)image可以映射成一個(gè)塊設(shè)備，
有了設(shè)備就可以加載它。在PVE-1節(jié)點(diǎn)上執(zhí)行以下命令：
ceph osd pool create mytest 128 128
128代表placement-group的數(shù)量。每個(gè)pg都是一個(gè)虛擬節(jié)點(diǎn)，將自己的數(shù)據(jù)存在不同的位置。這樣一旦
存儲(chǔ)宕機(jī)，pg就會(huì)選擇新的存儲(chǔ)，從而保證了自動(dòng)高可用。
7，復(fù)制存儲(chǔ)ID和密鑰到指定文件位置，在PVE-1節(jié)點(diǎn)執(zhí)行以下操作：
cd /etc/pve/priv/
cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
到這里ceph分布式存儲(chǔ)基本完成,下來就在web端設(shè)置

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：pve+ceph超融合（二）-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://weahome.cn/article/deicss.html