本文介紹如何創(chuàng)建一個(gè)ProxmoxVE集群，并使用內(nèi)部集成的Ceph作為存儲(chǔ)。
集群包含5臺(tái)主機(jī)，其中3臺(tái)安裝ceph作為存儲(chǔ)節(jié)點(diǎn)，為剩下作為計(jì)算節(jié)點(diǎn)2臺(tái)提供存儲(chǔ)。
這里，5臺(tái)主機(jī)均位于同一個(gè)集群中。
本文使用到的軟件版本：
VMware-Workstation 15.5
pve（proxmox VE）6.0.1
ceph：ceph nautilus 最新版
ssh連接工具：xshell 6
1、環(huán)境配置
我們需要建立如下包含5臺(tái)pve主機(jī)的集群：
存儲(chǔ)節(jié)點(diǎn)：
pve-store1：cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.241
pve-store2： cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.242
pve-store3 ：cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.243
計(jì)算節(jié)點(diǎn)：
pve-compute1 ：cpu 4核 內(nèi)存4g 硬盤20g 橋接網(wǎng)絡(luò) IP地址 10.8.20.244
pve-compute2 ：cpu 4核 內(nèi)存4g 硬盤20g 橋接網(wǎng)絡(luò) IP地址 10.8.20.245
2、存儲(chǔ)節(jié)點(diǎn)的安裝配置
先建立存儲(chǔ)節(jié)點(diǎn)，并以 pve-store1為mgr建立pve集群
（1）建立虛擬機(jī)
cpu記得開(kāi)虛擬化
虛擬機(jī)屬性
（2）安裝pve
系統(tǒng)安裝在20g的硬盤上面
安裝摘要
（3）配置pve
使用xshell6連接剛安裝好的這臺(tái)主機(jī)，執(zhí)行下面的任務(wù)：
安裝vim
apt update
apt install vim -y
安裝阿里云的源
cd /etc/apt
vim sources.list.d/pve-enterprise.list
修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription
cd /etc/apt/
vim sources.list
修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib
更新系統(tǒng)
apt update
apt upgrade -y
去除webui的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
重啟系統(tǒng)
init 6
按照上述方法安裝 pve-store2、pve-store3 ，再繼續(xù)進(jìn)行下面的操作
（4）建立pve集群
登錄pve-store1（https://10.8.20.241:8006）的web管理平臺(tái)，建立名為pve-cluster的集群，并將另外2臺(tái)主機(jī)加進(jìn)來(lái)。具體方法可以參考本博客的第一篇文章中的相關(guān)內(nèi)容。
建立好的pve集群
（5）建立ceph集群
1、在 pve-store1、pve-store2、pve-store3上都執(zhí)行以下命令安裝ceph
pveceph install?（不帶版本號(hào)安裝的是最新的nautilus版）
稍等片刻，提示如下則表示安裝成功
ceph安裝成功
注意：計(jì)算節(jié)點(diǎn)不需要安裝ceph。
2、建立ceph集群網(wǎng)絡(luò)，3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行
pveceph init -network 10.8.20.0/24
3、 創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控， 3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行
pveceph createmon
創(chuàng)建監(jiān)視器mon
Ceph Monitor：由該英文名字可以知道它是一個(gè)監(jiān)視器，負(fù)責(zé)監(jiān)視Ceph集群，維護(hù)Ceph集群的健康狀態(tài)，同時(shí)維護(hù)著Ceph集群中的各種Map圖，比如OSD Map、Monitor Map、PG Map和CRUSH Map，這些Map統(tǒng)稱為Cluster Map，Cluster Map是RADOS的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，管理集群中的所有成員、關(guān)系、屬性等信息以及數(shù)據(jù)的分發(fā)，比如當(dāng)用戶需要存儲(chǔ)數(shù)據(jù)到Ceph集群時(shí)，OSD需要先通過(guò)Monitor獲取最新的Map圖，然后根據(jù)Map圖和object id等計(jì)算出數(shù)據(jù)最終存儲(chǔ)的位置。
4、 創(chuàng)建ceph集群存儲(chǔ)OSD服務(wù)， 3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行，事先為3個(gè)存儲(chǔ)節(jié)點(diǎn)添加了一塊200G的新硬盤。
pveceph createosd /dev/sdb
創(chuàng)建osd
Ceph OSD：OSD的英文全稱是Object Storage Device，它的主要功能是存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)等，與其它OSD間進(jìn)行心跳檢查等，并將一些變化情況上報(bào)給Ceph Monitor。一般情況下一塊硬盤對(duì)應(yīng)一個(gè)OSD，由OSD來(lái)對(duì)硬盤存儲(chǔ)進(jìn)行管理，當(dāng)然一個(gè)分區(qū)也可以成為一個(gè)OSD。
5、 創(chuàng)建集群存儲(chǔ)資源池，將上面3個(gè)OSD結(jié)合在一起對(duì)外提供存儲(chǔ)服務(wù)
只在作為mgr的pve-store1上面執(zhí)行
ceph osd pool create pve-pool 128 128
其中的128(pg_num)的設(shè)置：
少于 5 個(gè) OSD 時(shí)，可把?pg_num?設(shè)置為 128
OSD 數(shù)量在 5 到 10 個(gè)時(shí)，可把?pg_num?設(shè)置為 512
OSD 數(shù)量在 10 到 50 個(gè)時(shí)，可把?pg_num?設(shè)置為 4096
創(chuàng)建存儲(chǔ)池pve-pool
6、創(chuàng)建RBD塊設(shè)備存儲(chǔ)
RBD塊存儲(chǔ)是ceph提供的3種存儲(chǔ)類型中使用最廣泛，最穩(wěn)定的存儲(chǔ)類型。RBD塊類似于磁盤，可以掛載到物理機(jī)或虛擬機(jī)中。這里是掛載到pve主機(jī)上，作為pve主機(jī)的存儲(chǔ)（共享存儲(chǔ)）。
登錄pve-store1的web管理頁(yè)面，依次打開(kāi)：數(shù)據(jù)中心->存儲(chǔ)->添加->選擇RBD
打開(kāi)添加RBD對(duì)話框
ID：填寫(xiě)為pve-rbd RBD設(shè)備的id
資源池：pve-pool，所屬的資源池
Monitor： pve-store1 pve-store2 pve-store3，監(jiān)視器
節(jié)點(diǎn)：暫時(shí)添加pve-store1， pve-store2， pve-store3，表示集群中哪些主機(jī)可以使用該塊設(shè)備。
內(nèi)容：存放的內(nèi)容，選擇磁盤鏡像和容器，這樣ceph就可以存放虛擬機(jī)的鏡像和下載的LXC容器了。
添加后，可以看到集群主機(jī)下會(huì)增加一個(gè)存儲(chǔ)
rbd塊設(shè)備存儲(chǔ)
可以查看整個(gè)ceph的狀態(tài)信息
ceph集群狀態(tài)
（6）ceph的相關(guān)操作
1、賦予應(yīng)用相關(guān)權(quán)限
在pve-store1上執(zhí)行
ceph osd pool application enable pve-pool rgw?rbd
2、查看ceph有哪些存儲(chǔ)池
ceph osd lspools
3、查看ceph的空間大小及可用大小
ceph df
可以看到目前3塊500G硬盤組成的ceph存儲(chǔ)集群，大可用空間為473G≈500G。
4、查看ceph的副本數(shù)
ceph osd pool get pve-pool size
默認(rèn)情況下是3，即存放在ceph集群中的數(shù)據(jù)會(huì)有3個(gè)副本，所以整個(gè)ceph集群的可用空間大約是(500*3（osd數(shù)目）)/3（副本數(shù)）=500G（里面的算法很復(fù)雜，所以要少于500G，這里實(shí)際上是473G）
ceph副本數(shù)
設(shè)置新的副本數(shù)為2
ceph osd pool set pve-pool size 2
設(shè)置過(guò)后，可能需要很長(zhǎng)時(shí)間的配置，ceph集群才會(huì)自動(dòng)恢復(fù)正常。不是必要請(qǐng)不要進(jìn)行該操作。
5、 為集群安裝ceph Dashboard
在pve-store1上執(zhí)行
apt install ceph-mgr-dashboard -y
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create admin admin123 administrator（其中?admin是用戶名 admin123是密碼 administrator指定用戶是管理員）
systemctl restart ceph-mgr@pve-store1.service
訪問(wèn)https://10.8.20.241:8443，使用用戶名admin密碼admin123登錄即可。
ceph Dashboard登錄界面
ceph Dashboard主界面
ceph Dashboard -Hosts（主機(jī)）
ceph Dashboard -存儲(chǔ)池，可以看到有3個(gè)副本
編輯存儲(chǔ)池，增加另外2個(gè)應(yīng)用
總之，使用這個(gè)Dashboard，可以單獨(dú)管理ceph（其實(shí)一般不用）。
3、計(jì)算節(jié)點(diǎn)的安裝配置
建立虛擬機(jī)
虛擬機(jī)名稱：pve-compute1
cpu：4核，開(kāi)虛擬化
內(nèi)存：4g
硬盤：20g
網(wǎng)絡(luò)：橋接模式
計(jì)算節(jié)點(diǎn)虛擬機(jī)配置
然后安裝和配置pve，設(shè)置其主機(jī)名為： pve-compute1，ip地址設(shè)置為：10.8.20.244/24，然后更改為國(guó)內(nèi)源，最后更新系統(tǒng)。
更新系統(tǒng)成功
將這臺(tái)主機(jī)加入到上面的集群中
點(diǎn)擊pve-store1的web管理平臺(tái)中數(shù)據(jù)中心→集群→上面的加入信息按鈕，拷貝加入信息
集群的加入信息
再打開(kāi)pve-compute1的web管理平臺(tái)，點(diǎn)擊數(shù)據(jù)中心→集群→上面的加入集群按鈕，在對(duì)話框中粘貼集群加入信息，輸入 pve-store1 的root密碼加入集群
加入集群
在pve-store1的web管理平臺(tái)中可以看到新加入的主機(jī)
在pve-store1上，選擇數(shù)據(jù)中心→存儲(chǔ)→pve-rbd，再點(diǎn)擊上面的編輯按鈕
，
在節(jié)點(diǎn)處僅保留pve-compute1這臺(tái)主機(jī)
修改好之后，在左邊就可以在pve-compute1節(jié)點(diǎn)下面多出了一個(gè)存儲(chǔ)
說(shuō)明計(jì)算節(jié)點(diǎn) pve-compute1可以使用ceph存儲(chǔ)了。
用同樣的方法創(chuàng)建第二個(gè)計(jì)算節(jié)點(diǎn) pve-compute2，并按照上面的方法zaipve-brd的節(jié)點(diǎn)那加入這臺(tái)主機(jī)
最后在 pve-compute1 或者 pve-compute2 上面創(chuàng)建、安裝虛擬機(jī)測(cè)試集群，記得虛擬機(jī)的磁盤要使用pve-rbd這個(gè)存儲(chǔ)。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
