前期準(zhǔn)備：
準(zhǔn)備三臺CentOS 7.2系統(tǒng)，每臺機(jī)器三塊硬盤，關(guān)閉selinux，關(guān)閉iptables，做好時(shí)間同步，做好本地域名解析,并對每臺機(jī)器做互信。
192.168.10.101 ceph-node1
192.168.10.22 ceph-node2
192.168.10.33 ceph-node3
每臺機(jī)器上有三個(gè)osd，整個(gè)集群共九個(gè)osd。
在每臺機(jī)器上 /etc/yum.repos.d/目錄下創(chuàng)建 ceph.repo然后寫入以下內(nèi)容
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
在ceph-node1創(chuàng)建文件夾，用ceph-deploy安裝時(shí)，會生成很多文件。
mkidr /home/ceph && cd /home/ceph
安裝ceph-depoly
yum install -y ceph-deploy
創(chuàng)建ceph集群
ceph-depoly new ceph-node1 ceph-node2 ceph-node3
ceph初始默認(rèn)三副本，可以更改副本數(shù)。在生成的ceph.conf中加入（寫入[global] 段下）
osd pool default size = 2
如果有多個(gè)網(wǎng)卡，可以把 public network 寫入 ceph 配置文件的 [global] 段下
public network = 192.168.10.0/24
安裝ceph
ceph-deploy install ceph-node1 ceph-node2 ceph-node3
向ceph集群上報(bào)osd
ceph-deploy osd prepare ceph-node1:/dev/sdb ceph-node1:/dev/sdc ceph-node1:/dev/sdd ceph-node2:/dev/sdb ceph-node2:/dev/sdc ceph-node2:/dev/sdd ceph-node3:/dev/sdb ceph-node3:/dev/sdc ceph-node3:/dev/sdd
激活集群中的osd
ceph-deploy osd activate ceph-node1:/dev/sdb ceph-node1:/dev/sdc ceph-node1:/dev/sdd ceph-node2:/dev/sdb ceph-node2:/dev/sdc ceph-node2:/dev/sdd ceph-node3:/dev/sdb ceph-node3:/dev/sdc ceph-node3:/dev/sdd
ceph -s 查看健康狀況 創(chuàng)建完成?。?！
[root@ceph-node1 local]# ceph -s
cluster dc045fd8-0851-4052-8791-25cb6e5b3e8e
health HEALTH_WARN
too few PGs per OSD (21 < min 30)
monmap e1: 3 mons at {ceph-node1=192.168.10.101:6789/0,ceph-node2=192.168.10.22:6789/0,ceph-node3=192.168.10.33:6789/0}
election epoch 8, quorum 0,1,2 ceph-node2,ceph-node3,ceph-node1
osdmap e44: 9 osds: 9 up, 9 in
flags sortbitwise,require_jewel_osds
pgmap v113: 64 pgs, 1 pools, 0 bytes data, 0 objects
971 MB used, 45009 MB / 45980 MB avail
64 active+clean
由于改集群是新建集群，只有一個(gè)池，由于pg過少導(dǎo)致每個(gè)osd上的pg未達(dá)到配置文件的上線所以存在告警
查看某個(gè)池的pg個(gè)數(shù)
ceph osd pool get rbd pg_num
pg_num: 64
pgs為64，因?yàn)槭?副本的配置，所以當(dāng)有9個(gè)osd的時(shí)候，每個(gè)osd上均分了64/9 *3=21個(gè)pgs,也就是出現(xiàn)了如上的告警 小于最小配置30個(gè)
修改rbd池的pg個(gè)數(shù)
ceph osd pool set rbd pg_num 256
set pool 0 pg_num to 256
gpg的個(gè)數(shù)要與pg個(gè)數(shù)一致 修改rbd池的pgp個(gè)數(shù)
sudo ceph osd pool set rbd pgp_num 256
set pool 0 pgp_num to 256
修改完成等待集群同步，故障解決。
注意：生產(chǎn)環(huán)境不可以批量添加pg，pgp。要沒添加一個(gè)，等待同步完成再添加下一個(gè)pg。
每個(gè)池添加pg個(gè)數(shù)根據(jù)如下公式計(jì)算：
{（每個(gè)OSD的目標(biāo)PG）x（OSD＃）x（％數(shù)據(jù)）}/（尺寸）
1.每個(gè)OSD的目標(biāo)PG約100個(gè)
2.如果上述計(jì)算的值小于（OSD＃）/（大小）的值，則將該值更新為（OSD＃）/（大小）的值。這是為了通過為每個(gè)池的每個(gè)OSD分配至少一個(gè)主要或輔助PG來確保均勻的負(fù)載/數(shù)據(jù)分發(fā)。
3.然后將輸出值四舍五入到最接近的2的冪。
提示：最接近的2的冪提供了CRUSH算法效率的微小改進(jìn)。
4.如果最接近的2的冪次方比原始值低25％以上，則使用下一個(gè)更高的2的冪。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
