說明:
主要從事網(wǎng)頁設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、成都響應(yīng)式網(wǎng)站建設(shè)公司、程序開發(fā)、微網(wǎng)站、微信小程序開發(fā)等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、外貿(mào)營銷網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營銷、管理等多方位專業(yè)化運(yùn)作于一體,具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。
架構(gòu)規(guī)劃
元數(shù)據(jù)服務(wù)器 mfs-master-1 172.16.100.2
備份服務(wù)器 mfs-metalogger 172.16.100.4
數(shù)據(jù)存儲(chǔ)服務(wù)器 mfs-chunkserver-1 172.16.100.5
數(shù)據(jù)存儲(chǔ)服務(wù)器 mfs-chunkserver-2 172.16.100.6
數(shù)據(jù)存儲(chǔ)服務(wù)器 mfs-chunkserver-3 172.16.100.7
節(jié)點(diǎn)說明:
Master Server:
由于 Master Server 控制著整個(gè) MooseFS 中的各個(gè)組件,并且負(fù)責(zé)對(duì)外提供服務(wù),因此我們一定需要保證 Master Server 處于非常穩(wěn)定的狀態(tài)。比如,針對(duì) Master Server采用雙電源雙路配置,多塊磁盤使用RAID1或RAID10,進(jìn)行冗余。前面也提到,Master Server 將所有訪問的元數(shù)據(jù)信息都放在內(nèi)存當(dāng)中,提供用戶訪問。因此,當(dāng)文件數(shù)量增加的時(shí)候,內(nèi)存使用量也會(huì)增加。根據(jù)官方的數(shù)據(jù),100萬個(gè)文件chunk信息,大概需要300M的內(nèi)存空間來進(jìn)行。對(duì)于磁盤來講,Master Server 對(duì)磁盤的使用量不是很大,這個(gè)取決于所用的文件和chunk塊的數(shù)目(記錄在主元數(shù)據(jù)文件)以及對(duì)文件作出操作的數(shù)量(記錄在元數(shù)據(jù)更改日志),一般情況下 20G 可以用來存儲(chǔ)信息 2500 萬個(gè)文件變更記錄長達(dá)50小時(shí)。由此看來,作為Master Server 內(nèi)存量夠大才是重中之重。
Metalogger Server:
在 MooseFS 的設(shè)計(jì)中,雖然 Metalogger Server 只是用來收集 MooseFS 主服務(wù)器的元數(shù)據(jù)(文件更改的信息的變化)的備份,對(duì)硬件的要求不應(yīng)該高于主服務(wù)器的備份。但是需要注意的是,如果在Master Server沒有做高可用的情況下,主服務(wù)器宕機(jī)之后,我們是需要啟用Metalogger Server 來頂替主服務(wù)器的。因此,從這方面考慮,Metalogger Server 至少也是和 Master Server 的配置相同的,這點(diǎn)切記!
Chunk Server:
針對(duì) Chunk Server,它是真正存儲(chǔ)數(shù)據(jù)的載體。因此,我們對(duì)它的要求就簡(jiǎn)單粗暴了很多,只要保障硬盤的性能即可。如果是普通的業(yè)務(wù),可以選擇多塊盤做RAID5即可,當(dāng)然RAID0或RAID10都是可以的。需要注意的是,由于 MooseFS 的默認(rèn)負(fù)載均衡算法的問題,我建議所有 Chunk Server 的磁盤大小保持一致。這樣子,我們才能保證 MooseFS 在使用過程中,各個(gè) Chunk 節(jié)點(diǎn)的數(shù)據(jù)使用量是大致一致的。否則,磁盤容量大的 Chunk Server 使用量會(huì)加大,而磁盤容量小的 Chunk Server 的使用量會(huì)變小。切記,切記!當(dāng)然,如果公司員工有能力的話,也可以對(duì) MooseFS 的負(fù)載均衡算法中每次對(duì)carry 變量的增加算法這一部分進(jìn)行改進(jìn),來避免默認(rèn)算法的缺點(diǎn),使存儲(chǔ)數(shù)據(jù)能夠均衡分布在各個(gè) Chunk Server 上。
部署:
部署 Master Server
1、參數(shù)介紹
--disable-mfsmaster # 不創(chuàng)建成管理服務(wù)器(用于純節(jié)點(diǎn)的安裝)
--disable-mfschunkserver # 不創(chuàng)建成數(shù)據(jù)存儲(chǔ)chunkserver服務(wù)器
--disable-mfsmount # 不創(chuàng)建mfsmount和mfstools(如果用開發(fā)包安裝,他們會(huì)被默認(rèn)創(chuàng)建的)
--enable-mfsmount # 確定安裝mfsmount和mfstools(如果
--prefix=DIRECTORY # 鎖定安裝目錄(默認(rèn)是/usr/local)
--sysconfdir=DIRECTORY # 選擇配置文件目錄(默認(rèn)是${prefix}/etc))
--localstatedir=DIRECTORY # 選擇變量數(shù)據(jù)目錄(默認(rèn)是${prefix}/var,MFS元數(shù)據(jù)被存儲(chǔ)在mfs的子目錄下,默認(rèn)是${prefix}/var/mfs )
--with-default-user # 運(yùn)行守護(hù)進(jìn)程的用戶,如果配置文件中沒有設(shè)定用戶,默認(rèn)為nobody用戶
--with-default-group # 運(yùn)行守護(hù)進(jìn)程的用戶組,如果配置文件中沒有設(shè)定用戶組,默認(rèn)為nogroup用戶組
2、安裝Master Server
yum install zlib-devel -y
groupadd -g 1000 mfs
useradd -u 1000 -g mfs -s /sbin/nologin mfs
cd /usr/local/src
wget http://moosefs.org/tl_files/mfscode/mfs-1.6.27-5.tar.gz
tar zxf mfs-1.6.27-5.tar.gz
cd mfs-1.6.27
./configure --prefix=/usr/local/mfs-1.6.27 --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install
ln -s /usr/local/mfs-1.6.27 /usr/local/mfs
官方文檔:
https://moosefs.com/download/centosfedorarhel.html
版本6:
curl "http://ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo
curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
版本7:
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
--------------------------------------------------------------
安裝Master Server
yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv
/etc/init.d/moosefs-master start
查看日志,端口,防火墻開放9419 9420 9421端口
--------------------------------------------------------------
安裝Chunkservers
yum install moosefs-chunkserver
安裝Metaloggers
yum install moosefs-metalogger
安裝Clients
yum install moosefs-client
開機(jī)自動(dòng)掛載:
yum install fuse
vim /etc/fstab
mfsmount /mnt/mfs fuse defaults 0 0
mfsmaster.host.name: /mnt/mfs moosefs defaults 0 0
啟動(dòng)服務(wù)
service moosefs-master start
service moosefs-chunkserver start
寫入文件測(cè)試