GFS分布式文件系統(tǒng)集群

GlusterFS概述

GlusterFS簡(jiǎn)介

• 開源的分布式文件系統(tǒng)
• 由存儲(chǔ)服務(wù)器，客戶端以及NFS/Samba存儲(chǔ)網(wǎng)關(guān)組成
• 無元數(shù)據(jù)服務(wù)器
  

  RDMA:負(fù)責(zé)數(shù)據(jù)傳輸

  GlusterFS的特點(diǎn)

• 擴(kuò)展性和高性能
• 高可用性
• 全局統(tǒng)一的命名空間
• 彈性卷管理
• 基于標(biāo)準(zhǔn)協(xié)議

  GlusterFS術(shù)語

• Brick ： 存儲(chǔ)節(jié)點(diǎn)
• Volume ： 卷
• FUSE ： 內(nèi)核模塊，用戶端的交互模塊
• VFS ： 虛擬端口
• Glusterd ： 服務(wù)

  模塊化堆棧架構(gòu)

• 模塊化、堆棧式的架構(gòu)
• 通過對(duì)模塊的組合，實(shí)現(xiàn)負(fù)責(zé)的功能
  

  GlusterFS工作模式

  

  創(chuàng)新互聯(lián)公司是一家成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)，提供網(wǎng)頁設(shè)計(jì)，網(wǎng)站設(shè)計(jì)，網(wǎng)站制作，建網(wǎng)站，定制制作，網(wǎng)站開發(fā)公司，于2013年成立是互聯(lián)行業(yè)建設(shè)者，服務(wù)者。以提升客戶品牌價(jià)值為核心業(yè)務(wù)，全程參與項(xiàng)目的網(wǎng)站策劃設(shè)計(jì)制作，前端開發(fā)，后臺(tái)程序制作以及后期項(xiàng)目運(yùn)營(yíng)并提出專業(yè)建議和思路。

• Application：客戶端或應(yīng)用程序通過GlusterFSync的掛載點(diǎn)訪問數(shù)據(jù)
• VFS：linux系統(tǒng)內(nèi)核通過VFS API收到請(qǐng)求并處理
• FUSE ： VFS 將數(shù)據(jù)遞交給FUSE內(nèi)核文件系統(tǒng)，fuse
  文件系統(tǒng)則是將數(shù)據(jù)通過/dev/fuse設(shè)備文件遞交給了GlusterFS client端
• GlusterFS Client ; 通過網(wǎng)絡(luò)將數(shù)據(jù)傳遞至遠(yuǎn)端的GlusterFS Server，并且寫入到服務(wù)器存儲(chǔ)設(shè)備上

  GlusterFS工作原理

  GlusterFS工作流程

  彈性HASH算法

• 通過HASH算法得到一個(gè)32位的整數(shù)
• 劃分為N個(gè)連續(xù)的子空間，每個(gè)空間對(duì)應(yīng)一個(gè)Brick
• 彈性HASH算法的優(yōu)點(diǎn)
• • 保證數(shù)據(jù)平均分布在每一個(gè)Brink中
• • 解決了對(duì)元數(shù)據(jù)服務(wù)器的依懶，進(jìn)而解決了單點(diǎn)故障以及訪問瓶頸

  
  四個(gè)Brick節(jié)點(diǎn)的GlusterFS卷，平均分配232次方的區(qū)間的范圍空間

通過hash算法去找到對(duì)應(yīng)的brick節(jié)點(diǎn)的存儲(chǔ)空間，去分配數(shù)據(jù)存儲(chǔ)，去調(diào)用每一個(gè)節(jié)點(diǎn)數(shù)據(jù)

GlusterFS的卷類型

• 分布式卷
• 條帶卷
• 復(fù)制卷
• 分布式條帶卷
• 分布式復(fù)制卷
• 條帶復(fù)制卷
• 分布式條帶復(fù)制卷

  分布式卷

• 沒有對(duì)文件進(jìn)行分塊處理
• 通過擴(kuò)展文件屬性保存HASH值
• 支持底層文件系統(tǒng)有ext3、ext4、ZFS、XFS等
  

  分布式卷有如下特點(diǎn)

• 文件分布在不同的服務(wù)器。不具備冗余性
• 更容易和廉價(jià)地?cái)U(kuò)展卷的大小
• 單點(diǎn)故障會(huì)造成數(shù)據(jù)丟失
• 依懶底層的數(shù)據(jù)保護(hù)

  創(chuàng)建分布式卷

• 創(chuàng)建一個(gè)名為dis-volume的分布式卷，文件將根據(jù)HASH分布在server1：/dir1、server2:/dir2和server3:/dir3中

  gluster volume create dis-volume server1:/dir1 server2:/dir2 

  條帶卷

• 根據(jù)偏移量將文件分為N塊（N個(gè)條帶節(jié)點(diǎn)），輪詢的存儲(chǔ)在每個(gè)Brick Server節(jié)點(diǎn)
• 存儲(chǔ)大文件時(shí)，性能尤為突出
• 不具備冗余性，類似Raid0
  
  從多個(gè)server中同時(shí)讀取文件，效率提升

  特點(diǎn)

• 數(shù)據(jù)被分割成更小塊分布到塊服務(wù)器群中的不同條帶區(qū)
• 分布減少負(fù)載且更小的文件加速了存取的速度

• 沒有數(shù)據(jù)冗余

  創(chuàng)建條帶卷

• 創(chuàng)建一個(gè)名為Stripe-volume的條帶卷，文件將被分塊輪詢的存儲(chǔ)在Server1:/dir1和Server2:dir2兩個(gè)Brick中

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2 

復(fù)制卷

• 同一個(gè)文件保存一份或多分副本
• 復(fù)制模式因?yàn)楸４娓北?，所以磁盤利用率較低
• 多個(gè)節(jié)點(diǎn)的存儲(chǔ)空間不一致，那么將按照木桶效應(yīng)取最低節(jié)點(diǎn)的容量作為該卷的總?cè)萘?/li>

特點(diǎn)

• 卷中所有的服務(wù)器均保存一個(gè)完整的副本
• 卷的副本數(shù)量可以有客戶創(chuàng)建的時(shí)候決定
• 至少由兩個(gè)塊服務(wù)器或更多服務(wù)器

• 具備冗余性

  創(chuàng)建復(fù)制卷

• 創(chuàng)建名為rep-volume的復(fù)制卷、文件將同時(shí)存儲(chǔ)兩個(gè)副本

  gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2 

  分布式條帶卷

• 兼顧分布式卷和條帶卷的功能
• 主要用于大文件訪問處理

• 至少最少需要4臺(tái)服務(wù)器

  創(chuàng)建分布式條帶卷

• 創(chuàng)建一個(gè)名為dis-stripe的分布式條帶卷，配置分布式的條帶卷時(shí)，卷中Brink所包含 的存儲(chǔ)服務(wù)器數(shù)必須是條帶數(shù)的倍數(shù)（>=2倍）

gluster volume create rep-volume stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2 

分布式復(fù)制卷

• 兼顧分布式卷和復(fù)制卷的功能

• 用于需要冗余的情況下
  

  創(chuàng)建分布式復(fù)制卷

• 創(chuàng)建一個(gè)名為dis-rep的分布式條帶卷，配置分布式條帶卷的復(fù)制卷時(shí)，卷中Brink所包含的存儲(chǔ)服務(wù)器必須是條帶數(shù)的倍數(shù)（>=2倍）

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2