本文結(jié)合HDFS的副本和分塊從宏觀上描述HDFS存入文件的整個流程。HDFS體系中包含Client、NameNode、DataNode、SeconderyNameode四個角色，其中Client是客戶端，NN負(fù)責(zé)管理，DN負(fù)責(zé)存儲、SN協(xié)助管理。

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、成都微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了遜克免費(fèi)建站歡迎大家使用！

先來看一個官網(wǎng)上的圖

# 圖 0 -HDFS的體系結(jié)構(gòu)

?

HDFS的副本存儲有如下規(guī)則：

1.client將第一副本放到最靠近的一臺DN

2.第二副本優(yōu)先放到另一個機(jī)架

3.以此類推，盡量保證副本放在不同的機(jī)架

由于副本和分塊機(jī)制的存在，當(dāng)從本地文件系統(tǒng)向HDFS上傳文件時，其內(nèi)部的流程相對比較復(fù)雜，可以通過下圖及步驟說明進(jìn)行理解。

?

# 圖 1-1 -hdfs副本存儲機(jī)制（3副本）

?

A.對于可存于單塊的小文件：

1.client向NN（NameNode）發(fā)起存儲請求，

2.NN查找自身是否已有相應(yīng)的文件，

3.若無則，NN向client返回DN1（DataNode）路徑，

4.client向DN1傳送副本，

5.DN1通過管道異步向DN2傳副本，

6.DN2通過管道異步向DN3傳副本，

7.DN3通知DN2接收完成，

8.DN2通知DN1接收完成，

9.DN1通知NN接收完成。

?

B.對于需要分塊的大文件：

大致流程同上，但在步驟3NN還會進(jìn)行塊的劃分，隨后步驟4client會將各塊分別發(fā)送到分配的DN執(zhí)行步驟4~9

從前述可見，在向HDFS傳輸文件的過程中，NameNode節(jié)點(diǎn)至關(guān)重要。NN負(fù)責(zé)掌管元數(shù)據(jù)。其作用相當(dāng)于物理硬盤中的文件分配表FAT，NN中的數(shù)據(jù)如果發(fā)生丟失，DN中存儲的數(shù)據(jù)也就沒有了意義。

?

# 圖 1-2 -NN元數(shù)據(jù)存儲機(jī)制

1.client向NN請求寫，

2.NN將分配block寫入editslog文件，

3.NN響應(yīng)client，

4.client向DN寫文件，

5.client通知NN寫完成，

6.NN將editslog更新到內(nèi)存。

ps：常用及最新元數(shù)據(jù)放在內(nèi)存，最新元數(shù)據(jù)放editslog，老元數(shù)據(jù)放fsimage，editslog寫滿之前將edits log（新元數(shù)據(jù)）轉(zhuǎn)換并合并到fsimage。

# 圖 1-3 -edits log合并機(jī)制

當(dāng)editslog寫滿：

1.NN通知SecondryNameNode執(zhí)行checkpoint操作，

2.NN停止向已滿editslog寫入，

3.NN創(chuàng)建新edits log維持寫入，

4.SN下載NN的fsimage和已滿editslog，

5.SN執(zhí)行合并生成fsimage。checkpoint，

6.SN向NN上傳fsi。cp，

7.NN將fsi。cp改名fsimage，

8.NN刪除已滿editslog。

# 圖3 -元數(shù)據(jù)格式：文件全路徑，副本數(shù)，塊編號，塊-所在DN的映射。

睿江云官網(wǎng)鏈接：https://www.eflycloud.com/home?from=RJ0035