這篇文章主要為大家展示了“HDFS Namenode是怎么工作的”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“HDFS Namenode是怎么工作的”這篇文章吧。

站在用戶的角度思考問題，與客戶深入溝通，找到墨竹工卡網(wǎng)站設(shè)計與墨竹工卡網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站設(shè)計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、主機域名、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋墨竹工卡地區(qū)。

HDFS（Hadoop Distributed Filesystem）客戶端通過被稱之為Namenode單服務(wù)器節(jié)點執(zhí)行文件系統(tǒng)原數(shù)據(jù)操作，同時DataNode會與其他DataNode進行通信并復(fù)制數(shù)據(jù)塊以實現(xiàn)冗余，這樣單一的DataNode損壞不會導(dǎo)致集群的數(shù)據(jù)丟失。

但NameNode出現(xiàn)故障的損失確是無法容忍的，NameNode主要職責(zé)是跟蹤文件如何被分割成文件塊、文件塊又被哪些節(jié)點存儲，以及分布式文件系統(tǒng)的整體運行狀態(tài)是否正常等，如果NameNode節(jié)點停止運行的話將會導(dǎo)致數(shù)據(jù)節(jié)點無法通信，客戶端無法讀取和寫入數(shù)據(jù)到HDFS，實際上這也將導(dǎo)致整個系統(tǒng)停止工作。

The HDFS Namenode is a single point of failure (SPOF)

Facebook也深知“Namenode-as-SPOF”所帶來問題的嚴(yán)重性，所以Facebook希望建立一套系統(tǒng)已破除“Namenode-as-SPOF”帶來的隱患。但在了解這套系統(tǒng)之前，首先來看一下Facebook在使用和部署HDFS都遇到了哪些問題。

Facebook數(shù)據(jù)倉庫的使用情況

在Facebook的數(shù)據(jù)倉庫中部署著最大的HDFS集群，數(shù)據(jù)倉庫的使用情況是傳統(tǒng)的Hadoop MapReduce工作負載——在大型集群中一小部分運行MapReduce批處理作業(yè)

因為集群非常龐大，客戶端和眾多DataNode節(jié)點與NameNode節(jié)點傳輸海量的原數(shù)據(jù)，這導(dǎo)致NameNode的負載非常沉重。而來自CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)帶來的壓力也使得數(shù)據(jù)倉庫集群中NameNode高負載狀況屢見不鮮。在使用過程中Facebook發(fā)現(xiàn)其數(shù)據(jù)倉庫中由于HDFS引發(fā)的故障占總故障率的41%。

HDFS NameNode是HDFS中的重要組成部分，同時也是整個數(shù)據(jù)倉庫中的重要組成部分。雖然高可用的NameNode只可以預(yù)防數(shù)據(jù)倉庫10%的計劃外停機，不過消除NameNode對于SPOF來說可謂是重大的勝利，因為這使得Facebook可執(zhí)行預(yù)訂的硬件和軟件回復(fù)。事實上，F(xiàn)acebook預(yù)計如果解決NameNode可消除集群50%的計劃停機時間。

那么高可用性NameNode是什么樣子的？它將如何工作？讓我們來看一下高度可用性NameNode的圖表。

Avatarnode客戶端

以上是“HDFS Namenode是怎么工作的”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！