這篇文章主要介紹了HDFS分布式存儲(chǔ)中NameNode 和DataNode 有哪些區(qū)別，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)建站主要從事網(wǎng)站制作、成都做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)思明,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):18980820575

分布式存儲(chǔ)框架

分布式存儲(chǔ)技術(shù)的實(shí)現(xiàn)，往往離不開(kāi)底層的分布式存儲(chǔ)框架。根據(jù)其存儲(chǔ)的類型，可分為塊存儲(chǔ)，對(duì)象存儲(chǔ)和文件存儲(chǔ)。在主流的分布式存儲(chǔ)技術(shù)中，HDFS 屬于文件存儲(chǔ)，Swift 屬于對(duì)象存儲(chǔ)，而Ceph 可支持塊存儲(chǔ)、對(duì)象存儲(chǔ)和文件存儲(chǔ)，故稱為統(tǒng)一存儲(chǔ)。

HDFS 是Hadoop 核心組成之一，是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。

HDFS 的功能模塊

(1) Client

Client 是用戶與HDFS 交互的手段，當(dāng)文件上傳 HDFS 的時(shí)候，Client 將文件切分成一個(gè)一個(gè)的 Block ，然后進(jìn)行上傳;Client通過(guò)與NameNode 交互，來(lái)獲取文件的位置信息;與 DataNode 交互，讀取或者寫入數(shù)據(jù);Client 還可以提供NameNode 格式化等一些命令來(lái)管理HDFS ;同時(shí)，Client 可以通過(guò)對(duì)HDFS 的增刪改查等操作來(lái)訪問(wèn)HDFS 。

(2) NameNode

NameNode 就是HDFS 的Master 架構(gòu)，它維護(hù)著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄，HDFS 文件系統(tǒng)中處理客服端讀寫請(qǐng)求、管理數(shù)據(jù)塊(Block )的映射信息、配置副本策略等管理工作由NameNode 來(lái)完成。

(3) DataNode

NameNode 下達(dá)命令，DataNode 執(zhí)行實(shí)際操作。DataNode 表示實(shí)際存儲(chǔ)的數(shù)據(jù)塊，同時(shí)可以執(zhí)行數(shù)據(jù)塊的讀寫操作。

(4) Secondary NameNode

Secondary NameNode 的功能主要是輔助NameNode ，分擔(dān)其工作量;在緊急情況下可以輔助恢復(fù)NameNode ，但是它不能替換NameNode 并提供服務(wù)。

HDFS 的優(yōu)勢(shì)

• 容錯(cuò)性：數(shù)據(jù)自動(dòng)保存多個(gè)副本。通過(guò)增加副本的形式，提高容錯(cuò)性。其中一個(gè)副本丟失以后，可以自動(dòng)恢復(fù)。

• 可以處理大數(shù)據(jù)：能夠處理數(shù)據(jù)規(guī)模達(dá)到GB 、TB 甚至PB 級(jí)別的數(shù)據(jù);能夠處理百萬(wàn)規(guī)模以上的文件數(shù)量。

• 可以構(gòu)建在廉價(jià)的機(jī)器上，通過(guò)多副本機(jī)制，提高可靠性。

HDFS 的特點(diǎn)

• 故障檢測(cè)和恢復(fù) – 由于 HDFS 包含大量產(chǎn)品硬件，組件故障頻繁。因此， HDFS 應(yīng)具有快速自動(dòng)故障檢測(cè)和恢復(fù)的機(jī)制。

• 數(shù)據(jù)集的管理 – HDFS 每個(gè)群集都有數(shù)百個(gè)節(jié)點(diǎn)來(lái)管理具有大型數(shù)據(jù)集的應(yīng)用程序。

• 數(shù)據(jù)硬件處理 – 當(dāng)計(jì)算在數(shù)據(jù)物理附近時(shí)，可以高效地完成請(qǐng)求的任務(wù)。特別是在涉及大量數(shù)據(jù)集時(shí)，它減少了網(wǎng)絡(luò)流量并提高了吞吐量。

HDFS 的功能

• 數(shù)據(jù)的分布式存儲(chǔ)和處理。

• Hadoop 提供了一個(gè)命令接口來(lái)與 HDFS 進(jìn)行交互。

• namenode 和 datanode 的內(nèi)置服務(wù)器可幫助用戶輕松檢查群集的狀態(tài)。

• 對(duì)文件系統(tǒng)數(shù)據(jù)的流式處理訪問(wèn)。

• HDFS 提供文件權(quán)限和身份驗(yàn)證。

HDFS的架構(gòu)

下面給出的是 Hadoop 文件系統(tǒng)的體系結(jié)構(gòu)：

HDFS 的元素：

(1) Namenod

Namenode 是包含 GNU/Linux 操作系統(tǒng)的產(chǎn)品硬件。它是一種可以在產(chǎn)品硬件上運(yùn)行的軟件。具有 Namenode 的系統(tǒng)充當(dāng)主服務(wù)器，并執(zhí)行以下任務(wù)。

• 管理文件系統(tǒng)命名空間

• 調(diào)節(jié)客戶端對(duì)文件的訪問(wèn)

• 執(zhí)行文件系統(tǒng)操作，如重命名、關(guān)閉和打開(kāi)文件和目錄。

(2) Datanode

Datanode 是具有 GNU/Linux 操作系統(tǒng)和數(shù)據(jù)內(nèi)核軟件的產(chǎn)品硬件。對(duì)于 cluster (群集)中的每個(gè)產(chǎn)品硬件 / 系統(tǒng)，都將有一個(gè)數(shù)據(jù)節(jié)點(diǎn)，這些節(jié)點(diǎn)管理其系統(tǒng)的數(shù)據(jù)存儲(chǔ)。

根據(jù)客戶端請(qǐng)求在文件系統(tǒng)上執(zhí)行讀寫操作。

根據(jù) namenode 的說(shuō)明執(zhí)行塊創(chuàng)建、刪除和復(fù)制等操作。

(3) Block

通常，用戶數(shù)據(jù)存儲(chǔ)在 HDFS 的文件中。文件系統(tǒng)中的文件將分為一個(gè)或多個(gè)片段存儲(chǔ)在單個(gè)數(shù)據(jù)節(jié)點(diǎn)中。這些文件段稱為block 。換句話說(shuō)， HDFS 可以讀取或?qū)懭氲淖钚?shù)據(jù)量稱為 block 。默認(rèn)塊大小為 64MB ，可以根據(jù) HDFS 配置進(jìn)行更改。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS分布式存儲(chǔ)中NameNode 和DataNode 有哪些區(qū)別”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!