這篇文章將為大家詳細(xì)講解有關(guān)HDFS體系架構(gòu)是什么，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

專注于為中小企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)分宜免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了數(shù)千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

整個Hadoop的體系結(jié)構(gòu)主要是通過HDFS來實(shí)現(xiàn)對分布式存儲的底層支持，并通過MR來實(shí)現(xiàn)對分布式并行任務(wù)處理的程序支持。 
  HDFS采用主從（Master/Slave）結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的（在最新的Hadoop2.2版本已經(jīng)實(shí)現(xiàn)多個NameNode的配置-這也是一些大公司通過修改hadoop源代碼實(shí)現(xiàn)的功能，在最新的版本中就已經(jīng)實(shí)現(xiàn)了）。NameNode作為主服務(wù)器，管理文件系統(tǒng)命名空間和客戶端對文件的訪問操作。DataNode管理存儲的數(shù)據(jù)。HDFS支持文件形式的數(shù)據(jù)。 
  從內(nèi)部來看，文件被分成若干個數(shù)據(jù)塊，這若干個數(shù)據(jù)塊存放在一組DataNode上。NameNode執(zhí)行文件系統(tǒng)的命名空間，如打開、關(guān)閉、重命名文件或目錄等，也負(fù)責(zé)數(shù)據(jù)塊到具體DataNode的映射。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的文件讀寫，并在NameNode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)庫的創(chuàng)建、刪除和復(fù)制工作。NameNode是所有HDFS元數(shù)據(jù)的管理者，用戶數(shù)據(jù)永遠(yuǎn)不會經(jīng)過NameNode。 

 


圖中涉及三個角色：NameNode、DataNode、Client。NameNode是管理者，DataNode是文件存儲者、Client是需要獲取分布式文件系統(tǒng)的應(yīng)用程序。 
文件寫入： 
  1）  Client向NameNode發(fā)起文件寫入的請求。 
  2）  NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它管理的DataNode的信息。 
  3）  Client將文件劃分為多個block，根據(jù)DataNode的地址，按順序?qū)lock寫入DataNode塊中。   文件讀取： 
  1）  Client向NameNode發(fā)起讀取文件的請求。   2）  NameNode返回文件存儲的DataNode信息。   3）  Client讀取文件信息。 
  HDFS作為分布式文件系統(tǒng)在數(shù)據(jù)管理方面可借鑒點(diǎn)：  
文件塊的放置：一個Block會有三份備份，一份在NameNode指定的DateNode上，一份放在與指定的DataNode不在同一臺機(jī)器的DataNode上，一根在于指定的DataNode在同一Rack上的DataNode上。備份的目的是為了數(shù)據(jù)安全，采用這種方式是為了考慮到同一Rack失敗的情況，以及不同數(shù)據(jù)拷貝帶來的性能的問題

關(guān)于“HDFS體系架構(gòu)是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。