小編給大家分享一下HDFS基本概念有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
源自于Google的GFS論文 發(fā)表于2003年10月 HDFS是GFS克隆版 ，HDFS的全稱是Hadoop Distributed File System易于擴展的分布式文件系統(tǒng)，運行在大量普通廉價機器上，提供容錯機制，為大量用戶提供性能不錯的文件存取服務
整個Hadoop的體系結(jié)構(gòu)主要是通過HDFS來實現(xiàn)對分布式存儲的底層支持，并通過MR來實現(xiàn)對分布式并行任務處理的程序支持。
HDFS采用主從(Master/Slave)結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的(在最新的Hadoop2.2版本已經(jīng)實現(xiàn)多個NameNode的配置-這也是一些大公司通過修改hadoop源代碼實現(xiàn)的功能，在最新的版本中就已經(jīng)實現(xiàn)了)。NameNode作為主服務器，管理文件系統(tǒng)命名空間和客戶端對文件的訪問操作。DataNode管理存儲的數(shù)據(jù)。HDFS支持文件形式的數(shù)據(jù)。
從內(nèi)部來看，文件被分成若干個數(shù)據(jù)塊，這若干個數(shù)據(jù)塊存放在一組DataNode上。NameNode執(zhí)行文件系統(tǒng)的命名空間，如打開、關(guān)閉、重命名文件或目錄等，也負責數(shù)據(jù)塊到具體DataNode的映射。DataNode負責處理文件系統(tǒng)客戶端的文件讀寫，并在NameNode的統(tǒng)一調(diào)度下進行數(shù)據(jù)庫的創(chuàng)建、刪除和復制工作。NameNode是所有HDFS元數(shù)據(jù)的管理者，用戶數(shù)據(jù)永遠不會經(jīng)過NameNode。
自動快速檢測應對硬件錯誤
流式訪問數(shù)據(jù)
移動計算比移動數(shù)據(jù)本身更劃算
簡單一致性模型
異構(gòu)平臺可移植
移動計算和移動數(shù)據(jù)
在學習大數(shù)據(jù)的時候接觸了移動數(shù)據(jù)和移動計算這兩種聯(lián)系緊密而又有很大不同的概念，
其中移動計算也叫做本地計算。在以前的數(shù)據(jù)處理中時使用的
移動數(shù)據(jù)，其實就是將需要處理的數(shù)據(jù)傳輸?shù)酱娣挪煌幚頂?shù)據(jù)方式邏輯的各個節(jié)點上。這樣做的效率很低，特別
是大數(shù)據(jù)中的數(shù)據(jù)量是很大的，至少都是GB以上，更大的是TB、PB甚至更大，而且磁盤I/O、網(wǎng)絡I/O的效率是很
低的，這樣處理起來就需要很長的時間，遠遠不能滿足我們的要求。而移動計算就出現(xiàn)了。
移動計算，也叫做本地計算，是數(shù)據(jù)就存放在節(jié)點上不再變動，而是將處理邏輯程序傳輸?shù)礁鱾€數(shù)據(jù)節(jié)點上。由于
處理程序的大小肯定不會特別的大，這樣就可以實現(xiàn)很快將程序傳輸?shù)酱娣艛?shù)據(jù)的各個節(jié)點上去，然后本地執(zhí)行處
理數(shù)據(jù)，效率高?，F(xiàn)在的大數(shù)據(jù)處理技術(shù)都是采用這種方式。
HDFS模型例子:
班級中有這么多筆記本其實就可以組成一個集群是吧,然后隔壁班需要將文件存儲到筆記本中,一個一個進來隨便找
一個筆記本存儲,走了之后,過了一段時間,需要將文件取走,但是每一個人都不知道自己上傳到那個服務器上了,那么每
臺都需要找,,這樣一來操作的復雜度就高了,那么需要怎么改善這個問題?
犧牲一下,我的筆記本不存數(shù)據(jù)了,專門記錄存儲的的過程(NameNode),第一個人進來先找我,說我要存儲文件,然后我
說去第一臺電腦存吧,然后就去第一臺電腦存儲了,它在存儲文件的時候,上傳文件需要等幾分鐘,然后第二個人進來了,
也要存文件,然后我說你去第二臺電腦上存儲,那么我與存儲人之間的交互信息量大嗎?不大,是吧我的主要作用就是告
訴對方去哪存儲, 第一臺電腦在傳第二臺電腦也再傳,是不是同時在傳,那么這就相當于負載了,那么他們在上傳的時候
是獨立的資源,而不會去搶占資源.
問題:什么時候記錄這個存儲記錄?
是在一開始對話的時候我就記錄,還是在當他傳完數(shù)據(jù)后記錄?
一定是傳完數(shù)據(jù)后記錄,這是為了數(shù)據(jù)的一致性
上傳成功后,是上傳人員告訴我上傳成功還是電腦給發(fā)送信息上傳成功
一定是電腦發(fā)送信息上傳成功,因為只有電腦去認了上傳成功了有文件有記錄就OK
是不是很簡單,很輕松啊,要是早幾年聽是不是HDFS就是你開發(fā)的了
優(yōu)點：
高可靠性：Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴;
高擴展性：Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。
高效性：Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非?？?。
高容錯性：Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務重新分配。
缺點：
不適合低延遲數(shù)據(jù)訪問。
無法高效存儲大量小文件。
不支持多用戶寫入及任意修改文件。
分而治之：將大文件、大批量文件，分布式存放在大量服務器上，以便于采取分而治之的方式對海量數(shù)據(jù)進行運算分析；
為各類分布式運算框架（如：mapreduce，spark，tez，……）提供數(shù)據(jù)存儲服務
hdfs更具體描述
首先，它是一個文件系統(tǒng)，用于存儲文件，通過統(tǒng)一的命名空間——目錄樹來定位文件
其次，它是分布式的，由很多服務器聯(lián)合起來實現(xiàn)其功能，集群中的服務器有各自的角色；
HDFS中的文件在物理上是分塊存儲（block），塊的大小可以通過配置參數(shù)( dfs.blocksize)來規(guī)定，默認大小在hadoop2.x版本中是128M，老版本中是64M。
HDFS文件系統(tǒng)會給客戶端提供一個統(tǒng)一的抽象目錄樹，客戶端通過路徑來訪問文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。
目錄結(jié)構(gòu)及文件分塊信息(元數(shù)據(jù))的管理由namenode節(jié)點承擔——namenode是HDFS集群主節(jié)點，負責維護整個hdfs文件系統(tǒng)的目錄樹，以及每一個路徑（文件）所對應的block塊信息（block的id，及所在的datanode服務器）。
文件的各個block的存儲管理由datanode節(jié)點承擔--- datanode是HDFS集群從節(jié)點，每一個block都可以在多個datanode上存儲多個副本（副本數(shù)量也可以通過參數(shù)設置dfs.replication）。
基于內(nèi)存存儲 ：不會和磁盤發(fā)生交換只存在內(nèi)存中
這樣做的主要目的是為了快,但是內(nèi)存存儲的一個通病就是掉電易失
一旦斷電內(nèi)存中存儲的數(shù)據(jù)就什么都沒有了,所以就需要持久化了(有點打臉了因為是需要到磁盤中的存儲)
NameNode持久化
NameNode的metadate信息在啟動后會加載到內(nèi)存
存儲到磁盤中有兩種方法:
第一種:在某個時間點以類似于”拍快照”的形式將數(shù)據(jù)信息存儲到磁盤中
metadata存儲到磁盤文件名為”fsimage”,Block的位置信息不會保存到fsimage
若是回復,需要等待DataNode重新匯報信息Block每副本位置（由DataNode上報）
第二種:以日志的方式生成文件edit log記錄對metadata的操作日志
NameNode主要功能：
接受客戶端的讀寫服務,收集DataNode匯報的Block列表信息
NameNode保存metadata信息包括
文件所屬權(quán)和權(quán)限,文件大小，時間（Block列表：Block偏移量），位置信息
DataNode是Block真正存儲的地方。DataNode的本地磁盤以文件形式存儲著Block信息。同時還存儲著Block的元數(shù)據(jù)信息文件。
元數(shù)據(jù)主要存儲MD5值 用來進行驗證
HDFS在啟動時，DataNode會向NameNode匯報block的信息。
DataNode通過向NameNode發(fā)送心跳保持與其聯(lián)系（3秒一次），如果NameNode 10分鐘沒有收到DataNode的心跳，則認為其已經(jīng)lost，并復制其上的block到其它DataNode。
初看名字，你可能會以為SecondaryNameNode是NameNode的備份，實際上，SecondaryNameNode的主要作用并不是這個，當然它也可以用來做備份。
要了解SecondaryNameNode的作用，就不得不說一下HDFS的啟動過程。
上面我們已經(jīng)提到了兩個文件fsimage和edits。fsimage是當前HDFS系統(tǒng)的快照。edits記錄了對HDFS的各種操作日志。
假設:有一個集群跑了10年一點問題都沒有,fsimage是十年前的一個點,為了不影響性能,只記錄了一次,而edits一直在記錄日子,吧唧,服務器宕機了,重啟恢復,
HDFS在啟動的時候，根據(jù)fsimage和edit log日志可以得到系統(tǒng)當前最新的狀態(tài)，并產(chǎn)生一個新的fsimage文件。這樣的啟動時很耗時間的。尤其是當edit log文件非常大的時候，合并會占用很多額外的時間。
以上是“HDFS基本概念有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道！
重慶分公司
重慶分公司
