云計(jì)算
這篇文章主要為大家展示了“HDFS中元數(shù)據(jù)的示例分析”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“HDFS中元數(shù)據(jù)的示例分析”這篇文章吧。
我們都知道Hadoop的底層是HDFS-Hadoop Distributed File System.也就是Hadoop分布式文件系統(tǒng)。
所有的運(yùn)算都是基于HDFS文件的，它的核心關(guān)鍵詞有：主從NameNode VS DataNode.
-----------其中NameNode上存儲(chǔ)的就是元數(shù)據(jù)---描述數(shù)據(jù)文件的meta信息。
存在形式有：內(nèi)存信息+硬盤文件信息。
這段時(shí)間，就讓我們一起來了解HDFS的元數(shù)據(jù)以及HDFS文件系統(tǒng)的要義吧。
-------------------------------------------------------------------------------------------------
試想，如果讓我們自己設(shè)計(jì)一個(gè)文件系統(tǒng)，我們需要元數(shù)據(jù)存儲(chǔ)哪些信息？
其實(shí)這取決于信息得到哪些功能？
個(gè)人認(rèn)為功能包括：
1）namenode和所有datanode的IP,端口，文件夾，容量等信息。這相當(dāng)于一個(gè)總體的文件系統(tǒng)框架描述。
2）每個(gè)datanode的文件的層次描述，文件目錄關(guān)系。這個(gè)比1就更細(xì)致了。
3）對(duì)于某個(gè)文件，知道拆分了幾塊，每塊的大小，備份情況，分別分布在哪些datanode上的哪些路徑上。
從1我們可以得到分布式文件系統(tǒng)框架的骨架，從2我們可以得到分布式文件系統(tǒng)的血肉，從3我們可以得到具體的訪問一個(gè)文件的方式。
有了以上3個(gè)，實(shí)際上就是namenode的元數(shù)據(jù)信息的組成部分，一切從應(yīng)用的需求出發(fā)才可以得到設(shè)計(jì)圖。
-------------------------------------------------------------------------------------------------
啟動(dòng)時(shí)，元數(shù)據(jù)從硬盤里被FSImage讀取到內(nèi)存中。
在持久化時(shí)，元數(shù)據(jù)被FSImage持久化到硬盤中。
同時(shí)硬盤中也會(huì)存放操作日志edits.我目前的理解是：把操作日志的行為累加起來---》最終的元數(shù)據(jù)。
這個(gè)也就像是redis里干的一樣了。很多數(shù)據(jù)庫也是這么操作的，這個(gè)沒啥好說的，很簡(jiǎn)答！
-------------------------------------------------------------------------------------------------
HDFS也引入了INode,這實(shí)際上跟linux中的文件系統(tǒng)中的INode是一樣的，其次就是由于是分布式文件系統(tǒng)
所以每個(gè)文件的分片在hdfs中就成了Block。塊。
這里必須要強(qiáng)調(diào)：塊是按照物理大小分的，而不是分局邏輯大小，這樣會(huì)引入什么問題？
就是一個(gè)邏輯記錄可能會(huì)分到2個(gè)塊中，而這2個(gè)塊可能還是跨機(jī)器的。
這些hadoop都會(huì)解決。以后再討論。
以上是“HDFS中元數(shù)據(jù)的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
重慶分公司
重慶分公司
