這篇文章將為大家詳細(xì)講解有關(guān)Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
成都創(chuàng)新互聯(lián)公司從2013年成立，先為常山等服務(wù)建站，常山等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為常山企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
我們都知道namenode是用來存儲元數(shù)據(jù)的，他并不是用來存儲真正的數(shù)據(jù)。
那么他的元數(shù)據(jù)怎么進(jìn)行持久化呢！
FsImage
文件系統(tǒng)的鏡像文件叫fsImage，它包括了文件和塊信息的映射，還有文件系統(tǒng)的屬性信息。
datanode啟動(dòng)的過程中 首先會向namenode注冊塊信息，這些塊信息就是存儲在namenode的FsImage中的。
EditLog
對于文件系統(tǒng)的每一次更改，例如，增加文件，刪除文件等操作都會被寫入Edit Log 這個(gè)問題件中。
同樣的，修改文件系統(tǒng)的副本因子配置，也會被寫入Edit Log文件。
EditLog 文件和fsImage文件都存儲在文件系統(tǒng)的本地路徑中。
namenode在內(nèi)存中存儲了，整個(gè)文件系統(tǒng)的鏡像和文件塊映射信息。
元數(shù)據(jù)是可以被合并的，因此namenode有4GB的內(nèi)存，就足以存儲巨量的文件和目錄。
namenode啟動(dòng)過程中發(fā)生了什么呢？
1、從硬盤讀取FsImage 和EditLog文件。
2、將EditLog文件中的所有操作信息寫入FsImage中。產(chǎn)生一個(gè)新的FsImage文件- - - -這一操作被稱為checkpoint
3、產(chǎn)生一個(gè)新的空的EditLog文件
namenode啟動(dòng)的時(shí)候checkponit
關(guān)于Hadoop Namenode元數(shù)據(jù)持久化機(jī)制與SecondaryNamenode的作用是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。
重慶分公司
重慶分公司
