這篇文章主要介紹HDFS架構(gòu)如何設(shè)計,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯(lián)建站專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、新興網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、電子商務(wù)商城網(wǎng)站建設(shè)、集團公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù),價格優(yōu)惠性價比高,為新興等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
HDFS架構(gòu)設(shè)計:
1.NN(NameNode):主要是維護管理文件命名空間,其中包括了文件名稱,文件的權(quán)限,創(chuàng)建時間,副本數(shù),文件被分成多少塊,快分布在哪些機器(產(chǎn)生文件fsimage和editlog)。
2.理解NN管理下NN和塊以及實際存儲內(nèi)容的存儲關(guān)系。
實例:假設(shè)NN為一個容量為128000ML的正方形盒子,每個塊為同樣大小正正方方的容量為128ML的盒子,但是每個盒子里只有3ml的水(每個塊中存儲文件的實際大?。?。
則問實際存儲的內(nèi)容是多少ml?3*(128000/128)=3000ml這里是由DN管理存儲的。
放進去的盒子是多少個?1000個(其實就是存儲的塊的數(shù)量)
總的來說盡管實際存儲只有3000ml,但是卻消耗了1000個瓶子的名字的字節(jié)總和的NN的空間,但是如果把1000個瓶子壓縮成500或者更少(小文件合并),則可以消耗更少量的NN管理空間。
3.DN(DataNode):存儲數(shù)據(jù)塊,存儲數(shù)據(jù)塊校驗和。
4.SN(SecondaryNode):做每小時的檢查工作checkpoint。(檢查NN的工作即產(chǎn)生文件fsimage和editlog并進行打包制作成新的fsimage文件保存下來)
圖理解:
以上是“HDFS架構(gòu)如何設(shè)計”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!