真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop2.x與hadoop的區(qū)別

Hadoop2.x與hadoop的區(qū)別

成都創(chuàng)新互聯(lián)專注于企業(yè)全網(wǎng)營(yíng)銷推廣、網(wǎng)站重做改版、潁州網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、電子商務(wù)商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù),價(jià)格優(yōu)惠性價(jià)比高,為潁州等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

NameNode在啟動(dòng)的時(shí)候,需要將Mettadata加載到內(nèi)存中去,隨著集群擴(kuò)大,元數(shù)據(jù)的量也隨之增加,內(nèi)存壓力過(guò)大。

Hadoop2.x與hadoop的區(qū)別

Hadoop1.x的缺點(diǎn)和解決辦法:

  1. 單點(diǎn)故障------à HA  一主多備

  2. 內(nèi)存受限 -----àNN Federation 

Hadoop2.x與hadoop的區(qū)別

  1. Hadoop節(jié)點(diǎn)之間的通信都是采用心跳機(jī)制。

  2. 元數(shù)據(jù)放在一片共享區(qū)(主NN和備NN共享)稱為Journal Node 集群

  3. 所有DN節(jié)點(diǎn)都要實(shí)時(shí)向主NN或備NN通信,告知NN自己有哪么些block等信息。

  4. 至于DN具體要向NN(主)還是NN(備),它會(huì)向zookeeper請(qǐng)示,zookeer知道那個(gè)節(jié)點(diǎn)是主,并知道它的狀態(tài)。

  5. 當(dāng)主NN的狀態(tài)由FailoverControllerActive進(jìn)行心跳檢測(cè),通知zookeeper,并在它發(fā)生故障時(shí),做切換,同樣備NN也有相應(yīng)的FailoverControllerStandby   。

  6. 通過(guò)命令可手動(dòng)停止主NN啟動(dòng)備NN,甚至調(diào)換角色,用于HDFS升級(jí)等場(chǎng)合

Hadoop2.x與hadoop的區(qū)別

Hadoop2.x與hadoop的區(qū)別

Hadoop2.x與hadoop的區(qū)別

NN Fderation:將HDFS分成多個(gè)完全獨(dú)立的NN的運(yùn)行,彼此互不干擾,但是集群共享DN

 

  1. 多個(gè)NN共用一個(gè)集群里DN上的存儲(chǔ)資源,每個(gè)NN都可以單獨(dú)對(duì)外提供服務(wù)

  2. 每個(gè)NN都會(huì)定義一個(gè)存儲(chǔ)池,有單獨(dú)的id,每個(gè)DN都為所有存儲(chǔ)池提供存儲(chǔ)

  3. DN會(huì)按照存儲(chǔ)池id向其對(duì)應(yīng)的NN匯報(bào)塊信息,同時(shí),DN會(huì)向所有NN匯報(bào)本地存儲(chǔ)可用資源情況

  4. 如果需要在客戶端方便的訪問(wèn)若干個(gè)NN上的資源,可以使用客戶端掛載表,把不同的目錄映射到不同的NN,但NN上必須存在相應(yīng)的目錄

Hadoop2.x與hadoop的區(qū)別

Yarn主要功能:

  1. 負(fù)責(zé)資源管理,任務(wù)調(diào)度

  2. 支持多種第三方計(jì)算框架

 

Hadoop2.x與hadoop的區(qū)別


網(wǎng)站名稱:Hadoop2.x與hadoop的區(qū)別
標(biāo)題URL:http://weahome.cn/article/jdjgio.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部