這篇文章主要介紹“Hadoop 2.x的HA和Federation怎么理解”，在日常操作中，相信很多人在Hadoop 2.x的HA和Federation怎么理解問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”Hadoop 2.x的HA和Federation怎么理解”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)主營漳平網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā),漳平h5微信小程序開發(fā)搭建,漳平網(wǎng)站營銷推廣歡迎漳平等地區(qū)企業(yè)咨詢

HDFS2.0之HA

主備NameNode：
1、主NameNode對(duì)外提供服務(wù)，備NameNode同步主NameNode元數(shù)據(jù)，以待切換；
2、主NameNode的信息發(fā)生變化后，會(huì)將信息寫到共享數(shù)據(jù)存儲(chǔ)系統(tǒng)中讓備NameNode合并到自己的內(nèi)存中；
3、所有DataNode同時(shí)向兩個(gè)NameNode發(fā)送心跳信息（塊信息）；

兩種切換方式：
1、手動(dòng)切換：通過命令實(shí)現(xiàn)主備之間的切換，可以用于HDFS升級(jí)等場合；
2、自動(dòng)切換：基于Zookeeper實(shí)現(xiàn)；
　　Zookeeper Failover Controller：向Zookeeper注冊(cè)NameNode并監(jiān)控NameNode健康狀態(tài)，當(dāng)NM掛掉后，ZKFC為NameNode競爭鎖，獲得鎖的NameNode變成active；

多種共享數(shù)據(jù)存儲(chǔ)系統(tǒng)可供選擇
1、NFS
2、多個(gè)Journal Node構(gòu)成集群（推薦）
　　基本原理，數(shù)據(jù)同時(shí)寫入所有的JN，多數(shù)寫入成功，則認(rèn)為寫成功；
　　一般配置奇數(shù)個(gè)JN，JN越多，容錯(cuò)性越好；比如有3個(gè)JN，只要兩個(gè)寫成功，則數(shù)據(jù)寫成功，最多允許一個(gè)JN掛掉；
3、Bookeeper

相對(duì)于hadoop1.x中多了備NameNode，JournalNode(存儲(chǔ)共享數(shù)據(jù))，ZKFC&ZK(主備NN切換)

HDFS2.0之Federation

多個(gè)NN同時(shí)對(duì)外提供服務(wù)，每個(gè)NN分管一部分目錄，多個(gè)NN共享底層DN存儲(chǔ)；
此時(shí)每個(gè)NN都還是存在單點(diǎn)故障問題的，故還需要給Federation節(jié)點(diǎn)配置一個(gè)備用NN；
所有整個(gè)HADOOP2集群中可能存在的NN有：多個(gè)NN以及每個(gè)NN對(duì)應(yīng)的備NN

帶來的好處：單個(gè)NN內(nèi)存和并發(fā)壓力減小，NN彼此隔離，互不影響；

常見應(yīng)用方法：
為不同業(yè)務(wù)創(chuàng)建不同NN，防止相互影響；（一個(gè)NN給開發(fā)用，一個(gè)NN測試用）
為不同需求創(chuàng)建不同NN，比如測試用的NN，生產(chǎn)用的NN；

HDFS2.0之其他實(shí)現(xiàn)機(jī)制（與1.0版本基本一致）

1、文件放置策略
文件被切成若干個(gè)block，存放在不同節(jié)點(diǎn)上；
切分過程對(duì)用戶透明；

2、文件容錯(cuò)策略
基于副本的容錯(cuò)機(jī)制；
流水線復(fù)制；

3、副本放置策略
一個(gè)節(jié)點(diǎn)（1個(gè)rack）+ 兩個(gè)節(jié)點(diǎn)（另1個(gè)rack）

到此，關(guān)于“Hadoop 2.x的HA和Federation怎么理解”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！