進入到執(zhí)行：/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml

站在用戶的角度思考問題，與客戶深入溝通，找到巴州網(wǎng)站設計與巴州網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設計與互聯(lián)網(wǎng)技術結合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站設計、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、申請域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務覆蓋巴州地區(qū)。

[配置部分]

[hdfs-site.xml]

1.配置名稱服務:dfs.nameservices

名稱服務的邏輯名。

  dfs.nameservices

  mycluster

2.配置nameservice中每個namenode

dfs.ha.namenodes.[nameservice ID]

  dfs.ha.namenodes.mycluster

  nn1,nn2

注意：目前的hadoop2.7.2最多只能配置2個namenode。

3.配置每個namede的rpc地址

  dfs.namenode.rpc-address.mycluster.nn1

  s1:8020

  dfs.namenode.rpc-address.mycluster.nn2

  s8:8020

4.配置每個namenode的webui地址

  dfs.namenode.http-address.mycluster.nn1

  machine1.example.com:50070

  dfs.namenode.http-address.mycluster.nn2

  machine2.example.com:50070

5.配置namenode的共享edit log目錄

  dfs.namenode.shared.edits.dir

  qjournal://s1:8485;s7:8485;s8:8485/mycluster

6.配置客戶端容災代理供應商類

供客戶端用來檢測那個是namenode是活頁節(jié)點。

  dfs.client.failover.proxy.provider.mycluster

  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

7.(可選的)配置HA防護方法名集合.

QJM防止腦裂發(fā)生，不存在兩個active node。

可以配置sshfence或者shell腳本。

8.配置hdfs的文件系統(tǒng)

[core-site.xml]

  fs.defaultFS

  hdfs://mycluster

9.配置JN的本地存放數(shù)據(jù)(edit log)的目錄

  dfs.journalnode.edits.dir

  /home/ubuntu/hadoop/journal

2、把core-site.xml文件的客戶機名改成如下再頒發(fā)給每個虛擬機：

  fs.defaultFS

  hdfs://mycluster

3、然后回到hdfs-site.xml里面把

  fs.defaultFS

  hdfs://mycluster

刪掉。同樣頒發(fā)給每個虛擬機

4、接下來啟動jn進程即：hadoop-daemon.sh starat journalnode

(我是在s1、s7和s8上分別啟動journalnode進程。我一共八臺虛擬機)

5、將s1的hadoop目錄下的 dfs拷貝到s8中。即執(zhí)行：scp -r dfs ubuntu@s8:/home/ubuntu/hadoop

6、在開啟一個namenode節(jié)點的情況下，登錄：ssh s8的虛擬機上執(zhí)行hdfs namenode -bootstrapStandby

7、再停止namenode節(jié)點，然后 在s1虛擬機上執(zhí)行：hdfs namenode -initializeSharedEdits

8、分別在s1和s8上啟動namenode即：執(zhí)行hadoop-daemno.sh start namenode

9、最后啟動所有的數(shù)據(jù)節(jié)點：hadoop-daemons.sh start datanode (hadoop-daemons.sh是啟動所有的節(jié)點)

管理ha過程

1、手動完成狀態(tài)切換：

hdfs haadmin -transitionToActive nn1

hdfs haadmin -transitionToStandbby nn1

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網(wǎng)站名稱：HADOOP的HA搭建-創(chuàng)新互聯(lián)
文章分享：http://weahome.cn/article/dpjcjo.html