概述

---

為安溪等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及安溪網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站設(shè)計、成都做網(wǎng)站、安溪網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

簡單hdfs高可用架構(gòu)圖

在hadoop2.x中通常由兩個NameNode組成，一個處于active狀態(tài)，另一個處于standby狀態(tài)。Active NameNode對外提供服務(wù)，而Standby NameNode則不對外提供服務(wù)，僅同步active namenode的狀態(tài)，以便能夠在它失敗時快速進(jìn)行切換。
   hadoop2.x官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這里樓主使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元數(shù)據(jù)信息，一條數(shù)據(jù)只要成功寫入多數(shù)JournalNode即認(rèn)為寫入成功。通常配置奇數(shù)個JournalNode（我配了3個）。
   這里還配置了一個zookeeper集群，用于ZKFC（DFSZKFailoverController）故障轉(zhuǎn)移，當(dāng)Active NameNode掛掉了，會自動切換Standby NameNode為standby狀態(tài)。hadoop2.4以前的版本中依然存在一個問題，就是ResourceManager只有一個，存在單點(diǎn)故障，2.4以后解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態(tài)由zookeeper進(jìn)行協(xié)調(diào)。yarn的HA配置樓主會給出配置文件，受環(huán)境影響，這里就不搭建yarn的高可用性了。

主要步驟

---

1. 備6臺Linux機(jī)器

2. 安裝JDK、配置主機(jī)名、修改IP地址、關(guān)閉防火墻

3. 配置SSH免登陸

4. 安裝zookeeper集群

5. zookeeper、hadoop環(huán)境變量配置

6. 核心配置文件修改

7. 啟動zookeeper集群

8. 啟動journalnode

9. 格式化文件系統(tǒng)、格式化zk

10. 啟動hdfs、啟動yarn

前期準(zhǔn)備

---

集群規(guī)劃

主機(jī)名	IP	安裝軟件	進(jìn)程
hadoop01	192.168.8.101	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)
hadoop02	192.168.8.102	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)
hadoop03	192.168.8.103	jdk、hadoop	ResourceManager
hadoop04	192.168.8.104	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop05	192.168.8.105	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop06	192.168.8.106	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain

Linux環(huán)境　　

1.由于樓主機(jī)器硬件環(huán)境的限制，這里只準(zhǔn)備了6臺centos7的系統(tǒng)。

　　2.修改IP。如果跟樓主一樣使用VM搭集群，請使用only-host模式。

vim /etc/sysconfig/network-scripts/ifcfg-ens3

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="7f13c30b-0943-49e9-b25d-8aa8cab95e20"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.8.101"NETMASK="255.255.255.0"
GATEWAY="192.168.8.1"

　　3.修改主機(jī)名和IP的映射關(guān)系

1  vim /etc/host2 3 192.168.8.101 hadoop014 192.168.8.102 hadoop025 192.168.8.103 hadoop036 192.168.8.104 hadoop047 192.168.8.105 hadoop058 192.168.8.106 hadoop06

4.關(guān)閉防火墻

1 systemctl stop firewalld.service //停止firewall2 systemctl disable firewalld.service //禁止firewall開機(jī)啟動

5.修改主機(jī)名

1 hostnamectl set-hostname hadoop012 hostnamectl set-hostname hadoop023 hostnamectl set-hostname hadoop034 hostnamectl set-hostname hadoop045 hostnamectl set-hostname hadoop056 hostnamectl set-hostname hadoop06

6.ssh免登陸

生成公鑰、私鑰

ssh-keygen -t rsa //一直回車

將公鑰發(fā)送到其他機(jī)器

ssh-coyp-id hadoop01
ssh-coyp-id hadoop02
ssh-coyp-id hadoop03
ssh-coyp-id hadoop04
ssh-coyp-id hadoop05
ssh-coyp-id hadoop06

　　7.安裝JDK，配置環(huán)境變量

hadoop01,hadoop02,hadoop03

1 export JAVA_HOME=/usr/jdk1.7.0_602 export HADOOP_HOME=/home/hadoop/hadoop-2.7.33 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop04,hadoop05,hadoop06(包含zookeeper)

1 export JAVA_HOME=/usr/jdk1.7.0_602 export HADOOP_HOME=/home/hadoop/hadoop-2.7.33 export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.104 export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

zookeeper集群安裝

---

1.上傳zk安裝包
　　上傳到/home/hadoop
　　2.解壓　　

tar -zxvf zookeeper-3.4.10.tar.gz

　　3.配置（先在一臺節(jié)點(diǎn)上配置）
   在conf目錄，更改zoo_sample.cfg文件為zoo.cfg

 mv zoo_sample.cfg zoo.cfg

   修改配置文件（zoo.cfg）

1 dataDir=/home/hadoop/zookeeper-3.4.10/data       
2 server.1=hadoop04:2888:38883 server.2=hadoop05:2888:38884 server.3=hadoop06:2888:3888

   在（dataDir=/home/hadoop/zookeeper-3.4.10/data）創(chuàng)建一個myid文件，里面內(nèi)容是server.N中的N（server.2里面內(nèi)容為2）

1  echo "5" > myid

   4.將配置好的zk拷貝到其他節(jié)點(diǎn)

1 scp -r /home/hadoop/zookeeper-3.4.5/ hadoop05:/home/hadoop2 scp -r /home/hadoop/zookeeper-3.4.5/ hadoop06:/home/hadoop

   注意：在其他節(jié)點(diǎn)上一定要修改myid的內(nèi)容
      在hadoop05應(yīng)該將myid的內(nèi)容改為2 （echo "6" > myid）
      在hadoop06應(yīng)該將myid的內(nèi)容改為3 （echo "7" > myid）

5.啟動集群
   分別啟動hadoop04,hadoop05,hadoop06上的zookeeper

1 zkServer.sh start

hadoop2.7.3集群安裝

---

1.解壓

1  tar -zxvf hadoop-2.7.3.tar.gz

    2.配置core-site.xml

 1  2      3      4         fs.defaultFS 5         hdfs://ns1 6      7      8      9         hadoop.tmp.dir10         /home/hadoop/hadoop-2.7.3/tmp11     12     13     14         ha.zookeeper.quorum15         hadoop04:2181,hadoop05:2181,hadoop06:218116     17 

 　　3.配置hdf-site.xml

 1  2  3      4         dfs.nameservices 5         ns1 6      7      8      9         dfs.ha.namenodes.ns110         nn1,nn211     12     13     14         dfs.namenode.rpc-address.ns1.nn115         hadoop01:900016     17     18     19         dfs.namenode.http-address.ns1.nn120         hadoop01:5007021     22     23     24         dfs.namenode.rpc-address.ns1.nn225         hadoop02:900026     27     28     29         dfs.namenode.http-address.ns1.nn230         hadoop02:5007031     32     33     34         dfs.namenode.shared.edits.dir35         qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns136     37     38     39         dfs.journalnode.edits.dir40         file:/home/hadoop/hadoop-2.7.3/journal41     42     43     44         dfs.ha.automatic-failover.enabled45         true46     47     48     49         dfs.client.failover.proxy.provider.ns150         org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider51     52     53     54         dfs.ha.fencing.methods55         56             sshfence57             shell(/bin/true)58         59     60     61     62         dfs.ha.fencing.ssh.private-key-files63         /home/hadoop/.ssh/id_rsa64     65     66     67         dfs.ha.fencing.ssh.connect-timeout68         3000069     70 

4.配置mapred-site.xml

1 2 3     4         mapreduce.framework.name5         yarn6     7 

5.配置yarn-site.xml

 1  2  3  4      5      6        yarn.resourcemanager.hostname.rm1 7        hadoop03 8              9     10        yarn.nodemanager.aux-services11        mapreduce_shuffle12     13 

6.配置slaves

1 hadoop042 hadoop053 hadoop06

7.將配置好的hadoop拷貝到其他節(jié)點(diǎn)

scp -r /home/hadoop/hadoop-2.7.3 hadoop02:/home/hadoop
scp -r /home/hadoop/hadoop-2.7.3 hadoop03:/home/hadoop
scp -r /home/hadoop/hadoop-2.7.3 hadoop04:/home/hadoop
scp -r /home/hadoop/hadoop-2.7.3 hadoop05:/home/hadoop
scp -r /home/hadoop/hadoop-2.7.3 hadoop06:/home/hadoop

啟動

---

1.啟動zookeeper集群（分別在hadoop04，hadoop05，hadoop06上啟動zookeeper）

1 zkServer.sh start

2.查看zookeeper狀態(tài)

1 zkServer.sh status

包含一個leader，二個follower

3.啟動journalnode（分別在hadoop04，hadoop05，hadoop06上執(zhí)行）

hadoop-daemon.sh start journalnode

      運(yùn)行jps命令檢驗(yàn)，hadoop04，hadoop05，hadoop06上多了JournalNode進(jìn)程

4.格式化HDFS

    在hadoop01上執(zhí)行命令:

1 hdfs namenode -format

檢查是否成功看終端知否打?。?/p>

     格式化后會在根據(jù)core-site.xml中的hadoop.tmp.dir配置生成個文件，這里樓主配置的是/home/hadoop/hadoop-2.7.3/tmp，然后將/home/hadoop/hadoop-2.7.3/tmp拷貝到ihadoop02的/home/hadoop/hadoop-2.7.3/下。

1 scp -r tmp/ hadoop02:/hadoop/hadoop-2.7.3/

5.格式化ZK(在hadoop01上執(zhí)行即可)

1  hdfs zkfc -formatZK

效果如下（前面有點(diǎn)多截不下來，只截取了后面一部分）：

6.啟動HDFS(在hadoop01上執(zhí)行)

1 start-dfs.sh

    7.啟動YARN（在hadoop03上執(zhí)行）

1 start-yarn.sh

驗(yàn)證

---

到此，hadoop-2.7.3集群全部配置完畢，下面我們來驗(yàn)證：
　　

瀏覽器訪問http://192.168.8.101:50070   NameNode 'hadoop01:9000' (active)
      　　　　 http://192.168.8.102:50070  NameNode 'hadoop02:9000' (standby)

 

瀏覽器訪問resourceManager：http://192.168.8.103:8088

我們可以模擬NameNode(active)宕機(jī)，來驗(yàn)證HDFS的HA是否有效，NameNode(active)宕機(jī)后，NameNode(standby)會轉(zhuǎn)為active狀態(tài)，這里樓主不在演示。

結(jié)語

---

官網(wǎng)給出的文檔還是比較詳細(xì)的，樓主也是提取了官網(wǎng)的QJM解決方案來進(jìn)行搭建。另外，yarn的HA搭建官網(wǎng)也給出了具體配置，有興趣的同學(xué)可以試一試。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前題目：hadoop高可靠性HA集群-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://weahome.cn/article/pgpgs.html