本篇介紹在centos7中搭建hadoop2.10高可用集群,首先準(zhǔn)備6臺機(jī)器:2臺nn(namenode);4臺dn(datanode);3臺jns(journalnodes)
IP | hostname | 進(jìn)程 |
192.168.30.141 | s141 | nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) |
192.168.30.142 | s142 | dn(datanode), jn(journalnode),zk(QuorumPeerMain) |
192.168.30.143 | s143 | dn(datanode), jn(journalnode),zk(QuorumPeerMain) |
192.168.30.144 | s144 | dn(datanode), jn(journalnode) |
192.168.30.145 | s145 | dn(datanode) |
192.168.30.146 | s146 | nn2(namenode),zkfc(DFSZKFailoverController) |
各個機(jī)器 jps進(jìn)程:
由于本人使用的是vmware虛擬機(jī),所以在配置好一臺機(jī)器后,使用克隆,克隆出剩余機(jī)器,并修改hostname和IP,這樣每臺機(jī)器配置就都統(tǒng)一了每臺機(jī)器配置添加hdfs用戶及用戶組,配置jdk環(huán)境,安裝hadoop,本次搭建高可用集群在hdfs用戶下,可以參照:centos7搭建hadoop2.10偽分布模式
下面是安裝高可用集群的一些步驟和細(xì)節(jié):
1.設(shè)置每臺機(jī)器的hostname 和 hosts
修改hosts文件,hosts設(shè)置有后可以使用hostname訪問機(jī)器,這樣比較方便,修改如下:
127.0.0.1 locahost 192.168.30.141 s141 192.168.30.142 s142 192.168.30.143 s143 192.168.30.144 s144 192.168.30.145 s145 192.168.30.146 s146