四臺(tái)機(jī)器 bei1 bei2 bei3 bei4
| NN | DN | ZK | ZKFC | JN | RM | NM（任務(wù)管理） | |
| bei1 | Y | Y | Y | ||||
| bei2 | Y | Y | Y | Y | Y | Y | Y |
| bei3 | Y | Y | Y | Y | |||
| bei4 | Y | Y | Y |
1、升級(jí)組件以及關(guān)閉防火墻
yum -y update
PS: 如果使用本地yum源可省略該項(xiàng)
新開終端在升級(jí)組件的同時(shí)操作減少等待時(shí)間
# service iptables stop
# chkconfig iptables off
2、修改/etc/hosts文件中IP與主機(jī)映射關(guān)系
# vi /etc/hosts
192.168.31.131 bei1
192.168.31.132 bei2
192.168.31.133 bei3
192.168.31.134 bei4
3、如果是虛擬機(jī)修改/etc/sysconfig/network-scripts/ifcfg-eth0刪除UUID和MAC地址
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
4、刪除/etc/udev/rules.d/70-persistent-net.rules 默認(rèn)網(wǎng)卡MAC生成規(guī)則文件
# rm -rf /etc/udev/rules.d/70-persistent-net.rules
PS:如果是其它NODE節(jié)點(diǎn)不是虛擬機(jī)克隆或者源虛擬機(jī)復(fù)制的可省略第3、4兩項(xiàng)
5、yum升級(jí)后重啟主機(jī)
6、準(zhǔn)備環(huán)境
6.1、yum -y install gcc gcc-c++ autoconf automake cmake ntp rsync ssh vim
yum -y install zlib zlib-devel openssl openssl-devel pcre-devel
PS：以上一些程序可能對(duì)于hadoop并不需要但為了以后安裝其它程序可能會(huì)用到尤其是源碼安裝
其中重要的三個(gè)程序是必須安裝的
ssh 用于節(jié)點(diǎn)間通信 我選用的是CentOS6.7的版本默認(rèn)已經(jīng)安裝了openssh
rsync 用于遠(yuǎn)程同步
ntp 用于時(shí)間同步
6.2、當(dāng)6.1中第一個(gè)yum安裝完成后新開終端進(jìn)行NTP時(shí)間同步該項(xiàng)很重要
6.2.1 配置ntp啟動(dòng)項(xiàng)
chkconfig ntpd on
6.2.2 同步時(shí)間
ntpdate ntp.sjtu.edu.cn
6.2.3 啟動(dòng)ntpd服務(wù)
/etc/init.d/ntpd start
6.2.4 驗(yàn)證ntp服務(wù)已經(jīng)運(yùn)行
pgrep ntpd
6.2.5 初始同步
ntpdate -u ntp.sjtu.edu.cn
6.2.6 確認(rèn)同步成功
ntpq -p
PS:可以一次性輸入以上命令
chkconfig ntpd on
ntpdate ntp.sjtu.edu.cn
/etc/init.d/ntpd start
pgrep ntpd
ntpdate -u ntp.sjtu.edu.cn
ntpq -p
等待6.2.1yum成功后建議重啟主機(jī)
7、安裝jdk
7.1 將jdk考到家目錄中
7.2 rpm -ivh jdk_xxxxxxxx.rpm
7.3 jdk安裝目錄默認(rèn)為/usr/java/jdk1.7.0_79
7.4 配置jdk環(huán)境變量
# vim ~/.bash_profile
增加以下四行
export JAVA_HOME=/opt/sxt/soft/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/sxt/soft/hadoop-2.5.1
export PATH=$PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
編輯完成后使用source命令使文件~/.bash_profile生效執(zhí)行以下命令
source ~/.bash_profile
檢查環(huán)境變量
printenv
8、安裝tomcat (這步可省略，不過以后肯定有用)
將tomcat拷貝到/opt/sxt下解壓
# tar -zxvf apache-tomcat-xxxxx.tar.gz
9、將Hadoop 上傳到/opt/sxt
# tar -zxvf hadoop-2.5.1_x64.tar.gz
9.1 創(chuàng)建hadoop.tmp.dir目錄及創(chuàng)建
# mkdir -p /opt/hadooptmp
9.2 etc/hadoop/core-site.xml:
9.3 etc/hadoop/hdfs-site.xml:
9.4 克隆
9.5 修改主機(jī)名 IP 網(wǎng)關(guān) mac
修改主機(jī)名
vim /etc/sysconfig/network
修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改DNS
vi /etc/resolv.conf 中的search ，nameserver
10、檢查ssh本地免密碼登錄
10.1 第一次檢查
ssh localhost
PS:遠(yuǎn)程成功后記得exit退出
10.2 創(chuàng)建本地秘鑰并將公共秘鑰寫入認(rèn)證文件
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
10.3 再次檢查
ssh localhost
PS：同樣exit退出
10.4 在NameNode上將~/.ssh/authorized_keys文件復(fù)制到各節(jié)點(diǎn)上
scp ~/.ssh/authorized_keys root@hadoopsnn:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@hadoopdn1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@hadoopdn2:~/.ssh/authorized_keys
10.5 編寫/opt/sxt/soft/hadoop-2.5.1/etc/hadoop/hadoop-env.sh文件默認(rèn) hadoop取不到用戶環(huán)境變量里的JAVA_HOME所以要手動(dòng)指定
vim /opt/sxt/soft/hadoop-2.5.1/etc/hadoop/hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
修改為export JAVA_HOME=/opt/sxt/soft/jdk1.7.0_80
增加以下一行
export HADOOP_PREFIX=/opt/sxt/soft/hadoop-2.5.1
11、 配置安裝zookeeper
11.1 三臺(tái)zookeeper：bei1，bei2，bei3
11.2 編輯zoo.cfg配置文件
修改dataDir=/opt/sxt/zookeeperdatadir
tickTime=2000
dataDir=/opt/sxt/zookeeperdatadir
clientPort=2181
initLimit=5
syncLimit=2
server.1=bei1:2888:3888
server.2=bei2:2888:3888
server.3=bei3:2888:3888
11.3 在dataDir目錄中創(chuàng)建一個(gè)myid的文件，文件內(nèi)容為1，2，3
12、配置hadoop中的slaves 其中放置的是NN
*******這一步開始要認(rèn)真按步驟做，若修改配置文件了，服務(wù)需要重啟*******
13、啟動(dòng)三個(gè)zookeeper：/opt/sxt/zookeeper-3.4.6/bin/zkServer.sh start
14、啟動(dòng)三個(gè)JournalNode：./hadoop-daemon.sh start journalnode
15、在其中一個(gè)namenode上格式化：bin/hdfs namenode -format
16、把剛剛格式化之后的元數(shù)據(jù)拷貝到另外一個(gè)namenode上
16.1啟動(dòng)剛剛格式化的namenode :hadoop-daemone.sh start namenode
16.2在沒有格式化的namenode上執(zhí)行：hdfs namenode -bootstrapStandby
16.3啟動(dòng)第二個(gè)namenode
17、在其中一個(gè)namenode上初始化zkfc：hdfs zkfc -formatZK
18、停止上面節(jié)點(diǎn)：stop-dfs.sh
19、全面啟動(dòng)：start-dfs.sh
20、登錄頁面jps檢查 登錄頁面檢查
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
