1、修改所有主機的 機器名
[root@hadoop1 ~]# vi /etc/networks

成都網絡公司-成都網站建設公司成都創(chuàng)新互聯10多年經驗成就非凡，專業(yè)從事成都網站設計、做網站，成都網頁設計，成都網頁制作，軟文平臺，1元廣告等。10多年來已成功提供全面的成都網站建設方案，打造行業(yè)特色的成都網站建設案例，建站熱線：13518219792，我們期待您的來電！

hostname=hadoop1

2、做主機和IP映射

 [root@hadoop1 ~]# vi /etc/hosts

192.168.5.136 hadoop1
192.168.5.137 hadoop3
192.168.5.138 hadoop2

其中 一臺修改后可以 拷貝
scp -r /etc/hosts root@hadoop1\2:/etc

3、SSH免登陸

[root@hadoop1 ~]# ssh-keygen -t rsa -P '' 在每臺機器上執(zhí)行一次；
將其他機器上的 /root/.ssh/下的所有文件刪掉
[root@hadoop1 tmp]# scp -r /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keys 將hadoop1 公鑰拷貝至所有服務器
[root@hadoop1 ~]# mv /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 最后修改本地 公鑰文件即可。

最后驗證 [root@hadoop1 ~]# ssh hadoop2

    [root@hadoop1 ~]# ssh hadoop3

---

4、關閉防火墻-所有服務器全部執(zhí)行
[root@hadoop1 ~]# systemctl stop firewalld.service
[root@hadoop1 ~]# systemctl disable firewalld.service

5、時間同步

---

二、Hadoop 環(huán)境搭建
1、 JAVA配置
[root@hadoop1 software]# tar -zxvf jdk-8u171-linux-x64.tar.gz 解壓
[root@hadoop1 software]# mv jdk1.8.0_171/ /usr/java 移至指定目錄

#配置環(huán)境變量 [root@hadoop1 sbin]# vi /etc/profile
export JAVA_HOME=/tmp/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

最后將 java 拷貝至其他機器以及修改 環(huán)境變量
scp -r /usr/java/ root@hadoop2:/usr/
scp -r /usr/java/ root@hadoop3:/usr/
修改環(huán)境變量
[root@hadoop3 usr]# vi /etc/profile
[root@hadoop3 usr]# source /etc/profile 生效

---

2、hadoop 配置編譯安裝
在其中一臺服務器上面配置然后同步至其他機器即可

[root@hadoop1 software]# tar -zxvf hadoop-2.7.7.tar.gz 解壓 Hadoop
[root@hadoop1 software]# cd hadoop-2.7.7 登陸 hadoop 目錄

配置環(huán)境變量
[root@hadoop1 hadoop-2.7.7]# vi /etc/profile
export JAVA_HOME=/usr/java
export HADOOP_HOME=/opt/software/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

 [root@hadoop1 hadoop-2.7.7]# source /etc/profile  生效

3、修改配置文件
[root@hadoop1 hadoop]# cd /opt/hadoop/etc/hadoop/ 切換此文件目錄 設置配置文件
其中 主要修改 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
修改 core-site 配置文件
vi core-site.xml




fs.defaultFS
hdfs://hadoop1:8020


hadoop.tmp.dir
/opt/software/hadoop-2.7.7/data/tmp

---

修改 hdfs-site.xml 配置文件

dfs.namenode.secondary.http-address
hadoop3:50090

---

修改 mapred-site.xml 配置文件
[root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop1 hadoop]# vi mapred-site.xml 編輯配置文件




mapreduce.framework.name
yarn


mapreduce.jobhistory.address
hadoop1:10020


mapreduce.jobhistory.webapp.address
hadoop1:19888

---

修改 yarn-site.xml 配置文件




yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.hostname
hadoop2


yarn.log-aggregation-enable
true


yarn.log-aggregation.retain-seconds
106800

---

修改 slaves 文件
[root@hadoop1 hadoop]# vi slaves
hadoop1
hadoop2
hadoop3

在一臺機器上(最好是hadoop1)做完這些配置之后，我們使用scp命令將這些配置傳輸到其他機器上
輸入:

hadoop環(huán)境傳輸
[root@hadoop1 hadoop]# scp -r /opt/hadoop/ root@hadoop2:/opt/
[root@hadoop1 hadoop]# scp -r /opt/hadoop/ root@hadoop3:/opt/

配置其他節(jié)點 環(huán)境變量

[root@hadoop2 software]# vi /etc/profile
export JAVA_HOME=/usr/java
export HADOOP_HOME=/opt/software/hadoop-2.7.7

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

[root@hadoop2 software]# source /etc/profile 刷新生效

-----傳輸之后，便在主節(jié)點啟動集群。 在啟動hadoop之前，需要初始化，這個只需要在hadoop1上初始化就可以了

4、啟動hadoop
--在NameNode機器上執(zhí)行格式化：
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/bin/hdfs namenode -format 格式化命令
注意：
如果要重新格式化 需要將 hadoop1 namenode datanode 文件目錄下的 /opt/software/hadoop-2.7.7/data/tmp/dfs/name/current/ 目錄下的集群ID清理掉，不然重新
做格式化會生成一個新的 ID這樣 就與 datanode集群ID不一致；

5、啟動 HDFS
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/sbin/start-dfs.sh

6、啟動YARN
[root@hadoop1 hadoop]# /opt/software/hadoop-2.7.7/sbin/start-yarn.sh

7、在hadoop2 上啟動 ResourceManager
[root@hadoop2 software]# /opt/software/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager

8、在hadoop3 上啟動 日志服務器

[root@hadoop3 ~]# /opt/software/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh start historyserver

9、查看 YARN WEB 頁面
http://192.168.5.138:8088/cluster

10、打開 HDFS WEB 頁面

http://192.168.5.136:50070/

部署完畢，即可學習 hadoop

另外有需要云服務器可以了解下創(chuàng)新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網站欄目：Hadoop集群部署-創(chuàng)新互聯
分享地址：http://weahome.cn/article/idich.html