這篇文章主要為大家展示了“Hadoop集群怎樣安裝”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學習一下“Hadoop集群怎樣安裝”這篇文章吧。
一、安裝環(huán)境
因為安裝Hadoop集群需要的主機數(shù)量必須為奇數(shù)，這里我用虛擬機搭了三臺主機。為了防止IP變動，IP應該設為靜態(tài)IP。
IP | 主機名 | 操作系統(tǒng) | 作用 |
192.168.121.201 | Master.Hadoop | CentOS6.6_x64 | NameNode ResourceManager SecondaryNameNode |
192.168.121.202 | Slave1.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
192.168.121.203 | Slave2.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
二、所需軟件
1 JDK
可以去下載JDK，也可以用CentOS系統(tǒng)自帶的OpenJDK。
若用系統(tǒng)自帶的OpenJDK，只需在/etc/profile中設置并激活:
# vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使變量立馬生效并檢驗
# source /etc/profile
# echo $JAVA_HOME
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
2 Hadoop
下載地址：http://hadoop.apache.org/releases.html
這里我下載的是2.8.0的binary版本。
三、配置主機間的無密碼登錄
在每臺主機的/etc/hosts中添加
192.168.121.201 Master.Hadoop
192.168.121.202 Slave1.Hadoop
192.168.121.203 Slave2.Hadoop
接下來，可參考http://blog.chinaunix.net/uid-29485627-id-4232161.html
四、Hadoop集群安裝
1 解壓縮hadoop并移動到/usr/Hadoop
[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/
[root@Master 桌面]# cd /usr/
[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz
[root@Master usr]# mv hadoop-2.8.0 hadoop
2 創(chuàng)建hadoop存放臨時文件的文件夾
# cd /usr/hadoop
# mkdir tmp
3 修改配置文件
(1)配置hadoop-env.sh中的JAVA_HOME
[root@Master usr]# cd etc/hadoop/
[root@Master hadoop]# vi hadoop-env.sh
將export JAVA_HOME=${JAVA_HOME}
改為export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
(2)配置core-site.xml
(3)配置hdfs-site.xml
(4)配置yarn-site.xml
(5)配置mapred-site.xml
(6)配置slaves文件
[root@Master hadoop]# vi slaves
Slave1.Hadoop
Slave2.Hadoop
4 復制hadoop配置好的包到其他主機上
# scp -r /usr/hadoop Slave1.Hadoop:/usr/
# scp -r /usr/hadoop Slave2.Hadoop:/usr/
5 在三臺機器上配置Hadoop環(huán)境變量
# vi /etc/profile
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使變量立馬生效并檢驗：
# source /etc/profile
# echo $HADOOP_HOME
# echo $PATH
五、格式化節(jié)點
在Master.Hadoop主機上執(zhí)行
# cd /usr/hadoop/bin
# ./hdfs namenode -format
六、Hadoop集群全部啟動
1 在Master.Hadoop主機上執(zhí)行
# cd /usr/hadoop/sbin
# ./start-dfs.sh
# ./start-yarn.sh
2 在Master.Hadoop主機上執(zhí)行jps
[root@Master sbin]# jps
6348 NameNode
6694 ResourceManager
6960 Jps
6546 SecondaryNameNode
3 在Slave1.Hadoop主機上執(zhí)行jps
[root@Slave1 hadoop]# jps
6016 DataNode
6251 Jps
6126 NodeManager
4 在Slave2.Hadoop主機上執(zhí)行jps
[root@Slave2 hadoop]# jps
5815 DataNode
6051 Jps
5923 NodeManager
5 在三臺CentOS主機上隨便打開firefox瀏覽器，輸入http://192.168.121.201:8088
以上是“Hadoop集群怎樣安裝”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道！
重慶分公司
重慶分公司
