這篇文章主要為大家展示了“Hadoop集群怎樣安裝”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop集群怎樣安裝”這篇文章吧。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、重慶小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了平陸免費(fèi)建站歡迎大家使用！

一、安裝環(huán)境

因?yàn)榘惭bHadoop集群需要的主機(jī)數(shù)量必須為奇數(shù)，這里我用虛擬機(jī)搭了三臺(tái)主機(jī)。為了防止IP變動(dòng)，IP應(yīng)該設(shè)為靜態(tài)IP。

二、所需軟件

1 JDK

可以去下載JDK，也可以用CentOS系統(tǒng)自帶的OpenJDK。

若用系統(tǒng)自帶的OpenJDK，只需在/etc/profile中設(shè)置并激活:

# vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

    使變量立馬生效并檢驗(yàn)

# source /etc/profile

# echo $JAVA_HOME

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

2 Hadoop

下載地址：http://hadoop.apache.org/releases.html

這里我下載的是2.8.0的binary版本。

三、配置主機(jī)間的無密碼登錄

在每臺(tái)主機(jī)的/etc/hosts中添加

192.168.121.201 Master.Hadoop

192.168.121.202 Slave1.Hadoop

192.168.121.203 Slave2.Hadoop

接下來，可參考http://blog.chinaunix.net/uid-29485627-id-4232161.html

四、Hadoop集群安裝

1 解壓縮hadoop并移動(dòng)到/usr/Hadoop

[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/

[root@Master 桌面]# cd /usr/

[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz

[root@Master usr]# mv hadoop-2.8.0 hadoop

2 創(chuàng)建hadoop存放臨時(shí)文件的文件夾

# cd /usr/hadoop

# mkdir tmp

3 修改配置文件

(1)配置hadoop-env.sh中的JAVA_HOME

[root@Master usr]# cd etc/hadoop/

[root@Master hadoop]# vi hadoop-env.sh

將export JAVA_HOME=${JAVA_HOME}

改為export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64

(2)配置core-site.xml

                fs.defaultFS

                hdfs://Master.Hadoop:9000

         io.file.buffer.size

         131072

                hadoop.tmp.dir

                /usr/hadoop/tmp

(3)配置hdfs-site.xml

      dfs.namenode.secondary.http-address

      Master.Hadoop:50090

      dfs.replication

      2

      dfs.namenode.name.dir

      file:/usr/hadoop/hdfs/name

      dfs.datanode.data.dir

      file:/usr/hadoop/hdfs/data

(4)配置yarn-site.xml

          yarn.nodemanager.aux-services

          mapreduce_shuffle

           yarn.resourcemanager.address

           Master.Hadoop:8032

          yarn.resourcemanager.scheduler.address

          Master.Hadoop:8030

         yarn.resourcemanager.resource-tracker.address

         Master.Hadoop:8031

         yarn.resourcemanager.admin.address

         Master.Hadoop:8033

         yarn.resourcemanager.webapp.address

         Master.Hadoop:8088

(5)配置mapred-site.xml

    mapreduce.framework.name

    yarn

          mapreduce.jobhistory.address

          Master.Hadoop:10020

          mapreduce.jobhistory.address

          Master.Hadoop:19888

(6)配置slaves文件

[root@Master hadoop]# vi slaves

Slave1.Hadoop

Slave2.Hadoop

4 復(fù)制hadoop配置好的包到其他主機(jī)上

# scp -r /usr/hadoop Slave1.Hadoop:/usr/

# scp -r /usr/hadoop Slave2.Hadoop:/usr/

5 在三臺(tái)機(jī)器上配置Hadoop環(huán)境變量

# vi /etc/profile

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

使變量立馬生效并檢驗(yàn)：

# source /etc/profile

# echo $HADOOP_HOME

# echo $PATH

五、格式化節(jié)點(diǎn)

在Master.Hadoop主機(jī)上執(zhí)行

# cd /usr/hadoop/bin

# ./hdfs namenode -format

六、Hadoop集群全部啟動(dòng)

1 在Master.Hadoop主機(jī)上執(zhí)行

# cd /usr/hadoop/sbin

# ./start-dfs.sh

# ./start-yarn.sh

2 在Master.Hadoop主機(jī)上執(zhí)行jps

[root@Master sbin]# jps

6348 NameNode

6694 ResourceManager

6960 Jps

6546 SecondaryNameNode

3 在Slave1.Hadoop主機(jī)上執(zhí)行jps

[root@Slave1 hadoop]# jps

6016 DataNode

6251 Jps

6126 NodeManager

4 在Slave2.Hadoop主機(jī)上執(zhí)行jps

[root@Slave2 hadoop]# jps

5815 DataNode

6051 Jps

5923 NodeManager

5 在三臺(tái)CentOS主機(jī)上隨便打開firefox瀏覽器，輸入http://192.168.121.201:8088

以上是“Hadoop集群怎樣安裝”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！