vmware虛擬機(jī)環(huán)境：
192.168.60.128 master 192.168.60.129 node129 192.168.60.130 node130
1、修改每臺(tái)虛擬機(jī)的/etc/sysconfig/network和/etc/hosts
#修改hostname：vim /etc/sysconfig/network
#修改hosts內(nèi)容如下：vim /etc/hosts
192.168.60.128 master 192.168.60.129 node129 192.168.60.130 node130
2、配置三臺(tái)機(jī)器互信(以128機(jī)器為例)：
2.1 ssh-keygen -t rsa 2.2 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.129 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.130 2.3 剩下的每臺(tái)機(jī)器上都要重復(fù)上面的操作
分別在每臺(tái)主機(jī)上安裝jdk，并配置環(huán)境變量。（嫌麻煩的前面可以安裝完jdk后再克?。?/p>
1）下載jdk安裝包（自行百度），并將安裝包拖入到虛擬機(jī)當(dāng)中
2）通過(guò)cd命令進(jìn)入到安裝包的當(dāng)前目錄，利用如下命令進(jìn)行解壓縮。
tar -zxvf jdk.....(安裝包名稱(chēng))
3）利用如下命令將解壓后的文件夾移到/usr目錄下
#注意，這樣移動(dòng)到/usr以后就沒(méi)有jdk1.8...這個(gè)目錄了，是將這個(gè)目錄下的所有文件全部移動(dòng)到/usr/java下，mv jdk1.8...(文件夾名稱(chēng)) /usr/java
4）配置環(huán)境變量
sudo vim /etc/profile
在末尾加上四行：
#java
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
輸入如下命令使配置生效：source /etc/profile
1）解包移動(dòng)
#解壓hadoop包 tar -zxvf hadoop... #將安裝包移到/home/hadoop目錄下 mv hadoop... /home/hadoop/hadoop
2）新建文件夾
#在/home/hadoop目錄下新建如下目錄 mkdir dfs mkdir dfs/name mkdir dfs/data mkdir tmp
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
4)配置文件：yarn-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
5)配置文件：slaves
將內(nèi)容修改為：
node129 node130
6)配置文件：core-site.xml
7)配置文件：hdfs-site.xml
8)配置文件：mapred-site.xml
先創(chuàng)建然后編輯
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
9)配置文件：yarn-site.xml
10)將hadoop傳輸?shù)絥ode129和node130 /home/hadoop目錄
scp -r /home/hadoop/hadoop hadoop@node129:/home/hadoop scp -r /home/hadoop/hadoop hadoop@node130:/home/hadoop
5、配置環(huán)境變量，并啟動(dòng)hadoop，檢查是否安裝成功
1）配置環(huán)境變量
#編輯/etc/profile sudo vim /etc/profile #以上已經(jīng)添加過(guò)java的環(huán)境變量,在后邊添加就可以 export HADOOP_HOME=/home/hadoop/hadoop export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HADOOP_HOME/bin
執(zhí)行
source /etc/profile
使文件生效。
2）啟動(dòng)hadoop,進(jìn)入hadoop安裝目錄
bin/hdfs namenode -format sbin/start-all.sh
3)啟動(dòng)后分別在master, node下輸入jps查看進(jìn)程
看到下面的結(jié)果，則表示成功。
Master:
node:
6.向hadoop集群系統(tǒng)提交第一個(gè)mapreduce任務(wù)(wordcount)
1、 hdfs dfs -mkdir -p /data/input在虛擬分布式文件系統(tǒng)上創(chuàng)建一個(gè)測(cè)試目錄/data/input
2、 hdfs dfs -put README.txt /data/input 將當(dāng)前目錄下的README.txt 文件復(fù)制到虛擬分布式文件系統(tǒng)中
3、 hdfs dfs-ls /data/input 查看文件系統(tǒng)中是否存在我們所復(fù)制的文件
4、 運(yùn)行如下命令向hadoop提交單詞統(tǒng)計(jì)任務(wù)
進(jìn)入jar文件目錄，執(zhí)行下面的指令。
hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result
查看result，結(jié)果在result下面的part-r-00000中
hdfs dfs -cat /data/output/result/part-r-00000
自此，hadoop集群搭建成功！
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
