vmware虛擬機環(huán)境：
讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、瓜州網(wǎng)站維護、網(wǎng)站推廣。
192.168.60.128 master 192.168.60.129 node129 192.168.60.130 node130
1、修改每臺虛擬機的/etc/sysconfig/network和/etc/hosts
#修改hostname：vim /etc/sysconfig/network
#修改hosts內(nèi)容如下：vim /etc/hosts
192.168.60.128 master 192.168.60.129 node129 192.168.60.130 node130
2、配置三臺機器互信(以128機器為例)：
2.1 ssh-keygen -t rsa 2.2 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.129 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.130 2.3 剩下的每臺機器上都要重復(fù)上面的操作
分別在每臺主機上安裝jdk，并配置環(huán)境變量。（嫌麻煩的前面可以安裝完jdk后再克?。?/p>
1）下載jdk安裝包（自行百度），并將安裝包拖入到虛擬機當(dāng)中
2）通過cd命令進入到安裝包的當(dāng)前目錄，利用如下命令進行解壓縮。
tar -zxvf jdk.....(安裝包名稱)
3）利用如下命令將解壓后的文件夾移到/usr目錄下
#注意，這樣移動到/usr以后就沒有jdk1.8...這個目錄了，是將這個目錄下的所有文件全部移動到/usr/java下，mv jdk1.8...(文件夾名稱) /usr/java
4）配置環(huán)境變量
sudo vim /etc/profile
在末尾加上四行：
#java
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
輸入如下命令使配置生效：source /etc/profile
1）解包移動
#解壓hadoop包 tar -zxvf hadoop... #將安裝包移到/home/hadoop目錄下 mv hadoop... /home/hadoop/hadoop
2）新建文件夾
#在/home/hadoop目錄下新建如下目錄 mkdir dfs mkdir dfs/name mkdir dfs/data mkdir tmp
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
4)配置文件：yarn-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java）
5)配置文件：slaves
將內(nèi)容修改為：
node129 node130
6)配置文件：core-site.xml
7)配置文件：hdfs-site.xml
8)配置文件：mapred-site.xml
先創(chuàng)建然后編輯
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
9)配置文件：yarn-site.xml
10)將hadoop傳輸?shù)絥ode129和node130 /home/hadoop目錄
scp -r /home/hadoop/hadoop hadoop@node129:/home/hadoop scp -r /home/hadoop/hadoop hadoop@node130:/home/hadoop
5、配置環(huán)境變量，并啟動hadoop，檢查是否安裝成功
1）配置環(huán)境變量
#編輯/etc/profile sudo vim /etc/profile #以上已經(jīng)添加過java的環(huán)境變量,在后邊添加就可以 export HADOOP_HOME=/home/hadoop/hadoop export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HADOOP_HOME/bin
執(zhí)行
source /etc/profile
使文件生效。
2）啟動hadoop,進入hadoop安裝目錄
bin/hdfs namenode -format sbin/start-all.sh
3)啟動后分別在master, node下輸入jps查看進程
看到下面的結(jié)果，則表示成功。
Master:
node:
6.向hadoop集群系統(tǒng)提交第一個mapreduce任務(wù)(wordcount)
1、 hdfs dfs -mkdir -p /data/input在虛擬分布式文件系統(tǒng)上創(chuàng)建一個測試目錄/data/input
2、 hdfs dfs -put README.txt /data/input 將當(dāng)前目錄下的README.txt 文件復(fù)制到虛擬分布式文件系統(tǒng)中
3、 hdfs dfs-ls /data/input 查看文件系統(tǒng)中是否存在我們所復(fù)制的文件
4、 運行如下命令向hadoop提交單詞統(tǒng)計任務(wù)
進入jar文件目錄，執(zhí)行下面的指令。
hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result
查看result，結(jié)果在result下面的part-r-00000中
hdfs dfs -cat /data/output/result/part-r-00000
自此，hadoop集群搭建成功！
重慶分公司
重慶分公司
