閑來無事，突然看到關(guān)于Hadoop集群。以前也了解過，網(wǎng)上找過一些關(guān)于百度，谷歌等底層hadoop集群的文檔，可是面對很多陌生的技術(shù)，看不太通透。所有想自己動(dòng)手虛擬機(jī)試試。經(jīng)常聽到這么高大上的名詞，Hadoop已經(jīng)成為大數(shù)據(jù)的代名詞。短短幾年間，Hadoop從一種邊緣技術(shù)成為事實(shí)上的標(biāo)準(zhǔn)。而另一方面，MapReduce在谷歌已不再顯赫。當(dāng)企業(yè)矚目MapReduce的時(shí)候，谷歌好像早已進(jìn)入到了下一個(gè)時(shí)代。

創(chuàng)新互聯(lián)公司是專業(yè)的鹽都網(wǎng)站建設(shè)公司，鹽都接單;提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行鹽都網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

Hadoop支持三種啟動(dòng)集群模式，分別是單機(jī)模式，wei分布式模式，安全分布式模式。下面我做的測試是單機(jī)模式。

我用的是阿里云ECS主機(jī)免費(fèi)試用版，，，，，，

uname  -a

Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

1，創(chuàng)建hadoop戶和群組

回車后會(huì)提示輸入新的UNIX密碼，這是新建用戶hadoop的密碼，輸入回車即可。

    如果不輸入密碼，回車后會(huì)重新提示輸入密碼，即密碼不能為空。

    最后確認(rèn)信息是否正確，如果沒問題，輸入 Y，回車即可。

修改hadoop為root權(quán)限

vim /etc/sudoers

修改添加hadoop  ALL=(ALL:ALL) ALL

2，安裝ssh支持服務(wù)，實(shí)現(xiàn)免密登錄

查詢ssh包支持，并創(chuàng)建ssh免密登錄服務(wù)器

用到的命令：su hadoop   //切換用戶

dpkg -l | grep openssh-server    //查詢ssh支持包

service  ssh start  //啟動(dòng)ssh遠(yuǎn)程連接服務(wù)

ssh-keygen -t rsa  //生成ssh私/公鑰密碼文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  //拷貝公鑰認(rèn)證文件

ssh localhost  //本機(jī)ssh登錄測試

3，安裝JAVA環(huán)境

http://www.oracle.com/technetwork/java/javase/downloads/index.html    下載jdk 

java -version命令出現(xiàn)如下是因?yàn)闆]有正確設(shè)置環(huán)境變量

tar zxvf jdk-8u51-linux-x64.tar.gz

mv jdk1.8.0_51/ /usr/local/src/jdk1.8

修改環(huán)境變量，

vim ~/.bashrc 

4，安裝Hadoop2.7.1 

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 

tar zxvf hadoop-2.7.1.tar.gz

 mv hadoop-2.7.1 /usr/local/hadoop

chown -R hadoop.hadoop hadoop

chmod 774 /usr/local/hadoop/

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc      //修改hadoop用戶環(huán)境變量，最下面添加

#HADOOP VARIABLES START

export JAVA_HOME=/usr/local/src/jdk1.8/

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh  //修改handoop認(rèn)證環(huán)境變量，最下面添加一行

5，WordCount測試 

單機(jī)模式安裝完成，下面通過執(zhí)行hadoop自帶實(shí)例WordCount驗(yàn)證是否安裝成功

  /usr/local/hadoop路徑下創(chuàng)建input文件夾   

 mkdir input

 cp README.txt input   //拷貝README.txt到input   

 執(zhí)行WordCount

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

執(zhí)行 cat output/*，查看字符統(tǒng)計(jì)結(jié)果

到此，hadoop單機(jī)模式已經(jīng)完成。