閑來無事，突然看到關(guān)于Hadoop集群。以前也了解過，網(wǎng)上找過一些關(guān)于百度，谷歌等底層hadoop集群的文檔，可是面對很多陌生的技術(shù)，看不太通透。所有想自己動手虛擬機試試。經(jīng)常聽到這么高大上的名詞，Hadoop已經(jīng)成為大數(shù)據(jù)的代名詞。短短幾年間，Hadoop從一種邊緣技術(shù)成為事實上的標準。而另一方面，MapReduce在谷歌已不再顯赫。當企業(yè)矚目MapReduce的時候，谷歌好像早已進入到了下一個時代。
目前創(chuàng)新互聯(lián)建站已為1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管運營、企業(yè)網(wǎng)站設(shè)計、西夏網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。Hadoop支持三種啟動集群模式，分別是單機模式，wei分布式模式，安全分布式模式。下面我做的測試是單機模式。
我用的是阿里云ECS主機免費試用版，，，，，，
uname -a
Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
1，創(chuàng)建hadoop戶和群組
回車后會提示輸入新的UNIX密碼，這是新建用戶hadoop的密碼，輸入回車即可。
如果不輸入密碼，回車后會重新提示輸入密碼，即密碼不能為空。
最后確認信息是否正確，如果沒問題，輸入 Y，回車即可。
修改hadoop為root權(quán)限
vim /etc/sudoers
修改添加hadoop ALL=(ALL:ALL) ALL
2，安裝ssh支持服務(wù)，實現(xiàn)免密登錄
查詢ssh包支持，并創(chuàng)建ssh免密登錄服務(wù)器
用到的命令：su hadoop //切換用戶
dpkg -l | grep openssh-server //查詢ssh支持包
service ssh start //啟動ssh遠程連接服務(wù)
ssh-keygen -t rsa //生成ssh私/公鑰密碼文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //拷貝公鑰認證文件
ssh localhost //本機ssh登錄測試
3，安裝JAVA環(huán)境
http://www.oracle.com/technetwork/java/javase/downloads/index.html 下載jdk
java -version命令出現(xiàn)如下是因為沒有正確設(shè)置環(huán)境變量
tar zxvf jdk-8u51-linux-x64.tar.gz
mv jdk1.8.0_51/ /usr/local/src/jdk1.8
修改環(huán)境變量，
vim ~/.bashrc
4，安裝Hadoop2.7.1
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar zxvf hadoop-2.7.1.tar.gz
mv hadoop-2.7.1 /usr/local/hadoop
chown -R hadoop.hadoop hadoop
chmod 774 /usr/local/hadoop/
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc //修改hadoop用戶環(huán)境變量，最下面添加
#HADOOP VARIABLES START
export JAVA_HOME=/usr/local/src/jdk1.8/
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh //修改handoop認證環(huán)境變量，最下面添加一行
5，WordCount測試
單機模式安裝完成，下面通過執(zhí)行hadoop自帶實例WordCount驗證是否安裝成功
/usr/local/hadoop路徑下創(chuàng)建input文件夾
mkdir input
cp README.txt input //拷貝README.txt到input
執(zhí)行WordCount
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
執(zhí)行 cat output/*，查看字符統(tǒng)計結(jié)果
到此，hadoop單機模式已經(jīng)完成。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
