俺是按照下面這篇文章進(jìn)行搭建的:
創(chuàng)新互聯(lián)主營(yíng)蕪湖網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app開發(fā)定制,蕪湖h5微信平臺(tái)小程序開發(fā)搭建,蕪湖網(wǎng)站營(yíng)銷推廣歡迎蕪湖等地區(qū)企業(yè)咨詢http://cio.51cto.com/art/201705/539356.htm
說實(shí)話,上面這篇文章很好。幾乎不用改。一步一步按照搭建,沒有問題。
俺遇到的坑是:
master連接不上slave.這可咋辦。配置文件都沒問題啊。
解決方法: namenode經(jīng)過多次格式化,產(chǎn)生了多個(gè)clusterID導(dǎo)致。(往后不敢隨便格式化玩了)
只要確保master的clusterID和slaveID一致,就能連上了。
俺的路徑是:master: hadoop273/hdfs/name/current/VERSION
slave : hadoop273/hdfs/data/data/VERSION
就是把VERSION里面的clusterID一樣。其他都不用改。(layoutVersion也不用改。
這篇文章末尾也有用:http://blog.csdn.net/zzu09huixu/article/details/24725769
還有這篇:http://blog.csdn.net/longzilong216/article/details/20648387
===============================
主機(jī)名的問題:/etc/hosts 和 /etc/sysconfig/network 里面,主機(jī)名要一致。
俺這2個(gè)文件都改了,還是不認(rèn)主機(jī)名。ping主機(jī)名都ping不通。俺不敢重啟。于是
hostname “主機(jī)名”,用一個(gè)命令臨時(shí)生效。就通了。
==================================
java,俺是自己安裝的。從網(wǎng)上找的文章:
http://www.cnblogs.com/shihaiming/p/5809553.html
安裝完之后,就OK了。
切記,java版本,和裝hadoop那篇文章中的版本,要相應(yīng)的對(duì)起來。我的意思是,名字要改, 比如我裝的是jdk1.8.0_131.hadoop那篇文章裝的是jdk1.8.0_101. 改一下文件夾名字,就行了。
4.===========================
文中的配置,別隨便亂改。
hadoop 剛開始,我用root安裝的。后來,為了讓hadoop這個(gè)用戶用。我就改了屬組和屬主。并hadoop273(文件夾)和java(文件夾)權(quán)限,全都777.
chown -R hadoop:hadoop hadoop273
chmod -R 777 hadoop273
這下,hadoop可以用了。
后來,為了其他用戶的權(quán)限分配問題。我又改了文件夾權(quán)限(改之前,先備份):
chmod -R 755 hadoop273
chmod -R 755 java
5.測(cè)試命令:
俺用的是(從別人那里抄來的):
運(yùn)行示例程序:
先在hdfs上創(chuàng)建一個(gè)文件夾
./bin/hdfs dfs –mkdir /input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input
就是上面這2條命令,就ok拉。randomwriter 這是個(gè)文件呢還是文件夾,我也不知道。我的系統(tǒng)上反正沒有,但是敲這2條命令,就能測(cè)試出來,是真的。
6.ssh免密登錄:
在啟動(dòng)的時(shí)候:
sbin/start-dfs.sh
sbin/start-yarn.sh
或者:sbin/start-all.sh
就這幾條命令,每次都得輸入密碼。還輸入4次??蔁┤肆恕>退銖?fù)制粘貼也還是煩人。
用下面這個(gè)連接,解決了我的問題:
http://blog.csdn.net/firehadoop/article/details/68953541
把master的公鑰拷貝到slave即可。master到slave上面,不用輸密碼。
反過來。slave到master上面,還得輸入密碼。
剛開始,我還以為,master上啟動(dòng)一遍集群,slave上面還得啟動(dòng)一遍。原來,只要在master上面啟動(dòng)了,slave上就自動(dòng)啟動(dòng)了呀。哎哎,才明白。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。