真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

hadoop搭建過程中的一些坑-創(chuàng)新互聯(lián)

俺是按照下面這篇文章進(jìn)行搭建的:

創(chuàng)新互聯(lián)主營(yíng)蕪湖網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app開發(fā)定制,蕪湖h5微信平臺(tái)小程序開發(fā)搭建,蕪湖網(wǎng)站營(yíng)銷推廣歡迎蕪湖等地區(qū)企業(yè)咨詢

http://cio.51cto.com/art/201705/539356.htm

說實(shí)話,上面這篇文章很好。幾乎不用改。一步一步按照搭建,沒有問題。

俺遇到的坑是:

  1. master連接不上slave.這可咋辦。配置文件都沒問題啊。

    hadoop 搭建過程中的一些坑

    解決方法: namenode經(jīng)過多次格式化,產(chǎn)生了多個(gè)clusterID導(dǎo)致。(往后不敢隨便格式化玩了)

    只要確保master的clusterID和slaveID一致,就能連上了。

    俺的路徑是:master: hadoop273/hdfs/name/current/VERSION

          slave : hadoop273/hdfs/data/data/VERSION

    就是把VERSION里面的clusterID一樣。其他都不用改。(layoutVersion也不用改。

    這篇文章末尾也有用:http://blog.csdn.net/zzu09huixu/article/details/24725769

    還有這篇:http://blog.csdn.net/longzilong216/article/details/20648387

  2. ===============================

    主機(jī)名的問題:/etc/hosts  和  /etc/sysconfig/network  里面,主機(jī)名要一致。

    俺這2個(gè)文件都改了,還是不認(rèn)主機(jī)名。ping主機(jī)名都ping不通。俺不敢重啟。于是

    hostname “主機(jī)名”,用一個(gè)命令臨時(shí)生效。就通了。

  3. ==================================

    java,俺是自己安裝的。從網(wǎng)上找的文章:

    http://www.cnblogs.com/shihaiming/p/5809553.html

  安裝完之后,就OK了。

    切記,java版本,和裝hadoop那篇文章中的版本,要相應(yīng)的對(duì)起來。我的意思是,名字要改,  比如我裝的是jdk1.8.0_131.hadoop那篇文章裝的是jdk1.8.0_101. 改一下文件夾名字,就行了。

4.===========================

文中的配置,別隨便亂改。

hadoop 剛開始,我用root安裝的。后來,為了讓hadoop這個(gè)用戶用。我就改了屬組和屬主。并hadoop273(文件夾)和java(文件夾)權(quán)限,全都777.

    chown -R hadoop:hadoop  hadoop273

    chmod -R 777 hadoop273

這下,hadoop可以用了。

后來,為了其他用戶的權(quán)限分配問題。我又改了文件夾權(quán)限(改之前,先備份):

chmod -R 755 hadoop273

chmod -R 755 java

5.測(cè)試命令:

俺用的是(從別人那里抄來的):

運(yùn)行示例程序:

先在hdfs上創(chuàng)建一個(gè)文件夾

./bin/hdfs dfs –mkdir /input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input

就是上面這2條命令,就ok拉。randomwriter 這是個(gè)文件呢還是文件夾,我也不知道。我的系統(tǒng)上反正沒有,但是敲這2條命令,就能測(cè)試出來,是真的。

6.ssh免密登錄:

在啟動(dòng)的時(shí)候:

sbin/start-dfs.sh

sbin/start-yarn.sh

或者:sbin/start-all.sh

就這幾條命令,每次都得輸入密碼。還輸入4次??蔁┤肆恕>退銖?fù)制粘貼也還是煩人。

用下面這個(gè)連接,解決了我的問題:

http://blog.csdn.net/firehadoop/article/details/68953541

把master的公鑰拷貝到slave即可。master到slave上面,不用輸密碼。

反過來。slave到master上面,還得輸入密碼。

剛開始,我還以為,master上啟動(dòng)一遍集群,slave上面還得啟動(dòng)一遍。原來,只要在master上面啟動(dòng)了,slave上就自動(dòng)啟動(dòng)了呀。哎哎,才明白。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


分享文章:hadoop搭建過程中的一些坑-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于:http://weahome.cn/article/hdisj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部