本篇內(nèi)容主要講解“Hadoop開(kāi)發(fā)過(guò)程中的坑有哪些”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop開(kāi)發(fā)過(guò)程中的坑有哪些”吧!

創(chuàng)新新互聯(lián)，憑借十年的網(wǎng)站建設(shè)、網(wǎng)站制作經(jīng)驗(yàn)，本著真心·誠(chéng)心服務(wù)的企業(yè)理念服務(wù)于成都中小企業(yè)設(shè)計(jì)網(wǎng)站有千余家案例。做網(wǎng)站建設(shè)，選成都創(chuàng)新互聯(lián)。

1、防火墻原因：檢查各個(gè)節(jié)點(diǎn)的防火墻是否關(guān)閉成功。(重點(diǎn)是檢查NameNode)

2、檢查IP地址與主機(jī)名的映射關(guān)系是否綁定成功

3、檢查NameNode是否處于安全模式

4、檢查NameNode是否已經(jīng)進(jìn)行了格式化處理

5、檢查配置文件的配置是否成功

6、檢查NameNode節(jié)點(diǎn)和DataNode節(jié)點(diǎn)中存放的namespaceID的版本號(hào)是否相同

好的，當(dāng)我們查看完上述6點(diǎn)之后如果還沒(méi)有解決問(wèn)題，那我們?cè)偃ゲ榭聪嚓P(guān)的日志文件即可。

OK，到現(xiàn)在為止我在給大家介紹一下在開(kāi)發(fā)過(guò)程中經(jīng)常遇到的幾個(gè)異常問(wèn)題：

1、啟動(dòng)hadoop時(shí)沒(méi)有NameNode的可能原因

這個(gè)問(wèn)題對(duì)于Hadoop的初學(xué)者是經(jīng)常遇到的，之所以出現(xiàn)這個(gè)問(wèn)題，可能有3點(diǎn)原因：

1)、NameNode沒(méi)有進(jìn)行格式化處理(6個(gè)檢查以包括)

先刪除hadoop.tmp.dir所對(duì)應(yīng)的目錄(即logs和tmp)，然后對(duì)NameNode進(jìn)行格式化處理

2)、檢查IP地址與主機(jī)名的映射關(guān)系是否綁定成功(6個(gè)檢查以包括)

3)、檢查配置文件的配置是否成功(6個(gè)檢查以包括)，重點(diǎn)是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和slaves。

2、Name node is in safe mode.

例如：

原因：NameNode在剛開(kāi)始啟動(dòng)的時(shí)候會(huì)進(jìn)入到安全模式，倒計(jì)時(shí)30s后退出，在安全模式下會(huì)不能進(jìn)行增、刪、改操作，只能進(jìn)行查看操作。但是如果數(shù)據(jù)節(jié)點(diǎn)DataNode丟失的block塊達(dá)到一定比例的話(huà)則系統(tǒng)一直處于安全模式，即只讀狀態(tài)。

解決方法：

1)、在HDFS的配置文件hdfs-site.xml中，修改dfs.safemode.threshold.pct所對(duì)應(yīng)的數(shù)值，將其數(shù)值改成一個(gè)較小的數(shù)值，默認(rèn)的數(shù)值是0.999f。

2)、執(zhí)行命令 hadoop dfsadmin -safemode leave 強(qiáng)制NameNode離開(kāi)安全模式。(6個(gè)檢查以包括)

3)、could only be replicatied to 0 nodes, instead of 1.

例如：

這個(gè)異?？赡艹霈F(xiàn)的現(xiàn)象：執(zhí)行命令jps顯示的進(jìn)程都很正常，但是用web界面查看的話(huà)，顯示的live  nodes為0，這說(shuō)明數(shù)據(jù)節(jié)點(diǎn)DataNode沒(méi)有正常啟動(dòng)，但是數(shù)據(jù)節(jié)點(diǎn)DataNode又正常啟動(dòng)了。

這個(gè)問(wèn)題可能出現(xiàn)的原因：

1)、防火墻原因，檢查所有節(jié)點(diǎn)的防火墻是否關(guān)閉成功。(6個(gè)檢查以包括)

2)、磁盤(pán)空間原因：執(zhí)行命令df -al 查看磁盤(pán)空間的使用情況，如果是磁盤(pán)空間不足的話(huà)，則調(diào)整磁盤(pán)空間。

如果是磁盤(pán)空間不足的話(huà)，具體進(jìn)行下面的步驟在進(jìn)行查看：

3、如果上述方法都不行的話(huà)，可用以下方法進(jìn)行處理(但是該方法會(huì)造成數(shù)據(jù)的丟失，所以慎用!)

先刪除hadoop.tmp.dir所對(duì)應(yīng)的目錄，然后對(duì)NameNode重新進(jìn)行格式化處理。(6個(gè)檢查以包括)

4、啟動(dòng)時(shí)報(bào)錯(cuò) java.net.UnknownHostException

原因：集群中的主機(jī)名沒(méi)有映射到相應(yīng)的IP地址(6個(gè)檢查以包括)

解決方法：在/etc/hosts文件中添加所有節(jié)點(diǎn)的主機(jī)名與IP地址的映射關(guān)系。

5、TaskTracker進(jìn)程啟動(dòng)了，但是DataNode進(jìn)程沒(méi)有啟動(dòng)

解決方法：先刪除hadoop.tmp.dir所對(duì)應(yīng)的文件夾，然后對(duì)NameNode重新進(jìn)行格式化處理。

6、java.lang.OutOfMemoryError

原因分析：出現(xiàn)這個(gè)異常，明顯是JVM內(nèi)存不足的原因，要修改所有數(shù)據(jù)節(jié)點(diǎn)DataNode所對(duì)應(yīng)的JVM內(nèi)存大小。

方法：在MapReduce的配置文件mapred-site.xml中，修改mapred.child.java.opts所對(duì)應(yīng)的數(shù)值。

注意：一般JVM的***內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半，例如我們的服務(wù)器的內(nèi)存大小為4G，則設(shè)置為2048m，但是這個(gè)值可能依舊不是***的數(shù)值。其中

-Xms 表示內(nèi)存初始化的大小，-Xmx表示能夠使用的***內(nèi)存。

在linux 下查看服務(wù)器內(nèi)存的硬件信息：

7、Incompatible namespaceIDs in

原因分析：每次對(duì)NameNode格式化之后都會(huì)產(chǎn)生一個(gè)新的namespaceID，如果多次對(duì)NameNode格式化的話(huà)可能導(dǎo)致NameNode節(jié)點(diǎn)和DataNode節(jié)點(diǎn)中存放的版本號(hào)不一致。

解決方法：

1)、在NameNode節(jié)點(diǎn)和DataNode節(jié)點(diǎn)中檢查namespaceID的版本號(hào)是否相同，如果不相同的話(huà)，修改為相同的值后然后重新啟動(dòng)該節(jié)點(diǎn)。(6個(gè)檢查以包括)

2)、先刪除hadoop.tmp.dir所對(duì)應(yīng)的目錄，然后對(duì)NameNode重新進(jìn)行格式化處理。(6個(gè)檢查以包括)

到此，相信大家對(duì)“Hadoop開(kāi)發(fā)過(guò)程中的坑有哪些”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！