hadoop MapReduce初試遇到的問題

沅陵ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！

./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename

在hadoop集群上執(zhí)行 MapReduce任務(wù)時，需要用到許多依賴jar，一般情況下都是在執(zhí)行時，在執(zhí)行命令上進(jìn)行配置指定，這樣會造成執(zhí)行命令太長，并且容易出錯，有時還想帶幾個參數(shù)信息，這樣更容易出錯；

比較好的處理方法是，在生成運(yùn)行jar時，將需要的依賴jar打包到運(yùn)行jar中，這樣在執(zhí)行時所有依賴的jar都有了，就不用指定了。

./hdfs dfs -rmr /user/hbase/

hdfs上已有的文件不能進(jìn)行覆蓋，生成文件時必須是沒有的新文件，可以在產(chǎn)生文件前執(zhí)行以上命令清除已有的文件：

16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

hadoop集群上，如果沒有啟動 yarn（MapReduce），當(dāng)運(yùn)行MapReduce任務(wù)時，會提示上面的信息；

當(dāng)執(zhí)行hadoop的shell命令時，如果提示類似上面的信息，可以查看是否啟動了hadoop進(jìn)程。

java.lang.IllegalArgumentException: Does not contain a valid host:port authority:

java.net.UnknownHostException

hadoop集群的hostname配置，主機(jī)名不要包含下劃線“_”，但可以有橫線“-”。

在hadoop集群中每個機(jī)器都要配置集群所有機(jī)器的hostname域名，以便相互訪問。

這里分享一個血的教訓(xùn)，在給hostname起名字的時候一定要注意，雖然linux支持一些特殊字符，但java里面并不支持，所以hostname的命名一定要使用數(shù)字和字母（以點(diǎn)號分隔）。如果起的hostname包含了特殊字符下劃線，導(dǎo)致hadoop運(yùn)行時候的reduce階段出錯。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：hadoopMapReduce初試遇到的問題-創(chuàng)新互聯(lián)
標(biāo)題鏈接：http://weahome.cn/article/dopsps.html