這篇文章給大家分享的是有關(guān)Hadoop重啟后如何解決HDFS權(quán)限問題的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),蒙山企業(yè)網(wǎng)站建設(shè),蒙山品牌網(wǎng)站建設(shè),網(wǎng)站定制,蒙山網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,蒙山網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學(xué)習、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。
重啟了下Hadoop集群,使用Eclipse調(diào)試hdfs api的時候報錯:
[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org.conan.kafka.SingleTopicConsumer.run(SingleTopicConsumer.java:144) at java.lang.Thread.run(Thread.java:745) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)
查找HdfsUtil.java 第50行
os.write(buff, 0, buff.length);
發(fā)現(xiàn)是寫的時候報錯,然后折騰了一會兒,也沒找到原因,后來想會不會是權(quán)限問題(電腦不是管理員身份,hadoop集群是以root身份運行),但是之前已經(jīng)把hdfs文件夾的權(quán)限改為了777。不管了,在試試,hdfs dfs -chmod -R 777 /input,然后再次調(diào)試,OK了。
那么問題來了,Hadoop集群難道在每次重啟后(沒有進行namenode format)都要修改文件(夾)的權(quán)限?
依據(jù)實踐來看,應(yīng)該是的。
感謝各位的閱讀!關(guān)于“Hadoop重啟后如何解決HDFS權(quán)限問題”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!