真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

從ftp上傳文件到hadoop的一個(gè)坑

執(zhí)行如下命令,發(fā)現(xiàn)報(bào)錯(cuò)

專注于為中小企業(yè)提供成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)寬城免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了1000多家企業(yè)的穩(wěn)健成長(zhǎng),幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

[hdfs@cdhm1 ~]$ hadoop distcp ftp://ftp01:ftppasswd@132.110.64.186/test hdfs:///user/data
Error: java.net.SocketException: 網(wǎng)絡(luò)不可達(dá)
	at java.net.PlainSocketImpl.socketConnect(Native Method)
	at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
	at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
	at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
	at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
	at java.net.Socket.connect(Socket.java:589)
	at org.apache.commons.net.SocketClient.connect(SocketClient.java:171)
	at org.apache.commons.net.SocketClient.connect(SocketClient.java:192)
	at org.apache.hadoop.fs.ftp.FTPFileSystem.connect(FTPFileSystem.java:133)
	at org.apache.hadoop.fs.ftp.FTPFileSystem.getFileStatus(FTPFileSystem.java:405)
	at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:218)
	at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:50)
	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

這是為什么呢?命令應(yīng)該的正確的。

查網(wǎng)絡(luò),正常,ftp也能正常傳輸。

防火墻,selinux都已經(jīng)關(guān)閉,但就是執(zhí)行報(bào)錯(cuò)。

百思不得其解。

查了好多資料,才發(fā)現(xiàn):

原來,hadoop官方不提供ftp接口!

只有個(gè)人開發(fā)的工具,感覺安裝挺麻煩,也許還會(huì)有bug,參考資料鏈接:

http://www.linuxidc.com/Linux/2013-01/78302.htm

我就沒安裝了,現(xiàn)在是先把文件從ftp下載到本地,在通過

[hdfs@cdhm1 ~]$ hadoop fs -put test /user/data

上傳到hadoop中,雖然麻煩點(diǎn),但勝在穩(wěn)定,后期也可通過腳本來簡(jiǎn)化步驟。


網(wǎng)頁標(biāo)題:從ftp上傳文件到hadoop的一個(gè)坑
網(wǎng)頁URL:http://weahome.cn/article/joiohj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部