本篇內(nèi)容主要講解“hadoop hdfs和MapReduce怎么創(chuàng)建”,感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop hdfs和MapReduce怎么創(chuàng)建”吧!
創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站與策劃設(shè)計(jì),永新網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:永新等地區(qū)。永新做網(wǎng)站價(jià)格咨詢:18980820575
大致步驟如下:
新建一個(gè)文件test.txt,內(nèi)容為
Hello Hadoop
Hello xiaoqiang
Hello testingbang
Hello http://xqtesting.sxl.cn
將test.txt上傳到hdfs的根目錄
/usr/lib/hadoop/hadoop-2.7.4/bin/hdfs dfs -put /root/install/test.txt /
然后瀏覽器訪問可以看到剛才上傳的文件,如下圖
運(yùn)行官方的一個(gè)wordcount程序來統(tǒng)計(jì)字符數(shù)量,命令如下:
/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop jar /usr/lib/hadoop/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount hdfs://localhost:9000/test.txt hdfs://localhost:9000/out
解釋下這個(gè)命令,大致意思是用hadoop執(zhí)行一個(gè)叫hadoop-mapreduce-examples-2.7.4.jar的wordcount 方法,其中輸入?yún)?shù)為hdfs上根目錄的test.txt 文件,而輸出路徑為hdfs跟目錄下的out目錄
PS:我這里沒有把hadoop配置成環(huán)境變量,所以命令很長(zhǎng),你可以配置下,這樣命令就會(huì)短很多了,至于怎么配置,自己悟~
執(zhí)行過程如下:
執(zhí)行完成之后再次刷新瀏覽器可以看到out目錄和結(jié)果了
點(diǎn)擊part-r-00000,在彈出的頁面點(diǎn)擊download
這時(shí)候下載會(huì)出現(xiàn)404,我們只需要在URL里的localhost改為你服務(wù)器的ip地址就可以下載了。下載之后用編輯器打開,內(nèi)容如下:
PS:你也可以用命令查看,如下圖
到此,相信大家對(duì)“hadoop hdfs和MapReduce怎么創(chuàng)建”有了更深的了解,不妨來實(shí)際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!