本篇內(nèi)容主要講解“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”吧!
主要從事網(wǎng)頁設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、重慶小程序開發(fā)等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們在互聯(lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營銷、管理等多方位專業(yè)化運(yùn)作于一體,具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。
前提:
1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar
2.以下是我的hadoop核心配置文件的配置:
core-site.xml
fs.defaultFS hdfs://master:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/yinkaipeng/tmp Abase for other temporary directories. hadoop.proxyuser.hduser.hosts * hadoop.proxyuser.hduser.groups *
hdfs-site.xml
dfs.namenode.secondary.http-address master:9001 dfs.namenode.name.dir file:/usr/local/data/dfs/name dfs.datanode.data.dir file:/usr/local/data/dfs/data dfs.replication 3 dfs.webhdfs.enabled true
mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888
yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088
在hadoop2.0 中如果不配置zookeeper,只需將你將你的datanode加入slaves文件中即可。
hadoop集群配置好后,然后就是使用eclipse進(jìn)行連接啦!
好的,我使用的是:hadoop-eclipse-plugin-2.2.0,從網(wǎng)上下載的。
下面開始我們開始工作。
啟動(dòng)hadoop集群
將hadoop-eclipse-plugin-2.2.0拷貝到eclipse的plugins 目錄下,啟動(dòng)eclipse。
如現(xiàn)在就進(jìn)行連接的話不會成功的。因?yàn)槲覀冇玫氖荳indows所以還需要進(jìn)行以下步驟:
將電腦當(dāng)前用戶名改為hadoop的啟動(dòng)用戶名
eclipse連接hadoop源碼目錄,將hadoop-common-2.2.0-bin-master的bin目錄考到eclipse的workspace
注:上面hadoop目錄為我從Linux系統(tǒng)上下載的解壓后的hadoop。
到這里操作hdfs就沒問題了,如果要運(yùn)行mapreduce還會報(bào)錯(cuò),進(jìn)行以下兩步:
1.將hadoop源碼中的org.apache.hadoop.io.nativeio加到項(xiàng)目中,并進(jìn)行以下修改:
2.在我們的mapreduce的main函數(shù)中注入hadoop本地目錄地址環(huán)境變量。
ok!這下就可以在Windows上進(jìn)行hadoop集群的mapreduce在線調(diào)試了!
到此,相信大家對“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”有了更深的了解,不妨來實(shí)際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!