真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

本篇內(nèi)容主要講解“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”吧!

主要從事網(wǎng)頁設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、重慶小程序開發(fā)等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們在互聯(lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營銷、管理等多方位專業(yè)化運(yùn)作于一體,具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。

前提:

1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar

2.以下是我的hadoop核心配置文件的配置:

core-site.xml



                

                                fs.defaultFS

                                hdfs://master:9000

                

       

                                io.file.buffer.size

                                131072

       

       

                                hadoop.tmp.dir

                                file:/home/yinkaipeng/tmp

                                Abase for other temporary directories.

                

        

               hadoop.proxyuser.hduser.hosts

               *

       

                 

               hadoop.proxyuser.hduser.groups

               *

       

hdfs-site.xml



       

                dfs.namenode.secondary.http-address

               master:9001

        

         

                  dfs.namenode.name.dir

                 file:/usr/local/data/dfs/name

            

           

                    dfs.datanode.data.dir

                    file:/usr/local/data/dfs/data

            

            

                     dfs.replication

                     3

             

             

                     dfs.webhdfs.enabled

                     true

         

mapred-site.xml



                

                                mapreduce.framework.name

                                yarn

                

                

                                mapreduce.jobhistory.address

                                master:10020

                

                

               mapreduce.jobhistory.webapp.address

               master:19888

       

yarn-site.xml



                 

               yarn.nodemanager.aux-services

               mapreduce_shuffle

        

                 

               yarn.nodemanager.aux-services.mapreduce.shuffle.class

               org.apache.hadoop.mapred.ShuffleHandler

        

        

               yarn.resourcemanager.address

               master:8032

       

                

               yarn.resourcemanager.scheduler.address

               master:8030

               

               

                       yarn.resourcemanager.resource-tracker.address

                        master:8031

               

               

                       yarn.resourcemanager.admin.address

                        master:8033

               

                

               yarn.resourcemanager.webapp.address

               master:8088

       

在hadoop2.0 中如果不配置zookeeper,只需將你將你的datanode加入slaves文件中即可。

hadoop集群配置好后,然后就是使用eclipse進(jìn)行連接啦!

好的,我使用的是:hadoop-eclipse-plugin-2.2.0,從網(wǎng)上下載的。

下面開始我們開始工作。

  1. 啟動(dòng)hadoop集群

  2. 將hadoop-eclipse-plugin-2.2.0拷貝到eclipse的plugins 目錄下,啟動(dòng)eclipse。

  3. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

  4. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

  5. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

如現(xiàn)在就進(jìn)行連接的話不會成功的。因?yàn)槲覀冇玫氖荳indows所以還需要進(jìn)行以下步驟:

  1. 將電腦當(dāng)前用戶名改為hadoop的啟動(dòng)用戶名

  2. eclipse連接hadoop源碼目錄,將hadoop-common-2.2.0-bin-master的bin目錄考到eclipse的workspace

  3. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

  4. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

  5. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

  6. 怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

    注:上面hadoop目錄為我從Linux系統(tǒng)上下載的解壓后的hadoop。

    到這里操作hdfs就沒問題了,如果要運(yùn)行mapreduce還會報(bào)錯(cuò),進(jìn)行以下兩步:

    1.將hadoop源碼中的org.apache.hadoop.io.nativeio加到項(xiàng)目中,并進(jìn)行以下修改:

    怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

2.在我們的mapreduce的main函數(shù)中注入hadoop本地目錄地址環(huán)境變量。

怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

ok!這下就可以在Windows上進(jìn)行hadoop集群的mapreduce在線調(diào)試了!

到此,相信大家對“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”有了更深的了解,不妨來實(shí)際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!


名稱欄目:怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序
分享網(wǎng)址:http://weahome.cn/article/gedehp.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部