這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Hadoop 2.x中怎么搭建偽分布式環(huán)境，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯(lián)建站網(wǎng)絡(luò)公司擁有10多年的成都網(wǎng)站開(kāi)發(fā)建設(shè)經(jīng)驗(yàn)，上千家客戶的共同信賴。提供成都網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站開(kāi)發(fā)、網(wǎng)站定制、友情鏈接、建網(wǎng)站、網(wǎng)站搭建、響應(yīng)式網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)師打造企業(yè)風(fēng)格，提供周到的售前咨詢和貼心的售后服務(wù)

1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh

方法：使用notepad++(beifeng用戶)打開(kāi)這三個(gè)文件

添加代碼：export JAVA_HOME=/opt/modules/jdk1.7.0_67

2、修改core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml配置文件

1）修改core-site.xml

　　
　　　　fs.defaultFS
　　　　hdfs://Hadoop-senior02.beifeng.com:8020
　　
　　
　　　　hadoop.tmp.dir
　　　　/opt/modules/hadoop-2.5.0/data
　　

2）修改hdfs-site.xml

　　
　　　　dfs.replication
　　　　1
　　
　　
　　　　dfs.namenode.http-address
　　　　Hadoop-senior02.beifeng.com:50070
　　

3）修改yarn-site.xml

　　
　　　　yarn.nodemanager.aux-services
　　　　mapreduce_shuffle
　　
　　
　　　　yarn.resourcemanager.hostname
　　　　Hadoop-senior02.beifeng.com
　　
　　
　　　　yarn.log-aggregation-enable
　　　　true
　　
　　
　　　　yarn.log-aggregation.retain-seconds
　　　　86400
　　

4）修改mapred-site.xml

　　
　　　　mapreduce.framework.name
　　　　yarn
　　
　　
　　　　mapreduce.jobhistory.webapp.address
　　　　0.0.0.0:19888
　　

3、啟動(dòng)hdfs

1）格式化namenode:$ bin/hdfs namenode -format

2）啟動(dòng)namenode:$sbin/hadoop-daemon.sh start namenode

3）啟動(dòng)datanode:$sbin/hadoop-daemon.sh start datanode

4）hdfs監(jiān)控web頁(yè)面：http://hadoop-senior02.beifeng.com:50070

4、啟動(dòng)yarn

1）啟動(dòng)resourcemanager:$sbin/yarn-daemon.sh start resourcemanager

2）啟動(dòng)nodemanager:sbin/yarn-daemon.sh start nodemanager

3）yarn監(jiān)控web頁(yè)面：http://hadoop-senior02.beifeng.com:8088

5、測(cè)試wordcount jar包

1）定位路徑：/opt/modules/hadoop-2.5.0

2）代碼測(cè)試：bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/sort.txt /output6/

運(yùn)行過(guò)程：

16/05/08 06:39:13 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-senior02.beifeng.com/192.168.241.130:8032
16/05/08 06:39:15 INFO input.FileInputFormat: Total input paths to process : 1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: number of splits:1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1462660542807_0001
16/05/08 06:39:16 INFO impl.YarnClientImpl: Submitted application application_1462660542807_0001
16/05/08 06:39:16 INFO mapreduce.Job: The url to track the job: http://Hadoop-senior02.beifeng.com:8088/proxy/application_1462660542807_0001/
16/05/08 06:39:16 INFO mapreduce.Job: Running job: job_1462660542807_0001
16/05/08 06:39:36 INFO mapreduce.Job: Job job_1462660542807_0001 running in uber mode : false
16/05/08 06:39:36 INFO mapreduce.Job: map 0% reduce 0%
16/05/08 06:39:48 INFO mapreduce.Job: map 100% reduce 0%
16/05/08 06:40:04 INFO mapreduce.Job: map 100% reduce 100%
16/05/08 06:40:04 INFO mapreduce.Job: Job job_1462660542807_0001 completed successfully
16/05/08 06:40:04 INFO mapreduce.Job: Counters: 49

3）結(jié)果查看：bin/hdfs dfs -text /output6/par*

運(yùn)行結(jié)果：

hadoop 2
jps 1
mapreduce 2
yarn 1

6、MapReduce歷史服務(wù)器

1）啟動(dòng)：sbin/mr-jobhistory-daemon.sh start historyserver

2）web ui界面：http://hadoop-senior02.beifeng.com:19888

7、hdfs、yarn、mapreduce功能

1）hdfs：分布式文件系統(tǒng)，高容錯(cuò)性的文件系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。

hdfs是一個(gè)主從結(jié)構(gòu)，分為namenode和datanode，其中namenode是命名空間，datanode是存儲(chǔ)空間，datanode以數(shù)據(jù)塊的形式進(jìn)行存儲(chǔ)，每個(gè)數(shù)據(jù)塊128M

2）yarn：通用資源管理系統(tǒng)，為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。

yarn分為resourcemanager和nodemanager，resourcemanager負(fù)責(zé)資源調(diào)度和分配，nodemanager負(fù)責(zé)數(shù)據(jù)處理和資源

3）mapreduce：MapReduce是一種計(jì)算模型，分為Map（映射）和Reduce（歸約）。

map將每一行數(shù)據(jù)處理后，以鍵值對(duì)的形式出現(xiàn)，并傳給reduce；reduce將map傳過(guò)來(lái)的數(shù)據(jù)進(jìn)行匯總和統(tǒng)計(jì)。

上述就是小編為大家分享的Hadoop 2.x中怎么搭建偽分布式環(huán)境了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

名稱欄目：Hadoop2.x中怎么搭建偽分布式環(huán)境-創(chuàng)新互聯(lián)
URL地址：http://weahome.cn/article/djocpi.html