一.虛擬機(jī)安裝CentOS7并配置共享文件夾
二.CentOS 7 上hadoop偽分布式搭建全流程完整教程
三.本機(jī)使用python操作hdfs搭建及常見問題
四.mapreduce搭建
五.mapper-reducer編程搭建

成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)服務(wù)團(tuán)隊(duì)是一支充滿著熱情的團(tuán)隊(duì)，執(zhí)著、敏銳、追求更好，是創(chuàng)新互聯(lián)的標(biāo)準(zhǔn)與要求，同時(shí)竭誠為客戶提供服務(wù)是我們的理念。成都創(chuàng)新互聯(lián)公司把每個(gè)網(wǎng)站當(dāng)做一個(gè)產(chǎn)品來開發(fā)，精雕細(xì)琢，追求一名工匠心中的細(xì)致，我們更用心！
mapreduce搭建

• • 一、配置
  • • 1.創(chuàng)建mapred-site.xml文件
    • 2.編輯mapred-site.xml
  • 二、打開hadoop
  • • 0.刪除data文件夾
    • 1.格式化 namenode
    • 2.啟動(dòng)集群
    • 3.啟動(dòng) namenode 和 datanode
    • 4.查看服務(wù)
    • 5.web訪問
  • 三、執(zhí)行測試歷程

一、配置 1.創(chuàng)建mapred-site.xml文件

cd /usr/local/hadoop/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml

2.編輯mapred-site.xml

sudo gedit mapred-site.xml

替換

為

mapreduce.framework.nameyarn[huangqifa@hadoop4 hadoop]$ sudo gedit yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle

二、打開hadoop 0.刪除data文件夾

刪除/home/huangqifa/data（core-site.xml、hdfs-site.xml中的存儲(chǔ)路徑）

1.格式化 namenode

hadoop namenode -format 

2.啟動(dòng)集群

sh /usr/local/hadoop/sbin/start-all.sh

3.啟動(dòng) namenode 和 datanode

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

4.查看服務(wù)

[huangqifa@hadoop4 ~]$ jps
3012 NameNode
3562 ResourceManager
4044 Jps
3869 NodeManager
3374 SecondaryNameNode
3167 DataNode

5.web訪問

三、執(zhí)行測試歷程

cd /usr/local/hadoop/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 3 3

其中第一個(gè)3的含義是指開啟3個(gè)map任務(wù)，第二個(gè)3是每個(gè)map里面投擲3次，這兩個(gè)參數(shù)可以修改

參考網(wǎng)址：https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

本文題目：mapreduce搭建-創(chuàng)新互聯(lián)
當(dāng)前URL：http://weahome.cn/article/djciis.html