這篇文章主要介紹“Hadoop單服務(wù)下偽分布式集群如何搭建”，在日常操作中，相信很多人在Hadoop單服務(wù)下偽分布式集群如何搭建問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop單服務(wù)下偽分布式集群如何搭建”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！
創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站建設(shè)、牧野網(wǎng)絡(luò)推廣、小程序制作、牧野網(wǎng)絡(luò)營(yíng)銷、牧野企業(yè)策劃、牧野品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供牧野建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：www.cdcxhl.com
環(huán)境：centos7 hadoop版本：2.7.2 jdk版本：1.8
bin目錄：存放對(duì)Hadoop的HDFS,YARN服務(wù)進(jìn)行操作的腳本
etc目錄：Hadoop的相關(guān)配置文件目錄
lib目錄：存放Hadoop的本地庫，提供數(shù)據(jù)壓縮解壓縮能力
sbin目錄：存放啟動(dòng)或停止Hadoop相關(guān)服務(wù)的腳本
share目錄：存放Hadoop的依賴jar包、文檔、和相關(guān)案例
vim /etc/profile # 添加環(huán)境 export JAVA_HOME=/opt/jdk1.8 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/opt/hadoop2.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 退出刷新配置 source /etc/profile
以下配置文件所在路徑：/opt/hadoop2.7/etc/hadoop，這里是Linux環(huán)境，腳本配置sh格式。
root# vim hadoop-env.sh # 修改前 export JAVA_HOME= # 修改后 export JAVA_HOME=/opt/jdk1.8
文件結(jié)構(gòu)概覽
NameNode的地址
fs.defaultFS hdfs://127.0.0.1:9000
數(shù)據(jù)存放目錄：Hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄。
hadoop.tmp.dir /opt/hadoop2.7/data/tmp
文件結(jié)構(gòu)和上述一樣，配置hdfs副本個(gè)數(shù)，這里偽環(huán)境，配置1個(gè)即可。
dfs.replication 1
export JAVA_HOME=/opt/jdk1.8
指定YARN的ResourceManager的地址
yarn.resourcemanager.hostname 192.168.72.132
指定map產(chǎn)生的中間結(jié)果傳遞給reduce采用的機(jī)制是shuffle
yarn.nodemanager.aux-services mapreduce_shuffle
export JAVA_HOME=/opt/jdk1.8
將mapred-site.xml.template重新命名為mapred-site.xml。
指定MapReduce程序資源調(diào)在度集群上運(yùn)行。如果不指定為yarn，那么MapReduce程序就只會(huì)在本地運(yùn)行而非在整個(gè)集群中運(yùn)行。
mapreduce.framework.name yarn
Hdfs相關(guān)
格式化NameNode
第一次啟動(dòng)時(shí)執(zhí)行該操作。
[hadoop2.7]# bin/hdfs namenode -format
格式化NameNode，會(huì)產(chǎn)生新的clusterID,導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。所以，格式NameNode時(shí)，一定要停止相關(guān)進(jìn)程，刪除data數(shù)據(jù)和log日志，然后再格式化NameNode。clusterID在如下目錄中的VERSION文件里，可自行查看對(duì)比。
/opt/hadoop2.7/data/tmp/dfs/name/current /opt/hadoop2.7/data/tmp/dfs/data/current
啟動(dòng)NameNode
[hadoop2.7]# sbin/hadoop-daemon.sh start namenode
啟動(dòng)DataNode
[hadoop2.7]# sbin/hadoop-daemon.sh start datanode
jps查看狀態(tài)
[root@localhost hadoop2.7]# jps 2450 Jps 2276 NameNode 2379 DataNode
Web界面查看
需要Linux關(guān)閉防火墻和相關(guān)安全增強(qiáng)控制（這里很重要）。
IP地址:50070
Yarn相關(guān)
啟動(dòng)ResourceManager
[hadoop2.7]# sbin/yarn-daemon.sh start resourcemanager
啟動(dòng)NodeManager
[hadoop2.7]# sbin/yarn-daemon.sh start nodemanager
Web界面查看
IP地址:8088/cluster
MapReduce相關(guān)
文件操作測(cè)試
創(chuàng)建一個(gè)測(cè)試文件目錄
[root@localhost inputfile]# pwd /opt/inputfile [root@localhost inputfile]# echo "hello word hadoop" > word.txt
HDFS文件系統(tǒng)上創(chuàng)建文件夾
[hadoop2.7] bin/hdfs dfs -mkdir -p /opt/upfile/input
上傳文件
[hadoop2.7]# bin/hdfs dfs -put /opt/inputfile/word.txt /opt/upfile/input
查看文件
[hadoop2.7]# bin/hdfs dfs -ls /opt/upfile/input
執(zhí)行文件分析
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /opt/upfile/input /opt/upfile/output
查看分析結(jié)果
bin/hdfs dfs -cat /opt/upfile/output/*
結(jié)果：每個(gè)單詞各自出現(xiàn)一次。
刪除分析結(jié)果
bin/hdfs dfs -rm -r /opt/upfile/output
MapReduce的JobHistoryServer，這是一個(gè)獨(dú)立的服務(wù)，可通過 web UI 展示歷史作業(yè)日志。
mapreduce.jobhistory.address 192.168.72.132:10020 mapreduce.jobhistory.webapp.address 192.168.72.132:19888
[hadoop2.7]# sbin/mr-jobhistory-daemon.sh start historyserver
IP地址:19888
日志聚集概念：應(yīng)用服務(wù)運(yùn)行完成以后，將運(yùn)行日志信息上傳到HDFS系統(tǒng)上。方便的查看到程序運(yùn)行詳情，方便開發(fā)調(diào)試。
開啟日志聚集功能之后，需要重新啟動(dòng)NodeManager 、ResourceManager和HistoryManager。
關(guān)閉上述服務(wù)
[hadoop2.7]# sbin/yarn-daemon.sh stop resourcemanager [hadoop2.7]# sbin/yarn-daemon.sh stop nodemanager [hadoop2.7]# sbin/mr-jobhistory-daemon.sh stop historyserver
修改yarn-site
yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800
修改完之后再次啟動(dòng)上述服務(wù)器。再次執(zhí)行文件分析任務(wù)。
查看Web端
到此，關(guān)于“Hadoop單服務(wù)下偽分布式集群如何搭建”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！
重慶分公司
重慶分公司
