這篇文章主要講解了“hadoop分布式集群的搭建過程”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop分布式集群的搭建過程”吧！

10年積累的網(wǎng)站制作、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有?？h免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

hadoop分布式集群搭建：

1. 集群規(guī)劃：

2.具體步驟：

（1）上傳安裝包，并解壓到相關(guān)目錄：

[hadoop@hadoop01 home]$ put c:/hadoop-2.6.5-centos-6.7.tar.gz
[hadoop@hadoop01 home]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps

（2）修改配置文件：

[hadoop@hadoop01 home]$ cd /home/hadoop/apps/hadoop-2.6.5/hadoop/etc
這里需要修改6個(gè)配置文件：
hadoop-env.sh：
加入：export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xml：

 fs.defaultFS
 hdfs://hadoop01:9000


 hadoop.tmp.dir
 /home/hadoop/hadoopdata

hdfs-site.xml：

 dfs.namenode.name.dir
 /home/hadoop/hadoopdata/name
為了保證元數(shù)據(jù)的安全一般配置多個(gè)不同目錄


 dfs.datanode.data.dir
 /home/hadoop/hadoopdata/data
datanode 的數(shù)據(jù)存儲(chǔ)目錄


dfs.replication
 2
HDFS 的數(shù)據(jù)塊的副本存儲(chǔ)個(gè)數(shù)


 dfs.secondary.http.address
 hadoop02:50090
secondarynamenode 運(yùn)行節(jié)點(diǎn)的信息，和 namenode 不同節(jié)點(diǎn)

mapred-site.xml：

 mapreduce.framework.name
 yarn

yarn-site.xml：

 yarn.resourcemanager.hostname
 hadoop03


 yarn.nodemanager.aux-services
 mapreduce_shuffle
YARN 集群為 MapReduce 程序提供的 shuffle 服務(wù)

slaves：

 hadoop01
 hadoop02
 hadoop03

（3）分發(fā)安裝包到各個(gè)節(jié)點(diǎn)，Hadoop 集群的每個(gè)節(jié)點(diǎn)都需要安裝 Hadoop 安裝包：

[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop02:$PWD
[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop03:$PWD

（4）配置hadoop的環(huán)境變量

[hadoop@hadoop01 etc]$sudo vim /etc/profile:
加入：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5/
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop01 etc]$source /etc/profile

（5）在 HDFS 主節(jié)點(diǎn)上執(zhí)行命令進(jìn)行初始化 namenode

[hadoop@hadoop01 etc]$hadoop namenode -format

（6）在 HDFS 上的主節(jié)點(diǎn)啟動(dòng) HDFS

[hadoop@hadoop01 etc]$start-dfs.sh

（7）在 HDFS 上的主節(jié)點(diǎn)啟動(dòng) YARN

[hadoop@hadoop01 etc]$sbin/start-yarn.sh

補(bǔ)充：
hdfs的web界面是： http://hadoop01:50070
yarn的web界面是： http://hadoop03:8088
查看集群的狀態(tài)：hdfs dfsadmin -report
1、啟動(dòng) namenode 或者 datenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start secondarynamenode
2、啟動(dòng) yarn nodemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager

感謝各位的閱讀，以上就是“hadoop分布式集群的搭建過程”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)hadoop分布式集群的搭建過程這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！