這篇文章主要介紹“Hadoop集群模式下分布式環(huán)境怎么搭建”，在日常操作中，相信很多人在Hadoop集群模式下分布式環(huán)境怎么搭建問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop集群模式下分布式環(huán)境怎么搭建”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

10年積累的網(wǎng)站設(shè)計、成都網(wǎng)站制作經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有建寧免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

一、基礎(chǔ)環(huán)境配置

1、三臺服務(wù)

準備三臺Centos7服務(wù),基礎(chǔ)環(huán)境從偽分布式環(huán)境克隆過來。

133 hop01，134 hop02，136 hop03

2、設(shè)置主機名

## 設(shè)置名稱
hostnamectl set-hostname hop01
## 重啟
reboot -f

3、主機名通信

vim /etc/hosts
# 添加服務(wù)節(jié)點
192.168.37.133 hop01
192.168.37.134 hop02
192.168.37.136 hop03

4、SSH免密登錄

配置三臺服務(wù)SSH免密登錄。

[root@hop01 ~]# ssh-keygen -t rsa
...一路回車結(jié)束
[root@hop01 ~]# cd .ssh
...權(quán)限分配到指定集群服務(wù)
[root@hop01 .ssh]# ssh-copy-id hop01
[root@hop01 .ssh]# ssh-copy-id hop02
[root@hop01 .ssh]# ssh-copy-id hop03
...在hop01免密登錄到hop02
[root@hop01 ~]# ssh hop02

這里針對hop01服務(wù)，在hop02和hop03服務(wù)都要執(zhí)行該操作。

5、同步時間

ntp組件安裝

# 安裝
yum install ntpdate ntp -y
# 查看
rpm -qa|grep ntp

基礎(chǔ)管理命令

# 查看狀態(tài)
service ntpd status
# 啟動
service ntpd start
# 開機啟動
chkconfig ntpd on

修改時間服務(wù)hop01

# 修改ntp配置
vim /etc/ntp.conf
# 添加內(nèi)容
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.0.0.1
fudge 127.0.0.1 stratum 10

修改hop02\hop03時間機制，從hop01同步時間，并注銷網(wǎng)絡(luò)獲取時間的機制。

server 192.168.37.133
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

編寫定時任務(wù)

[root@hop02 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate hop01

修改hop02和hop03服務(wù)時間

# 指定時間
date -s "2018-05-20 13:14:55"
# 查看時間
date

這樣時間會基于hop01服務(wù)的時間不斷的更正或同步。

6、環(huán)境清理

從偽分布式環(huán)境虛擬機克隆三臺Centos7服務(wù),刪除原來hadoop環(huán)境配置的data和log文件夾。

[root@hop02 hadoop2.7]# rm -rf data/ logs/

二、集群環(huán)境搭建

1、集群配置概覽

2、修改配置

vim core-site.xml

    fs.defaultFS
    hdfs://hop01:9000

這里三臺服務(wù)都需要分別指定當(dāng)前主機名稱。

vim hdfs-site.xml

    dfs.replication
    3



      dfs.namenode.secondary.http-address
      hop03:50090

這里修改副本數(shù)為3，并指定SecondaryNameNode服務(wù)，三臺服務(wù)同樣修改指定SecondaryNameNode在hop03服務(wù)上。

vim yarn-site.xml

    yarn.resourcemanager.hostname
    hop02

指定ResourceManager服務(wù)在hop02上。

vim mapred-site.xml

mapreduce.jobhistory.address
hop01:10020




    mapreduce.jobhistory.webapp.address
    hop01:19888

指定相關(guān)web端查看地址在服務(wù)hop01上。

3、集群服務(wù)配置

路徑：/opt/hadoop2.7/etc/hadoop

文件：vim slaves

hop01
hop02
hop03

這里配置三臺服務(wù)的集群列表。同步修改其他服務(wù)相同配置。

4、格式化NameNode

注意這里NameNode配置在hop01服務(wù)上。

[root@hop01 hadoop2.7]# bin/hdfs namenode -format

5、啟動HDFS

[root@hop01 hadoop2.7]# sbin/start-dfs.sh
Starting namenodes on [hop01]
hop01: starting namenode
hop03: starting datanode
hop02: starting datanode
hop01: starting datanode
Starting secondary namenodes [hop03]
hop03: starting secondarynamenode

注意看這里的打印信息，和配置完全吻合。namenodes在hop01上啟動，secondary-namenodes在hop03上啟動，可以通過JPS命令到各個服務(wù)查看驗證。

6、啟動YARN

注意Yarn配置在hop02服務(wù)上，所以在hop02服務(wù)執(zhí)行啟動命令。

[root@hop02 hadoop2.7]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager
hop03: starting nodemanager
hop01: starting nodemanager
hop02: starting nodemanager,

注意這里的啟動打印日志，至此集群規(guī)劃的服務(wù)都啟動完畢。

[root@hop01 hadoop2.7]# jps
4306 NodeManager
4043 DataNode
3949 NameNode
[root@hop02 hadoop2.7]# jps
3733 ResourceManager
3829 NodeManager
3613 DataNode
[root@hop03 hadoop2.7]# jps
3748 DataNode
3928 NodeManager
3803 SecondaryNameNode

查看各個服務(wù)下的集群進程，與規(guī)劃配置一致。

7、Web端界面

NameNode：http://hop01:50070
SecondaryNameNode：http://hop03:50090

到此，關(guān)于“Hadoop集群模式下分布式環(huán)境怎么搭建”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
文章題目：Hadoop集群模式下分布式環(huán)境怎么搭建
網(wǎng)頁路徑：http://weahome.cn/article/gdchgo.html