運(yùn)行在單節(jié)點(diǎn)的 YARN

堅守“ 做人真誠 · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價值觀，專業(yè)網(wǎng)站建設(shè)服務(wù)10余年為成都搬家公司小微創(chuàng)業(yè)公司專業(yè)提供成都定制網(wǎng)站營銷網(wǎng)站建設(shè)商城網(wǎng)站建設(shè)手機(jī)網(wǎng)站建設(shè)小程序網(wǎng)站建設(shè)網(wǎng)站改版，從內(nèi)容策劃、視覺設(shè)計、底層架構(gòu)、網(wǎng)頁布局、功能開發(fā)迭代于一體的高端網(wǎng)站建設(shè)服務(wù)。

您可以通過設(shè)置幾個參數(shù)，另外運(yùn)行 ResourceManager 的守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程以偽分布式模式在 YARN 上運(yùn)行 MapReduce job。

以下是運(yùn)行步驟。

（1）配置

etc/hadoop/mapred-site.xml:

mapreduce.framework.name
yarn


1
2
3
4
5
6
etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services
mapreduce_shuffle


1
2
3
4
5
6
（2）啟動 ResourceManager 守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程

$ sbin/start-yarn.sh
1
（3）瀏覽 ResourceManager 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：

ResourceManager - http://localhost:8088/
1
（4）運(yùn)行 MapReduce job

（5）完成全部操作后，停止守護(hù)進(jìn)程：

$ sbin/stop-yarn.sh
1

6. 完全分布式模式的操作方法

關(guān)于搭建完全分布式模式的，請參閱下文《Apache Hadoop 集群上的安裝配置》小節(jié)內(nèi)容。

Apache Hadoop 集群上的安裝配置

本節(jié)將描述如何安裝、配置和管理 Hadoop 集群，其規(guī)?？蓮膸讉€節(jié)點(diǎn)的小集群到幾千個節(jié)點(diǎn)的超大集群。

1. 先決條件

確保在你集群中的每個節(jié)點(diǎn)上都安裝了所有必需軟件，安裝 Hadoop 集群通常要將安裝軟件解壓到集群內(nèi)的所有機(jī)器上，參考上節(jié)內(nèi)容《Apache Hadoop 單節(jié)點(diǎn)上的安裝配置》。

通常情況下，集群中的一臺機(jī)器被指定為 NameNode 和另一臺機(jī)器作為 ResourceManager。這些都是 master。其他服務(wù)（例如，Web 應(yīng)用程序代理服務(wù)器和 MapReduce Job History 服務(wù)器）是在專用的硬件還是共享基礎(chǔ)設(shè)施上運(yùn)行，這取決于負(fù)載。

在群集里剩余的機(jī)器充當(dāng) DataNode 和 NodeManager。這些都是 slave。‘’

很多人都知道我有大數(shù)據(jù)培訓(xùn)資料，都天真的以為我有全套的大數(shù)據(jù)開發(fā)、hadoop、spark等視頻學(xué)習(xí)資料。我想說你們是對的，我的確有大數(shù)據(jù)開發(fā)、hadoop、spark的全套視頻資料。
如果你對大數(shù)據(jù)開發(fā)感興趣可以加口群領(lǐng)取免費(fèi)學(xué)習(xí)資料： 763835121