運(yùn)行在單節(jié)點(diǎn)的 YARN

讓客戶(hù)滿(mǎn)意是我們工作的目標(biāo)，不斷超越客戶(hù)的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶(hù)，將通過(guò)不懈努力成為客戶(hù)在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：申請(qǐng)域名、網(wǎng)絡(luò)空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、義安網(wǎng)站維護(hù)、網(wǎng)站推廣。

您可以通過(guò)設(shè)置幾個(gè)參數(shù)，另外運(yùn)行 ResourceManager 的守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程以偽分布式模式在 YARN 上運(yùn)行 MapReduce job。

以下是運(yùn)行步驟。

（1）配置

etc/hadoop/mapred-site.xml:

mapreduce.framework.name
yarn


1
2
3
4
5
6
etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services
mapreduce_shuffle


1
2
3
4
5
6
（2）啟動(dòng) ResourceManager 守護(hù)進(jìn)程和 NodeManager 守護(hù)進(jìn)程

$ sbin/start-yarn.sh
1
（3）瀏覽 ResourceManager 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：

ResourceManager - http://localhost:8088/
1
（4）運(yùn)行 MapReduce job

（5）完成全部操作后，停止守護(hù)進(jìn)程：

$ sbin/stop-yarn.sh
1

6. 完全分布式模式的操作方法

關(guān)于搭建完全分布式模式的，請(qǐng)參閱下文《Apache Hadoop 集群上的安裝配置》小節(jié)內(nèi)容。

Apache Hadoop 集群上的安裝配置

本節(jié)將描述如何安裝、配置和管理 Hadoop 集群，其規(guī)?？蓮膸讉€(gè)節(jié)點(diǎn)的小集群到幾千個(gè)節(jié)點(diǎn)的超大集群。

1. 先決條件

確保在你集群中的每個(gè)節(jié)點(diǎn)上都安裝了所有必需軟件，安裝 Hadoop 集群通常要將安裝軟件解壓到集群內(nèi)的所有機(jī)器上，參考上節(jié)內(nèi)容《Apache Hadoop 單節(jié)點(diǎn)上的安裝配置》。

通常情況下，集群中的一臺(tái)機(jī)器被指定為 NameNode 和另一臺(tái)機(jī)器作為 ResourceManager。這些都是 master。其他服務(wù)（例如，Web 應(yīng)用程序代理服務(wù)器和 MapReduce Job History 服務(wù)器）是在專(zhuān)用的硬件還是共享基礎(chǔ)設(shè)施上運(yùn)行，這取決于負(fù)載。

在群集里剩余的機(jī)器充當(dāng) DataNode 和 NodeManager。這些都是 slave。‘’

很多人都知道我有大數(shù)據(jù)培訓(xùn)資料，都天真的以為我有全套的大數(shù)據(jù)開(kāi)發(fā)、hadoop、spark等視頻學(xué)習(xí)資料。我想說(shuō)你們是對(duì)的，我的確有大數(shù)據(jù)開(kāi)發(fā)、hadoop、spark的全套視頻資料。
如果你對(duì)大數(shù)據(jù)開(kāi)發(fā)感興趣可以加口群領(lǐng)取免費(fèi)學(xué)習(xí)資料： 763835121

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

文章題目：ApacheHadoop入門(mén)教程第四章-創(chuàng)新互聯(lián)
文章起源：http://weahome.cn/article/ddisip.html