1 概述

Yarn 是一個(gè)資源調(diào)度平臺(tái)，負(fù)責(zé)為運(yùn)算程序提供服務(wù)器運(yùn)算資源，相當(dāng)于一個(gè)分布式的操作系統(tǒng)平臺(tái)，而 MapReduce 等運(yùn)算程序則相當(dāng)于運(yùn)行于操作系統(tǒng)之上的應(yīng)用程序。

在復(fù)興等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,營(yíng)銷型網(wǎng)站,外貿(mào)營(yíng)銷網(wǎng)站建設(shè),復(fù)興網(wǎng)站建設(shè)費(fèi)用合理。

2 Yarn 基本架構(gòu)

3 Yarn 工作機(jī)制

工作機(jī)制詳解：

1）MR 程序提交到客戶端所在的節(jié)點(diǎn)。

2）YarnRunner 向 ResourceManager 申請(qǐng)一個(gè) Application。

3）RM 將該應(yīng)用程序的資源路徑返回給 YarnRunner。

4）該程序?qū)⑦\(yùn)行所需資源提交到 HDFS 上。

5）程序資源提交完畢后，申請(qǐng)運(yùn)行 mrAppMaster。

6）RM 將用戶的請(qǐng)求初始化成一個(gè) Task。

7）其中一個(gè) NodeManager 領(lǐng)取到 Task 任務(wù)。

8）該 NodeManager 創(chuàng)建容器 Container，并產(chǎn)生 MRAppmaster。

9）Container 從 HDFS 上拷貝資源到本地。

10）MRAppmaster 向 RM 申請(qǐng)運(yùn)行 MapTask 資源。

11）RM 將運(yùn)行 MapTask 任務(wù)分配給另外兩個(gè) NodeManager，另兩個(gè) NodeManager 分別領(lǐng)取任務(wù)并創(chuàng)建容器。

12）MR 向兩個(gè)接收到任務(wù)的 NodeManager 發(fā)送程序啟動(dòng)腳本，這兩個(gè) NodeManager 分別啟動(dòng) MapTask，MapTask 對(duì)數(shù)據(jù)分區(qū)排序。

13）MrAppMaster 等待所有 MapTask 運(yùn)行完畢后，向 RM 申請(qǐng)容器，運(yùn)行 ReduceTask。

14）ReduceTask 向 MapTask 獲取相應(yīng)分區(qū)的數(shù)據(jù)。

15）程序運(yùn)行完畢后，MR 會(huì)向 RM 申請(qǐng)注銷自己。

4 作業(yè)提交全過(guò)程

4.1 作業(yè)提交過(guò)程之 YARN

作業(yè)提交全過(guò)程詳解：

1）作業(yè)提交

• Client調(diào)用 job.waitForCompletion() 方法，向整個(gè)集群提交 MapReduce 作業(yè)。
• Client 向 RM 申請(qǐng)一個(gè)作業(yè) id。
• RM 給 Client 返回該 job 資源的提交路徑和作業(yè) id。
• Client 提交 jar 包、切片信息和配置文件到指定的資源提交路徑。
• Client 提交完資源后，向 RM 申請(qǐng)運(yùn)行 MrAppMaster。

2）作業(yè)初始化

• 當(dāng) RM 收到 Client 的請(qǐng)求后，將該 job 添加到容量調(diào)度器中。
• 某一個(gè)空閑的 NM 領(lǐng)取到該 Job。
• 該 NM 創(chuàng)建 Container，并產(chǎn)生 MRAppmaster。
• 下載 Client 提交的資源到本地。

3）任務(wù)分配

• MrAppMaster 向 RM 申請(qǐng)運(yùn)行多個(gè) MapTask 任務(wù)資源。
• RM 將運(yùn)行 MapTask 任務(wù)分配給另外兩個(gè) NodeManager，另兩個(gè) NodeManager 分別領(lǐng)取任務(wù)并創(chuàng)建容器。

4）任務(wù)運(yùn)行

• MR 向兩個(gè)接收到任務(wù)的 NodeManager 發(fā)送程序啟動(dòng)腳本，這兩個(gè) NodeManager 分別啟動(dòng) MapTask，MapTask 對(duì)數(shù)據(jù)分區(qū)排序。
• MrAppMaster 等待所有 MapTask 運(yùn)行完畢后，向 RM 申請(qǐng)容器，運(yùn)行 ReduceTask。
• ReduceTask 向 MapTask獲取相應(yīng)分區(qū)的數(shù)據(jù)。
• 程序運(yùn)行完畢后，MR 會(huì)向 RM 申請(qǐng)注銷自己。

5）進(jìn)度和狀態(tài)更新

• YARN 中的任務(wù)將其進(jìn)度和狀態(tài)(包括 counter )返回給應(yīng)用管理器, 客戶端每秒(通過(guò)mapreduce.client.progressmonitor.pollinterval 設(shè)置)向應(yīng)用管理器請(qǐng)求進(jìn)度更新, 展示給用戶。

6）作業(yè)完成

• 除了向應(yīng)用管理器請(qǐng)求作業(yè)進(jìn)度外, 客戶端每 5 秒都會(huì)通過(guò)調(diào)用 waitForCompletion() 來(lái)檢查作業(yè)是否完成，時(shí)間間隔可以通過(guò) mapreduce.client.completion.pollinterval 來(lái)設(shè)置。作業(yè)完成之后, 應(yīng)用管理器和 Container 會(huì)清理工作狀態(tài)，作業(yè)的信息會(huì)被作業(yè)歷史服務(wù)器存儲(chǔ)以備之后用戶核查。

4.2 作業(yè)提交過(guò)程之 MapReduce

5 資源調(diào)度器

目前，Hadoop作業(yè)調(diào)度器主要有三種：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默認(rèn)的資源調(diào)度器是Capacity Scheduler。

[yarn-default.xml]

    The class to use as the resource scheduler.
    yarn.resourcemanager.scheduler.class
    org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

先進(jìn)先出調(diào)度器

容量調(diào)度器

公平調(diào)度器

6 任務(wù)的推測(cè)執(zhí)行

作業(yè)完成時(shí)間取決于最慢的任務(wù)完成時(shí)間，一個(gè)作業(yè)由若干個(gè) Map 任務(wù)和 Reduce 任務(wù)構(gòu)成，因硬件老化、軟件Bug等，某些任務(wù)可能運(yùn)行非常慢，系統(tǒng)中有 99% 的 Map 任務(wù)都完成了，只有少數(shù)幾個(gè) Map 老是進(jìn)度很慢，完不成，怎么辦？

推測(cè)執(zhí)行機(jī)制

為拖后腿的任務(wù)啟動(dòng)一個(gè)備份任務(wù)，同時(shí)運(yùn)行，誰(shuí)先運(yùn)行完用誰(shuí)的結(jié)果

執(zhí)行推測(cè)任務(wù)的前提條件

• 每個(gè) Task 只能有一個(gè)備份任務(wù)
• 當(dāng)前 Job 已完成的 Task 必須不小于 0.05（5%）
• 開(kāi)啟推測(cè)執(zhí)行參數(shù)設(shè)置，mapred-site.xml 文件中默認(rèn)是打開(kāi)的。

不能啟用推測(cè)執(zhí)行機(jī)制情況

• 任務(wù)間存在嚴(yán)重的負(fù)載傾斜
• 特殊任務(wù)，比如任務(wù)向數(shù)據(jù)庫(kù)中寫(xiě)數(shù)據(jù)。

原理圖：

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文標(biāo)題：Hadoop之Yarn-創(chuàng)新互聯(lián)
分享路徑：http://weahome.cn/article/dhcsgc.html