今天就跟大家聊聊有關(guān)資源管理與調(diào)度系統(tǒng)YARN該怎么理解，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

目前成都創(chuàng)新互聯(lián)已為上千余家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁(yè)空間、網(wǎng)站運(yùn)營(yíng)、企業(yè)網(wǎng)站設(shè)計(jì)、岫巖網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

YARN作為一個(gè)通用的資源管理系統(tǒng)，目標(biāo)是將短作業(yè)和長(zhǎng)服務(wù)混合部署到一個(gè)集群中，并為他們提供統(tǒng)一的資源管理和調(diào)度功能，概括起來主要解決以下兩個(gè)問題：1.提高集群資源利用率，2.服務(wù)自動(dòng)化部署。

一、YARN的基本架構(gòu)：

YARN總體上采用master/slave架構(gòu)，ResourceManager為master，NodeManager為slave，ResourceManager負(fù)責(zé)對(duì)各個(gè)NodeManager上的資源進(jìn)行統(tǒng)一管理和調(diào)度。當(dāng)用戶提交一個(gè)應(yīng)用程序時(shí)，需要提供一個(gè)用以跟蹤和管理這個(gè)應(yīng)用程序的ApplicationMaster，它負(fù)責(zé)向ResourceManager申請(qǐng)資源，并要求NodeManager啟動(dòng)可以占用一定資源的任務(wù)，由于不同ApplicationMaster被分不到不同的節(jié)點(diǎn)上，因此它們之前不會(huì)相互影響。

YARN:主要由ResourceManager、NodeManager、ApplicationMaster、和Container組成。

ResourceManager（RM）：是一個(gè)全局的資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配，主要由調(diào)度器（Schedule）和應(yīng)用管理器（Applications Manager）構(gòu)成。

1、.調(diào)度器：主要功能是根據(jù)資源容量，隊(duì)列等方面限制條件，將系統(tǒng)中的資源分配給各個(gè)應(yīng)用程序。

2、應(yīng)用程序管理器：負(fù)責(zé)整個(gè)系統(tǒng)中所有應(yīng)用程序，包括應(yīng)用程序提交、與調(diào)度器協(xié)商資源以及啟動(dòng)ApplicationMaster、監(jiān)控ApplicationMaster運(yùn)行狀態(tài)并在失敗時(shí)重新啟動(dòng)它。

ApplicationMaster（AM）：用戶提交的每個(gè)應(yīng)用程序均包含一個(gè)獨(dú)立的AM，其主要功能包括：與RM調(diào)度器協(xié)商以獲得資源（用Container表示）、將得到的資源進(jìn)一步分配給內(nèi)部任務(wù)、與NM通信以啟動(dòng)/停止任務(wù)等、監(jiān)控所有任務(wù)的運(yùn)行狀態(tài)。

NodeManager（NM）：NM是每個(gè)節(jié)點(diǎn)上的資源管理器，一方面是定時(shí)向RM匯報(bào)本節(jié)點(diǎn)的資源使用情況和各個(gè)Container的運(yùn)行狀態(tài)，另一方面，他接收并處理來自AM的任務(wù)啟動(dòng)或停止等各種請(qǐng)求。

Container：是yarn的基本資源分配單位，對(duì)應(yīng)用程序運(yùn)行環(huán)境的抽象，并為應(yīng)用程序提供資源隔離環(huán)境，它封裝了如內(nèi)存、cup、磁盤、網(wǎng)絡(luò)等。

二、 YARN的高可用：

ResourceManager HA：引入了Active/Standby ResouceManager通過沉余方式解決ResourceMangager單點(diǎn)故障。

ResourceManager Recovery：內(nèi)置了重啟恢復(fù)功能

NodeManager Recovery：NodeManager內(nèi)置了重啟恢復(fù)功能。

三、YARN工作流程

當(dāng)用戶向yarn提交一個(gè)應(yīng)用程序后，yarn將分兩個(gè)階段運(yùn)行該程序，第一個(gè)階段是啟動(dòng)ApplicationMaster；第二個(gè)階段是由ApplicationMaster創(chuàng)建應(yīng)用程序，為他申請(qǐng)資源，并監(jiān)控它的運(yùn)行狀態(tài)。

1、提交應(yīng)用程序

2、啟動(dòng)ApplicationMaster

3、ApplicationMaster注冊(cè)

4、獲取資源

5、請(qǐng)求啟動(dòng)Container

6、Container監(jiān)控

7、注銷ApplicationMaster

四、YARN資源調(diào)度器

層級(jí)隊(duì)列管理機(jī)制：組織方式：子隊(duì)列、最小容量、最大容量

多租戶資源調(diào)度器：Capacity/Fair Scheduler

1、Capacity Scheduler：以隊(duì)列為單位劃分資源，每個(gè)隊(duì)列可設(shè)定一定比例的資源最低保證和使用上限，同時(shí)，每個(gè)用戶也可以設(shè)定一定的資源使用上限以防止資源濫用，而當(dāng)一個(gè)隊(duì)列的資源有剩余時(shí)，可暫時(shí)將剩余資源共享給其它隊(duì)列。Capacity Scheduler有一下特點(diǎn)：容量保證、靈活性、多重租用、安全保證（ACL）、動(dòng)態(tài)更新配置文件。

2、Fair Scheduler：已隊(duì)列為單位劃分資源，每個(gè)隊(duì)列設(shè)定一定比例的最低保證和上限，同Capacity·一樣，不同之處主要體現(xiàn)在一下方面：資源公平共享、調(diào)度策略配置靈活、提高小應(yīng)用程序響應(yīng)時(shí)間、應(yīng)用程序在隊(duì)列間轉(zhuǎn)移。Fail Scheduler沒有采用百分比表示資源，取而代之的是實(shí)際資源數(shù)量。

可以基于節(jié)點(diǎn)的標(biāo)簽調(diào)度，及資源強(qiáng)占調(diào)度

五、YARN的資源隔離

CPU隔離機(jī)制

六、以YARN為核心的生態(tài)系統(tǒng)

YARN之上可以運(yùn)行各種應(yīng)用類型框架，包括離線計(jì)算框架MapReduce、實(shí)時(shí)計(jì)算框架Strom、DAG計(jì)算框架Tez等，真正實(shí)現(xiàn)了一個(gè)集群多用途，這樣的集群我們成為輕量級(jí)彈性計(jì)算平臺(tái)，說他輕量，是Yarn采用了Cgroups輕量級(jí)隔離方案，說它彈性，是因?yàn)閅ARN能夠根據(jù)各種計(jì)算框架或者應(yīng)用的負(fù)載和需求調(diào)整它們各自占用的資源，實(shí)現(xiàn)集群資源共享、資源彈性收縮。

隨著YARN朝著資源管理系統(tǒng)方向更好的發(fā)展，最終Web Server、MySQL Server這種長(zhǎng)服務(wù)，均可部署到Y(jié)ARN之上，這樣，Yarn將變?yōu)橐粋€(gè)服務(wù)統(tǒng)一部署和管理平臺(tái)，最終形成一個(gè)以Yarn為核心的生態(tài)系統(tǒng)。

資源管理系統(tǒng)Mesos：設(shè)計(jì)動(dòng)機(jī)是解決編程模型和計(jì)算框架在多樣化環(huán)境下，不同框架建的資源隔離和共享問題，盡管它的設(shè)計(jì)動(dòng)機(jī)和YARN稍有不同，但架構(gòu)和實(shí)現(xiàn)策略與YARN相似，當(dāng)前使用Mesos的公司有Twitter、豆瓣等。

資源管理系統(tǒng)架構(gòu)演變：集中式架構(gòu)（MRv1 JobTracker）、雙層調(diào)度架構(gòu)（YARN、Mesos）、共享狀態(tài)架構(gòu)（Omega）。

看完上述內(nèi)容，你們對(duì)資源管理與調(diào)度系統(tǒng)YARN該怎么理解有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。