這篇文章主要講解了“YARN集群工作機制是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“YARN集群工作機制是什么”吧！

創(chuàng)新互聯(lián)建站服務(wù)項目包括惠東網(wǎng)站建設(shè)、惠東網(wǎng)站制作、惠東網(wǎng)頁制作以及惠東網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，惠東網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到惠東省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

    描述：YARN是Hadoop2.0加入一個資源調(diào)度框架，它同樣是主從節(jié)點架構(gòu)：ResouceManager（資源管理）和NodeManager。

    優(yōu)點：

    1、資源調(diào)度和任務(wù)監(jiān)控分離，解決JobTracker的瓶頸（壓力、單點故障）

    2、通用的資源調(diào)度平臺，兼容更多運算框架（storm/spark/mapreduce）

    工作機制：

（圖摘自官網(wǎng)，官網(wǎng)的圖看起來非常復(fù)雜，我個人看著是很費勁）

    Yarn集群的工作機制：   

    了解Yarn工作機制前先要知道ResourceManager（以下簡稱RM）是一個資源任務(wù)調(diào)度器，負(fù)責(zé)任務(wù)資源的分配工作。

    1、任務(wù)執(zhí)行前：      

        1.1、向Yarn集群中提交job作業(yè)首先交給RM

        1.2、RM返回job_id和job相關(guān)的資源路徑

        1.3、獲得資源路徑后往HDFS上傳job

        1.4、通知RM，job上傳完畢

        1.5、RM收到j(luò)ob提交完畢后會將job任務(wù)初始化

        1.6、將job任務(wù)加入到任務(wù)列表（task list）

        1.7、NodeManager（以下簡稱NN）會周期性向RM保持心跳通信，然后檢查是否有需要自己領(lǐng)取的任務(wù)

        1.8、NN一旦檢查到需要自己領(lǐng)取的任務(wù)時，就領(lǐng)取任務(wù)

        1.9、領(lǐng)取到任務(wù)之后會根據(jù)job資源信息分配一定大小的資源容器

        1.10、下載job資源到容器

    2、執(zhí)行任務(wù)：

        Yarn提供了AppMaster接口，AppMaster主要對任務(wù)進(jìn)行監(jiān)控和調(diào)度，RM只管理AppMaster，一旦AppMaster掛了，就會在其他NN節(jié)點上重新啟動，這樣一來RM的壓力就降低了（對比Hadoop1.0的JobTracker），運算框架只要實現(xiàn)該接口即可在Yarn集群上面運行，這也是Yarn集群的第二個好處，兼容更多的運算框架Spark/Storm/MapReduce等都實現(xiàn)了該接口，MapReduce實現(xiàn)的接口為MRAppMaster

        2.1、啟動MRAppMaster,（RM會根據(jù)情況在某個NN節(jié)點啟動）

        2.2、MRAppMaster向RM注冊

        2.3、MRAppMaster根據(jù)RM提供的信息啟動各個NN節(jié)點的Map Task

        2.4、啟動各個NN節(jié)點的Reduce Task

        2.5、當(dāng)任務(wù)執(zhí)行完畢后向RM發(fā)起注銷操作，銷毀自己

感謝各位的閱讀，以上就是“YARN集群工作機制是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對YARN集群工作機制是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！