YARN 即MapReduce V2版本。相比MapReduce V1 它有很多優(yōu)點(diǎn)： 

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比蘇尼特右網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式蘇尼特右網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋蘇尼特右地區(qū)。費(fèi)用合理售后完善，十載實(shí)體公司更值得信賴。

       1. 分散了jobTracker 的任務(wù)。資源管理任務(wù)由資源管理器負(fù)責(zé)，作業(yè)啟動(dòng)、運(yùn)行和監(jiān)測(cè)任務(wù)由分布在集群節(jié)點(diǎn)上的應(yīng)用主題負(fù)責(zé)。這樣大大減緩了MapReduce V1中jobTracker 單點(diǎn)瓶頸和單點(diǎn)風(fēng)險(xiǎn)的問(wèn)題，大大提高了集群的擴(kuò)展性和可用性。

       2.在MapReduce V2中ApplicationMaster是一個(gè)用戶可定制的部分，因此用戶可以針對(duì)編程模型編寫(xiě)自己的應(yīng)用主題程序。這樣大大擴(kuò)展了MapReduce V2 的適用范圍。

       3.在資源管理上使用Zookper實(shí)現(xiàn)故障轉(zhuǎn)移。當(dāng)資源管理故障時(shí)，備用資源管理器將根據(jù)保存在ZooKeeper中的集群狀態(tài)快速啟動(dòng)。MapReduce V2支持應(yīng)用程序指定檢查點(diǎn)。這就能保證應(yīng)用主題在失敗后能迅速根據(jù)hdfs上的狀態(tài)的狀態(tài)重啟。這兩個(gè)措施大大提高了MapReduce V2的可用性。

       4.集群資源統(tǒng)一組織成資源容器，而不像在MapReduce V1中Map池和Reduce池有所差別。這樣只要有任務(wù)請(qǐng)求資源，調(diào)度器就會(huì)將集群中的可用資源分配給請(qǐng)求任務(wù)，而無(wú)關(guān)資源類(lèi)型。這就大大提高了資源的利用率。

       其實(shí)YARN還有很多優(yōu)點(diǎn)，在這里就不盡興一一列舉。主要說(shuō)一下YARN的工作流程。

        YARN 具體由哪些部分組成：

        YARN共有ResourceManager、NodeManager、JobHistoryServer、Containers、Application Master、job、Task、Client組成。

         >  Resource Manager: 一個(gè)Cluster 只有一個(gè)，負(fù)責(zé)資源調(diào)度、資源分配等工作。

          >  JobHistory Server: 負(fù)責(zé)查詢job運(yùn)行進(jìn)度及元數(shù)據(jù)管理。

          >  nodemanager：運(yùn)行在datanode節(jié)點(diǎn)，負(fù)責(zé)啟動(dòng)Application和對(duì)資源的管理。

          >  Containers: Container通過(guò)ResourceManager分配。包括容器的cpu、內(nèi)存等資源。

          >  Application master：通俗來(lái)說(shuō)Application master 相當(dāng)于包工頭，Resource Manager 相當(dāng)于經(jīng)理。Resource Manager 首先將任務(wù)給Application master，然后Application master 在將Resource manager的指示傳達(dá)給各個(gè) nodemanager(相當(dāng)于工人)進(jìn)行干活兒。每個(gè)application只有一個(gè)Applicationmaster，運(yùn)行在node manager節(jié)點(diǎn)，Application   master是由Resource manager指派的。

         >  job：一個(gè)mapper、一個(gè)Reducer或一個(gè)進(jìn)程的輸入列表。job也可以叫做Application。

         >  task：一個(gè)具體做mapper或Reducer的獨(dú)立的工作單元。task運(yùn)行在nodemanager 的Container中。

         >  client：一個(gè)提交給Resource manager的一個(gè)Application程序。

   已經(jīng)知道了YARN由哪些工作單元組成，接下來(lái)就來(lái)說(shuō)說(shuō)一個(gè)job時(shí)如何進(jìn)行處理的整體流程。

        用戶向YARN中提交程序/作業(yè),其中包括Application Master啟動(dòng)、ApplicationMaster的命令及用戶程序等；ResourceManager為作業(yè)分配第一個(gè)Container，并與對(duì)應(yīng)的nodemanager通信，要求它在這個(gè)Container中啟動(dòng)改作業(yè)的Application master；Applicationmaster首先向Resourcemaster注冊(cè)，這樣用戶可以直接通過(guò)Resourcemanager查詢作業(yè)的運(yùn)行狀態(tài)，然后它將為各個(gè)人物申請(qǐng)資源并監(jiān)控任務(wù)的運(yùn)行狀態(tài)，知道運(yùn)行結(jié)束；Application通過(guò)RPC請(qǐng)求向Resourcemanager申請(qǐng)和領(lǐng)取資源。

                  然后Applicationmaster 要求指定的nodemanager 節(jié)點(diǎn)啟動(dòng)任務(wù)。

            啟動(dòng)之后，去干Resource Manager 指定的map tesk。

           等Map task干完之后，通知application master。然后application master 去告知resouce manager。接下來(lái)Resource manager 分配新的資源給application master，讓它找人干其它的活兒。

              接下來(lái)Application master 通知nodemanager啟動(dòng)新的Container準(zhǔn)備干活兒。該活兒的輸入是map task結(jié)束的輸出。

              開(kāi)始干Reduce Task任務(wù)。

          等各個(gè)節(jié)點(diǎn)上的Reduce task 都干完了，將干活兒的nodemanager的任務(wù)結(jié)果進(jìn)行同步。做最后的reduce任務(wù)。

          等都計(jì)算完了，最后將最終的結(jié)果輸出到hdfs。任務(wù)完成。

     通過(guò)圖解可以更清楚的了解整個(gè) YARN的工作流程。