Yarn是為了解決MRv1中JobTracker負(fù)載過重,而設(shè)計(jì)的第二代MR運(yùn)行架構(gòu)。
yarn是個(gè)master/slave結(jié)構(gòu),master節(jié)點(diǎn)運(yùn)行Resourcemanager,slave節(jié)點(diǎn)運(yùn)行nodemanager。
目前
成都創(chuàng)新互聯(lián)公司已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、
虛擬主機(jī)、
網(wǎng)站托管運(yùn)營(yíng)、企業(yè)網(wǎng)站設(shè)計(jì)、
周口網(wǎng)站維護(hù)等服務(wù),公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng),共同發(fā)展。
- RM主要有兩個(gè)組件:資源調(diào)度器(scheduler)和應(yīng)用程序管理器(Applications Manager)
scheduler主要進(jìn)行資源調(diào)度,不進(jìn)行任何與應(yīng)用程序相關(guān)的動(dòng)作,主要包括Capacity Scheduler和Fair scheduler。
ASM:主要負(fù)責(zé)提交、啟動(dòng)以及監(jiān)控每個(gè)application的application master - AM
每個(gè)作業(yè)都有一個(gè)application master來監(jiān)控和管理自己的所有任務(wù),具備的功能包括:
a,與RM交互獲取任務(wù)運(yùn)行的資源;
b,與NM交互提交任務(wù)、監(jiān)控任務(wù)運(yùn)行情況等 - NM
一般集群中每個(gè)節(jié)點(diǎn)啟動(dòng)一個(gè)NM,NM不但向RM發(fā)送心跳,匯報(bào)本節(jié)點(diǎn)的資源使用情況;并與AM交互,接收并處理來自AM的所有關(guān)于container的請(qǐng)求。 - container
一個(gè)邏輯概念,抽象的資源表示形式,可以代表一組多維度資源,目前yarn主要支持cpu和內(nèi)存。
yarn工作流程
向yarn提交一個(gè)應(yīng)用程序后,yarn主要分為兩個(gè)步驟:第一步先啟動(dòng)application master;第二步由AM啟動(dòng)并監(jiān)控本application中的所有任務(wù),直到完成。
- 向yarn提交應(yīng)用程序,包含application master程序,以及啟動(dòng)am的命令;
- RM為AM分配一個(gè)container,并與NM通信啟動(dòng)container來運(yùn)行這個(gè)AM(這是唯一一個(gè)由RM和NM通信啟動(dòng)的container,其它的container都是AM與NM通信啟動(dòng))
- AM啟動(dòng)之后,主動(dòng)向RM發(fā)送心跳注冊(cè)自己,此時(shí)RM可以監(jiān)控這個(gè)AM,我們可以在yarn web頁面上看到這個(gè)任務(wù);
- AM輪詢方式向RM申請(qǐng)和獲取資源;
- AM獲取到資源后,與NM通信要求啟動(dòng)任務(wù);
- NM設(shè)置任務(wù)運(yùn)行環(huán)境,啟動(dòng)任務(wù);
- 各個(gè)NM上的任務(wù),不斷通過RPC向AM發(fā)送心跳,匯報(bào)自己的狀態(tài)和進(jìn)度;
- 任務(wù)全部完成后,AM向RM注銷自己。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
網(wǎng)頁名稱:Yarn架構(gòu)-創(chuàng)新互聯(lián)
網(wǎng)頁地址:
http://weahome.cn/article/csssho.html