HADOOP YARN是什么?
Yarn全稱是Yet Another Resource Negotiator(資源管理器)
基本概念
Container
容器是Yarn對(duì)資源的一層抽象。(CPU核數(shù),內(nèi)存等計(jì)算資源)
容器由NodeManager啟動(dòng)和管理,并被它所監(jiān)控
容器由ResureceManager調(diào)度
ResourceManager(RM)負(fù)責(zé)資源管理,包含定時(shí)調(diào)度器(scheduler)和應(yīng)用管理器(ApplicationManager)
調(diào)度器向分配資源,應(yīng)用管理器監(jiān)控應(yīng)用程序。
ApplicationMaster
每提交一個(gè)作業(yè),Appmaster向Resourcemanager申請(qǐng)資源,獲得資源后將運(yùn)行的程序發(fā)送到容器啟動(dòng)。(數(shù)據(jù)不動(dòng),程序動(dòng))
Nodemanager
負(fù)責(zé)容器的管理,監(jiān)控資源的使用情況,向ResourceManager提供資源的使用報(bào)告。
程序提交流程
1. Client向Yarn提交Application
2. ResourceManager向NodeManager通信,為Appmaster分配第一個(gè)容器
3. Appmaster對(duì)作業(yè)進(jìn)行拆分,向ResourceManager申請(qǐng)容器
4. Appmaster與NodeManager通信,將作業(yè)分發(fā)到容器中。
5. 容器向Appmaster發(fā)送心跳
6. 程序結(jié)束,Appmaster向ResourceManager注銷資源
本文標(biāo)題:HADOOPYARN(一)
文章URL:
http://weahome.cn/article/ghiogp.html