Fair Scheduler總結(jié)

公司主營業(yè)務(wù)：成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出安定免費(fèi)做網(wǎng)站回饋大家。

默認(rèn)公平調(diào)度調(diào)度策略僅僅基于內(nèi)存資源，通過使用DRF(Dominant Resource Fairness)能夠配置基于內(nèi)存和CPU資源任務(wù)調(diào)度。

當(dāng)只有一個(gè)應(yīng)用運(yùn)行的時(shí)候，該應(yīng)用能夠使用整個(gè)集群。當(dāng)其他應(yīng)用提交到集群，空閑出來的資源將分配給新提交的應(yīng)用，這樣每個(gè)應(yīng)用能夠得到大致相同的資源。Hadoop默認(rèn)調(diào)度器，形成一個(gè)應(yīng)用的隊(duì)列，如此小應(yīng)用可以在一個(gè)合理時(shí)間范圍內(nèi)完成，并且不會讓大應(yīng)用長時(shí)間等待資源。這也是一個(gè)合理方式在許多用戶中分享集群資源。最后，公平調(diào)度可以設(shè)置應(yīng)用的優(yōu)先度，設(shè)置優(yōu)先度權(quán)重決定應(yīng)用占用資源比例。

可插入策略的分層隊(duì)列

公平調(diào)度支持分層隊(duì)列，所有的隊(duì)列從root隊(duì)列延伸。典型的公平調(diào)度方式是把可用資源分布在可用的root隊(duì)列的子隊(duì)列當(dāng)中。應(yīng)用程序只能在葉子隊(duì)列中被調(diào)度。一個(gè)隊(duì)列可以被指定為其他隊(duì)列的子隊(duì)列。指定一個(gè)有層級的隊(duì)列需要同時(shí)指定上級隊(duì)列。例如 root.queue1  root.queue1.queue2。

公平調(diào)度可以配置自定義的調(diào)度策略，比如FifiPolicy,FairSharePolicy,DominantResourceFairnessPolicy

使用公平調(diào)度需要在yarn-site.xml中配置如下內(nèi)容

  yarn.resourcemanager.scheduler.class
  org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

配置公平調(diào)度主要包含兩個(gè)文件，首先是yarn-site.xml，在Hadoop配置目錄下，其次需要?jiǎng)?chuàng)建一個(gè)配置文件fair-scheduler.xml，主要配置隊(duì)列的權(quán)重和資源容量等。

  
    10000 mb,0vcores
    90000 mb,0vcores
    50
    0.1
    2.0
    fair
    
      charlie
      5000 mb,0vcores
    
  

  0.5
  40000 mb,0vcores

  
  
  3.0
  

  
    30
  
  5

  
    
    
    
        
    
    
  

隊(duì)列訪問控制列表

ACLs對隊(duì)列進(jìn)行控制，管理哪些用戶可以訪問特定隊(duì)列。主要包括了aclSubmitApps 和aclAdministerApps配置項(xiàng)，每個(gè)隊(duì)列都可以配置這兩個(gè) 參數(shù)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：【總結(jié)】FairScheduler-創(chuàng)新互聯(lián)
本文地址：http://weahome.cn/article/diegij.html