背景

yarn默認使用的是最簡單的FIFO調(diào)度器，即一個default隊列，所有用戶共享，分配資源也是先到先得，沒有優(yōu)先級之分。有時一兩個任務(wù)就把資源全占了，其他任務(wù)吃不到資源造成饑餓，顯然這樣的資源分配是不合理的（在當今社會主義之中，我們要共同富裕?。?。yarn還有兩種資源調(diào)度器，capacity schedule和fair schedule，本文主要研究下capacity schedule。

創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計制作、成都網(wǎng)站建設(shè)、陸河網(wǎng)絡(luò)推廣、微信小程序開發(fā)、陸河網(wǎng)絡(luò)營銷、陸河企業(yè)策劃、陸河品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供陸河建站搭建服務(wù)，24小時服務(wù)熱線：18980820575，官方網(wǎng)址：www.cdcxhl.com

什么是capacity schedule

Capacity Schedule調(diào)度器以隊列為單位劃分資源。簡單通俗點來說，就是一個個隊列有獨立的資源，隊列的結(jié)構(gòu)和資源是可以進行配置的，如下圖：

default隊列占30%資源，analyst和dev分別占40%和30%資源；類似的，analyst和dev各有兩個子隊列，子隊列在父隊列的基礎(chǔ)上再分配資源。

隊列以分層方式組織資源,設(shè)計了多層級別的資源限制條件以更好的讓多用戶共享一個Hadoop集群，比如隊列資源限制、用戶資源限制、用戶應(yīng)用程序數(shù)目限制。隊列里的應(yīng)用以FIFO方式調(diào)度，每個隊列可設(shè)定一定比例的資源最低保證和使用上限，同時，每個用戶也可以設(shè)定一定的資源使用上限以防止資源濫用。而當一個隊列的資源有剩余時，可暫時將剩余資源共享給其他隊列。

特性

Capacity調(diào)度器具有以下的幾個特性：
● 層次化的隊列設(shè)計，這種層次化的隊列設(shè)計保證了子隊列可以使用父隊列設(shè)置的全部資源。這樣通過層次化的管理，更容易合理分配和限制資源的使用。
● 容量保證，隊列上都會設(shè)置一個資源的占比，這樣可以保證每個隊列都不會占用整個集群的資源。
● 安全，每個隊列又嚴格的訪問控制。用戶只能向自己的隊列里面提交任務(wù)，而且不能修改或者訪問其他隊列的任務(wù)。
● 彈性分配，空閑的資源可以被分配給任何隊列。當多個隊列出現(xiàn)爭用的時候，則會按照比例進行平衡。
● 多租戶租用，通過隊列的容量限制，多個用戶就可以共享同一個集群，同時保證每個隊列分配到自己的容量，提高利用率。
● 操作性，yarn支持動態(tài)修改調(diào)整容量、權(quán)限等的分配，可以在運行時直接修改。還提供給管理員界面，來顯示當前的隊列狀況。管理員可以在運行時，添加一個隊列；但是不能刪除一個隊列。管理員還可以在運行時暫停某個隊列，這樣可以保證當前的隊列在執(zhí)行過程中，集群不會接收其他的任務(wù)。如果一個隊列被設(shè)置成了stopped，那么就不能向他或者子隊列上提交任務(wù)了。
● 基于資源的調(diào)度，協(xié)調(diào)不同資源需求的應(yīng)用程序，比如內(nèi)存、CPU、磁盤等等。

配置

開啟調(diào)度器

在ResourceManager中配置它要使用的調(diào)度器，配置方式是修改conf/yarn-site.xml，設(shè)置屬性：

    yarn.resourcemanager.scheduler.class   
    org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

配置隊列

調(diào)度器的核心就是隊列的分配和使用了，修改conf/capacity-scheduler.xml可以配置隊列。
Capacity調(diào)度器默認有一個預(yù)定義的隊列——root,所有的隊列都是它的子隊列。隊列的分配支持層次化的配置，使用.來進行分割，比如yarn.scheduler.capacity..queues

下面是配置的樣例，比如root下面有三個子隊列:

  yarn.scheduler.capacity.root.queues
  a,b,c
  The queues at the this level (root is the root queue).
  
  yarn.scheduler.capacity.root.a.queues
  a1,a2
  The queues at the this level (root is the root queue).
  
  yarn.scheduler.capacity.root.b.queues
  b1,b2,b3
  The queues at the this level (root is the root queue).
  

隊列屬性

yarn.scheduler.capacity..capacity

它是隊列的資源容量占比(百分比)。系統(tǒng)繁忙時，每個隊列都應(yīng)該得到設(shè)置的量的資源；當系統(tǒng)空閑時，該隊列的資源則可以被其他的隊列使用。同一層的所有隊列加起來必須是100%。

yarn.scheduler.capacity..maximum-capacity

隊列資源的使用上限。由于系統(tǒng)空閑時，隊列可以使用其他的空閑資源，因此最多使用的資源量則是該參數(shù)控制。默認是-1，即禁用。

yarn.scheduler.capacity..minimum-user-limit-percent

每個任務(wù)占用的最少資源。比如，你設(shè)置成了25%。那么如果有兩個用戶提交任務(wù)，那么每個任務(wù)資源不超過50%。如果3個用戶提交任務(wù)，那么每個任務(wù)資源不超過33%。如果4個用戶提交任務(wù)，那么每個任務(wù)資源不超過25%。如果5個用戶提交任務(wù)，那么第五個用戶需要等待才能提交。默認是100，即不去做限制。

yarn.scheduler.capacity..user-limit-factor

每個用戶最多使用的隊列資源占比，如果設(shè)置為50.那么每個用戶使用的資源最多就是50%。

運行和提交應(yīng)用限制

yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity..maximum-applications

設(shè)置系統(tǒng)中可以同時運行和等待的應(yīng)用數(shù)量。默認是10000.

yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity..maximum-am-resource-percent

設(shè)置有多少資源可以用來運行app master，即控制當前激活狀態(tài)的應(yīng)用。默認是10%。

隊列管理

yarn.scheduler.capacity..state

隊列的狀態(tài)，可以使RUNNING或者STOPPED.如果隊列是STOPPED狀態(tài)，那么新應(yīng)用不會提交到該隊列或者子隊列。同樣，如果root被設(shè)置成STOPPED，那么整個集群都不能提交任務(wù)了。現(xiàn)有的應(yīng)用可以等待完成，因此隊列可以優(yōu)雅的退出關(guān)閉。

yarn.scheduler.capacity.root..acl_submit_applications

訪問控制列表ACL控制誰可以向該隊列提交任務(wù)。如果一個用戶可以向該隊列提交，那么也可以提交任務(wù)到它的子隊列。

yarn.scheduler.capacity.root..acl_administer_queue

設(shè)置隊列的管理員的ACL控制，管理員可以控制隊列的所有應(yīng)用程序。同樣，它也具有繼承性。

注意：ACL的設(shè)置是user1,user2 group1,group2這種格式。如果是則代表任何人?？崭癖硎救魏稳硕疾辉试S。默認是.

其他屬性

yarn.scheduler.capacity.resource-calculator

資源計算方法，默認是org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator,它只會計算內(nèi)存。DominantResourceCalculator則會計算內(nèi)存和CPU。

yarn.scheduler.capacity.node-locality-delay

調(diào)度器嘗試進行調(diào)度的次數(shù)。一般都是跟集群的節(jié)點數(shù)量有關(guān)。默認40（一個機架上的節(jié)點數(shù)）
一旦設(shè)置完這些隊列屬性，就可以在web ui上看到了?？梢栽L問下面的連接：
xxx:8088/scheduler

修改隊列配置

如果想要修改隊列或者調(diào)度器的配置，可以修改

vi $HADOOP_CONF_DIR/capacity-scheduler.xml

修改完成后，需要執(zhí)行下面的命令：

$HADOOP_YARN_HOME/bin/yarn rmadmin -refreshQueues

注意：

• 隊列不能被刪除，只能新增。

• 更新隊列的配置需要是有效的值

• 同層級的隊列容量限制相加需要等于100%。

• 如果希望自己的任務(wù)調(diào)度到queue1隊列，只需在啟動任務(wù)時指定：mapreduce.job.queuename參數(shù)為queue1即可，默認為default隊列

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站欄目：YARN資源調(diào)度策略之CapacityScheduler-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://weahome.cn/article/deiphd.html