真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

HadoopYARN配置參數(shù)剖析-創(chuàng)新互聯(lián)

1.  資源分配相關(guān)參數(shù)

創(chuàng)新互聯(lián)專業(yè)IDC數(shù)據(jù)服務(wù)器托管提供商,專業(yè)提供成都服務(wù)器托管,服務(wù)器租用,成都多線服務(wù)器托管成都多線服務(wù)器托管,成都多線服務(wù)器托管等服務(wù)器托管服務(wù)。

(1)  capacity:隊(duì)列的資源容量(百分比)。 當(dāng)系統(tǒng)非常繁忙時(shí),應(yīng)保證每個(gè)隊(duì)列的容量得到滿足,而如果每個(gè)隊(duì)列應(yīng)用程序較少,可將剩余資源共享給其他隊(duì)列。注意,所有隊(duì)列的容量之和應(yīng)小于100。

(2)  maximum-capacity:隊(duì)列的資源使用上限(百分比)。由于存在資源共享,因此一個(gè)隊(duì)列使用的資源量可能超過(guò)其容量,而最多使用資源量可通過(guò)該參數(shù)限制。

m  minimum-user-limit-percent:每個(gè)用戶最低資源保障(百分比)。任何時(shí)刻,一個(gè)隊(duì)列中每個(gè)用戶可使用的資源量均有一定的限制。當(dāng)一個(gè)隊(duì)列中同時(shí)運(yùn)行多個(gè)用戶的應(yīng)用程序時(shí)中,每個(gè)用戶的使用資源量在一個(gè)最小值和大值之間浮動(dòng),其中,最小值取決于正在運(yùn)行的應(yīng)用程序數(shù)目,而大值則由minimum-user-limit-percent決定。比如,假設(shè)minimum-user-limit-percent為25。當(dāng)兩個(gè)用戶向該隊(duì)列提交應(yīng)用程序時(shí),每個(gè)用戶可使用資源量不能超過(guò)50%,如果三個(gè)用戶提交應(yīng)用程序,則每個(gè)用戶可使用資源量不能超多33%,如果四個(gè)或者更多用戶提交應(yīng)用程序,則每個(gè)用戶可用資源量不能超過(guò)25%。

(3)  user-limit-factor:每個(gè)用戶最多可使用的資源量(百分比)。比如,假設(shè)該值為30,則任何時(shí)刻,每個(gè)用戶使用的資源量不能超過(guò)該隊(duì)列容量的30%。

2.  限制應(yīng)用程序數(shù)目相關(guān)參數(shù)

(1)  maximum-applications :集群或者隊(duì)列中同時(shí)處于等待和運(yùn)行狀態(tài)的應(yīng)用程序數(shù)目上限,這是一個(gè)強(qiáng)限制,一旦集群中應(yīng)用程序數(shù)目超過(guò)該上限,后續(xù)提交的應(yīng)用程序?qū)⒈痪芙^,默認(rèn)值為10000。所有隊(duì)列的數(shù)目上限可通過(guò)參數(shù)yarn.scheduler.capacity.maximum-applications設(shè)置(可看做默認(rèn)值),而單個(gè)隊(duì)列可通過(guò)參數(shù)yarn.scheduler.capacity..maximum-applications設(shè)置適合自己的值。

(2)  maximum-am-resource-percent:集群中用于運(yùn)行應(yīng)用程序ApplicationMaster的資源比例上限,該參數(shù)通常用于限制處于活動(dòng)狀態(tài)的應(yīng)用程序數(shù)目。該參數(shù)類(lèi)型為浮點(diǎn)型,默認(rèn)是0.1,表示10%。所有隊(duì)列的ApplicationMaster資源比例上限可通過(guò)參數(shù)yarn.scheduler.capacity. maximum-am-resource-percent設(shè)置(可看做默認(rèn)值),而單個(gè)隊(duì)列可通過(guò)參數(shù)yarn.scheduler.capacity.. maximum-am-resource-percent設(shè)置適合自己的值。

3.  隊(duì)列訪問(wèn)和權(quán)限控制參數(shù)

(1)  state :隊(duì)列狀態(tài)可以為STOPPED或者RUNNING,如果一個(gè)隊(duì)列處于STOPPED狀態(tài),用戶不可以將應(yīng)用程序提交到該隊(duì)列或者它的子隊(duì)列中,類(lèi)似的,如果ROOT隊(duì)列處于STOPPED狀態(tài),用戶不可以向集群中提交應(yīng)用程序,但正在運(yùn)行的應(yīng)用程序仍可以正常運(yùn)行結(jié)束,以便隊(duì)列可以優(yōu)雅地退出。

(2)  acl_submit_applications:限定哪些Linux用戶/用戶組可向給定隊(duì)列中提交應(yīng)用程序。需要注意的是,該屬性具有繼承性,即如果一個(gè)用戶可以向某個(gè)隊(duì)列中提交應(yīng)用程序,則它可以向它的所有子隊(duì)列中提交應(yīng)用程序。配置該屬性時(shí),用戶之間或用戶組之間用“,”分割,用戶和用戶組之間用空格分割,比如“user1, user2 group1,group2”。

(3)  acl_administer_queue:為隊(duì)列指定一個(gè)管理員,該管理員可控制該隊(duì)列的所有應(yīng)用程序,比如殺死任意一個(gè)應(yīng)用程序等。同樣,該屬性具有繼承性,如果一個(gè)用戶可以向某個(gè)隊(duì)列中提交應(yīng)用程序,則它可以向它的所有子隊(duì)列中提交應(yīng)用程序。

一個(gè)配置文件實(shí)例如下:


  
    yarn.scheduler.capacity.maximum-applications
    10000
    最多可同時(shí)處于等待和運(yùn)行狀態(tài)的應(yīng)用程序數(shù)目
  

  
    yarn.scheduler.capacity.maximum-am-resource-percent
    0.1
    集群中可用于運(yùn)行application master的資源比例上限,這通常用于限制并發(fā)運(yùn)行的應(yīng)用程序數(shù)目。
  

  
    yarn.scheduler.capacity.root.queues
    default
    root隊(duì)列的所有子隊(duì)列,該實(shí)例中只有一個(gè)
  

  
    yarn.scheduler.capacity.root.default.capacity
    100
    default隊(duì)列的資源容量
  

  
    yarn.scheduler.capacity.root.default.user-limit-factor
    1
    
     每個(gè)用戶可使用的資源限制
    
  

  
    yarn.scheduler.capacity.root.default.maximum-capacity
    100
    
      Default隊(duì)列可使用的資源上限.
    
  

  
    yarn.scheduler.capacity.root.default.state
    RUNNING
    
     Default隊(duì)列的狀態(tài),可以是RUNNING或者STOPPED.
    
  

  
    yarn.scheduler.capacity.root.default.acl_submit_applications
    *
    
      限制哪些用戶可向default隊(duì)列中提交應(yīng)用程序.
    
  

  
    yarn.scheduler.capacity.root.default.acl_administer_queue
    *
    
限制哪些用戶可管理default隊(duì)列中的應(yīng)用程序,“*”表示任意用戶

  

  
    yarn.scheduler.capacity.node-locality-delay
    -1
    調(diào)度器嘗試調(diào)度一個(gè)rack-local container之前,最多跳過(guò)的調(diào)度機(jī)會(huì),通常而言,該值被設(shè)置成集群中機(jī)架數(shù)目,默認(rèn)情況下為-1,表示不啟用該功能。
    
  

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


當(dāng)前題目:HadoopYARN配置參數(shù)剖析-創(chuàng)新互聯(lián)
URL網(wǎng)址:http://weahome.cn/article/dpeiij.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部