這篇文章給大家介紹Yarn實(shí)現(xiàn)原理和管理是怎樣的，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

成都創(chuàng)新互聯(lián)公司是專業(yè)的霍城網(wǎng)站建設(shè)公司，霍城接單;提供網(wǎng)站制作、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行霍城網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

Yarn中對于CPU的管理使用了CGroup方案，即使用CGroup來對Yarn中Container的計(jì)算能力進(jìn)行管理。RM中的調(diào)度器根據(jù)AM的資源請求分配相應(yīng)數(shù)量資源的Container，主要包括內(nèi)存和CPU兩種資源，CPU的分配與內(nèi)存的分配過程是一樣的。小編著重講解Container中CPU的管理。

Yarn中包含兩類容器執(zhí)行腳本，若想實(shí)現(xiàn)對CPU的控制，需要使用LinuxContainerExecutor.java來啟動容器，默認(rèn)的 DefaultContainerExecutor.java無法管理CPU，可以將配置文件中的yarn.nodemanager.Linux-Container-executor.resources-handler.class參數(shù)值設(shè)為org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler

LinuxContainerExecutor可以實(shí)現(xiàn)以容器所屬用戶的身份運(yùn)行container，而默認(rèn)的 DefaultContainerExecutor只能以普通管理員身份運(yùn)行container。

首先我們需要關(guān)注配置文件中的兩個(gè)參數(shù)，源碼中配置文件的路徑為hadoop-yarn-api\src\main\java\org\apache\hadoop\yarn\conf\YarnConfiguration.java

第一個(gè)參數(shù)表示該節(jié)點(diǎn)上可以分配給容器使用的CPU核數(shù)，用vcores表示，默認(rèn)為8，yarn中之所以采用虛擬CPU來表示，是為了消除不同CPU性能之間的差異，默認(rèn)1個(gè)物理CPU對應(yīng)一個(gè)虛擬CPU，需要手工設(shè)置。

第二個(gè)參數(shù)表示節(jié)點(diǎn)上的CPU可以分配給所有容器的使用時(shí)間比例，默認(rèn)為100%，即所有CPU的計(jì)算能力全部供Yarn使用。

還有一個(gè)參數(shù)是用來限制是否允許在CPU空閑時(shí)，可以將多余的計(jì)算能力分配給其他進(jìn)程使用，默認(rèn)允許，若設(shè)為TRUE，則會嚴(yán)格按照資源限制控制容器的CPU使用時(shí)間，該參數(shù)如下：

了解完幾個(gè)主要參數(shù)后再來看一下容器的CPU使用是具體怎樣控制的。

該控制邏輯代碼在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\util\CgroupsLCEResourcesHandler.java文件中。

下面看一下幾個(gè)關(guān)鍵的邏輯點(diǎn)：

這兩個(gè)方法會分別在容器啟動前和容器執(zhí)行完后進(jìn)行調(diào)用，具體的調(diào)用過程是在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\LinuxContainerExecutor.java中的launchContainer方法中進(jìn)行調(diào)用的。

第一個(gè)方法主要用來設(shè)置容器的CPU使用限額，具體實(shí)現(xiàn)在setupLimits方法中：

這個(gè)方法首先獲取Container中分配的虛擬CPU數(shù)量，接著創(chuàng)建CGroup的文件路徑，即在CGroup路徑中創(chuàng)建與CPU和容器名稱相關(guān)的路徑。在這個(gè)方法中可以看到有兩種CPU的限制方式：

第一種是通過cpuShares參數(shù)，該參數(shù)其實(shí)就是依據(jù)容器中分配的虛擬CPU數(shù)量來計(jì)算使用時(shí)間的，比如容器A為1 vcores，容器B為2 vcores，則容器A和B在滿負(fù)荷運(yùn)行時(shí)可以使用的CPU配額為1：2，該配比是相對的，即若只有一個(gè)容器，則可以使用100%的CPU時(shí)間。這種方式在保證公平的情況下能更加充分利用資源。

第二種需要開啟上述提到的cgroups.strict-resource-usage參數(shù)， 即設(shè)為TRUE，通過調(diào)用 getOverallLimits方法得到具體限額，然后將限額寫入cfs_period_us和cfs_quota_us文件中，這種方式限制的是絕對使用時(shí)間，來看一下getOverallLimits方法：

這里涉及到了幾個(gè)參數(shù)：

yarnProcessors：代表在某個(gè)節(jié)點(diǎn)上yarn中可使用的虛擬CPU數(shù)量， 最小不能低于0.01，該參數(shù)的值是通過在init方法中調(diào)用NodeManagerHardwareUtils.getContainersCores方法進(jìn)行初始化的，即根據(jù)配置文件中設(shè)定的CPU分配比例來計(jì)算Yarn可用的CPU數(shù)量：

quotaUS：就是在一個(gè)時(shí)間周期內(nèi)可使用的 cpu 時(shí)間。

periodUS：時(shí)間周期(每個(gè)cpu core)。

具體計(jì)算方式在getOverallLimits方法中：

quotaUS默認(rèn)值為1000 * 1000，即1秒，periodUS默認(rèn)值為（1000 * 1000/yarnProcessors）取整。

當(dāng)yarnProcessors小于1時(shí)，quotaUS的值為 (periodUS * yarnProcessors)取整，但最小不能低于1000ms，periodUS的值為1000 * 1000，即1秒。

將這兩個(gè)值返回并寫入文件中。

當(dāng)容器執(zhí)行完畢時(shí)，會清理上面設(shè)置的CPU限額配置，具體實(shí)現(xiàn)在下面的方法中：

關(guān)于Yarn實(shí)現(xiàn)原理和管理是怎樣的就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。