這篇文章給大家分享的是有關(guān)Hadoop中如何配置Yarn的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站設(shè)計、永豐網(wǎng)絡(luò)推廣、成都微信小程序、永豐網(wǎng)絡(luò)營銷、永豐企業(yè)策劃、永豐品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供永豐建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com

作為HDP 2.0 Beta的一部分，YARN采用MapReduce中的資源管理功能，并將它們打包，以便新引擎可以使用它們。 這也簡化了MapReduce做它做的最好的處理數(shù)據(jù)。 使用YARN，您現(xiàn)在可以在Hadoop中運行多個應(yīng)用程序，所有這些應(yīng)用程序共享一個公共資源管理。

在本博文中，我們將介紹如何規(guī)劃和配置企業(yè)HDP 2.0集群部署中的處理能力。 這將覆蓋YARN和MapReduce 2.我們將使用一個示例物理群集的從節(jié)點，每個具有48 GB RAM，12個磁盤和2個Hex核CPU（總共12個核）。

YARN考慮了集群中每臺計算機(jī)上的所有可用計算資源。 基于可用資源，YARN將協(xié)商在集群中運行的應(yīng)用程序（如MapReduce）的資源請求。 然后，YARN通過分配容器為每個應(yīng)用程序提供處理能力。 容器是YARN中處理能力的基本單元，是資源元素（內(nèi)存，cpu等）的封裝。

配置YARN

在Hadoop集群中，平衡RAM，CPU和磁盤的使用至關(guān)重要，這樣處理不受任何一個集群資源的限制。 作為一般建議，我們發(fā)現(xiàn)，每個磁盤和每個核心允許1-2個容器為集群利用率提供最佳平衡。 因此，對于具有12個磁盤和12個核心的示例集群節(jié)點，我們將允許為每個節(jié)點分配20個最大容器。

我們集群中的每臺機(jī)器都有48 GB的RAM。 某些RAM應(yīng)保留用于操作系統(tǒng)。 在每個節(jié)點上，我們將分配40 GB RAM供YARN使用，并為操作系統(tǒng)保留8 GB。 以下屬性設(shè)置YARN可以在節(jié)點上使用的最大內(nèi)存：

In yarn-site.xml

yarn.nodemanager.resource.memory-mb
40960

下一步是提供YARN指導(dǎo)如何分解容器中可用的總資源。 通過指定要為容器分配的RAM的最小單位來執(zhí)行此操作。 我們要允許最多20個容器，因此需要（總共40 GB內(nèi)存）/（20個容器）=每個容器最少2 GB：

In yarn-site.xml

yarn.scheduler.minimum-allocation-mb
 2048

YARN將分配容量大于yarn.scheduler.minimum-allocation-mb的RAM容量。

配置MAPREDUCE 2
MapReduce 2在YARN之上運行，并使用YARN容器來調(diào)度和執(zhí)行其映射和減少任務(wù)。

在YARN上配置MapReduce 2資源利用率時，有三個方面需要考慮：

每個Map和Reduce任務(wù)的物理RAM限制
每個任務(wù)的JVM堆大小限制
每個任務(wù)將獲得的虛擬內(nèi)存量
您可以定義每個Map和Reduce任務(wù)將占用的最大內(nèi)存量。 由于每個Map和每個Reduce將在單獨的容器中運行，因此這些最大內(nèi)存設(shè)置應(yīng)至少等于或大于YARN最小容器分配。

對于我們的示例集群，我們有一個容器的最小RAM（yarn.scheduler.minimum-allocation-mb）= 2 GB。 因此，我們將為Map任務(wù)容器分配4 GB，為Reduce任務(wù)容器分配8 GB。

In mapred-site.xml:

mapreduce.map.memory.mb
 4096
 mapreduce.reduce.memory.mb
 8192

每個容器將運行Map和Reduce任務(wù)的JVM。 JVM堆大小應(yīng)設(shè)置為低于上面定義的Map和Reduce內(nèi)存，以使它們在YARN分配的Container內(nèi)存的邊界內(nèi)。

In mapred-site.xml:

mapreduce.map.java.opts
 -Xmx3072m
 mapreduce.reduce.java.opts
 -Xmx6144m

以上設(shè)置配置Map和Reduce任務(wù)將使用的物理RAM的上限。 每個Map和Reduce任務(wù)的虛擬內(nèi)存（物理+分頁內(nèi)存）上限由每個YARN容器允許的虛擬內(nèi)存比率決定。 這是通過以下配置設(shè)置的，默認(rèn)值為2.1：

In yarn-site.xml:

yarn.nodemanager.vmem-pmem-ratio
 2.1

因此，使用我們的示例集群上的上述設(shè)置，每個Map任務(wù)將獲得以下內(nèi)存分配，并具有以下內(nèi)容：

總物理RAM分配= 4 GB
Map任務(wù)中的JVM堆空間上限Container = 3 GB
虛擬內(nèi)存上限= 4 * 2.1 = 8.2 GB
使用YARN和MapReduce 2，不再有用于Map和Reduce任務(wù)的預(yù)配置靜態(tài)槽。 整個集群可用于Maps的動態(tài)資源分配，并可根據(jù)作業(yè)的需要進(jìn)行縮減。 在我們的示例集群中，通過上述配置，YARN將能夠在每個節(jié)點上分配多達(dá)10個映射器（40/4）或5個reducer（40/8）或其中的置換。

感謝各位的閱讀！關(guān)于“Hadoop中如何配置Yarn”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！