2019/3/26 星期二
調(diào)整YARN
本主題僅適用于YARN群集，并介紹如何為群集調(diào)整和優(yōu)化YARN。
注意：下載Cloudera YARN調(diào)整電子表格以幫助計算YARN配置。 有關(guān)簡短視頻概述，請參閱調(diào)整YARN應用程序。
概觀
此概述提供YARN群集的抽象描述和YARN調(diào)整的目標。
YARN群集由主機組成。 主機提供內(nèi)存和CPU資源。 vcore或虛擬核心是主機CPU的使用份額。
調(diào)整YARN主要包括在工作主機上最佳地定義容器。 您可以將容器視為由內(nèi)存和vcores組成的矩形圖。 容器執(zhí)行任務(wù)。
有些任務(wù)使用大量內(nèi)存，對大量數(shù)據(jù)的處理最少。
其他任務(wù)需要大量處理能力，但使用的內(nèi)存較少。例如，蒙特卡羅模擬評估許多可能的“如果？”場景在相對較小的數(shù)據(jù)集上使用大量處理能力。
YARN ResourceManager分配內(nèi)存和vcores以盡可能以最有效的方式使用所有可用資源。理想情況下，很少或沒有資源閑置。
應用程序是由一個或多個任務(wù)組成的YARN客戶端程序。通常，任務(wù)使用容器中的所有可用資源。任務(wù)不能超過其指定的分配，確保它不能使用所有主機CPU周期或超過其內(nèi)存分配。
通過將容器配置為使用除開銷和其他服務(wù)所需的所有可用資源之外，調(diào)整YARN主機以優(yōu)化vcores和內(nèi)存的使用。
YARN調(diào)整有三個階段。這些階段對應于YARN調(diào)整電子表格中的選項卡。
1、群集配置，您可以在其中配置主機。
????2、YARN配置，您可以量化內(nèi)存和vcores。
????3、MapReduce配置，您可以為特定map和reduce任務(wù)分配最小和大資源。
YARN和MapReduce具有許多可配置的屬性。有關(guān)完整列表，請參閱Cloudera Manager配置屬性。 YARN調(diào)整電子表格列出了這些屬性的基本子集，這些屬性最有可能提高常見MapReduce應用程序的性能。
群集配置
在Cluster Configuration選項卡中，您可以為YARN實現(xiàn)定義工作主機配置和群集大小。
機器配置
第1步：工作者主機配置 //表格中寫單個主機配置
在下面的輸入框中輸入您可能的機器配置。 如果您不確定您計劃購買哪種機器，請?zhí)峁┮恍┻m合您預期購買的最小值。
與任何系統(tǒng)一樣，可用的內(nèi)存和CPU資源越多，集群處理大量數(shù)據(jù)的速度就越快。 具有4個帶超線程的CPU的機器，每個CPU有6個內(nèi)核，每個主機提供48個vcore。
2個單元服務(wù)器安裝中的3 TB硬盤驅(qū)動器在JBOD（Just a Bunch Of Disks）配置中有12個可用插槽，這是在創(chuàng)建電子表格時性能和價格之間的合理平衡。 存儲成本會隨著時間的推移而降低，因此您可能會考慮使用4 TB磁盤。 較大的磁盤價格昂貴，并非所有用例都需要。
兩個1千兆位以太網(wǎng)端口在電子表格發(fā)布時提供了足夠的吞吐量，但10千兆位以太網(wǎng)端口是價格低于速度的選擇。
第2步：工人主持人計劃
現(xiàn)在您已從步驟1獲得基本主機配置，請使用下表將資源（主要是CPU和內(nèi)存）分配給在主機上運行的各種軟件組件。
從您的操作系統(tǒng)開始至少8 GB，為Cloudera Manager開始至少1 GB。 如果CDH以外的服務(wù)需要其他資源，請在“其他服務(wù)”下添加這些數(shù)字。
HDFS DataNode使用至少1個內(nèi)核和大約1 GB內(nèi)存。 相同的要求適用于YARN NodeManager。
電子表格列出了幾個可選服務(wù)：
Impala守護程序需要至少16 GB的守護程序。
???? HBase Region Servers需要12-16 GB的內(nèi)存。
???? Solr服務(wù)器至少需要1 GB的內(nèi)存。
???? Kudu平板電腦服務(wù)器至少需要1 GB的內(nèi)存。
任何剩余資源都可用于YARN應用程序（Spark和MapReduce）。 在此示例中，有44個CPU內(nèi)核可用。 在每個物理核心上設(shè)置所需的vcores乘數(shù)，以計算總可用vcores。
第3步：群集大小
定義了群集中每個主機的規(guī)范后，輸入支持業(yè)務(wù)案例所需的工作主機數(shù)。 要了解并行計算的好處，請將主機數(shù)設(shè)置為最小值10。
YARN配置
在YARN Configuration選項卡上，驗證可用資源并設(shè)置每個容器的最小和大限制。
第4步：在群集上配置YARN
這些是群集的第一組配置值。 您可以在YARN-> Configuration中設(shè)置這些值
步驟4和5：驗證設(shè)置
步驟4從步驟2中提取內(nèi)存和vcore編號。
步驟5顯示群集的總內(nèi)存和vcores。
轉(zhuǎn)到資源管理器Web UI（通常是http：//
步驟6：驗證群集上的容器設(shè)置
為了讓YARN作業(yè)干凈地運行，您需要配置容器屬性。
在步驟6中，您可以更改影響容器大小的值。
最小vcores數(shù)應為1.當需要額外的vcores時，一次添加1將導致最有效的分配。 將vcore預留的大數(shù)量設(shè)置為節(jié)點的大小。
設(shè)置內(nèi)存的最小和大預留。 增量應該是可以影響性能的最小量。 這里，最小值約為1 GB，大值約為8 GB，增量為512 MB。
步驟6A：集群容器容量
本節(jié)將告訴您群集的容量（就容器而言）。
步驟6A允許您根據(jù)輸入的數(shù)字驗證群集中容器的最小和大數(shù)量。
大可能容器數(shù)，基于內(nèi)存配置
大可能容器數(shù)，基于vcore配置
基于每個磁盤軸2個容器的容器編號
根據(jù)內(nèi)存配置，最小可能容器數(shù)
根據(jù)vcore配置，最小可能容器數(shù)
步驟6B：容器健全檢查
本節(jié)將針對主機在STEP 6中對容器參數(shù)進行一些基本檢查。
MapReduce配置
在MapReduce Configuration選項卡上，您可以規(guī)劃增加的特定于任務(wù)的內(nèi)存容量。
第7步：MapReduce配置
對于CDH 5.5及更高版本，我們建議僅為map和reduce任務(wù)指定堆或容器大小。 未指定的值將根據(jù)設(shè)置mapreduce.job.heap.memory-mb.ratio計算。 此計算遵循Cloudera Manager并根據(jù)比率和容器大小計算堆大小。
步驟7A：MapReduce完整性檢查
完整性檢查MapReduce設(shè)置對容器的最小/大屬性。
通過步驟7A，您可以一目了然地確認所有最小和大資源分配都在您設(shè)置的參數(shù)范圍內(nèi)。
連續(xù)調(diào)度
啟用或禁用連續(xù)調(diào)度會更改YARN連續(xù)或基于節(jié)點心跳調(diào)度的頻率。 對于較大的群集（超過75個節(jié)點）看到繁重的YARN工作負載，建議通常使用以下設(shè)置禁用連續(xù)調(diào)度：
yarn.scheduler.fair.continuous-scheduling-enabled應為false
???? yarn.scheduler.fair.assignmultiple應該是真的
在大型群集上，連續(xù)調(diào)度可能導致ResourceManager無響應，因為連續(xù)調(diào)度會遍歷群集中的所有節(jié)點。
有關(guān)連續(xù)調(diào)度調(diào)優(yōu)的更多信息，請參閱以下知識庫文章：FairScheduler使用assignmultiple調(diào)整和連續(xù)調(diào)度
我們沒有75個節(jié)點，設(shè)置為yarn.scheduler.fair.continuous-scheduling-enabled 為true
yarn.scheduler.fair.assignmultiple = true
小結(jié)：
yarn中容器內(nèi)存的計算方法
yarn.nodemanager.resource.memory-mb
容器虛擬 CPU 內(nèi)核
yarn.nodemanager.resource.cpu-vcores
//這2個值是更具最后用到的資源剩下來 多少給yarn的
提示:如果yarn.nodemanager.resource.memory-mb=2G yarn.nodemanager.resource.cpu-vcores=2 4個節(jié)點那么在192.168.0.142:8088/cluster 界面上就會有 “Memory Total=8G” “ VCores Total=8”
最小容器內(nèi)存
yarn.scheduler.minimum-allocation-mb = 1G //推薦值
最小容器虛擬 CPU 內(nèi)核數(shù)量
yarn.scheduler.minimum-allocation-vcores = 1 //推薦值
大容器內(nèi)存
yarn.scheduler.maximum-allocation-mb = < yarn.nodemanager.resource.memory-mb
大容器虛擬 CPU 內(nèi)核數(shù)量
yarn.scheduler.maximum-allocation-vcores = < yarn.nodemanager.resource.cpu-vcores //推薦值
容器內(nèi)存增量
yarn.scheduler.increment-allocation-mb = 512M
容器虛擬 CPU 內(nèi)核增量
yarn.scheduler.increment-allocation-vcores = 1 //推薦值
ApplicationMaster 虛擬 CPU 內(nèi)核
yarn.app.mapreduce.am.resource.cpu-vcores = 1 //推薦值
ApplicationMaster 內(nèi)存
yarn.app.mapreduce.am.resource.mb = 1024M
ApplicationMaster Java 選項庫
yarn.app.mapreduce.am.command-opts = -Djava.net.preferIPv4Stack=true -Xmx768m
堆與容器大小之比
mapreduce.job.heap.memory-mb.ratio = 0.8 默認
Map 任務(wù) CPU 虛擬內(nèi)核
mapreduce.map.cpu.vcores = 1
Map 任務(wù)內(nèi)存
mapreduce.map.memory.mb = 1024
Map 任務(wù) Java 選項庫
mapreduce.map.java.opts = 忽視 ignored
I/O 排序內(nèi)存緩沖 (MiB)
mapreduce.task.io.sort.mb = 400
Reduce 任務(wù) CPU 虛擬內(nèi)核
mapreduce.reduce.cpu.vcores = 1
Reduce 任務(wù)內(nèi)存
mapreduce.reduce.memory.mb = 1024M
Reduce 任務(wù) Java 選項庫
mapreduce.reduce.java.opts 忽視
Map 任務(wù)大堆棧 819 //是 mapreduce.map.memory.mb 0.8
Reduce 任務(wù)大堆棧 819M //mapreduce.reduce.memory.mb 0.8
ApplicationMaster Java 大堆棧 819.2 //這個數(shù)字是yarn.app.mapreduce.am.resource.mb * 0.8得到的
鏈接中，有建議的值，但是我們這是測試集群，資源很小，生產(chǎn)集群上具體見鏈接最后的建議值
參考鏈接：
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cdh_ig_yarn_tuning.html
CDH5性能調(diào)優(yōu) http://blog.hylstudio.cn/archives/488
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
重慶分公司
重慶分公司
