這篇文章主要介紹“Hadoop資源怎么管理”，在日常操作中，相信很多人在Hadoop資源怎么管理問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop資源怎么管理”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！
Linux Control Groups(cgroups):在操作系統(tǒng)級別進(jìn)行資源分配，可通過Cloudera Static Service Pools配置。
YARN調(diào)度器配置:對運(yùn)行在YARN上的應(yīng)用進(jìn)行資源配置，比如M/R，implala?？赏ㄟ^Cloudera 動(dòng)態(tài)資源池進(jìn)行配置。
以下資源可以通過cgroups配置進(jìn)行限制：
Memory Hard Limit
– If a process exceeds this limit, the kernel swaps out some of the process’s memory; if it cannot do so, the process will be killed
Memory Soft Limit
– When memory contenFon exists on the host, the OS targets the process to not exceed this limit
CPU Shares
– When CPU contenFon exists on the host, processes with higher CPU shares will be given more CPU time
I/O Weight
– Specify the proportion of I/O access available to the read requests performed by a process
通過YARN進(jìn)行資源配置：
YARN scheduler決定何時(shí)何處給應(yīng)用分配Containers，Containers被賦予memory，CPU等資源。
YARN支持的scheduler類型：
1.FIFO Scheduler:先進(jìn)先出調(diào)度器，基于時(shí)間順序分配資源。
2.Capacity Scheduler:資源分配到資源池，各資源池中采用FIFO分配資源。
3.Fair Scheduler（default，recommend）:公平調(diào)度器。資源分配到帶有權(quán)重的資源池。各資源池之間按權(quán)重分配資源。
公平調(diào)度器的分配份額永遠(yuǎn)不會高于實(shí)際的需要。
單一考慮：應(yīng)用內(nèi)存均等的分，CPU均等的分。
綜合考慮：應(yīng)用內(nèi)存，CPU消耗內(nèi)存綜合考慮分配。
每個(gè)pool上可以設(shè)權(quán)重，可以設(shè)最小值。
YARN調(diào)度器屬性配置：yarn.resourcemanager.scheduler.class。
YARN沒指定pool，會默認(rèn)初始化一個(gè)和用戶同名的pool。
YARN也支持預(yù)先指定一個(gè)pool，運(yùn)行時(shí)動(dòng)態(tài)指定一個(gè)pool。
YARN work node資源配置：
yarn.nodemanager.resource.memory-mb：配置NodeManager的tasks可使用的RAM。
yarn.nodemanager.resource.cpu-vcores：配置NodeManager的tasks可使用的CPU個(gè)數(shù)。
yarn.scheduler.minimum-allocation-mb ：配置ResourceManager內(nèi)存。CM default: 1G。
yarn.scheduler.minimum-allocation-vcores:配置ResourceManager的CPU。CM default:1 vcore。
yarn.scheduler.increment-allocation-mb：內(nèi)存規(guī)整化單位，CM default 512M。如果資源請求1.6G，則會分配512*4=2G。
yarn.scheduler.increment-allocation-vcores：cpu規(guī)整化單位。
YARN Container資源分配：
mapreduce.map.memory.mb ：Map task內(nèi)存分配，CM default 1G。
mapreduce.reduce.memory.mb :Reduce task內(nèi)存分配，CM default 1G。
yarn.app.mapreduce.am.resource.mb：ApplicationMaster內(nèi)存分配，CM default 1G。Used by NodeManagers。
yarn.app.mapreduce.am.command-opts：Java堆空間分配，默認(rèn)1G。
mapreduce.map.java.opts：Java執(zhí)行Mapper時(shí)的堆大小。
mapreduce.reduce.java.opts：Java執(zhí)行Reducer時(shí)的堆大小。
YARN tuning:
Calculate the resources needed for other processes：
– Reserve 3GB or 20% of total memory for the OS
– Reserve resources for any non-Hadoop applicaFons
– Reserve resources for other any Hadoop components
– HDFS caching (if configured), NodeManager, DataNode
– Impalad, HBase RegionServer, Solr, etc.
Configure the YARN scheduler and application framework settings
– Based on the worker node profile determined above
– Determine the number of containers needed to best support YARN applicaFons based on the type of workload
– Monitor usage and tune estimated values to find optimal settings
到此，關(guān)于“Hadoop資源怎么管理”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！
重慶分公司
重慶分公司
