1. 相關(guān)的資源參數(shù)

mapreduce.map.memory.mb： 一個maptask可以使用的資源上限，默認是1G，如果超過設(shè)置的值，會被強制殺死
mapreduce.reduce.memory.mb：一個 Reduce Task 可使用的資源上限默認是1G，如果超過設(shè)置的值，會被強制殺死
mapreduce.map.cpu.vcores：每個maptask最多的CPU core 默認是1個
mapreduce.reduce.cpu.vcores：每個reducetask最多的CPU core 默認是1個

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、重慶小程序開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了崇禮免費建站歡迎大家使用！

以下參數(shù)應該在 yarn 啟動之前就配置在服務器的配置文件中才能生效

yarn.scheduler.minimum-allocation-mb=1024：給應用程序 container 分配的最小內(nèi)存
yarn.scheduler.maximum-allocation-mb=8192：給應用程序 container 分配的最大內(nèi)存
yarn.scheduler.minimum-allocation-vcores=1：給應用程序 container 分配的最小CPU個數(shù)
yarn.scheduler.maximum-allocation-vcores=32：給應用程序 container 分配的最大CPU個數(shù)
yarn.nodemanager.resource.memory-mb=8192：nodemanager啟動任務的
mapreduce.task.io.sort.mb=100：shuffle階段環(huán)形緩沖區(qū)的大小
mapreduce.map.sort.spill.percent=0.8：shuffle階段環(huán)形緩沖區(qū)的閾值
 

2. 相關(guān)的容錯參數(shù)

mapreduce.map.maxattempts=4：每個 Map Task 最大重試次數(shù)，一旦重試參數(shù)超過該值，則認為 Map Task 運行失敗
mapreduce.reduce.maxattempts=4： 每個 Reduce Task 最大重試次數(shù)，一旦重試參數(shù)超過該值，則認為 Map Task 運行失敗
mapreduce.map.failures.maxpercent=0： 當失敗的 Map Task 失敗比例超過該值為，整個作業(yè)則失敗，失敗的maptask比例不能比這個值大
mapreduce.reduce.failures.maxpercent=0：當失敗的 Reduce Task 失敗比例超過該值為，整個作業(yè)則失敗
mapreduce.task.timeout：如果一個 task 在一定時間內(nèi)沒有任何進入，即不會讀取新的數(shù)據(jù)，也沒有輸出數(shù)據(jù)，則認為該 task 處于 block 狀態(tài)，可能是卡住了，也許永遠會卡主，為了防止因為用戶程序永遠block 住不退出，則強制設(shè)置了一個該超時時間（單位毫秒），默認是 300000。
 

3. 本地運行 mapreduce 作業(yè)

mapreduce.framework.name=local
mapreduce.jobtracker.address=local
 

4. 效率和穩(wěn)定性相關(guān)參數(shù)

mapreduce.map.speculative：是否為 Map Task 打開推測執(zhí)行機制，默認為 false
mapreduce.reduce.speculative：是否為 Reduce Task 打開推測執(zhí)行機制，默認為 false
mapreduce.input.fileinputformat.split.minsize： FileInputFormat 做切片時的最小切片大小
mapreduce.input.fileinputformat.split.maxsize：FileInputFormat 做切片時的最大切片大小(切片的默認大小就等于 blocksize，即 134217728)
 

注意：所有的參數(shù)調(diào)試都跟根據(jù)自己的實際的業(yè)務邏輯進行調(diào)試調(diào)試的?。。。?！