本篇內(nèi)容介紹了“hadoop下怎么計(jì)算MapReduce過程中需要的緩沖區(qū)大小”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

本篇內(nèi)容介紹了“hadoop下怎么計(jì)算MapReduce過程中需要的緩沖區(qū)大小”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新新互聯(lián)，憑借十余年的成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作經(jīng)驗(yàn)，本著真心·誠心服務(wù)的企業(yè)理念服務(wù)于成都中小企業(yè)設(shè)計(jì)網(wǎng)站有近千家案例。做網(wǎng)站建設(shè)，選成都創(chuàng)新互聯(lián)。

在Map階段，map函數(shù)會(huì)產(chǎn)生中間數(shù)據(jù)輸出并保存在內(nèi)存緩沖區(qū)中（緩沖區(qū)大小由io.sort.mb參數(shù)指定）。一旦達(dá)到占用閾值（默認(rèn)是80%），緩沖區(qū)的內(nèi)容就會(huì)寫入本地磁盤，這也就是所謂的溢寫（spill）。

緩沖區(qū)內(nèi)會(huì)存儲(chǔ)溢寫記錄的元數(shù)據(jù)（每條數(shù)據(jù)元數(shù)據(jù)長度為16字節(jié)）和溢寫記錄。

分配給元數(shù)據(jù)的空間由參數(shù)io.sort.record.percent指定，默認(rèn)5%，其余分配給溢寫記錄使用。

要確定緩沖區(qū)所需的內(nèi)存空間，需要計(jì)算溢寫記錄和元數(shù)據(jù)分別所占空間大小。

具體計(jì)算方法如下：

Record length = Map output bytes / Map output records = 68022178 / 472293 = 144bytes

Spilled Records Size =  Spilled Records * Record length = 144 * 472293 = 68022178 = 64M

Metadata Size = Metadata length * Spilled Records = 16 * 472293 = 7556688 = 7M

io.sort.record.percent = 16 / (16 + 144) = 0.1

io.sort.mb = Metadata size + Spilled Records size = 64 + 7 = 71M