這篇文章主要講解了“Map和Reduce的Task數(shù)目由哪些因素決定”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Map和Reduce的Task數(shù)目由哪些因素決定”吧！

高唐網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營維護(hù)。創(chuàng)新互聯(lián)成立與2013年到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

在不指定的情況下，Map 和Reduce Task 的數(shù)目由這樣幾個(gè)因素決定：

1.輸入數(shù)據(jù)的塊數(shù)，Map 輸出數(shù)據(jù)的塊數(shù)(Reduce數(shù)量是可以設(shè)定)，一個(gè)塊一般由一個(gè)task 來處理（一般，即文件格式是否支持切分）

2.輸入數(shù)據(jù)的文件數(shù)量。一個(gè)文件至少需要1 個(gè)task 來處理（至少，即一個(gè)文件可能是存儲于多個(gè)文件塊）

3.是否對數(shù)據(jù)進(jìn)行了壓縮，壓縮格式是否可切分（Splitable），如果不可分，即使文件大于64M，也只能由一個(gè)task 來處理 （不支持切分，順序讀?。?/p>

感謝各位的閱讀，以上就是“Map和Reduce的Task數(shù)目由哪些因素決定”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Map和Reduce的Task數(shù)目由哪些因素決定這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！