這篇文章主要介紹“MapReduce是什么”，在日常操作中，相信很多人在MapReduce是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”MapReduce是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

10年積累的做網(wǎng)站、成都網(wǎng)站建設經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先制作網(wǎng)站后付款的網(wǎng)站建設流程，更有播州免費網(wǎng)站建設讓你可以放心的選擇與我們合作。

1 map函數(shù)的輸出先由MapReduce框架處理，然后再被發(fā)送到reduce函數(shù)。這一處過程根據(jù)鍵來對鍵/值對進行排序和分組。

2 整個數(shù)據(jù)流的例子如圖2-1所示。在圖的底部是Unix的管道，模擬整個MapReduce的流程。

圖2-2 MapReduce中單一reduce任務的數(shù)據(jù)流圖

10 reduce任務的數(shù)目并不是由輸入的大小來決定，而是單獨具體指定的。 如果有多個reducer，map任務會對其輸出進行分區(qū)，為每個reduce任務創(chuàng)建一個分區(qū)(partition)。每個分區(qū)包含許多鍵(及其關聯(lián)的值)，但每個鍵的記錄都在同一個分區(qū)中。分區(qū)可以通過用戶定義的partitioner來控制，但通常是用默認的分區(qū)工具，它使用的是hash函數(shù)來形成"木桶"鍵/值，這種方法效率很高。 

      一般情況下，多個reduce任務的數(shù)據(jù)流如圖2-3所示。此圖清楚地表明了map和reduce任務之間的數(shù)據(jù)流為什么要稱為"shuffle"(洗牌)，因為每個reduce任務的輸入都由許多map任務來提供。shuffle其實比此圖所顯示的更復雜，并且調整它可能會對作業(yè)的執(zhí)行時間產生很大的影響。

圖 2-3 多個reduce任務的MapReduce數(shù)據(jù)流

11 有可能不存在reduce任務，不需要shuffle的時候，這樣的情況是可能的，因為處理可以并行進行。在這種情況下，唯一的非本地節(jié)點數(shù)據(jù)傳輸是當map任務寫入到HDFS中(見圖2-4)。

圖 2-4 MapReduce中沒有reduce任務的數(shù)據(jù)流

12 在集群上MapReduce作業(yè)的數(shù)量被可用帶寬限制，因此要保證map和reduce任務之間傳輸?shù)拇鷥r是最小的。Hadoop允許用戶聲明一個combiner，運行在map的輸出上-- 該函數(shù)的輸出作為reduce函數(shù)的輸入。由于combiner是一個優(yōu)化方法，所以Hadoop不保證對于某個map的輸出記錄是否調用該方法，調用該方法多少次。換言之，不調用該方法或者調用該方法多次，reducer的輸出結果都一樣。

       combiner的規(guī)則限制著可用的函數(shù)類型。Hadoop權威指南中舉了一個求最高氣溫和平均氣溫的例子，很好的說明了這點。求最高氣溫就可以使用，求平均氣溫使用可能出錯。因此combiner并不能取代reduce函數(shù)。雖然它可以幫助減少map和reduce之間的數(shù)據(jù)傳輸量，但是是否在MapReduce作業(yè)中使用combiner是需要慎重考慮的。

13 Hadoop提供了一個API來運行MapReduce，并允許你用除java以外的語言來編寫自己的map和reduce函數(shù)。Hadoop流使用Unix標準流作為Hadoop和程序之間的接口，所以可以使用任何語言，只要編寫的MapReduce程序能夠讀取標準輸入，并寫入到標準輸出。 流適用于文字處理，在文本模式下使用時，它有一個面向行的數(shù)據(jù)視圖。

到此，關于“MapReduce是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
網(wǎng)頁名稱：MapReduce是什么
當前URL：http://weahome.cn/article/piceoe.html