小編給大家分享一下Hadoop中的MapReduce是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)專業(yè)提供綿陽服務(wù)器托管服務(wù)，為用戶提供五星數(shù)據(jù)中心、電信、雙線接入解決方案，用戶可自行在線購買綿陽服務(wù)器托管服務(wù)，并享受7*24小時金牌售后服務(wù)。

        在MapReduce中，它也是主從結(jié)構(gòu)，主節(jié)點：JobTracker，從節(jié)點：TaskTracker。主節(jié)點只有一個從節(jié)點有很多個，主節(jié)點在主機(jī)上，從節(jié)點分布到其他機(jī)器上。

        JobTracker：

                    作用：

                            1、負(fù)責(zé)接收用戶提交的作業(yè)；

                            2、負(fù)責(zé)把計算任務(wù)分給TaskTracker執(zhí)行；

                            3、監(jiān)控TaskTracker的執(zhí)行情況；

        TaskTracker：

                    作用：

                            1、執(zhí)行JobTracker分配的計算任務(wù)；

            JobClient：

                   概念：是用戶作業(yè)與JobTracker交互的主要接口。

                     作用：

                            1、負(fù)責(zé)提交作業(yè)，負(fù)責(zé)啟動；

                            2、跟蹤任務(wù)執(zhí)行；

                            3、訪問任務(wù)狀態(tài)和日志等；

Hadoop中基于RPC的通信協(xié)議

                    1、JobSubmissionProtocol：是JobClient與JobTracker通信的接口。

                                執(zhí)行過程：TaskTracker每隔一段時間向JobTracker發(fā)送hearbeat(心跳機(jī)制)提交當(dāng)前TaskTracker所在機(jī)

                                器的內(nèi)存，CPU，磁盤等狀態(tài)信息，是否可以接收新任務(wù)等信息；JobTracker接收到hearbeat

                                給TaskTracker返回需要所做的job或task操作，是否開啟新的任務(wù)。TaskTracker可以從取

                                得JobTracker取得當(dāng)前文件系統(tǒng)路徑，需要執(zhí)行Job的Jar文件路徑等.

                           2、InterTrackerProtocol：是TaskTracker與JobTracker通信的接口。

                                作用：主要用來提交，執(zhí)行Job和取得當(dāng)前Job狀態(tài)；JobClient可以通過此協(xié)議提交Job(submitJob),

                                          取得當(dāng)前Job的參數(shù)，狀態(tài)，Counter，Task狀態(tài)，文件系統(tǒng)路徑，jar文件路徑，所有Job的狀

                                          態(tài)，還有Job隊列的信息，此外JobClient還可以提交KillJob和設(shè)定Job優(yōu)先級等任務(wù)到                                                          JobTracker。

MapReduce中驅(qū)動默認(rèn)設(shè)置：

MapReduce中常見的算法

                                1、單詞計數(shù)

                                2、數(shù)據(jù)去重

                                3、排序

                                4、Top k

                                5、選擇

                                6、投影

                                7、分組

                                8、多表連接

                                9、單表關(guān)聯(lián)

MapReduce原理

MapReduce為什么能實現(xiàn)失敗檢測？

                    正是由于采用了無共享框架，所有MapReduce才能夠?qū)崿F(xiàn)失敗檢測，這也意味著各個任務(wù)之間彼此獨立。

MapReduce作業(yè)：

                    MapReduce作業(yè)(Job)是客戶端需要執(zhí)行的一個工作單元：它包括輸入數(shù)據(jù)，MapReduce程序和配置信息等。

                    注意：在MapReduce中不能處理文件名以_(下劃線)開頭的文件.

以上是“Hadoop中的MapReduce是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！