這篇文章將為大家詳細講解有關(guān)如何進行MapReduce中的JobSplit源碼分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站設(shè)計、成都網(wǎng)站制作與策劃設(shè)計,沙河口網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)10年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:沙河口等地區(qū)。沙河口做網(wǎng)站價格咨詢:028-86922220

MapReduce源碼分析 - JobSplit

根據(jù)MapRudece的原理，我們從4個過程去分析MR的源碼：

• Split階段；

• MapTask階段；

• Shuffle階段；

• ReduceTask階段；

下面首先介紹Split階段的源碼。

Split源碼分析

• MR是通過JobSubmitter.submitJobInternal提交給RM的

• 在submitJobInternal中通過writeSplits(JobContext job, Path jobSubmitDir)將job的輸入文件進行split

• writeSplit只是對新舊api進行了下封裝，根據(jù)你的代碼選擇新舊api，這里調(diào)用writeNewSplits使用新API對file進行split

• 整個切片的邏輯過程主要就是在writeNewSplit里

① writeNewSplits源碼分析

進入writeNewSplits()方法，可以看出該方法首先獲取splits數(shù)組信息后，排序，將會優(yōu)先處理大文件，最終返回mapper數(shù)量。這其中又分為兩部分：確定切片數(shù)量 和 寫入切片信息。 確定切片數(shù)量的任務(wù)交由FileInputFormat的getSplits(job)完成，寫入切片信息的任務(wù)交由JobSplitWriter.createSplitFiles(jobSubmitDir, conf, jobSubmitDir.getFileSystem(conf), array)方法，該方法會將切片信息和SplitMetaInfo都寫入HDFS中。return array.length，返回的是map任務(wù)數(shù)，默認map的數(shù)量是： default_num = total_size / block_size;

其內(nèi)部邏輯主要分為以下幾個步驟：

• 創(chuàng)建InputFormat實例，用實例調(diào)用getSplits方法對文件進行切分，getSplits內(nèi)部是切分的主要邏輯；

• 將切片文件根據(jù)split的大小進行sort逆序排序；

• createSplitFiles：將保存切片信息的array數(shù)組落地到文件；

② getSplits源碼分析

getSplits主要是將files進行切片，將文件路徑path、偏移量(即起始位置，是該split在整個文件中的起始位置)、切分大小splitSize、偏移量所在block的locations信息Host和在內(nèi)存中的host信息寫入FileSplit對象中，一個split對應(yīng)一個對象，最后放入splits中返回。

③ createFile源碼分析

createSplitFiles創(chuàng)建的文件包括兩個，分別是記錄切片的切片文件和記錄切片元數(shù)據(jù)的切片元數(shù)據(jù)文件 。

補充內(nèi)容：

getSplits方法中split切片的大小

• 首先要區(qū)分兩個概念：塊（block）和切片（split）。塊是HDFS中的概念，文件在HDFS中是以塊為單位進行存儲。切片是MapReduce中的概念；

• split的大小由公式可知，取決于minSize、blockSize、maxSize三者之間的大小關(guān)系；從而也決定了split和block塊的大小關(guān)系，我們在實際使用中要保證split和block是一對一的關(guān)系；

關(guān)于如何進行MapReduce中的JobSplit源碼分析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。