怎么分析spark中的shuffle模塊，針對這個(gè)問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)建站從2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元納溪做網(wǎng)站,已為上家服務(wù),為納溪各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

一、Basic shuffle writer實(shí)現(xiàn)解析

在Executor上執(zhí)行shuffle Map Task時(shí)，最終會(huì)調(diào)用shuffleMapTask的runTask，核心邏輯如下：

1.從sparkEnv中獲得shuffleManager；

2.從manager中獲得writer

3.調(diào)用RDD開始計(jì)算，運(yùn)算結(jié)果通過writer進(jìn)行持久化，持久化之前通過Aggregator來確定是否需要進(jìn)行Map端聚合，然后將結(jié)果通過FileShuffleManager#forMapTask的方法寫入，寫入完成后，會(huì)將元數(shù)據(jù)信息寫入MapStatus，然后下游的Task可以通過這個(gè)MapStatus取得需要處理的數(shù)據(jù)。

這樣writer通過ShuffleDependency#partitioner來獲得下游partition的數(shù)量，下游的每個(gè)partition都會(huì)對應(yīng)一個(gè)文件，文件名字的格式為：“shuffle_”+shuffledId+"_"+mapId+"_"+reduceId。

由于每個(gè)shuffle Map Task需要為每個(gè)下游的Task創(chuàng)建一個(gè)單獨(dú)的文件，因此文件的數(shù)量就是number(shuffle_map_task)*number(following_task)。這樣會(huì)導(dǎo)致創(chuàng)建和打開許多文件。

后來Spark又引入Shuffle Consolidate Writer，原理是core上的第一個(gè)Task創(chuàng)建一個(gè)文件，該core上的后面的Task的shuffle操作都追加寫入改文件，這樣文件數(shù)量number(core)*number(following_task)  。

關(guān)于怎么分析spark中的shuffle模塊問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。