這篇文章將為大家詳細講解有關(guān)怎么實現(xiàn)Spark的分布式存儲系統(tǒng)BlockManager全解析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

創(chuàng)新互聯(lián)專注于中大型企業(yè)的成都網(wǎng)站建設(shè)、做網(wǎng)站和網(wǎng)站改版、網(wǎng)站營銷服務，追求商業(yè)策劃與數(shù)據(jù)分析、創(chuàng)意藝術(shù)與技術(shù)開發(fā)的融合，累計客戶上千余家，服務滿意度達97%。幫助廣大客戶順利對接上互聯(lián)網(wǎng)浪潮，準確優(yōu)選出符合自己需要的互聯(lián)網(wǎng)運用，我們將一直專注品牌網(wǎng)站建設(shè)和互聯(lián)網(wǎng)程序開發(fā)，在前進的路上，與客戶一起成長！

BlockManager 是 spark 中至關(guān)重要的一個組件，在spark的運行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機制，你才能更加深入的理解 spark。

§ BlockManager是什么？

• BlockManager的作用？我理解是負責做RDD的存儲，如何存下來給后續(xù)任務去使用。
  其內(nèi)部模塊圖如下：

• 圖中看到有個memoryStore和DiskStore，說明把block做存儲時，有內(nèi)存和磁盤2種方式，存儲后就都i通過這個Store去管理。

• 存儲時以Block為單位，所以會有個映射用的數(shù)組

• 有一個負責和Driver的BlockManagerMaster通信的引用接口

• 還有個shuffClient，負責做 備份 和 下載， 即各executor之間會通過shuffClient來做block的傳輸。

§ BlockManager和Driver、executor的關(guān)系

其關(guān)系如圖：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負責向BMM注冊。

3. spark中注冊消息通過ActorSystem進行發(fā)送

§ 把塊block 存入blockManager的流程

比如特殊的2個地方：

1. 試圖put時，會先看下該blockId是否有緩存，有的話直接取過來，否則就重新創(chuàng)建blockInfo

2. 存儲時會先判斷內(nèi)存是否充足，充足就寫入memoryStore，如果不夠會先釋放再嘗試放入。

§ 從blockManager中刪除塊

刪除的操作沒什么特別的，主要是會判斷一下塊的存儲級別，選擇從不同的store中取塊。

§ shuffClient 下載block操作

BMMAC就是BlockManagerMasterActor,我當初瞎寫的簡稱

• 注意點：當要取的塊來自好幾個BlockManager時， 把它打亂順序，避免好幾個BM同時從某一個BM上下載數(shù)據(jù)！

§ shuffeClinet的備份操作

• BM為什么要備份他的block？書里作者沒解釋，我的理解是為了防止節(jié)點崩潰或者丟失，導致中間任務無法繼續(xù)執(zhí)行？

• 因為其他的BlockManager能接收的block可能有限，所以備份時可能會涉及多個block， 每次我們一樣，從BMmaster那里拿一個 ***隨機***的blockManager做備份，避免都往同一個上備份。

§ BlockManager和Executor、driver的關(guān)系：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，并負責向BMM注冊。

3. spark中注冊消息通過ActorSystem進行發(fā)送

關(guān)于怎么實現(xiàn)Spark的分布式存儲系統(tǒng)BlockManager全解析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。