云計算

這篇文章主要講解了“Spark的mapWithState解密方法是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Spark的mapWithState解密方法是什么”吧！

創(chuàng)新互聯(lián)服務(wù)項目包括渾南網(wǎng)站建設(shè)、渾南網(wǎng)站制作、渾南網(wǎng)頁制作以及渾南網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，渾南網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到渾南省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

updateStateByKey和mapWithState方法在DStream中找不到，需要進(jìn)行隱式轉(zhuǎn)換，轉(zhuǎn)換為PairDStreamFunctions對象。

updateStateByKey是在已有的狀態(tài)下進(jìn)行更新操作。Seq[V]中存放歷史數(shù)據(jù)，Option[S]存放新值，可能沒有值。使用了默認(rèn)的Partitioner函數(shù)，HashPartitioner。

StateDStream繼承DStream，使用MEMORY_ONLY_SER的方式作為存儲級別。

StateDStream的compute方法，如果parent存在則調(diào)用computeUsingPreviousRDD方法，如果不存在調(diào)用preStateRDD的mapPartitions方法。

computeUsingPreviousRDD方法中，parentRDD和之前的RDD進(jìn)行cogroup操作，根據(jù)Key對Value進(jìn)行聚合，基于Key對所有的Value進(jìn)行掃描，當(dāng)數(shù)據(jù)量比較少時可以考慮使用cogroup方法，但是當(dāng)數(shù)據(jù)量大時，就會影響整個運(yùn)行，降低性能。

mapWithState方法中接收StateSpec類型的參數(shù)，StateSpec中封裝了更新操作的函數(shù)。

StateImpl繼承State類，記錄了其狀態(tài)信息，定義了獲取，更新，刪除等操作接口，很像是數(shù)據(jù)庫中的一張表，進(jìn)行增刪改查。

StateSpecImpl類中定義了如何初始化狀態(tài)，設(shè)置Partition的個數(shù)，設(shè)置分區(qū)函數(shù)Partition。

MapWithStateDStreamImpl類的compute方法其實質(zhì)是調(diào)用InternalMapWithStateDStream的getOrCompute方法。

InternalMapWithStateDStream是在歷史數(shù)據(jù)的基礎(chǔ)上進(jìn)行更新操作。

InternalMapWithStateDStream的compute方法中，實例化了MapWithStateRDD對象。

MapWithStateRDD類中，一個Partition對應(yīng)一個MapWithStateRDDRecord。

MapWithStateRDD的compute方法，先獲取之前的State信息，和現(xiàn)在數(shù)據(jù)的迭代器進(jìn)行操作，，調(diào)用MapWithStateRDDRecord的updateRecordWithData的方法，返回MapWithStateRDDRecord為元素的迭代器。

newStateMap中保存了整個歷史數(shù)據(jù)。

RDD是不可變的，但是RDD中的數(shù)據(jù)可以變化。

感謝各位的閱讀，以上就是“Spark的mapWithState解密方法是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Spark的mapWithState解密方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。

分享名稱：Spark的mapWithState解密方法是什么
URL地址：http://weahome.cn/article/cjspsc.html