本期內(nèi)容：

白水網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),白水網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為白水上千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站建設(shè)要多少錢，請找那個售后服務(wù)好的白水做網(wǎng)站的公司定做！

    1、updateStateByKey解密

    2、mapWithState解密

背景：
整個Spark Streaming是按照Batch Duractions劃分Job的。但是很多時候我們需要算過去的一天甚至一周的數(shù)據(jù)，這個時候不可避免的要進(jìn)行狀態(tài)管理，而Spark Streaming每個Batch Duractions都會產(chǎn)生一個Job，Job里面都是RDD，

所以此時面臨的問題就是怎么對狀態(tài)進(jìn)行維護(hù)？這個時候就需要借助updateStateByKey和mapWithState方法完成核心的步驟。

1、簡單看下updateStateByKey源碼：

     在DStream中updateStateByKey和mapWithState是通過隱式轉(zhuǎn)換來完成，本身沒有這樣的方法。

implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)])
    (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null):
  PairDStreamFunctions[K, V] = {
new PairDStreamFunctions[K, V](stream)
}

[: ClassTag](
    updateFunc: ([]Option[]) => Option[]
  ): DStream[()] = ssc.withScope {
  updateStateByKey(updateFuncdefaultPartitioner())
}

最終會通過StateDStream中的computeUsingPreviousRDD和compute來完成這樣的功能，簡單的流程圖如下：

2、簡單看下mapWithState源碼

mapWithState是返回MapWithStateDStream對象，維護(hù)和更新歷史狀態(tài)都是基于Key，使用一個function對key-value形式的數(shù)據(jù)進(jìn)行狀態(tài)維護(hù)

[: ClassTag: ClassTag](
    spec: StateSpec[]
  ): MapWithStateDStream[] = {
MapWithStateDStreamImpl[](
    selfspec.asInstanceOf[StateSpecImpl[]]
  )
}

通過InternalMapWithStateDStream類中的compute來完成，簡單的流程圖如下：