RDD源碼中隱式轉(zhuǎn)換

創(chuàng)新互聯(lián)建站是一家專業(yè)提供喀什企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站制作、成都網(wǎng)站制作、H5網(wǎng)站設(shè)計(jì)、小程序制作等業(yè)務(wù)。10年已為喀什眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

 def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {

  map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)

 }

使用了隱式參數(shù)，運(yùn)行時(shí)不需要手動(dòng)提供參數(shù)ord，運(yùn)行時(shí)會(huì)根據(jù)上下文注入?yún)?shù)

 def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

  groupBy[K](f, defaultPartitioner(this))

 }

 def groupBy[K](

   f: T => K,

   numPartitions: Int)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

  groupBy(f, new HashPartitioner(numPartitions))

 }

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：Spark1.4源碼走讀筆記之隱式轉(zhuǎn)換-創(chuàng)新互聯(lián)
文章出自：http://weahome.cn/article/doghsd.html