本篇文章給大家分享的是有關(guān)怎么給Spark傳遞函數(shù)，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話(huà)不多說(shuō)，跟著小編一起來(lái)看看吧。

10年積累的成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶(hù)對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶(hù)得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先建設(shè)網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有伊春免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

 相信很多人在開(kāi)始用Spark的時(shí)候一定會(huì)遇到 Task not serializable的問(wèn)題，這種問(wèn)題大多數(shù)都是在RDD的算子中調(diào)用了不能序列化的對(duì)象引起的。為什么傳入算子中的對(duì)象一定要能夠序列化呢？這就要從Spark本身說(shuō)起，Spark是一個(gè)分布式的計(jì)算框架，RDD(Resilient Distributed Datasets,彈性分布式數(shù)據(jù)集）是對(duì)分布式數(shù)據(jù)集的抽象，數(shù)據(jù)實(shí)際上是分布在集群的各個(gè)節(jié)點(diǎn)的，通過(guò)RDD進(jìn)行抽象，讓用戶(hù)感覺(jué)好像是在本地交互一樣。但是實(shí)際的運(yùn)算中，算子中的操作都要發(fā)送到計(jì)算節(jié)點(diǎn)（Executor）端來(lái)執(zhí)行，這就要求傳入算子中的對(duì)象可以進(jìn)行序列化。

       Spark的算子很大程度上是上通過(guò)向集群上的驅(qū)動(dòng)程序傳遞函數(shù)來(lái)實(shí)現(xiàn)的，編寫(xiě)Spark應(yīng)用的關(guān)鍵就是使用算子（或者稱(chēng)為轉(zhuǎn)換），給Spark傳遞函數(shù)來(lái)實(shí)現(xiàn)。常用的向Spark傳遞函數(shù)的方式有兩種（來(lái)自于Spark官方文檔，Spark編程指南）：

        第一種：匿名函數(shù)，處理的代碼比較少的時(shí)候，可以采用匿名函數(shù)，直接寫(xiě)在算子里面：

myrdd.map(x => x+ 1)

        第二種：全局單例對(duì)象中的靜態(tài)方法：先定義object對(duì)象MyFunctions，以及靜態(tài)方法：funcOne,然后傳遞MyFunctions.funcOne給RDD算子。

object MyFunctions {

      def funcOne(s: String): String = { ... }

 }


 myRdd.map(MyFunctions.funcOne)

       在業(yè)務(wù)員開(kāi)發(fā)中，需要把RDD的引用傳遞給某一個(gè)類(lèi)的實(shí)例的某個(gè)方法，傳遞給RDD的函數(shù)，為類(lèi)實(shí)例的實(shí)例方法：

class MyClass {

     def funcOne(s: String): String = { ... }

     def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(funcOne }

 }

        在這個(gè)例子中，我們定義了一個(gè)類(lèi)MyClass，類(lèi)的實(shí)例方法doStuff中傳入了一個(gè)RDD，RDD 算子中調(diào)用了類(lèi)的另外一個(gè)實(shí)例方法funcOne,在我么New 一個(gè)MyClass 的實(shí)例并調(diào)用doStuff的方法的時(shí)候，需要講整個(gè)實(shí)例對(duì)象發(fā)給集群，所以類(lèi)MyClass必須可以序列化，需要extends Serializable。

       相似的，訪(fǎng)問(wèn)方法外部的對(duì)象變量也會(huì)引用整個(gè)對(duì)象，需要把整個(gè)對(duì)象發(fā)送到集群：

class MyClass {

    val field = "Hello"

    def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field   
      + x) }

}

       為了避免整個(gè)對(duì)象都發(fā)送給集群，可以定義一個(gè)局部變量來(lái)保存外部對(duì)象field的引用，這種情況尤其在一些大對(duì)象里，可以避免整個(gè)對(duì)象發(fā)送到集群，提高效率。

def doStuff(rdd: RDD[String]): RDD[String] = {

    val field_ = this.field

    rdd.map(x => field_ + x)

}

    Spark應(yīng)用最終是要在集群中運(yùn)行的，許多問(wèn)題在單一的本地環(huán)境中無(wú)法暴露出來(lái)，有時(shí)候經(jīng)常會(huì)遇到本地運(yùn)行結(jié)果和集群運(yùn)行結(jié)果不一致的問(wèn)題，這就要求開(kāi)發(fā)的時(shí)候多使用函數(shù)式編程風(fēng)格，盡量使的寫(xiě)的函數(shù)都為純函數(shù)。純函數(shù)的好處是：無(wú)狀態(tài),線(xiàn)程安全,不需要線(xiàn)程同步，應(yīng)用程序或者運(yùn)行環(huán)境(Runtime)可以對(duì)純函數(shù)的運(yùn)算結(jié)果進(jìn)行緩存,運(yùn)算加快速度。

    那么什么是純函數(shù)了？

    純函數(shù)（Pure Function）是這樣一種函數(shù)——輸入輸出數(shù)據(jù)流全是顯式（Explicit）的。顯式（Explicit）的意思是，函數(shù)與外界交換數(shù)據(jù)只有一個(gè)唯一渠道——參數(shù)和返回值；函數(shù)從函數(shù)外部接受的所有輸入信息都通過(guò)參數(shù)傳遞到該函數(shù)內(nèi)部；函數(shù)輸出到函數(shù)外部的所有信息都通過(guò)返回值傳遞到該函數(shù)外部。如果一個(gè)函數(shù)通過(guò)隱式（Implicit）方式，從外界獲取數(shù)據(jù)，或者向外部輸出數(shù)據(jù)，那么，該函數(shù)就不是純函數(shù)，叫作非純函數(shù)（Impure Function）。隱式（Implicit）的意思是，函數(shù)通過(guò)參數(shù)和返回值以外的渠道，和外界進(jìn)行數(shù)據(jù)交換。比如，讀取全局變量，修改全局變量，都叫作以隱式的方式和外界進(jìn)行數(shù)據(jù)交換；比如，利用I/O API（輸入輸出系統(tǒng)函數(shù)庫(kù)）讀取配置文件，或者輸出到文件，打印到屏幕，都叫做隱式的方式和外界進(jìn)行數(shù)據(jù)交換。

      在計(jì)算過(guò)程中涉及到對(duì)象的交互時(shí)，盡量選用無(wú)狀態(tài)的對(duì)象，比如對(duì)于一個(gè)bean，成員變量都為val的，在需要數(shù)據(jù)交互的地方new 一個(gè)新的。

       關(guān)于（commutative and associative）交換律和結(jié)合律。在傳遞給reudce,reduceByKey,以及其他的一些merge，聚合的操作中的函數(shù)必須要滿(mǎn)足交換律和結(jié)合律，交換律和結(jié)合律就是我們數(shù)學(xué)上學(xué)過(guò)的：

      a + b = b + a，a + b + c =  a + (b + c)

定義的函數(shù)func(a,b)和f(b,a)應(yīng)該得到相同的結(jié)果，f(f(a,b),c)和f(a,f(b,c))應(yīng)該得到相同的結(jié)果。

     最后說(shuō)一下廣播變量和累加器的使用。在程序中不要定義一個(gè)全局的變量，如果需要在多個(gè)節(jié)點(diǎn)共享一個(gè)數(shù)據(jù)，可以采用廣播變量的方法。如果需要一些全局的聚合計(jì)算，可以使用累加器。

以上就是怎么給Spark傳遞函數(shù)，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。