一、再次思考pipeline

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供儀隴網(wǎng)站建設(shè)、儀隴做網(wǎng)站、儀隴網(wǎng)站設(shè)計(jì)、儀隴網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、儀隴企業(yè)網(wǎng)站模板建站服務(wù)，10余年儀隴做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

   即使采用pipeline的方式，函數(shù)f對(duì)依賴的RDD中的數(shù)據(jù)集合的操作也會(huì)有兩種方式：

   1， f(record),f作用于集合的每一條記錄，每次只作用于一條記錄；

     2， f(records),f一次性作用于集合的全部數(shù)據(jù)；

 Spark采用是是第一種方式，原因：

    1， 無(wú)需等待，可以大化的使用集群的計(jì)算資源；

    2， 減少OOM的發(fā)生；

    3， 大化的有利于并發(fā)；

    4， 可以精準(zhǔn)的控制每一Partition本身（Dependency）及其內(nèi)部的計(jì)算（compute）；

    5， 基于lineage的算子流動(dòng)式函數(shù)式編程，節(jié)省了中間結(jié)果的產(chǎn)生，并且可以最快的恢復(fù)；

 二：思考Spark Job具體的物理執(zhí)行

    Spark Application里面可以產(chǎn)生1個(gè)或者多個(gè)Job，例如spark-shell默認(rèn)啟動(dòng)的時(shí)候內(nèi)部就沒(méi)有Job，只是作為資源的分配程序，可以在spark-shell里面寫代碼產(chǎn)生若干個(gè)Job，普通程序中一般而言可以有不同的Action，每一個(gè)Action一般也會(huì)觸發(fā)一個(gè)Job。

    Spark是MapReduce思想的一種更加精致和高效的實(shí)現(xiàn)，MapReduce有很多具體不同的實(shí)現(xiàn)，例如Hadoop的MapReduce基本的計(jì)算流程如下：首先是以JVM為對(duì)象的并發(fā)執(zhí)行的Mapper，Mapper中map的執(zhí)行會(huì)產(chǎn)生輸出數(shù)據(jù)，輸出數(shù)據(jù)會(huì)經(jīng)過(guò)Partitioner指定的規(guī)則放到Local FileSystem中，然后在經(jīng)由Shuffle、Sort、Aggregate變成Reducer中的reduce的輸入，執(zhí)行reduce產(chǎn)生最終的執(zhí)行結(jié)果；Hadoop MapReduce執(zhí)行的流程雖然簡(jiǎn)單，但是過(guò)于死板，尤其是在構(gòu)造復(fù)雜算法（迭代）時(shí)候非常不利于算法的實(shí)現(xiàn)，且執(zhí)行效率極為低下！

    Spark算法構(gòu)造和物理執(zhí)行時(shí)最最基本的核心：大化pipeline

   Pipeline的思想，數(shù)據(jù)被使用的時(shí)候才開(kāi)始計(jì)算，從數(shù)據(jù)流動(dòng)的視角來(lái)說(shuō)，是數(shù)據(jù)流動(dòng)到計(jì)算的位置，實(shí)質(zhì)上從邏輯的角度來(lái)看，是算子在數(shù)據(jù)上流動(dòng)。

    從算法構(gòu)建的角度而言：肯定是算子作用于數(shù)據(jù)，所以是算子在數(shù)據(jù)上流動(dòng)；

    從物理執(zhí)行的角度而言：是數(shù)據(jù)流動(dòng)到計(jì)算的位置；

    對(duì)于pipeline而言，數(shù)據(jù)計(jì)算的位置就是每個(gè)stage中的最后RDD。

    由于計(jì)算的Lazy特性，導(dǎo)致計(jì)算從后往前回溯，形成Computing Chain，導(dǎo)致的結(jié)果就是需要首先計(jì)算出具體一個(gè)Stage內(nèi)部左側(cè)的RDD中本次計(jì)算依賴的Partition

     三：窄依賴的物理執(zhí)行內(nèi)幕

    一個(gè)Stage內(nèi)部的RDD都是窄依賴，窄依賴計(jì)算本身是邏輯上看是從Stage內(nèi)部最左側(cè)的RDD開(kāi)始立即計(jì)算的，根據(jù)Computing Chain，數(shù)據(jù)（Record）從一個(gè)計(jì)算步驟流動(dòng)到下一個(gè)結(jié)算步驟，以此類推，直到計(jì)算到Stage內(nèi)部的最后一個(gè)RDD來(lái)產(chǎn)生計(jì)算結(jié)果。

    Computing Chain的構(gòu)建是從后往前回溯構(gòu)建而成，而實(shí)際的物理計(jì)算則是讓數(shù)據(jù)從前往后在算子上流動(dòng)，直到流動(dòng)到不能再流動(dòng)位置才開(kāi)始計(jì)算下一個(gè)Record。這就導(dǎo)致一個(gè)美好的結(jié)果：后面的RDD對(duì)前面的RDD的依賴雖然是Partition級(jí)別的數(shù)據(jù)集合的依賴，但是并不需要父RDD把Partition中所有的Records計(jì)算完畢才整體往后流動(dòng)數(shù)據(jù)進(jìn)行計(jì)算，這就極大的提高了計(jì)算速率！

 四：寬依賴物理執(zhí)行內(nèi)幕

    必須等到依賴的父Stage中的最后一個(gè)RDD全部數(shù)據(jù)徹底計(jì)算完畢，才能夠經(jīng)過(guò)shuffle來(lái)計(jì)算當(dāng)前的Stage！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：從物理執(zhí)行角度透視SparkJob（23）-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://weahome.cn/article/dshsjh.html