本篇內(nèi)容主要講解“Spark提交的方式是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Spark提交的方式是什么”吧!
成都創(chuàng)新互聯(lián)主營沙灣網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶APP開發(fā),沙灣h5小程序定制開發(fā)搭建,沙灣網(wǎng)站營銷推廣歡迎沙灣等地區(qū)企業(yè)咨詢
○ 高可伸縮性
○ 高容錯
○ 基于內(nèi)存計(jì)算
○ MapReduce屬于Hadoop生態(tài)體系之一，Spark則屬于BDAS生態(tài)體系之一
○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等
○ BDAS包含了Spark、Shark（相當(dāng)于Hive）、BlinkDB、Spark Streaming（消息實(shí)時處理框架,類似Storm）等等
○ BDAS生態(tài)體系圖：
優(yōu)勢：
○ MapReduce通常將中間結(jié)果放到HDFS上，Spark是基于內(nèi)存并行大數(shù)據(jù)框架，中間結(jié)果存放到內(nèi)存，對于迭代數(shù)據(jù)Spark效率高。
○ MapReduce總是消耗大量時間排序，而有些場景不需要排序，Spark可以避免不必要的排序所帶來的開銷
○ Spark是一張有向無環(huán)圖（從一個點(diǎn)出發(fā)最終無法回到該點(diǎn)的一個拓?fù)洌?，并對其進(jìn)行優(yōu)化。
Scala、Python、Java等
○ Local （用于測試、開發(fā)）
○ Standlone （獨(dú)立集群模式）
○ Spark on Yarn （Spark在Yarn上）
○ Spark on Mesos （Spark在Mesos）
Driver程序啟動多個Worker，Worker從文件系統(tǒng)加載數(shù)據(jù)并產(chǎn)生RDD（即數(shù)據(jù)放到RDD中，RDD是一個數(shù)據(jù)結(jié)構(gòu)），并按照不同分區(qū)Cache到內(nèi)存中。如圖：
○ 每個RDD都會記錄自己所依賴的父RDD，一旦出現(xiàn)某個RDD的某些partition丟失，可以通過并行計(jì)算迅速恢復(fù)
○ RDD的依賴又分為Narrow Dependent（窄依賴）和Wide Dependent（寬依賴）
○ 窄依賴：每個partition最多只能給一個RDD使用，由于沒有多重依賴，所以在一個節(jié)點(diǎn)上可以一次性將partition處理完，且一旦數(shù)據(jù)發(fā)生丟失或者損壞可以迅速從上一個RDD恢復(fù)
○ 寬依賴：每個partition可以給多個RDD使用，由于多重依賴，只有等到所有到達(dá)節(jié)點(diǎn)的數(shù)據(jù)處理完畢才能進(jìn)行下一步處理，一旦發(fā)生數(shù)據(jù)丟失或者損壞，則完蛋了，所以在這發(fā)生之前必須將上一次所有節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行物化（存儲到磁盤上）處理，這樣達(dá)到恢復(fù)。
○ 寬、窄依賴示例圖：
Spark通過useDisk、useMemory、deserialized、replication4個參數(shù)組成11種緩存策略。
useDisk：使用磁盤緩存（boolean ）
useMemory：使用內(nèi)存緩存（boolean）
deserialized：反序列化（序列化是為了網(wǎng)絡(luò)將對象進(jìn)行傳輸，boolean：true反序列化\false序列化）
replication：副本數(shù)量（int）
通過StorageLevel類的構(gòu)造傳參的方式進(jìn)行控制,結(jié)構(gòu)如下：
class StorageLevel private(useDisk : Boolean ,useMemory : Boolean ,deserialized : Boolean ,replication：Ini)
○ spark-submit（官方推薦）
○ sbt run
○ java -jar
提交時可以指定各種參數(shù)
./bin/spark-submit --class--master --deploy-mode --conf = ... # other options [application-arguments]
例如：
到此，相信大家對“Spark提交的方式是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！
重慶分公司
重慶分公司
