本篇文章給大家分享的是有關(guān)Spark2.x入門中SparkStreaming的工作原理是什么，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)太湖,10余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575
官網(wǎng)翻譯大體意思如下：
SparkStreaming是核心SparkApi的擴(kuò)展，支持可伸縮、高吞吐量、容錯(cuò)的實(shí)時(shí)數(shù)據(jù)流處理。數(shù)據(jù)可以從許多來源獲取，如Kafka、Flume、Kinesis或TCP sockets，可以使用復(fù)雜的算法處理數(shù)據(jù)，這些算法用高級(jí)函數(shù)表示，如map、reduce、join和window。最后，處理后的數(shù)據(jù)可以推送到文件系統(tǒng)、數(shù)據(jù)庫(kù)和活動(dòng)儀表板。實(shí)際上，您可以將Spark的機(jī)器學(xué)習(xí)和圖形處理算法應(yīng)用于數(shù)據(jù)流。
內(nèi)部工作原理：SparkStreaming接受實(shí)時(shí)輸入數(shù)據(jù)流，并將數(shù)據(jù)分成批次，然后由Spark engine處理，以批量生成最終的結(jié)果流。
DStream是SparkStreaming流提供的基本抽象。它表示連續(xù)的數(shù)據(jù)流，可以是從源接收到的輸入數(shù)據(jù)流，也可以是通過轉(zhuǎn)換輸入流生成的經(jīng)過處理的數(shù)據(jù)流。在內(nèi)部，DStream由一系列連續(xù)的RDD表示，RDD是Spark對(duì)不可變的分布式數(shù)據(jù)集的抽象。DStream中的每個(gè)RDD包含來自某個(gè)間隔的數(shù)據(jù)，如下圖所示。
應(yīng)用于DStream上的任何操作都轉(zhuǎn)換為底層RDD上的操作。例如，在前面將一個(gè)行流轉(zhuǎn)換為單詞的示例中，flatMap操作應(yīng)用于行DStream中的每個(gè)RDD，以生成單詞DStream的RDD。如下圖所示。
這些底層的RDD轉(zhuǎn)換是由Spark引擎計(jì)算的。DStream操作隱藏了這些細(xì)節(jié)中的大部分，并為開發(fā)人員提供了更高級(jí)的API。這些操作將在后面的小節(jié)中詳細(xì)討論。
SparkStreaming 、Flink 、Storm 三種流式處理框架對(duì)比分析
| SparkStreaming | Flink | Storm | |
| 吞吐量 | 高吞吐 | 高吞吐 | 低吞吐 |
| 實(shí)時(shí)性 | 秒級(jí)延遲 | 低延遲，毫秒級(jí)（百毫秒） | 低延遲，毫秒級(jí)(幾十毫秒) |
| 亂序、延遲處理 | 無 | flink通過warterMarker水印支持亂序和延遲處理，這個(gè)spark沒有 | 無 |
| 保證次數(shù) | exactly-once | exactly-once | at-least-once |
| 動(dòng)態(tài)調(diào)整并行度 | 不支持 | 支持 | 支持 |
| 容錯(cuò) | 基于RDD的checkpoint | 基于分布式Snapshot的checkpoint | 基于Record記錄的ack機(jī)制 |
以上就是Spark2.x入門中SparkStreaming的工作原理是什么，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
重慶分公司
重慶分公司
