本篇文章為大家展示了怎么實現(xiàn)Spark Streaming初試，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比肥東網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式肥東網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋肥東地區(qū)。費用合理售后完善，10年實體公司更值得信賴。

Spark Streaming初試

yum install nc.x86_64

./bin/spark-shell --total-executor-cores 34 

敲入下面程序：

import org.apache.spark.SparkConf

import org.apache.spark.streaming.{Seconds, StreamingContext}

import org.apache.spark.storage.StorageLevel

    val ssc = new StreamingContext(sc, Seconds(1))

    val lines = ssc.socketTextStream("hostname", 9999, StorageLevel.MEMORY_AND_DISK_SER)

    val words = lines.flatMap(_.split(" "))

    val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)

    wordCounts.print()

    ssc.start()

    ssc.awaitTermination()

在hostname機器，安裝nc后，nc -lk 9999

不斷輸入字符，例如hello world，會在啟動spark-shell的機器不斷統(tǒng)計每次輸入數(shù)據(jù)的字符頻率統(tǒng)計。  

上述內(nèi)容就是怎么實現(xiàn)Spark Streaming初試，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。