package mydemo

import org.apache.spark.{SparkConf, SparkContext}

object MyWordContextDemo {
  def main(args: Array[String]): Unit = {
    // 創(chuàng)建一個(gè) Config
    val conf = new SparkConf().setAppName("MyWordContext")

    // 創(chuàng)建 SparkContext 對象
    val sc = new SparkContext(conf)

    // 使用sc 對象執(zhí)行相應(yīng)的算子
    sc.textFile(args(0))                    // 從第一個(gè)參數(shù)獲取文件路徑并打開
      .flatMap(_.split(" "))              // 先 map 再壓平
      .map((_, 1))                        // 將單詞和 1 構(gòu)成元組
      .reduceByKey(_ + _)                 // 根據(jù)Key 進(jìn)行 Reduce，并將 value 累加
      .saveAsTextFile(args(1))            // 將結(jié)果輸出到文件

    // 停止 SparkContext 對象
    sc.stop()

  }

}

==> 運(yùn)行程序：

榆中網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站設(shè)計(jì)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營維護(hù)。創(chuàng)新互聯(lián)成立于2013年到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

    ---> 首先將程序打包成 jar 包

  ---> 執(zhí)行以下命令

spark-submit --master spark://bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt

  ---> 命令解釋：

        ---- spark-submit                                    spark 命令

      ---- --master spark://bigdata0:7077

      ---- --class         指定類名

      ---- scalawordcontext.jar    將自己與的程序打成的jar 包

      ---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt        指定處理好的數(shù)據(jù)輸出的文件

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站標(biāo)題：使用Scala寫WordContext程序-創(chuàng)新互聯(lián)
標(biāo)題鏈接：http://weahome.cn/article/decdgh.html