本節(jié)課主要內(nèi)容：

創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一直秉承“誠信做人，踏實做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個客戶多一個朋友！專注中小微企業(yè)官網(wǎng)定制，做網(wǎng)站、成都做網(wǎng)站，塑造企業(yè)網(wǎng)絡(luò)形象打造互聯(lián)網(wǎng)企業(yè)效應(yīng)。

  1、RDD創(chuàng)建的幾種方式

  2、RDD創(chuàng)建實戰(zhàn)

  3、RDD內(nèi)幕

RDD創(chuàng)建有很多種方式，以下幾種創(chuàng)建RDD的方式：

   1、使用程序中的集合創(chuàng)建RDD，實際意義用于測試用；

   2、使用本地文件系統(tǒng)創(chuàng)建RDD，測試大量數(shù)據(jù)的文件；

   3、使用HDFS創(chuàng)建RDD，最常用的方式；

   4、基于DB創(chuàng)建RDD;

   5、基于NoSQL創(chuàng)建RDD，例如HBase;

   6、基于S3創(chuàng)建RDD;

   7、基于數(shù)據(jù)源創(chuàng)建RDD;

RDD實戰(zhàn)：

//通過集合方式創(chuàng)建RDD

val conf = new SparkConf().setAppName("RDDDemo").setMaster("local")
val sc = new SparkContext(conf)
//創(chuàng)建RDD
val rdd = sc.parallelize(0 to 100)
//1+2=3 3+3 = 6 6+4 = 10 ....
val sum = rdd.reduce(_ + _)
println(sum)

//通過HDFS上文件創(chuàng)建RDD

val conf = new SparkConf().setAppName("RDDDemo").setMaster("local")
val sc = new SparkContext(conf)
//創(chuàng)建RDD
val lines = sc.textFile("hdfs://Master:9000/data/README.md")
val words = lines.flatMap(line => line.split(" ")).map(line => (line, 1))
val wordCount = words.reduceByKey(_ + _)
wordCount.collect().foreach(println)

備注：

資料來源于：DT_大數(shù)據(jù)夢工廠

更多私密內(nèi)容，請關(guān)注微信公眾號：DT_Spark

如果您對大數(shù)據(jù)Spark感興趣，可以免費(fèi)聽由王家林老師每天晚上20：00開設(shè)的Spark永久免費(fèi)公開課，地址YY房間號：68917580

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章標(biāo)題：第15課：RDD創(chuàng)建內(nèi)幕徹底解密-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://weahome.cn/article/iejdi.html