這篇文章將為大家詳細(xì)講解有關(guān)什么是Spark RDD，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)公司長期為上千客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為華寧企業(yè)提供專業(yè)的成都網(wǎng)站制作、成都網(wǎng)站建設(shè)，華寧網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

   RDD 字面上就是彈性分布式數(shù)據(jù)集（Resiliennt Distributed Datasets），它是一種抽象的概念，擁有容錯(cuò)、只讀、分布式以及基于內(nèi)存的特性。這里的彈性是什么意思呢？首先，Spark會(huì)自動(dòng)地在內(nèi)存不足情況下，將數(shù)據(jù)‘溢出’到磁盤里，使用 persist 和 cache 方法可以將任意RDD緩存到內(nèi)存或?qū)懭氪疟P，程序可自動(dòng)根據(jù)數(shù)據(jù)情況進(jìn)行切換；其次就是當(dāng)某個(gè)RDD失效，通過Lineage 依賴鏈重新計(jì)算上有RDD即可找回?cái)?shù)據(jù)；最后就是失敗任務(wù)的重試機(jī)制，僅對(duì)失敗的RDD進(jìn)行特定次數(shù)的重試（默認(rèn)好像4次，這個(gè)可以通過spark.stage.maxConsecutiveAttempts和spark.task.maxFailures兩個(gè)參數(shù)調(diào)節(jié)，一個(gè)是針對(duì)stage級(jí)別的容錯(cuò)，一個(gè)是task級(jí)別）

    明白了RDD的基本概念，如何創(chuàng)建一個(gè)RDD呢？剛開始學(xué)習(xí)的時(shí)候可以使用HDFS文件創(chuàng)建，簡化代碼如下：

    SparkConf cf = new SparkConf().setAppName("HDFSFileTest");

    JavaSparkContext jsc = new JavaSparkContext(cf); 

    JavaRDD lines = jsc.textFile("hdfs://sparkT:9000/spark.txt");

    RDD的操作分為轉(zhuǎn)換和行動(dòng)兩個(gè)部分，Transformation只是RDD之間的轉(zhuǎn)換過程，不進(jìn)行實(shí)際計(jì)算：

     比如lines里面讀出來的是{1，2，3}，進(jìn)行map（）轉(zhuǎn)換操作：lines.

map(x=>x+l) ,輸出結(jié)果就是{2，3，4}

    只有Action才產(chǎn)生實(shí)際的計(jì)算：

    lines.count()統(tǒng)計(jì)RDD里返回結(jié)果：4

    RDD之間還存在寬窄依賴，也是一個(gè)比較重要的概念，窄依賴是指父 RDD 的每個(gè)分區(qū)都只被子 RDD 的一個(gè)分區(qū)所使用，如 map、flatMap、 union、filter、distinct、subtract、sample等；寬依賴是指父 RDD 的每個(gè)分區(qū)都被多個(gè)子 RDD 的分區(qū)所依賴，如groupByKey、reduceByKey、join等。

關(guān)于什么是Spark RDD就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。