這篇文章主要講解了“spark中的RDD是什么”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“spark中的RDD是什么”吧!
RDD是什么
Spark是圍繞彈性分布式數(shù)據(jù)集(RDD)的概念展開的,RDD是一種容錯(cuò)的可分布式操作的數(shù)據(jù)集合。有兩中方式可以創(chuàng)建RDD:一種是將驅(qū)動(dòng)程序中的已有集合平行化;另外一種是引用外部存儲(chǔ)系統(tǒng)的數(shù)據(jù)集,例如共享文件系統(tǒng),HDFS, HBase, 或者其他類似Hadoop的數(shù)據(jù)源。
RDD的特點(diǎn)之一是分布式存儲(chǔ),它的好處就是數(shù)據(jù)存儲(chǔ)在不同的節(jié)點(diǎn)上,當(dāng)需要數(shù)據(jù)進(jìn)行計(jì)算的時(shí)候可以在這些節(jié)點(diǎn)上并行操作。彈性表現(xiàn)在節(jié)點(diǎn)在存儲(chǔ)RDD數(shù)據(jù)的時(shí)候,既可以存儲(chǔ)在內(nèi)存中,也可以存儲(chǔ)在磁盤上,也可以兩者結(jié)合使用。RDD還有個(gè)特點(diǎn)就是延遲計(jì)算,當(dāng)是transformation算子的時(shí)候,并不執(zhí)行操作,直到遇到action算子的時(shí)候才開始執(zhí)行計(jì)算。
感謝各位的閱讀,以上就是“spark中的RDD是什么”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對(duì)spark中的RDD是什么這一問題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!