這篇文章主要講解了“spark中的RDD是什么”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“spark中的RDD是什么”吧!
創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括霍邱網(wǎng)站建設(shè)、霍邱網(wǎng)站制作、霍邱網(wǎng)頁制作以及霍邱網(wǎng)絡(luò)營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,霍邱網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶以成都為中心已經(jīng)輻射到霍邱省份的部分城市,未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任!RDD是什么
Spark是圍繞彈性分布式數(shù)據(jù)集(RDD)的概念展開的,RDD是一種容錯(cuò)的可分布式操作的數(shù)據(jù)集合。有兩中方式可以創(chuàng)建RDD:一種是將驅(qū)動(dòng)程序中的已有集合平行化;另外一種是引用外部存儲(chǔ)系統(tǒng)的數(shù)據(jù)集,例如共享文件系統(tǒng),HDFS, HBase, 或者其他類似Hadoop的數(shù)據(jù)源。
RDD的特點(diǎn)之一是分布式存儲(chǔ),它的好處就是數(shù)據(jù)存儲(chǔ)在不同的節(jié)點(diǎn)上,當(dāng)需要數(shù)據(jù)進(jìn)行計(jì)算的時(shí)候可以在這些節(jié)點(diǎn)上并行操作。彈性表現(xiàn)在節(jié)點(diǎn)在存儲(chǔ)RDD數(shù)據(jù)的時(shí)候,既可以存儲(chǔ)在內(nèi)存中,也可以存儲(chǔ)在磁盤上,也可以兩者結(jié)合使用。RDD還有個(gè)特點(diǎn)就是延遲計(jì)算,當(dāng)是transformation算子的時(shí)候,并不執(zhí)行操作,直到遇到action算子的時(shí)候才開始執(zhí)行計(jì)算。
感謝各位的閱讀,以上就是“spark中的RDD是什么”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對(duì)spark中的RDD是什么這一問題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!