這篇文章主要講解了“怎么使用Spark的cache機(jī)制觀察效率的提升”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么使用Spark的cache機(jī)制觀察效率的提升”吧！

成都創(chuàng)新互聯(lián)公司專業(yè)提供成都主機(jī)托管四川主機(jī)托管成都服務(wù)器托管四川服務(wù)器托管，支持按月付款！我們的承諾：貴族品質(zhì)、平民價(jià)格，機(jī)房位于中國電信/網(wǎng)通/移動(dòng)機(jī)房，多線BGP機(jī)房服務(wù)有保障！

使用Spark的cache機(jī)制觀察一下效率的提升

基于上面的內(nèi)容，我們在執(zhí)行一下以下語句：

發(fā)現(xiàn)同樣計(jì)算結(jié)果是15.

此時(shí)我們在進(jìn)入Web控制臺(tái)：

發(fā)現(xiàn)控制臺(tái)中清晰展示我們執(zhí)行了兩次“count”操作。

現(xiàn)在我們把“sparks”這個(gè)變量執(zhí)行一下“cache”操作：

此時(shí)在執(zhí)行count操作，查看Web控制臺(tái)：

此時(shí)發(fā)現(xiàn)我們前后執(zhí)行的三次count操作耗時(shí)分別是0.7s、0.3s、0.5s。

此時(shí)我們 第四次執(zhí)行count操作，看一下Web控制臺(tái)的效果：

控制臺(tái)上清晰的第四次操作僅僅花費(fèi)了17ms，比前三次的操作速度大約快了30倍的樣子。這就是緩存帶來的巨大速度提升，而基于緩存是Spark的計(jì)算的核心之一！

第三步：構(gòu)建Spark的IDE開發(fā)環(huán)境

Step 1：目前世界上Spark首選的InteIIiJ IDE開發(fā)工具是IDEA,我們下載InteIIiJ IDEA:

這里下載是最新版本Version 13.1.4：

關(guān)于版本的選擇，官方給出了如下選擇依據(jù)：

我們在這里選擇Linux系統(tǒng)下的”Community Edition FREE”這個(gè)版本，這能完全滿足我們?nèi)我鈴?fù)雜程度的Scala開發(fā)需求。

家林下載完成后保存在本地的如下位置：

Step 2:安裝IDEA并配置IDEA系統(tǒng)環(huán)境變量

創(chuàng)建“/usr/local/idea”目錄：

把我們下載的idea壓縮包解壓到該目錄下：

安裝完成后，為了方便使用其bin目錄下的命令，我們把它配置在“~/.bashrc”:

感謝各位的閱讀，以上就是“怎么使用Spark的cache機(jī)制觀察效率的提升”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)怎么使用Spark的cache機(jī)制觀察效率的提升這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！