本篇內(nèi)容介紹了“spark內(nèi)核核心術(shù)語(yǔ)如何解析”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿(mǎn)足客戶(hù)于互聯(lián)網(wǎng)時(shí)代的鶴慶網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Application:

Application是創(chuàng)建了SparkContext實(shí)例對(duì)象的spark用戶(hù)，包含了Driver程序：

Spark-shell是一個(gè)應(yīng)用程序，因?yàn)閟park-shell在啟動(dòng)的時(shí)候創(chuàng)建了一個(gè)SparkContext對(duì)象，其名稱(chēng)為sc:

Job:

和Spark的action相對(duì)應(yīng)，每一個(gè)action例如count、saveAsTextFile等都會(huì)對(duì)應(yīng)一個(gè)job實(shí)例，該job實(shí)例包含多任務(wù)的并行計(jì)算。

Driver Program：

運(yùn)行main函數(shù)并且創(chuàng)建SparkContext實(shí)例的程序

Cluster Manager：

集群資源的管理外部服務(wù)，在spark上現(xiàn)在有standalone、yarn、mesos等三種集群資源管理器，spark自帶的standalone模式能夠滿(mǎn)足大部分的spark計(jì)算環(huán)境對(duì)集群資源管理的需求，基本上只有在集群中運(yùn)行多套計(jì)算框架的時(shí)候才考慮yarn和mesos

Worker Node：

集群中可以運(yùn)行應(yīng)用代碼的工作節(jié)點(diǎn)，相當(dāng)于Hadoop的slave節(jié)點(diǎn)

Executor：

在一個(gè)Worker Node上為應(yīng)用啟動(dòng)的工作進(jìn)程，在進(jìn)程中賦值任務(wù)的運(yùn)行，并且負(fù)責(zé)將數(shù)據(jù)存放在內(nèi)存或磁盤(pán)上，必須注意的是，每個(gè)應(yīng)用在一個(gè)Worker Node上只會(huì)有一個(gè)Executor，在Executor內(nèi)部通過(guò)多線程的方式并發(fā)處理應(yīng)用的任務(wù)。

State：

一個(gè)job會(huì)被拆分成很多任務(wù)，每一組任務(wù)被稱(chēng)為state，這個(gè)MapReduce的map和reduce任務(wù)很像，劃分state的依據(jù)在于：state開(kāi)始一般是由于讀取外部數(shù)據(jù)或者shuffle數(shù)據(jù)、一個(gè)state的結(jié)束一般是由于發(fā)生shuffle（例如reduceByKey操作）或者整個(gè)job結(jié)束時(shí)，例如要把數(shù)據(jù)放到hdfs等存儲(chǔ)系統(tǒng)上

“spark內(nèi)核核心術(shù)語(yǔ)如何解析”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！