本篇內(nèi)容介紹了“Yarn Client和Yarn cluster有什么作用”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、成都微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了臨澤免費(fèi)建站歡迎大家使用！

1、先看看Yarn client的架構(gòu)示意圖

Yarn Client首先在Client端啟動(dòng)Driver，就是在Client端跑main函數(shù)了，這時(shí)候main函數(shù)所在的jar包還沒提交給Yarn集群。SparkContext開始跑了，并且啟動(dòng)了YarnClientSchedulerBackend。然后YarnClientSchedulerBackend向Yarn提交申請(qǐng)執(zhí)行ApplicationMaster（spark-yarn工程里的類），Yarn集群找到一臺(tái)Container來執(zhí)行ApplicationMaster，注意了：這里和yarn cluster的區(qū)別就是在Container上只啟動(dòng)ApplicationMaster，并不會(huì)啟動(dòng)Driver，因?yàn)橐呀?jīng)啟動(dòng)過了。然后ApplicationMaster負(fù)責(zé)資源分配，調(diào)度Container來運(yùn)行Executor，并且這些被調(diào)度啟動(dòng)的Executor是與Client端的Driver進(jìn)行通信的。

2、再看看Yarn cluster的架構(gòu)示意圖

而Yarn cluster就簡單的多了，Client端并不執(zhí)行任何東西，將jar提交給Yarn集群，Yarn集群找到一臺(tái)Container啟動(dòng)ApplicationMaster，這時(shí)候和yarn client的區(qū)別就來了，這時(shí)候ApplicationMaster會(huì)接著啟動(dòng)Driver，也就是說Driver和ApplicationMaster在同一個(gè)地方，然后ApplicationMaster進(jìn)行調(diào)度啟動(dòng)的Executor也是同Driver通信，要注意的點(diǎn)就是這里的Driver和ApplicationMaster在同一個(gè)地方，運(yùn)行在同一個(gè)進(jìn)程內(nèi)。

最后，Yarn client用于調(diào)試環(huán)境，而Yarn cluster用于生產(chǎn)環(huán)境。

“Yarn Client和Yarn cluster有什么作用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！