這篇文章主要講解了“如何構(gòu)建Spark集群”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“如何構(gòu)建Spark集群”吧！

創(chuàng)新互聯(lián)主要業(yè)務(wù)有網(wǎng)站營銷策劃、網(wǎng)站設(shè)計、網(wǎng)站制作、微信公眾號開發(fā)、小程序制作、H5高端網(wǎng)站建設(shè)、程序開發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當(dāng)客戶，還把客戶視為我們的合作伙伴，在開展業(yè)務(wù)的過程中，公司還積累了豐富的行業(yè)經(jīng)驗、成都全網(wǎng)營銷推廣資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。 

從控制臺我們可以看見有兩個DataNode，此時我們點擊“Live Nodes”查看一下其信息：

從控制臺中看到了我們的兩個Datanode節(jié)點SparkWorker1和SparkWorker2，這正是我們預(yù)期中的！

第三步：啟動yarn集群

使用jps命令可以發(fā)現(xiàn)SparkMaster機器上啟動了ResourceManager進(jìn)程：

而在SparkWorker1和SparkWorker2上則分別啟動了NodeManager進(jìn)程：

在SparkMaster上訪問http://SparkMaster:8088 可以通過Web控制臺查看ResourceManager運行狀態(tài)：

在SparkMaster上訪問http://SparkWorker1:8042  可以通過Web控制臺查看SparkWorker1上的NodeManager運行狀態(tài)：

在SparkMaster上訪問http://SparkWorker2:8042  可以通過Web控制臺查看SparkWorker2上的NodeManager運行狀態(tài)：

接下來使用“mr-jobhistory-daemon.sh”來啟動JobHistory Server：

啟動后可以通過http://SparkMaster:19888 在Web控制臺上看到JobHistory中的任務(wù)執(zhí)行歷史信息：

感謝各位的閱讀，以上就是“如何構(gòu)建Spark集群”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對如何構(gòu)建Spark集群這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！