這期內容當中小編將會給大家?guī)碛嘘PRainbond怎樣實現(xiàn)部署Spark Standalone 集群，文章內容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

召陵網(wǎng)站建設公司創(chuàng)新互聯(lián)建站,召陵網(wǎng)站設計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為召陵成百上千提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\外貿網(wǎng)站制作要多少錢，請找那個售后服務好的召陵做網(wǎng)站的公司定做！

Standalone 是 Spark 自身提供的一種主從集群部署模式。本文講述一個常規(guī)1主多從的集群部署模式，該模式下master服務依靠Rainbond平臺監(jiān)控保障其可用性，支持重新調度重啟。 worker服務可以根據(jù)需要伸縮多個節(jié)點。

部署效果截圖如下：

部署步驟

開始前，你需要完成Rainbond平臺的安裝和搭建，參考Rainbond 安裝與部署 本參考文檔適合已掌握Rainbond 基礎操作的同學，因此如果你還剛接觸Rainbond平臺，請先參考 Rainbond 快速入門指南

部署單實例的master服務

1. 部署spark-master，采用Rainbond基于Docker鏡像創(chuàng)建組件：

   bde2020/spark-master:3.0.1-hadoop3.2

   

2. 確認創(chuàng)建檢測成功后選擇高級設置進行三個特殊設置。

• 在環(huán)境變量模塊中添加環(huán)境變量

  SPARK_DAEMON_JAVA_OPTS=-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/data

  我們需要設置spark-master為“Recovery with Local File System”模式?？梢栽趍aster發(fā)生重啟后從持久化文件中恢復數(shù)據(jù)，保持master服務的可用性。

• 在存儲設置中添加共享存儲 /data 持久化master的數(shù)據(jù)，使其可以重啟后恢復。

• 在端口管理中將 8080端口的對外服務打開，組件啟動成功后即可訪問master的UI。

• 在部署屬性中選擇組件類型為有狀態(tài)單實例

  部署為有狀態(tài)組件后，其可以獲得一個穩(wěn)定的內部訪問域名，供worker組件連接。有狀態(tài)服務控制權可以保障master節(jié)點不會重復啟動多個實例。

3. 設置完成后選擇確認創(chuàng)建即可啟動master服務。

組件成功點擊訪問即可打開master UI。如上圖所示，我們可以在UI中獲取到master服務的訪問地址是：spark://gr7b570e:7077 ，注意UI上顯示的地址是spark://gr7b570e-0:7077 我們需要使用的是spark://gr7b570e:7077 ，復制并記錄這個地址。

注意，地址實際值請查看你的UI顯示，這里只是舉例說明。

部署多實例的worker實例

1. 部署spark-worker，采用基于Docker-run命令創(chuàng)建組件，這種創(chuàng)建方式可以直接設置一些必要屬性：

   docker run -it -e SPARK_MASTER=spark://gr7b570e:7077 -e SPARK_WORKER_MEMORY=1g bde2020/spark-worker:3.0.1-hadoop3.2

   如上創(chuàng)建方式指定了兩個環(huán)境變量。

• SPARK_MASTER 指定的是master的地址，由上一步創(chuàng)建的組件獲取。

• SPARK_WORKER_MEMORY 設置worker單個實例的內存量，這個根據(jù)每個實例分配的內存進行設置即可。比如每個實例分配1GB, 則設置SPARK_WORKER_MEMORY=1g 。如果不設置此變量，服務會自動讀取操作系統(tǒng)的內存量。由于我們是采用的容器部署方式，讀取的值會是宿主機的全部內存。將遠大于worker實例實際分配的可用內存值。

2. 同樣進入高級設置，設置組件部署模式為 有狀態(tài)多實例。

3. 確認創(chuàng)建組件，啟動成功后即可在組件的伸縮頁面中設置worker的運行實例數(shù)。

到此，我們的Spark集群已部署完成。

Spark數(shù)據(jù)讀取

• 就近數(shù)據(jù)處理原則逐步打破

  過去我們更偏愛于把數(shù)據(jù)處理服務（hadoop、yarn等）部署到離數(shù)據(jù)最近的地方。主要原因是hadoop計算數(shù)據(jù)的模式對IO消耗較多，如果數(shù)據(jù)與計算分類，網(wǎng)絡IO帶來的消耗將更大，對網(wǎng)絡帶寬要求較大。

  但Spark機制不同，Spark計算模式是將數(shù)據(jù)盡可能緩存到內存中，也就意味著Spark消耗的資源主要是內存和CPU。然后存儲數(shù)據(jù)的設備內存和CPU配屬不一定充足。因此數(shù)據(jù)與計算分離將是更好的選擇。

• 數(shù)據(jù)與計算分離后的更多選擇

  數(shù)據(jù)與計算分離是指計算服務單獨部署，存儲服務通過網(wǎng)絡為計算服務提供數(shù)據(jù)。通過網(wǎng)絡也就意味著可以有多種協(xié)議模式可選，除了傳統(tǒng)的HDFS，目前常用的就是對象存儲，比如兼容S3的各類服務，也可以是分布式文件系統(tǒng)，可以根據(jù)數(shù)據(jù)類型和實際需要合理選擇。計算服務(spark worker) 可以根據(jù)任務的需要靈活的在分布式集群中分配計算資源。

Master節(jié)點主備高可用

Spark 基于 ZooKeeper可以提供master服務的主備切換。 配置方式也比較簡單。

Rainbond 云原生應用管理平臺，實現(xiàn)微服務架構不用改代碼，管理 Kubernetes 不用學容器，幫企業(yè)實現(xiàn)應用上云，一站式將任何企業(yè)應用持續(xù)交付到 Kubernetes 集群、混合云、多云等基礎設施。是 Rainstore 云原生應用商店的支撐平臺。

上述就是小編為大家分享的Rainbond怎樣實現(xiàn)部署Spark Standalone 集群了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。