國際版的Azure 已經(jīng)可以正常支持Spark應(yīng)用,但是當(dāng)我們在使用中國版的Azure的時候,在Azure中國版官網(wǎng)里面發(fā)現(xiàn)了有對Spark服務(wù)的介紹,而真正去使用的時候,卻發(fā)現(xiàn)無法創(chuàng)建。只有Storm,HBase和Hadoop。如圖:
創(chuàng)新互聯(lián)是一家專業(yè)從事成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計的品牌網(wǎng)絡(luò)公司。如今是成都地區(qū)具影響力的網(wǎng)站設(shè)計公司,作為專業(yè)的成都網(wǎng)站建設(shè)公司,創(chuàng)新互聯(lián)依托強(qiáng)大的技術(shù)實力、以及多年的網(wǎng)站運(yùn)營經(jīng)驗,為您提供專業(yè)的成都網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)及網(wǎng)站設(shè)計開發(fā)服務(wù)!
那問題來了,中國版Azure的HDInsight是否支持Spark?
答案當(dāng)然可以,不過需要自定義一下:
首先我們需要創(chuàng)建一個PAAS 層SQL Database 用來用以存儲Hive、Oozie的元數(shù)據(jù)。
創(chuàng)建基于PAAS 層的HADOOP 集群:
HDInsight 3.1 clusters會安裝Spark 1.0.2
HDInsight 3.2 clusters會安裝Spark 1.2.0
配置集群節(jié)點(diǎn)和虛擬機(jī):
配置訪問用戶,勾選配置Oozie云存儲:
配置Oozie存儲SQL Database數(shù)據(jù)庫:
配置存儲:
使用腳本安裝Spark:
插入Spark 配置腳步:
https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。節(jié)點(diǎn)類型選擇"僅頭結(jié)點(diǎn)"
最后點(diǎn)擊"創(chuàng)建"按鈕即可。