在裝spark之前先裝Scala  Scala 的安裝在hadoop安裝配置中已經(jīng)介紹了

成都創(chuàng)新互聯(lián)專注于巴林左旗網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供巴林左旗營(yíng)銷型網(wǎng)站建設(shè)，巴林左旗網(wǎng)站制作、巴林左旗網(wǎng)頁設(shè)計(jì)、巴林左旗網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)公司服務(wù)，打造巴林左旗網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供巴林左旗網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

1、下載spark安裝包 下載地址如下

http://spark.apache.org/downloads.html

我選擇的是

 spark-1.4.1-bin-hadoop2.6.tgz  放在/root/software

解壓

tar zxvf  spark-1.4.1-bin-hadoop2.6.tgz

2、配置系統(tǒng)環(huán)境變量

vim /etc/profile

export SPARK_HOME=/root/sherry/spark-1.4.1

export PATH=$SPARK_HOME/bin:$PATH

source /etc/profile

3、配置spark文件

1）[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/

  [root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf

  [root@HBMS-DKXD-DEV conf]# vim spark-env.sh

  添加如下內(nèi)容

export SCALA_HOME=/root/sherry/scala-2.10.4

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_WORKER_MEMORY=1g

export SPARK_MASTER_IP=10.118.46.22

2）配置slave

我自己沒有配置

4、啟動(dòng)集群

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh

關(guān)閉

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh

檢查是否安裝成功

jps

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享標(biāo)題：spark安裝配置-創(chuàng)新互聯(lián)
當(dāng)前地址：http://weahome.cn/article/dsdggg.html