這篇文章主要介紹了Spark 1.5.1如何安裝，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),月湖企業(yè)網(wǎng)站建設(shè),月湖品牌網(wǎng)站建設(shè),網(wǎng)站定制,月湖網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,月湖網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

一、Hadoop 2.x 安裝

Hadoop 2.x安裝 http://my.oschina.net/u/204498/blog/519789

二、Spark1.5.1安裝

1.下載spark1.5.1

http://spark.apache.org/downloads.html

選擇spark的版本

[hadoop@hftclclw0001 ~]$ pwd
/home/hadoop

[hadoop@hftclclw0001 ~]$ wget 
 
[hadoop@hftclclw0001 ~]$ ll
total 480004
drwxr-xr-x 11 hadoop root      4096 Jan 17 04:54 hadoop-2.7.1
-rw-------  1 hadoop root 210606807 Jan 17 04:09 hadoop-2.7.1.tar.gz
drwxr-xr-x 13 hadoop root      4096 Jan 18 08:31 spark-1.5.1-bin-hadoop2.6
-rw-------  1 hadoop root 280901736 Jan 17 04:08 spark-1.5.1-bin-hadoop2.6.tgz

[hadoop@hftclclw0001 conf]$ pwd
/home/hadoop/spark-1.5.1-bin-hadoop2.6/conf

[hadoop@hftclclw0001 conf]$ cp slaves.template slaves -p 
[hadoop@hftclclw0001 conf]$ vi slaves            => slaves節(jié)點(diǎn)
hfspark0003.webex.com                    
hfspark0007.webex.com

[hadoop@hftclclw0001 conf]$ cp spark-env.sh.template spark-env.sh -p 
[hadoop@hftclclw0001 conf]$ vi spark-env.sh            => 配置spark環(huán)境變量
...
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/spark-1.5.1-bin-hadoop2.6/lib/MySQL-connector-java-5.1.25-bin.jar:/home/hadoop/spark-1.5.1-bin-hadoop2.6/lib/ojdbc6.jar        =>使用spark sql
...
export HADOOP_HOME=/home/hadoop/hadoop-2.7.1                    
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.1/etc/hadoop
export SPARK_MASTER_IP=hftclclw0001.webex.com
export SPARK_WORKER_MEMEORY=4g
export JAVA_HOME=/usr/java/

...

二、復(fù)制到其他的機(jī)器上

[hadoop@hftclclw0001 ~]$ pwd
/home/hadoop
 
[hadoop@hftclclw0001 ~]$ scp -r spark-1.5.1-bin-hadoop2.6 hadoop@{ip}:/home/hadoop

三、啟動(dòng)

[hadoop@hfspark0003 spark-1.5.1-bin-hadoop2.6]$ ./sbin/start-all.sh 
...
...

四、校驗(yàn)

a. jps ==> master,worker

b.webui ==> http://${ip}:8080

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Spark 1.5.1如何安裝”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!