這篇文章主要講解了“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”吧！

創(chuàng)新互聯(lián)公司成都企業(yè)網(wǎng)站建設(shè)服務(wù)，提供成都網(wǎng)站制作、做網(wǎng)站網(wǎng)站開發(fā),網(wǎng)站定制,建網(wǎng)站,網(wǎng)站搭建,網(wǎng)站設(shè)計(jì),響應(yīng)式網(wǎng)站開發(fā),網(wǎng)頁設(shè)計(jì)師打造企業(yè)風(fēng)格網(wǎng)站,提供周到的售前咨詢和貼心的售后服務(wù)。歡迎咨詢做網(wǎng)站需要多少錢:13518219792

hadoop平臺(tái)搭建spark 
三臺(tái)機(jī)器
master
slave1
slave2

--安裝配置scala  master 節(jié)點(diǎn)

tar -zxvf  scala-2.12.2.tgz

/etc/profile

export SCALA_HOME=/usr/scala-2.12.2

export PATH=$SCALA_HOME/bin:$PATH

scala -version

復(fù)制到slave 并配置環(huán)境變量

scp -r scala-2.12.2 root@slave1:/usr/

scp -r scala-2.12.2 root@slave2:/usr/

---安裝spark  在master節(jié)點(diǎn)運(yùn)行

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

vi /etc/profile

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

最終變量

export HADOOP_HOME=/usr/hadoop-2.7.3

export SCALA_HOME=/usr/scala-2.12.2

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$PATH:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置

 1.spark-env.sh

cp spark-env.sh.template spark-env.sh

修改此文件，在文件末尾添加

###jdk安裝目錄

export JAVA_HOME=/usr/java/jdk1.8.0_101

###scala安裝目錄

export SCALA_HOME=/usr/scala-2.12.2

###spark集群的master節(jié)點(diǎn)的ip

export SPARK_MASTER_IP=192.168.58.10

###指定的worker節(jié)點(diǎn)能夠最大分配給Excutors的內(nèi)存大小

export SPARK_WORKER_MEMORY=1g

###hadoop集群的配置文件目錄

export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

2.slaves

cp slaves.template slaves

master

slave1

slave2

將spark文件和環(huán)境變量復(fù)制到slave節(jié)點(diǎn)

scp -r spark-2.1.1-bin-hadoop2.7 root@slave1:/usr/

scp -r spark-2.1.1-bin-hadoop2.7 root@slave2:/usr/

如果沒有設(shè)置節(jié)點(diǎn)ip不用管下面的

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，

將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對(duì)應(yīng)節(jié)點(diǎn)的IP。

spark啟動(dòng)與關(guān)閉 保證hadoop已經(jīng)運(yùn)行

啟動(dòng) 進(jìn)入到spark目錄

./sbin/start-all.sh

關(guān)閉

./sbin/stop-all.sh

---驗(yàn)證

http://192.168.58.10:8080/

spark-shell

感謝各位的閱讀，以上就是“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)hadoop2.7.3平臺(tái)怎么搭建spark2.1.1這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！