這篇文章給大家介紹怎么在centOS7系統(tǒng)中安裝Spark，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

創(chuàng)新互聯(lián)擁有十載成都網(wǎng)站建設(shè)工作經(jīng)驗(yàn),為各大企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)服務(wù)，對(duì)于網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、app軟件定制開發(fā)、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、程序開發(fā)、網(wǎng)站優(yōu)化（SEO優(yōu)化）、微網(wǎng)站、空間域名等，憑借多年來(lái)在互聯(lián)網(wǎng)的打拼，我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了很多網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn)，集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等網(wǎng)站化運(yùn)作于一體，具備承接各種規(guī)模類型的網(wǎng)站建設(shè)項(xiàng)目的能力。

環(huán)境說(shuō)明：

        操作系統(tǒng)： centos7 64位 3臺(tái)
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
        centos7-3 192.168.190.131 slave2

    安裝spark需要同時(shí)安裝如下內(nèi)容：

    jdk  scale 

    1.安裝jdk，配置jdk環(huán)境變量

    這里不講如何安裝配置jdk，自行百度。

    2.安裝scala

 #tar -zxvf scala-2.13.0-M4.tgz
  再次修改/etc/profile文件，添加如下內(nèi)容：
  export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4
  export PATH=$PATH:$SCALA_HOME/bin
  #source /etc/profile   // 讓其立即生效
  #scala -version      //查看scala是否安裝完成

    3.安裝spark

       Source code: Spark 源碼，需要編譯才能使用，另外 Scala 2.11 需要使用源碼編譯才可使用

    Pre-build with user-provided Hadoop: “Hadoop free” 版，可應(yīng)用到任意 Hadoop 版本
    Pre-build for Hadoop 2.7 and later: 基于 Hadoop 2.7 的預(yù)先編譯版，需要與本機(jī)安裝的 Hadoop 版本對(duì)應(yīng)。可選的還有 Hadoop 2.6。我這里因?yàn)檠b的hadoop是3.1.0，所以直接安裝for hadoop 2.7 and later的版本。

            注：hadoop的安裝請(qǐng)查看我的上一篇博客，不在重復(fù)描述。

centOS7下Spark安裝配置
#mkdir spark 
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
#添加spark的環(huán)境變量，加如PATH下、export出來(lái)
#source /etc/profile
#進(jìn)入conf目錄下，把spark-env.sh.template拷貝一份改名spark-env.sh
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp spark-env.sh.template spark-env.sh
#vim spark-env.sh
export SCALA_HOME=/usr/scala/scala-2.13.0-M4
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/spark/spark-2.3.1-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1G
#進(jìn)入conf目錄下，把slaves.template拷貝一份改名為slaves
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp slaves.template slaves
#vim slaves
#添加節(jié)點(diǎn)域名到slaves文件中
#master   //該域名為centos7-1的域名
#slave1   //該域名為centos7-2的域名
#slave2   //該域名為centos7-3的域名

啟動(dòng)spark

#啟動(dòng)spark之前先要把hadoop節(jié)點(diǎn)啟動(dòng)起來(lái)
#cd /usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps //檢查啟動(dòng)的線程是否已經(jīng)把hadoop啟動(dòng)起來(lái)了
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7
#sbin/start-all.sh
備注：在slave1\slave2節(jié)點(diǎn)上也必須按照上面的方式安裝spark，或者直接拷貝一份到slave1,slave2節(jié)點(diǎn)上
#scp -r /usr/spark root@slave1ip:/usr/spark

啟動(dòng)信息如下:

starting org.apache.spark.deploy.master.Master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

測(cè)試Spark集群：

用瀏覽器打開master節(jié)點(diǎn)上的spark集群url:http://192.168.190.130:8080/

關(guān)于怎么在centOS7系統(tǒng)中安裝Spark就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：怎么在centOS7系統(tǒng)中安裝Spark-創(chuàng)新互聯(lián)
鏈接URL：http://weahome.cn/article/ipjej.html