真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

大數(shù)據(jù)學(xué)習(xí)系列之六-----Hadoop+Spark環(huán)境搭建-創(chuàng)新互聯(lián)

引言

在上一篇中 大數(shù)據(jù)學(xué)習(xí)系列之五 ----- Hive整合HBase圖文詳解 ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且測(cè)試成功了。在之前的大數(shù)據(jù)學(xué)習(xí)系列之一 ----- Hadoop環(huán)境搭建(單機(jī)) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的環(huán)境，本文主要講的是Hadoop+Spark 的環(huán)境。雖然搭建的是單機(jī)版，但是改成集群版的也相當(dāng)容易，這點(diǎn)以后會(huì)寫關(guān)于Hadoop+Spark+HBase+Hive+Zookeeper 等集群的相關(guān)說明的。

作為一家“創(chuàng)意+整合+營(yíng)銷”的成都網(wǎng)站建設(shè)機(jī)構(gòu)，我們?cè)跇I(yè)內(nèi)良好的客戶口碑。創(chuàng)新互聯(lián)建站提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)、做網(wǎng)站、創(chuàng)意表現(xiàn)、網(wǎng)頁(yè)制作、系統(tǒng)開發(fā)以及后續(xù)網(wǎng)站營(yíng)銷運(yùn)營(yíng)等一系列服務(wù)，幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營(yíng)模式與有效的網(wǎng)絡(luò)營(yíng)銷方法,創(chuàng)造更大的價(jià)值。

一、環(huán)境選擇

1,服務(wù)器選擇

本地虛擬機(jī)
操作系統(tǒng):linux CentOS 7
Cpu：2核
內(nèi)存：2G
硬盤:40G

2,配置選擇

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Scala：2.12.2 (scala-2.12.2.tgz)
Spark: 1.6 (spark-1.6.3-bin-hadoop2.4-without-hive.tgz)

3,下載地址

官網(wǎng)地址:
JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Spark：
http://spark.apache.org/downloads.html
Hive on Spark (spark集成hive的版本)
http://mirror.bit.edu.cn/apache/spark/
Scala:
http://www.scala-lang.org/download

百度云:
鏈接：https://pan.baidu.com/s/1geT3A8N 密碼：f7jb

二、服務(wù)器的相關(guān)配置

在配置Hadoop+Spark整合之前，應(yīng)該先做一下配置。
做這些配置為了方便，使用root權(quán)限。

1,更改主機(jī)名

首先更改主機(jī)名，目的是為了方便管理。
查看本機(jī)的名稱
輸入:

hostname

更改本機(jī)名稱
輸入:

hostnamectl set-hostname master

注:主機(jī)名稱更改之后，要重啟(reboot)才會(huì)生效。

2,主機(jī)和IP做關(guān)系映射

修改hosts文件，做關(guān)系映射
輸入

vim /etc/hosts

添加
主機(jī)的ip 和 主機(jī)名稱

192.168.219.128 master

3,關(guān)閉防火墻

關(guān)閉防火墻，方便外部訪問。
CentOS 7版本以下輸入:
關(guān)閉防火墻

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl stop firewalld.service

4,時(shí)間設(shè)置

輸入:

date

查看服務(wù)器時(shí)間是否一致，若不一致則更改
更改時(shí)間命令

date -s ‘MMDDhhmmYYYY.ss’

三、Scala環(huán)境配置

因?yàn)镾park的配置依賴與Scala，所以先要配置Scala。
Scala的配置

1, 文件準(zhǔn)備

將下載好的Scala文件解壓
輸入

tar -xvf scala-2.12.2.tgz

然后移動(dòng)到/opt/scala 里面
并且重命名為scala2.1
輸入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.1

2，環(huán)境配置

編輯 /etc/profile 文件
輸入:

export SCALA_HOME=/opt/scala/scala2.1
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

輸入:

source  /etc/profile

使配置生效
輸入 scala -version 查看是否安裝成功

大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建

三、Spark的環(huán)境配置

1，文件準(zhǔn)備

Spark有兩種，下載的地址都給了，一種是純凈版的spark，一種是集成了hadoop以及hive的版本。本文使用的是第二種
將下載好的Spark文件解壓
輸入

tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz

然后移動(dòng)到/opt/spark 里面，并重命名
輸入

mv  spark-1.6.3-bin-hadoop2.4-without-hive  /opt/spark
mv  spark-1.6.3-bin-hadoop2.4-without-hive  spark1.6-hadoop2.4-hive

大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建

2，環(huán)境配置

編輯 /etc/profile 文件
輸入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建

輸入:

source  /etc/profile

使配置生效

3，更改配置文件

切換目錄
輸入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf
4.3.1 修改 spark-env.sh

在conf目錄下，修改spark-env.sh文件，如果沒有 spark-env.sh 該文件，就復(fù)制spark-env.sh.template文件并重命名為spark-env.sh。
修改這個(gè)新建的spark-env.sh文件，加入配置:

export SCALA_HOME=/opt/scala/scala2.1    
export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
export SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive
export SPARK_MASTER_IP=master    
export SPARK_EXECUTOR_MEMORY=1G

大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建
注:上面的路徑以自己的為準(zhǔn)，SPARK_MASTER_IP為主機(jī)，SPARK_EXECUTOR_MEMORY為設(shè)置的運(yùn)行內(nèi)存。

五、Hadoop環(huán)境配置

Hadoop的具體配置在大數(shù)據(jù)學(xué)習(xí)系列之一 ----- Hadoop環(huán)境搭建(單機(jī)) ： http://www.panchengming.com/2017/11/26/pancm55 中介紹得很詳細(xì)了。所以本文就大體介紹一下。
注:具體配置以自己的為準(zhǔn)。

1，環(huán)境變量設(shè)置

編輯 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2，配置文件更改

先切換到 /home/hadoop/hadoop2.8/etc/hadoop/ 目錄下

5.2.1 修改 core-site.xml

輸入:

vim core-site.xml

在添加:



        hadoop.tmp.dir
        /root/hadoop/tmp
        Abase for other temporary directories.
   
   
        fs.default.name
        hdfs://master:9000
5.2.2修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改為自己的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改為：

export   JAVA_HOME=/home/java/jdk1.8
5.2.3修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在添加:


   dfs.name.dir
   /root/hadoop/dfs/name
   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.


   dfs.data.dir
   /root/hadoop/dfs/data
   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.


   dfs.replication
   2


      dfs.permissions
      false
      need not permissions
5.2.4 修改mapred-site.xml

如果沒有 mapred-site.xml 該文件，就復(fù)制mapred-site.xml.template文件并重命名為mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個(gè)新建的mapred-site.xml文件，在節(jié)點(diǎn)內(nèi)加入配置:


    mapred.job.tracker
    master:9001


      mapred.local.dir
       /root/hadoop/var


       mapreduce.framework.name
       yarn

3，Hadoop啟動(dòng)

注:如果已經(jīng)成功配置了就不用了
啟動(dòng)之前需要先格式化
切換到/home/hadoop/hadoop2.8/bin目錄下
輸入:

./hadoop  namenode  -format

格式化成功后，再切換到/home/hadoop/hadoop2.8/sbin目錄下
啟動(dòng)hdfs和yarn
輸入:

start-dfs.sh
start-yarn.sh

啟動(dòng)成功后，輸入jsp查看是否啟動(dòng)成功
在瀏覽器輸入 ip+8088 和ip +50070 界面查看是否能訪問
能正確訪問則啟動(dòng)成功

六、Spark啟動(dòng)

啟動(dòng)spark要確保hadoop已經(jīng)成功啟動(dòng)
首先使用jps命令查看啟動(dòng)的程序
在成功啟動(dòng)spark之后，再使用jps命令查看
切換到Spark目錄下
輸入:

cd /opt/spark/spark1.6-hadoop2.4-hive/sbin

然后啟動(dòng)Spark
輸入:

 start-all.sh

大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建

然后在瀏覽器輸入
http://192.168.219.128:8080/

正確顯示該界面，則啟動(dòng)成功
大數(shù)據(jù)學(xué)習(xí)系列之六 ----- Hadoop+Spark環(huán)境搭建

注:如果spark成功啟動(dòng)，但是無法訪問界面，首先檢查防火墻是否關(guān)閉，然后在使用jps查看進(jìn)程，如果都沒問題的，一般就可以訪問界面。如果還是不行，那么檢查hadoop、scala、spark的配置。

那么本文到此結(jié)束，謝謝閱讀！
如果覺得不錯(cuò)，可以點(diǎn)擊一下贊或推薦。

版權(quán)聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個(gè)人博客出處：http://www.panchengming.com
原創(chuàng)不易，轉(zhuǎn)載請(qǐng)標(biāo)明出處，謝謝！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


網(wǎng)站欄目：大數(shù)據(jù)學(xué)習(xí)系列之六-----Hadoop+Spark環(huán)境搭建-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://weahome.cn/article/djcocd.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220（工作日）

18980820575（7×24）

提交需求

返回頂部