真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼-創(chuàng)新互聯(lián)

小編給大家分享一下基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!

創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供無極網(wǎng)站建設(shè)、無極做網(wǎng)站、無極網(wǎng)站設(shè)計、無極網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、無極企業(yè)網(wǎng)站模板建站服務(wù),十年無極做網(wǎng)站經(jīng)驗,不只是建網(wǎng)站,更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

1 寫在前面的話

有些小伙伴可能會問:Spark官網(wǎng)不是已經(jīng)提供了Spark針對不同版本的安裝包了嗎,我們?yōu)槭裁催€需要對Spark源碼進(jìn)行編譯呢?針對這個問題我們到Spark官網(wǎng): spark.apache.org來看下,如下圖所示:
基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼

Spark官網(wǎng)的確是提供了一些Hadoop版本的Spark安裝包,但是提供的這些是否能夠滿足我們的要求呢?答案肯定是否定的,根據(jù)本人近幾年做Spark的開發(fā)經(jīng)驗,列出如下幾點

  • 在生產(chǎn)環(huán)境中Hadoop的選型,很大部分都是CDH或者HDP系列的,那么官方提供的這幾個Hadoop系列是否能夠生產(chǎn)的需求?

  • 在開發(fā)過程中,我們經(jīng)常會遇到需要對Spark的源碼進(jìn)行修改,那么修改后的代碼如何集成到Spark安裝包中去呢?

針對如上列出的兩點的個人覺得比較好的最佳實踐:

  • 根據(jù)生產(chǎn)上運(yùn)行的Hadoop版本編譯出Spark的安裝包

  • 修改Spark源碼之后,重新編譯Spark

所以:個人覺得如果想更好的學(xué)習(xí)和使用Spark,那么第一步就是要會根據(jù)Spark源碼編譯出安裝包。

2 前置準(zhǔn)備

根據(jù)Spark官方文檔編譯模塊的介紹(http://spark.apache.org/docs/2.1.0/building-spark.html)的介紹:

The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+. Note that support for Java 7 is deprecated as of Spark 2.0.0 and may be removed in Spark 2.2.0.”

我們得知:

  • Java需要7+版本,而且在Spark2.0.0之后Java 7已經(jīng)被標(biāo)識成deprecated了,但是不影響使用,但是在Spark2.2.0版本之后Java 7的支持將會被移除;

  • Maven需要3.3.9+版本

2.1 Java7的安裝

2.1.1 下載

Java SE安裝包下載地址:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

本文章我們使用的JDK版本是:jdk1.7.0_51

2.1.2 安裝

我們所有的軟件都安裝在hadoop用戶的根目錄的app文件夾下

//解壓 tar -zxvf jdk-7u51-linux-x64.tar.gz -C ~/app

//將JDK目錄添加到系統(tǒng)環(huán)境變量(~/.bash_profile)中 export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51 export PATH=$JAVA_HOME/bin:$PATH //讓配置文件生效 source ~/.bash_profile

//執(zhí)行java,查看java版本 java -version //如果安裝成功后,則有如下信息的輸出 java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

2.2 Maven3.3.9的安裝

2.2.1 下載

Maven3.3.9安裝包下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache//maven/maven-3/3.3.9/binaries/

2.2.2 安裝

// 解壓 tar -zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/ //將JDK目錄添加到系統(tǒng)環(huán)境變量(~/.bash_profile)中 export MAVEN_HOME=/home/hadoop/app/apache-maven-3.3.9 export PATH=$MAVEN_HOME/bin:$PATH //讓配置文件生效 source ~/.bash_profile

//執(zhí)行mvn,查看版本 mvn -v //如果安裝成功后,則有如下信息的輸出 Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T08:41:47-08:00) Maven home: /home/hadoop/app/apache-maven-3.3.9 Java version: 1.7.0_51, vendor: Oracle Corporation Java home: /home/hadoop/app/jdk1.7.0_51/jre Default locale: zh_CN, platform encoding: UTF-8 OS name: "linux", version: "2.6.32-358.el6.x86_64", arch: "amd64", family: "unix"

2.3 Spark-2.1.0源碼下載

下載地址:http://spark.apache.org/downloads.html
基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼
下載完成后解壓即可,解壓后的目錄結(jié)構(gòu)如下圖所示
基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼

3 Spark源碼編譯

查看官方文檔編譯源碼部分:http://spark.apache.org/docs/2.1.0/building-spark.html#building-a-runnable-distribution

我們可以使用Spark源碼目錄中的dev下的make-distribution.sh腳本,官方提供的編譯命令如下:

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pmesos -Pyarn

參數(shù)說明:

  • --name:指定編譯完成后Spark安裝包的名字

  • --tgz:以tgz的方式進(jìn)行壓縮

  • -Psparkr:編譯出來的Spark支持R語言

  • -Phadoop-2.4:以hadoop-2.4的profile進(jìn)行編譯,具體的profile可以看出源碼根目錄中的pom.xml中查看

  • -Phive和-Phive-thriftserver:編譯出來的Spark支持對Hive的操作

  • -Pmesos:編譯出來的Spark支持運(yùn)行在Mesos上

  • -Pyarn:編譯出來的Spark支持運(yùn)行在YARN上

那么我們可以根據(jù)具體的條件來編譯Spark,比如我們使用的Hadoop版本是2.6.0-cdh6.7.0,并且我們需要將Spark運(yùn)行在YARN上、支持對Hive的操作,那么我們的Spark源碼編譯腳本就是:

./dev/make-distribution.sh --name 2.6.0-cdh6.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh6.7.0

編譯成功后,在Spark源碼的根目錄中就spark-2.1.0-bin-2.6.0-cdh6.7.0.tgz包,那么我們就可以使用編譯出來的這個安裝包來進(jìn)行Spark的安裝了。

有小伙伴可能會問,為什么編譯出來的安裝包的名稱是spark-2.1.0-bin-2.6.0-cdh6.7.0.tgz呢?我們可以帶著這個疑惑,查看make-distribution.sh的源碼,在該腳本的最后部分,有如下代碼:

if [ "$MAKE_TGZ" == "true" ]; then TARDIR_NAME=spark-$VERSION-bin-$NAME
  TARDIR="$SPARK_HOME/$TARDIR_NAME" rm -rf "$TARDIR" cp -r "$DISTDIR" "$TARDIR" tar czf "spark-$VERSION-bin-$NAME.tgz" -C "$SPARK_HOME" "$TARDIR_NAME" rm -rf "$TARDIR" fi

該VERSION就是我們Spark的版本即2.1.0,NAME就是我們在編譯時指定的2.6.0-cdh6.7.0,所以根據(jù)該腳本最終輸出的Spark安裝包的全稱為: spark-2.1.0-bin-2.6.0-cdh6.7.0.tgz。通過該代碼的查看希望大家能明白一個問題:源碼面前,了無秘密。

注意:在編譯過程中會出現(xiàn)下載某個依賴包的時間太久,這是由于網(wǎng)絡(luò)問題,可以執(zhí)行ctrl+c停止編譯命令,然后重新運(yùn)行編譯命令,在編譯過程中多試幾次即可。有條件的小伙伴,建議開著VPN然后再進(jìn)行編譯,整個編譯過程會順暢很多。

看完了這篇文章,相信你對“基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼”有了一定的了解,如果想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,感謝各位的閱讀!


網(wǎng)站標(biāo)題:基于CentOS6.4環(huán)境如何編譯Spark-2.1.0源碼-創(chuàng)新互聯(lián)
文章出自:http://weahome.cn/article/dedsgc.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部