本篇內(nèi)容介紹了“spark2.0集群環(huán)境的安裝步驟”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)擁有網(wǎng)站維護(hù)技術(shù)和項(xiàng)目管理團(tuán)隊(duì)，建立的售前、實(shí)施和售后服務(wù)體系，為客戶提供定制化的成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、服務(wù)器機(jī)柜租賃解決方案。為客戶網(wǎng)站安全和日常運(yùn)維提供整體管家式外包優(yōu)質(zhì)服務(wù)。我們的網(wǎng)站維護(hù)服務(wù)覆蓋集團(tuán)企業(yè)、上市公司、外企網(wǎng)站、商城網(wǎng)站建設(shè)、政府網(wǎng)站等各類型客戶群體，為全球上1000+企業(yè)提供全方位網(wǎng)站維護(hù)、服務(wù)器維護(hù)解決方案。

spark2.0已經(jīng)在apache的官網(wǎng)進(jìn)行公布。大家可以去下載。今天我就帶大家進(jìn)行安裝spark2.0

.spark2.0要求是hadoop2.7.2 +scala2.11+java7 版本不夠的請(qǐng)先升級(jí)

1.安裝hadoop2.7.2

下載地址是：http://hadoop.apache.org/releases.html

下載好后進(jìn)行解壓  tar -zxvf  

我在這里用的是偽分布虛擬機(jī)的配置

如果對(duì)hadoop不熟悉的同學(xué)可以參考http://www.linuxidc.com/Linux/2016-02/128729.htm?1456669335754進(jìn)行安裝

提示：對(duì)于hadoop測(cè)試不要只用jps看進(jìn)程，這是不準(zhǔn)確的。正確的操作是通過(guò)頁(yè)面訪問(wèn)50070和8088端口

2.安裝scala2.11

下載地址是http://www.scala-lang.org/download/

下載后進(jìn)行解壓

配置環(huán)境變量 vi /etc/profile

這些操作簡(jiǎn)單。估計(jì)大家都會(huì)。我再這里不詳細(xì)描述 不了解的可以去百度

對(duì)于scala的測(cè)試是scala -version

3.安裝spark2.0

下載地址是http://spark.apache.org/news/spark-2-0-0-released.html

下載后也是進(jìn)行解壓tar -zxvf

解壓后開始配置

首先在/etc/profile  把spark的環(huán)境變量配上

然后配置spark的conf/slaves

把slaves的主機(jī)名添加上

然后進(jìn)行啟動(dòng)

sbin/start-all.sh

啟動(dòng)成功后可以訪問(wèn)上面的界面注意是master的ip,端口是8080

這樣spark環(huán)境就安裝成功

然后可以跑個(gè)demo進(jìn)行測(cè)試?yán)?/p>

bin/run-example org.apache.spark.example.SparkPi

運(yùn)行成功算出pi的近似值。至此spark環(huán)境搭建已經(jīng)完成

“spark2.0集群環(huán)境的安裝步驟”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！