真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Ubuntu系統(tǒng)搭建單機Spark注意事項-創(chuàng)新互聯(lián)

對于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建單機的Spark,大致步驟如下(我使用VMWare下的Ubuntu 14.04,暫不考慮安全問題,在root下運行):

創(chuàng)新互聯(lián)公司一直在為企業(yè)提供服務(wù),多年的磨煉,使我們在創(chuàng)意設(shè)計,成都全網(wǎng)營銷到技術(shù)研發(fā)擁有了開發(fā)經(jīng)驗。我們擅長傾聽企業(yè)需求,挖掘用戶對產(chǎn)品需求服務(wù)價值,為企業(yè)制作有用的創(chuàng)意設(shè)計體驗。核心團隊擁有超過十多年以上行業(yè)經(jīng)驗,涵蓋創(chuàng)意,策化,開發(fā)等專業(yè)領(lǐng)域,公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)成都溫江機房、App定制開發(fā)、手機移動建站、網(wǎng)頁設(shè)計、網(wǎng)絡(luò)整合營銷。

 1、安裝Ubuntu 14.04,注意裝好后需要禁用防火墻(ufw disable),安裝SSH 服務(wù)器,啟用root用戶

 2、下載安裝JDK-1.8、scala 2.11.8(需要和spark的jar版本配合下,這個其實不是很必要,練習(xí)用)、spark、maven(build用,這里的scala版本需要和spark的一致,否則可能出現(xiàn)ClassNotDef異常)

 3、在.profile中配置環(huán)境變量,如:

 export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7

 export SPARK_LOCAL_HOST=192.168.162.132

 export SPARK_MASTER_HOST=192.168.162.132

 4、啟動spark:

 $SPARK_HOME/sbin/start-master.sh

 # 在單機情況下也必須啟動,否則沒有worker

 $SPARK_HOME/sbin/start-slave.sh

 5、使用maven編譯一個示例程序(當(dāng)然sbt也可以)

 6、提交你的測試程序,如下:

 $SPARK_HOME/spark-submit --class "類名" --master spark://IP:Port 打包文件名

 另外,注意的一點是需要在/etc/hosts和/etc/hostname中正確配置主機名,否則可能出現(xiàn)IOException

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。


當(dāng)前文章:Ubuntu系統(tǒng)搭建單機Spark注意事項-創(chuàng)新互聯(lián)
網(wǎng)頁URL:http://weahome.cn/article/ggedj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部