這篇文章給大家分享的是有關(guān)Hadoop中Spark怎么用的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。
公司主營業(yè)務(wù)：做網(wǎng)站、成都網(wǎng)站制作、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出鎮(zhèn)原免費(fèi)做網(wǎng)站回饋大家。
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用分布式并行計(jì)算框架。Spark擁有hadoop MapReduce所具有的優(yōu)點(diǎn)，但和MapReduce 的最大不同之處在于Spark是基于內(nèi)存的迭代式計(jì)算——Spark的Job處理的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，除此之外，一個(gè)MapReduce 在計(jì)算過程中只有map 和reduce 兩個(gè)階段，處理之后就結(jié)束了，而在Spark的計(jì)算模型中，可以分為n階段，因?yàn)樗鼉?nèi)存迭代式的，我們?cè)谔幚硗暌粋€(gè)階段以后，可以繼續(xù)往下處理很多個(gè)階段，而不只是兩個(gè)階段。
因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。其不僅實(shí)現(xiàn)了MapReduce的算子map 函數(shù)和reduce函數(shù)及計(jì)算模型，還提供更為豐富的算子，如filter、join、groupByKey等。是一個(gè)用來實(shí)現(xiàn)快速而同用的集群計(jì)算的平臺(tái)。
Spark是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)。擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，而且高效地支持更多的計(jì)算模式，包括交互式查詢和流處理。在處理大規(guī)模數(shù)據(jù)集的時(shí)候，速度是非常重要的。Spark的一個(gè)重要特點(diǎn)就是能夠在內(nèi)存中計(jì)算，因而更快。即使在磁盤上進(jìn)行的復(fù)雜計(jì)算，Spark依然比MapReduce更加高效。
下載安裝包
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
解壓安裝包
tar xf scala-2.11.7.tgz mv scala-2.11.7 /usr/local/scala
配置scala環(huán)境變量/etc/profile.d/scala.sh
# Scala ENV export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin
使scala環(huán)境變量生效
source /etc/profile.d/scala.sh
# 下載安裝包 wget https://mirrors.aliyun.com/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz # 解壓安裝包 tar xf spark-2.3.1-bin-hadoop2.7.tgz mv spark-2.3.1-bin-hadoop2.7 /usr/local/spark
編輯文件/etc/profile.d/spark.sh，修改為如下：
# Spark ENV export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:
生效環(huán)境變量
source /etc/profile.d/spark.sh
編輯文件/usr/local/spark/conf/spark-env.sh，修改為如下內(nèi)容：
export JAVA_HOME=/usr/java/default export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=namenode01 export SPARK_WORKER_MEMORY=4g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1
編輯文件/usr/local/spark/conf/slaves，修改為如下內(nèi)容：
datanode01 datanode02 datanode03
scp /usr/local/spark/conf/* datanode01:/usr/local/spark/conf/ scp /usr/local/spark/conf/* datanode02:/usr/local/spark/conf/ scp /usr/local/spark/conf/* datanode03:/usr/local/spark/conf/
Spark服務(wù)只使用hadoop的hdfs集群。
/usr/local/spark/sbin/start-all.sh
[root@namenode01 ~]# jps 14512 NameNode 23057 RunJar 14786 ResourceManager 30355 Jps 15894 HMaster 30234 Master [root@datanode01 ~]# jps 3509 DataNode 3621 NodeManager 1097 QuorumPeerMain 9930 RunJar 15514 Worker 15581 Jps 3935 HRegionServer [root@datanode02 ~]# jps 3747 HRegionServer 14153 Worker 3322 DataNode 3434 NodeManager 1101 QuorumPeerMain 14221 Jps [root@datanode03 ~]# jps 3922 DataNode 4034 NodeManager 19186 Worker 19255 Jps 1102 QuorumPeerMain 4302 HRegionServer
訪問 http://192.168.1.200:8080/
同時(shí)，因?yàn)閟hell在運(yùn)行，我們也可以通過192.168.1.200:4040訪問WebUI查看當(dāng)前執(zhí)行的任務(wù)。
感謝各位的閱讀！關(guān)于“Hadoop中Spark怎么用”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！
重慶分公司
重慶分公司
