這篇文章給大家分享的是有關(guān)Hadoop中Spark怎么用的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用分布式并行計(jì)算框架。Spark擁有hadoop MapReduce所具有的優(yōu)點(diǎn)，但和MapReduce 的大不同之處在于Spark是基于內(nèi)存的迭代式計(jì)算——Spark的Job處理的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，除此之外，一個(gè)MapReduce 在計(jì)算過程中只有map 和reduce 兩個(gè)階段，處理之后就結(jié)束了，而在Spark的計(jì)算模型中，可以分為n階段，因?yàn)樗鼉?nèi)存迭代式的，我們在處理完一個(gè)階段以后，可以繼續(xù)往下處理很多個(gè)階段，而不只是兩個(gè)階段。
因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。其不僅實(shí)現(xiàn)了MapReduce的算子map 函數(shù)和reduce函數(shù)及計(jì)算模型，還提供更為豐富的算子，如filter、join、groupByKey等。是一個(gè)用來實(shí)現(xiàn)快速而同用的集群計(jì)算的平臺。
Spark是一個(gè)用來實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺。擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，而且高效地支持更多的計(jì)算模式，包括交互式查詢和流處理。在處理大規(guī)模數(shù)據(jù)集的時(shí)候，速度是非常重要的。Spark的一個(gè)重要特點(diǎn)就是能夠在內(nèi)存中計(jì)算，因而更快。即使在磁盤上進(jìn)行的復(fù)雜計(jì)算，Spark依然比MapReduce更加高效。
下載安裝包
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
解壓安裝包
tar xf scala-2.11.7.tgz mv scala-2.11.7 /usr/local/scala
配置scala環(huán)境變量/etc/profile.d/scala.sh
# Scala ENV export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin
使scala環(huán)境變量生效
source /etc/profile.d/scala.sh
# 下載安裝包 wget https://mirrors.aliyun.com/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz # 解壓安裝包 tar xf spark-2.3.1-bin-hadoop2.7.tgz mv spark-2.3.1-bin-hadoop2.7 /usr/local/spark
編輯文件/etc/profile.d/spark.sh，修改為如下：
# Spark ENV export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:
生效環(huán)境變量
source /etc/profile.d/spark.sh
編輯文件/usr/local/spark/conf/spark-env.sh，修改為如下內(nèi)容：
export JAVA_HOME=/usr/java/default export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=namenode01 export SPARK_WORKER_MEMORY=4g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1
編輯文件/usr/local/spark/conf/slaves，修改為如下內(nèi)容：
datanode01 datanode02 datanode03
scp /usr/local/spark/conf/* datanode01:/usr/local/spark/conf/ scp /usr/local/spark/conf/* datanode02:/usr/local/spark/conf/ scp /usr/local/spark/conf/* datanode03:/usr/local/spark/conf/
Spark服務(wù)只使用hadoop的hdfs集群。
/usr/local/spark/sbin/start-all.sh
[root@namenode01 ~]# jps 14512 NameNode 23057 RunJar 14786 ResourceManager 30355 Jps 15894 HMaster 30234 Master [root@datanode01 ~]# jps 3509 DataNode 3621 NodeManager 1097 QuorumPeerMain 9930 RunJar 15514 Worker 15581 Jps 3935 HRegionServer [root@datanode02 ~]# jps 3747 HRegionServer 14153 Worker 3322 DataNode 3434 NodeManager 1101 QuorumPeerMain 14221 Jps [root@datanode03 ~]# jps 3922 DataNode 4034 NodeManager 19186 Worker 19255 Jps 1102 QuorumPeerMain 4302 HRegionServer
訪問 http://192.168.1.200:8080/
同時(shí)，因?yàn)閟hell在運(yùn)行，我們也可以通過192.168.1.200:4040訪問WebUI查看當(dāng)前執(zhí)行的任務(wù)。
感謝各位的閱讀！關(guān)于“Hadoop中Spark怎么用”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
