這篇文章主要講解了“Hadoop與spark是什么”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Hadoop與spark是什么”吧！

創(chuàng)新互聯(lián)是一家以網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、品牌設(shè)計(jì)、軟件運(yùn)維、seo優(yōu)化、小程序App開(kāi)發(fā)等移動(dòng)開(kāi)發(fā)為一體互聯(lián)網(wǎng)公司。已累計(jì)為成都履帶攪拌車(chē)等眾行業(yè)中小客戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)建站和軟件開(kāi)發(fā)服務(wù)。

　Hadoop是什么?

Hadoop在2006年開(kāi)始成為雅虎項(xiàng)目，隨后晉升為頂級(jí)Apache開(kāi)源項(xiàng)目。它是一種通用的分布式系統(tǒng)基礎(chǔ)架構(gòu)，具有多個(gè)組件：Hadoop分布式文件系統(tǒng)(HDFS)，它將文件以Hadoop本機(jī)格式存儲(chǔ)并在集群中并行化; YARN，協(xié)調(diào)應(yīng)用程序運(yùn)行時(shí)的調(diào)度程序; MapReduce，這是實(shí)際并行處理數(shù)據(jù)的算法。Hadoop使用Java編程語(yǔ)言構(gòu)建，其上的應(yīng)用程序也可以使用其他語(yǔ)言編寫(xiě)。用一個(gè)Thrift客戶端，用戶可以編寫(xiě)MapReduce或者Python代碼。

除了這些基本組件外，Hadoop還包括Sqoop，它將關(guān)系數(shù)據(jù)移入HDFS; Hive，一種類(lèi)似SQL的接口，允許用戶在HDFS上運(yùn)行查詢(xún); Mahout，機(jī)器學(xué)習(xí)。除了將HDFS用于文件存儲(chǔ)之外，Hadoop現(xiàn)在還可以配置使用S3 buckets或Azure blob作為輸入。

它可以在Apache發(fā)行版開(kāi)源，也可以用Cloudera(規(guī)模和范圍最大的Hadoop供應(yīng)商)，MapR或HortonWorks等廠商提供。

　Spark是什么?

Spark是一個(gè)較新的項(xiàng)目，在2012年誕生在加州大學(xué)伯克利分校的AMPLab。它也是一個(gè)頂級(jí)Apache項(xiàng)目，專(zhuān)注于在集群中并行處理數(shù)據(jù)，一大區(qū)別在于它在內(nèi)存中運(yùn)行。

類(lèi)似于Hadoop讀取和寫(xiě)入文件到HDFS的概念，Spark使用RDD(彈性分布式數(shù)據(jù)集)處理RAM中的數(shù)據(jù)。Spark以獨(dú)立模式運(yùn)行，Hadoop集群可用作數(shù)據(jù)源，也可與Mesos一起運(yùn)行。在后一種情況下，Mesos主站將取代Spark主站或YARN以進(jìn)行調(diào)度。

Spark是圍繞Spark Core構(gòu)建的，Spark Core是驅(qū)動(dòng)調(diào)度，優(yōu)化和RDD抽象的引擎，并將Spark連接到正確的文件系統(tǒng)(HDFS，S3，RDBM或Elasticsearch)。Spark Core上還運(yùn)行了幾個(gè)庫(kù)，包括Spark SQL，允許用戶在分布式數(shù)據(jù)集上運(yùn)行類(lèi)似SQL的命令，用于機(jī)器學(xué)習(xí)的MLLib，用于解決圖形問(wèn)題的GraphX以及允許輸入連續(xù)流式日志數(shù)據(jù)的Streaming。

Spark有幾個(gè)API。原始界面是用Scala編寫(xiě)的，并且由于大量數(shù)據(jù)科學(xué)家的使用，還添加了Python和R接口。Java是編寫(xiě)Spark作業(yè)的另一種選擇。

Databricks是由Spark創(chuàng)始人Matei Zaharia創(chuàng)立的公司，現(xiàn)在負(fù)責(zé) Spark開(kāi)發(fā)并為客戶提供Spark分銷(xiāo)。

感謝各位的閱讀，以上就是“Hadoop與spark是什么”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Hadoop與spark是什么這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！