互聯(lián)網(wǎng)IDC圈3月7日?qǐng)?bào)道：在開(kāi)發(fā)人員開(kāi)發(fā)Hadoop以克服大數(shù)據(jù)帶來(lái)的挑戰(zhàn)之后的10年間，這些技術(shù)的生態(tài)系統(tǒng)在不斷發(fā)展壯大。Apache軟件基金會(huì)下面有眾多的開(kāi)源大數(shù)據(jù)技術(shù)項(xiàng)目。本文介紹一些重要項(xiàng)目，并順便了解幾個(gè)新興項(xiàng)目。
管理和分析大數(shù)據(jù)已經(jīng)變成了重大挑戰(zhàn)，數(shù)量急劇增加的信息從社交媒體、連接到物聯(lián)網(wǎng)中“物件”的傳感器、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及可以收集的其他一切數(shù)據(jù)收集而來(lái)。為了應(yīng)對(duì)這項(xiàng)任務(wù)，開(kāi)發(fā)人員已開(kāi)發(fā)了一系列新的開(kāi)源技術(shù)。
旗艦軟件Apache Hadoop是Apache軟件基金會(huì)的一個(gè)項(xiàng)目，它在上個(gè)月迎來(lái)了十周年。這十年已發(fā)生了很大的變化。如今，另外許多技術(shù)也是大數(shù)據(jù)和Hadoop生態(tài)系統(tǒng)的一員，它們大多數(shù)都?xì)w屬Apache軟件基金會(huì)。
開(kāi)發(fā)人員和企業(yè)組織在使用諸多項(xiàng)目，開(kāi)發(fā)大數(shù)據(jù)技術(shù)，并將它們捐獻(xiàn)給開(kāi)源社區(qū)，以便進(jìn)一步發(fā)展和采用，其中就包括Spark、Hive、HBase和Storm。
在網(wǎng)飛和領(lǐng)英等一些企業(yè)，其中一些技術(shù)已用于生產(chǎn)環(huán)境。它們讓企業(yè)組織能夠?qū)崟r(shí)處理海量數(shù)據(jù)，并轉(zhuǎn)換那些數(shù)據(jù)，為最終客戶改善服務(wù)。
這些大數(shù)據(jù)技術(shù)常常脫胎于試圖改善大數(shù)據(jù)技術(shù)的工作方式、加快處理速度的企業(yè)組織。它們代表了生態(tài)系統(tǒng)的演變之路和下一波開(kāi)源技術(shù)，這證明明智的參與者組成的社區(qū)取得的發(fā)展勝過(guò)專有企業(yè)環(huán)境里面的發(fā)展。
當(dāng)前的開(kāi)源和大數(shù)據(jù)時(shí)代完全始于Hadoop，它常常被譽(yù)為是一種面向分布式存儲(chǔ)的開(kāi)源框架，用于在大眾化硬件上處理龐大數(shù)據(jù)集。
Hadoop發(fā)行版公司Hortonworks的企業(yè)戰(zhàn)略副總裁Shaun Connolly在接受采訪時(shí)告訴《信息周刊》雜志：“作為一種新興的數(shù)據(jù)架構(gòu)，Hadoop成為備受矚目的中心。Hadoop周圍出現(xiàn)了這個(gè)生態(tài)系統(tǒng)，備受關(guān)注的項(xiàng)目圍繞它壯大起來(lái)。”
而發(fā)展并未止步。新的項(xiàng)目一直被Apache軟件基金會(huì)納入到大數(shù)據(jù)生態(tài)系統(tǒng)。最近，Apache Arrow就成了一個(gè)頂級(jí)項(xiàng)目。其他項(xiàng)目可能會(huì)作為Apache軟件基金會(huì)的孵化器計(jì)劃(Incubator)的一員而進(jìn)入生態(tài)系統(tǒng)。去年年底，IBM面向Spark的SystemML機(jī)器學(xué)習(xí)引擎就得到了接受，成為一個(gè)孵化器項(xiàng)目。
有許多項(xiàng)目是Apache軟件基金會(huì)的大數(shù)據(jù)生態(tài)系統(tǒng)的一員。本文介紹了一些重要項(xiàng)目，還介紹了幾個(gè)新興項(xiàng)目。歡迎留言交流!
Hadoop
Hadoop其實(shí)是開(kāi)源大數(shù)據(jù)領(lǐng)域的旗艦技術(shù)。它是由雅虎的一個(gè)編外項(xiàng)目發(fā)展起來(lái)的，當(dāng)時(shí)開(kāi)發(fā)人員需要一種方法來(lái)存儲(chǔ)和處理他們使用新的搜索引擎收集而來(lái)的海量數(shù)據(jù)。這項(xiàng)技術(shù)最終捐獻(xiàn)給了Apache軟件基金會(huì)。如今有來(lái)自商用公司的三大發(fā)行版：Cloudera、Hortonworks和MapR。Hadoop的開(kāi)發(fā)者之一Doug Cutting最近接受了《信息周刊》雜志的采訪，暢談了Hadoop的發(fā)展。
Hive
Apache Hive最初由Facebook開(kāi)發(fā)，后來(lái)捐獻(xiàn)給了Apache軟件基金會(huì)。這項(xiàng)技術(shù)是一種建立在Hadoop基礎(chǔ)上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施，提供了數(shù)據(jù)匯總、查詢和分析。
使用Hive的公司包括CNET和eHarmony。
HBase
Apache HBase脫胎于一家名為Powerset的公司所搞的一個(gè)項(xiàng)目，2008年該公司被微軟收購(gòu)。其目的是，處理海量數(shù)據(jù)，便于自然語(yǔ)言搜索。這項(xiàng)技術(shù)是一種非關(guān)系型的開(kāi)源分布式數(shù)據(jù)庫(kù)，仿照了谷歌的BigTable，用Java編寫(xiě)而成。2010年，HBase成為Apache軟件基金會(huì)的一個(gè)項(xiàng)目。
如今使用HBase的公司包括Adobe、Facebook、Meetup和趨勢(shì)科技。
Spark
Apache Spark儼然就是大數(shù)據(jù)生態(tài)系統(tǒng)冉冉升起的明星。這項(xiàng)技術(shù)最初由加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室開(kāi)發(fā)。它可以取代Hadoop的MapReduce，不過(guò)速度更快，因?yàn)镾park改而使用內(nèi)存中處理技術(shù)，其性能最多高出100倍，這取決于具體應(yīng)用。
Spark的開(kāi)發(fā)人員現(xiàn)在供職于Databricks，該公司是支持Apache軟件基金會(huì)內(nèi)部這個(gè)項(xiàng)目的主力軍，它還提供商用的Spark即服務(wù)( Spark-as-a-Service)。截至2015年年底，Spark是所有大數(shù)據(jù)項(xiàng)目中最活躍的開(kāi)源項(xiàng)目，之前12個(gè)月有600多個(gè)代碼捐獻(xiàn)者。
如今許多公司使用Spark，包括亞馬遜、Autodesk、電子港灣、Groupon、OpenTable和TripAdvisor。
Kafka
Apache Kafka起初只是領(lǐng)英公司內(nèi)部的一個(gè)項(xiàng)目，作為一種消息傳遞系統(tǒng)，用于代理安排該公司面向消費(fèi)者的職業(yè)網(wǎng)站及平臺(tái)生成和處理的海量實(shí)時(shí)數(shù)據(jù)。
2011年，Kafka捐獻(xiàn)給了開(kāi)源社區(qū)，2012年從Apache孵化器計(jì)劃出來(lái)。當(dāng)初開(kāi)發(fā)Kafka的領(lǐng)英開(kāi)發(fā)人員成了從領(lǐng)英拆分出來(lái)的Confluent這家新公司的成員。
使用Kafka的公司包括領(lǐng)英、推特、網(wǎng)飛、Pinterest、高盛和Coursera。
Storm
Apache Storm在其項(xiàng)目頁(yè)面上的描述是，這是一種分布式實(shí)時(shí)計(jì)算系統(tǒng)，讓用戶很容易可靠地處理無(wú)限制的數(shù)據(jù)流，正如Hadoop用于批量處理，Storm用于實(shí)時(shí)處理。
這項(xiàng)技術(shù)有時(shí)被稱為是Spark的替代技術(shù)。2011年，開(kāi)發(fā)Storm的公司BackType被推特收購(gòu)。2014年，從孵化器計(jì)劃出來(lái)后，Storm成為了Apache軟件基金會(huì)的一個(gè)頂級(jí)項(xiàng)目。
此后，推特開(kāi)發(fā)了自己的內(nèi)部系統(tǒng)，用于處理最初分派給Storm的任務(wù)。使用Storm的公司包括雅虎和Spotify。
Nifi
Apache Nifi原先名叫Niagara Files，這個(gè)技術(shù)轉(zhuǎn)讓項(xiàng)目由美國(guó)國(guó)家安全局(NSA)開(kāi)發(fā)，2014年11月，它作為一個(gè)孵化器項(xiàng)目，捐獻(xiàn)給Apache軟件基金會(huì)。2015年，它成了一個(gè)頂級(jí)項(xiàng)目。
Nifi旨在處理這個(gè)問(wèn)題：如何讓數(shù)據(jù)在系統(tǒng)之間的流動(dòng)實(shí)現(xiàn)自動(dòng)化。其在Apache軟件基金會(huì)上的項(xiàng)目頁(yè)面介紹，這項(xiàng)技術(shù)“支持功能強(qiáng)大、可擴(kuò)展的有向圖，這些有向圖涉及數(shù)據(jù)路由、轉(zhuǎn)換和系統(tǒng)中介邏輯。”
它提供了一種基于Web的用戶界面。另外，與NSA開(kāi)發(fā)的其他項(xiàng)目一樣，它也提供了安全功能，包括SSL、SSH、HTTPS、加密內(nèi)容，以及可插入式、基于角色的驗(yàn)證和授權(quán)機(jī)制。
Flink
2015年1月，Apache基金會(huì)接受Apache Flink成為一個(gè)頂級(jí)項(xiàng)目。這項(xiàng)技術(shù)是一種面向批量數(shù)據(jù)和流數(shù)據(jù)的分布式數(shù)據(jù)分析引擎，它提供了使用Java和Scala的編程API。
該項(xiàng)目脫胎于柏林的Stratosphere研究項(xiàng)目。使用Flink的企業(yè)組織包括第一資本(Capital One)和Data Artisans。
Arrow
這個(gè)月，Apache Arrow被Apache軟件基金會(huì)接收為一個(gè)頂級(jí)項(xiàng)目。這項(xiàng)技術(shù)源自Dremio公司，這家公司還捐獻(xiàn)了Apache Drill項(xiàng)目。Dremio的幾位創(chuàng)始人是從MapR出來(lái)的，這是一家Apache Hadoop發(fā)行版公司。
據(jù)Apache軟件基金會(huì)聲稱，Arrow最初是靠來(lái)自Apache Drill項(xiàng)目的代碼起家的。據(jù)Dremio的聯(lián)合創(chuàng)始人兼首席技術(shù)官Jacques Nadeau聲稱，Arrow提供了列式內(nèi)存分析功能。
Apache軟件基金會(huì)的更多大數(shù)據(jù)項(xiàng)目
這些是Apache軟件基金會(huì)里面Hadoop生態(tài)系統(tǒng)中一些備受關(guān)注的大數(shù)據(jù)項(xiàng)目。另外許多是捐獻(xiàn)而來(lái)的。所有這些項(xiàng)目的開(kāi)發(fā)工作都在進(jìn)行之中，Apache軟件基金會(huì)的網(wǎng)站對(duì)它們都有全面記載。
Connolly告訴《信息周刊》雜志：“Apache之道就是社區(qū)比代碼重要。雖然技術(shù)值得關(guān)注，但是Apache之道是把社區(qū)放在首位。”
重慶分公司
重慶分公司
