這篇文章將為大家詳細講解有關(guān)Hadoop產(chǎn)品有哪些,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
創(chuàng)新互聯(lián)致力于成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè),成都網(wǎng)站設(shè)計,集團網(wǎng)站建設(shè)等服務標準化,推過標準化降低中小企業(yè)的建站的成本,并持續(xù)提升建站的定制化服務水平進行質(zhì)量交付,讓企業(yè)網(wǎng)站從市場競爭中脫穎而出。 選擇創(chuàng)新互聯(lián),就選擇了安全、穩(wěn)定、美觀的網(wǎng)站建設(shè)服務!
Hadoop系列 常用的項目有,Hadoop , Hive , Pig , HBase , Sqoop , Mahout , Zookeeper , Avro , Ambari , Chukwa , YARN , Hcatalog , Oozie , Cassandra , Hama , Whirr , Flume , Bigtop , Crunch , Hue等等。
各產(chǎn)品介紹:
Apache Hadoop : 是Apache開源組織的一個分布式計算開源框架,提供了一個分布式文件系統(tǒng)子項目(HDFS)和支持MapReduce分布式計算的軟件架構(gòu)。
Apache Hive : 是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計,不必開發(fā)專門的MapReduce應用,十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。
Apache Pig: 是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析工具,它提供的SQL-LIKE語言叫Pig Latin,該語言的編譯器會把類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運算。
APache HBase:是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用HBase技術(shù)可在廉價PC server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。
Apache Sqoop :是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具,可以將一個關(guān)系型數(shù)據(jù)庫(MySQL、Oracle、Postgres等)中的數(shù)據(jù)導進到Hadoop的HDFS中,也可以將HDFS的數(shù)據(jù)導進到關(guān)系型數(shù)據(jù)庫中。
Apache Zookeeper:是一個為分布式應用所設(shè)計的分布的、開源的協(xié)調(diào)服務,它主要是用來解決分布式應用中經(jīng)常遇到的一些數(shù)據(jù)管理問題,簡化分布式應用協(xié)調(diào)及其管理的難度,提供高性能的分布式服務。
Apache Mahout:是基于Hadoop的機器學習和數(shù)據(jù)挖掘的一個分布式框架,Mahout用MapReduce實現(xiàn)了部分數(shù)據(jù)挖掘算法,解決了并行挖掘的問題。
Apache Cassandra:是一套開源分布式NoSql數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā),用于儲存簡單格式數(shù)據(jù),集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布大的架構(gòu)于一身。
Apache Avro:是一個數(shù)據(jù)序列化系統(tǒng),設(shè)計用于支持數(shù)據(jù)密集型,大批量數(shù)據(jù)交換的應用。Avro是新的數(shù)據(jù)序列化格式與傳輸工具,將逐步取代Hadoop原有的IPC機制。
Apache Ambari : 是一種基于Web的工具,支持Hadoop集群的供應、管理和監(jiān)控。
Apache Chukwa:是一個開源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng),它可以將各種各樣類型的數(shù)據(jù)收集成適合Hadoop處理的文件保存在HDFS中,供Hadoop進行各種MapReduce操作。
Apache Hama :是一個基于HDFS的BSP(Bulk Synchronous Parallel)并行計算框架,Hama可用于包括圖、矩陣和網(wǎng)絡算法在內(nèi)的大規(guī)模、大數(shù)據(jù)計算。
Apache Flume : 是一個分布的、可靠的、高可和的海量日志聚合的系統(tǒng),可用于日志數(shù)據(jù)收集,日志數(shù)據(jù)處理,日志數(shù)據(jù)傳輸。
Apache Giraph:是一個可伸縮的分布式迭代圖處理系統(tǒng),基于Hadoop平臺,靈感來自BSP和Google的Pregel。
Apache Oozie :是一個工作流引擎服務器,用于管理和協(xié)調(diào)運行在Hadoop平臺上(HDFS、Pig和MapReduce)的任務。
Apache Crunch:是基于Google的FlumeJava庫編寫的java庫,用于創(chuàng)建MapReduce程序。與Hive,Pig類似,Crunch提供了用于實現(xiàn)如連接數(shù)據(jù)、執(zhí)行聚合和排序記錄等常見任務的模式庫。
Apache Whirr:是一套運行于云服務的類庫(包括Hadoop),可提供高度的互補性。Whirr支持Amazon EC2 和 Rackspace的服務。
Apache Bigtop :是一個對Hadoop及其周邊生態(tài)進行打包,分發(fā)和測試的工具。
Apache HCatalog:是基于Hadoop的數(shù)據(jù)表和存儲管理,實現(xiàn)中內(nèi)的元數(shù)據(jù)和模式管理,跨越Hadoop和RDBMS,利用Pig和Hive提供關(guān)系視圖。
Cloudera Hue:是一個基于WEB的監(jiān)控和管理系統(tǒng),實現(xiàn)對HDFS、MapReduce、YARN、HBase、Hive、Pig的web化操作和管理。
關(guān)于“Hadoop產(chǎn)品有哪些”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。