真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop產(chǎn)品有哪些

這篇文章將為大家詳細講解有關(guān)Hadoop產(chǎn)品有哪些,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)致力于成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè),成都網(wǎng)站設(shè)計,集團網(wǎng)站建設(shè)等服務標準化,推過標準化降低中小企業(yè)的建站的成本,并持續(xù)提升建站的定制化服務水平進行質(zhì)量交付,讓企業(yè)網(wǎng)站從市場競爭中脫穎而出。 選擇創(chuàng)新互聯(lián),就選擇了安全、穩(wěn)定、美觀的網(wǎng)站建設(shè)服務!

    Hadoop系列 常用的項目有,Hadoop , Hive , Pig , HBase , Sqoop , Mahout , Zookeeper , Avro , Ambari , Chukwa , YARN , Hcatalog , Oozie , Cassandra , Hama , Whirr , Flume , Bigtop , Crunch , Hue等等。

Hadoop產(chǎn)品有哪些

各產(chǎn)品介紹:

  • Apache Hadoop : 是Apache開源組織的一個分布式計算開源框架,提供了一個分布式文件系統(tǒng)子項目(HDFS)和支持MapReduce分布式計算的軟件架構(gòu)。

  • Apache Hive : 是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計,不必開發(fā)專門的MapReduce應用,十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

  • Apache Pig: 是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析工具,它提供的SQL-LIKE語言叫Pig Latin,該語言的編譯器會把類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運算。

  •  APache HBase:是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用HBase技術(shù)可在廉價PC server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

  • Apache Sqoop :是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具,可以將一個關(guān)系型數(shù)據(jù)庫(MySQL、Oracle、Postgres等)中的數(shù)據(jù)導進到Hadoop的HDFS中,也可以將HDFS的數(shù)據(jù)導進到關(guān)系型數(shù)據(jù)庫中。

  • Apache  Zookeeper:是一個為分布式應用所設(shè)計的分布的、開源的協(xié)調(diào)服務,它主要是用來解決分布式應用中經(jīng)常遇到的一些數(shù)據(jù)管理問題,簡化分布式應用協(xié)調(diào)及其管理的難度,提供高性能的分布式服務。

  • Apache Mahout:是基于Hadoop的機器學習和數(shù)據(jù)挖掘的一個分布式框架,Mahout用MapReduce實現(xiàn)了部分數(shù)據(jù)挖掘算法,解決了并行挖掘的問題。

  • Apache Cassandra:是一套開源分布式NoSql數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā),用于儲存簡單格式數(shù)據(jù),集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布大的架構(gòu)于一身。

  • Apache Avro:是一個數(shù)據(jù)序列化系統(tǒng),設(shè)計用于支持數(shù)據(jù)密集型,大批量數(shù)據(jù)交換的應用。Avro是新的數(shù)據(jù)序列化格式與傳輸工具,將逐步取代Hadoop原有的IPC機制。

  • Apache Ambari : 是一種基于Web的工具,支持Hadoop集群的供應、管理和監(jiān)控。

  • Apache Chukwa:是一個開源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng),它可以將各種各樣類型的數(shù)據(jù)收集成適合Hadoop處理的文件保存在HDFS中,供Hadoop進行各種MapReduce操作。

  • Apache Hama :是一個基于HDFS的BSP(Bulk Synchronous Parallel)并行計算框架,Hama可用于包括圖、矩陣和網(wǎng)絡算法在內(nèi)的大規(guī)模、大數(shù)據(jù)計算。

  • Apache Flume : 是一個分布的、可靠的、高可和的海量日志聚合的系統(tǒng),可用于日志數(shù)據(jù)收集,日志數(shù)據(jù)處理,日志數(shù)據(jù)傳輸。

  • Apache Giraph:是一個可伸縮的分布式迭代圖處理系統(tǒng),基于Hadoop平臺,靈感來自BSP和Google的Pregel。

  • Apache Oozie :是一個工作流引擎服務器,用于管理和協(xié)調(diào)運行在Hadoop平臺上(HDFS、Pig和MapReduce)的任務。

  • Apache Crunch:是基于Google的FlumeJava庫編寫的java庫,用于創(chuàng)建MapReduce程序。與Hive,Pig類似,Crunch提供了用于實現(xiàn)如連接數(shù)據(jù)、執(zhí)行聚合和排序記錄等常見任務的模式庫。

  • Apache Whirr:是一套運行于云服務的類庫(包括Hadoop),可提供高度的互補性。Whirr支持Amazon EC2 和 Rackspace的服務。

  • Apache Bigtop :是一個對Hadoop及其周邊生態(tài)進行打包,分發(fā)和測試的工具。

  • Apache HCatalog:是基于Hadoop的數(shù)據(jù)表和存儲管理,實現(xiàn)中內(nèi)的元數(shù)據(jù)和模式管理,跨越Hadoop和RDBMS,利用Pig和Hive提供關(guān)系視圖。

  • Cloudera Hue:是一個基于WEB的監(jiān)控和管理系統(tǒng),實現(xiàn)對HDFS、MapReduce、YARN、HBase、Hive、Pig的web化操作和管理。

關(guān)于“Hadoop產(chǎn)品有哪些”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。


分享標題:Hadoop產(chǎn)品有哪些
本文鏈接:http://weahome.cn/article/gcccsg.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部