本篇內(nèi)容介紹了“hadoop工程包括哪些模塊”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站是一家專業(yè)從事網(wǎng)站建設(shè)、成都做網(wǎng)站、網(wǎng)頁設(shè)計(jì)的品牌網(wǎng)絡(luò)公司。如今是成都地區(qū)具影響力的網(wǎng)站設(shè)計(jì)公司,作為專業(yè)的成都網(wǎng)站建設(shè)公司,創(chuàng)新互聯(lián)建站依托強(qiáng)大的技術(shù)實(shí)力、以及多年的網(wǎng)站運(yùn)營經(jīng)驗(yàn),為您提供專業(yè)的成都網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)及網(wǎng)站設(shè)計(jì)開發(fā)服務(wù)！

    Apache Hadoop工程已發(fā)展成一個可靠的(reliable)，輕量的(scalable)，分布式計(jì)算(distributed computing)的開源軟件。
 
    Apach Hadoop軟件庫是一個允許用簡單的程序模型對大數(shù)據(jù)集進(jìn)行跨計(jì)算機(jī)群集的分布式處理的框架。它的目的(designed to)在于
將計(jì)算能力從單個服務(wù)器擴(kuò)充到成千上萬臺機(jī)器，每個機(jī)器都可以提供本地計(jì)算和存儲。比起依賴單個硬件提供高可用性，
這個庫實(shí)現(xiàn)了有目的性的檢測和處理應(yīng)用程序?qū)拥墓收?，因而在?jì)算機(jī)群集上提供了非常高的可用**，單個硬件易于(prone to)
失敗!

    這個工程包括以下模塊：

• Hadoop Common: 支持其它Hadoop模塊的通用工具common utilities）.

• Hadoop Distributed File System (HDFS?): 在訪問應(yīng)用數(shù)據(jù)時提供高吞吐量(high-throughput)的一個分布式文件系統(tǒng)(distributed file system)

• Hadoop YARN: 作業(yè)調(diào)度和群集資源管理的框架

• Hadoop MapReduce: 基于YARN的大型數(shù)據(jù)集并發(fā)處理(parallel processing)系統(tǒng)

在Apache上其它和Hadoop有關(guān)聯(lián)的項(xiàng)目：

• Ambari?: 一個基于web的工具,配置(provisioning),管理(managing)和監(jiān)控,支持Apache Hadoop生態(tài)圈，包括Hadoop HDFS， Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig和Sqoop等. Ambari也提供簡潔的圖表去觀察群集的運(yùn)行狀況，比如熱點(diǎn)圖(heatmaps)和用友好的用戶界面來提供監(jiān)測MapReduce, Pig and Hive 應(yīng)用的視覺特性并診斷其性能特性。

• Avro?: 一個數(shù)據(jù)序列化(serialization)系統(tǒng)

• Cassandra?: 一個沒有單點(diǎn)故障的輕量級的多主(multi-master)數(shù)據(jù)庫

• Chukwa?: 管理大型分布式系統(tǒng)的數(shù)據(jù)集系統(tǒng)

• HBase?: 一個為大型表提供結(jié)構(gòu)化數(shù)據(jù)存儲的輕量級的分布式數(shù)據(jù)庫bles.

• Hive?: 提供數(shù)據(jù)摘要和簡單查詢的數(shù)據(jù)倉庫工具

• Mahout?: 一個輕量級的機(jī)器學(xué)習(xí)(machine learning)和數(shù)據(jù)挖掘(data mining)庫

• Pig?: 一個并行parallel computation計(jì)算的高級(high-level)數(shù)據(jù)流語言和支持框架 .

• Spark?: Hadoop數(shù)據(jù)的一個快速通用的計(jì)算引擎(general compute engine). Spark是一個簡單和富有表現(xiàn)力的編程模型(expressive programming model)，它提供了大范圍的應(yīng)用，包括ETL，機(jī)器學(xué)習(xí)(machine learning),流水式處理( stream processing)和圖形計(jì)算(graph computation).

• Tez?: 一個構(gòu)建于Hadoop YARN的廣義數(shù)據(jù)流編程框架, 提供強(qiáng)大的,靈活的引擎去運(yùn)行一個任意的DAG任務(wù)去處理批處理和交互用例的數(shù)據(jù). Tez最先被Hive，Pig和Hadoop生態(tài)系統(tǒng)上其它框架采用，也被其它商業(yè)軟件(如:ETL 工具),作為潛在的執(zhí)行引擎替換Hadoop MapReduce.

• ZooKeeper?: 一個高性能的分布式應(yīng)用協(xié)調(diào)服務(wù)(coordination service)

“hadoop工程包括哪些模塊”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

標(biāo)題名稱：hadoop工程包括哪些模塊-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://weahome.cn/article/dghggi.html