Hadoop生態(tài)系統(tǒng)概述以及版本衍化

本文內(nèi)容主要在于，整體把握Hadoop體系各個組成部分，及其各個組件的功能，宏觀上闡述，為進一步學(xué)習(xí)hadoop，打下基礎(chǔ)。

成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、雷州網(wǎng)絡(luò)推廣、重慶小程序開發(fā)、雷州網(wǎng)絡(luò)營銷、雷州企業(yè)策劃、雷州品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供雷州建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com

Hadoop生態(tài)系統(tǒng)的有點：

1．開源免費，因為開源，所以用的也放心。

2．社區(qū)活躍，容易溝通

3．設(shè)計分布式存儲和計算的方方面面

4．已經(jīng)在企業(yè)中良好運作

Hadoop1.0和2.0的區(qū)別

Hadoop目前已經(jīng)更新到二代，較之一代有很大改進：

最為主要的區(qū)別就是在HDFS之上和MapReduce之間添加了一個新的參與則YARN。

到這里，首先說明一下，Hadoop最為重要的就兩部分:一分布式存儲（HDFS）二大數(shù)據(jù)計算（MapRudece）。一代Hadoop運行在FDHS之上的計算框架只有MapReduce，應(yīng)用受到了很大限制，到了二代，YARN就橫空出世。

這里可以簡單理解YARN就像一個擴展巢，在YARN上面可以運行很多的計算框架了。YARN負責(zé)集群資源的統(tǒng)一管理和調(diào)度

Hadoop介紹(概述)：

1分布式存儲系統(tǒng)HDFS（Hadoop Distributed FileSystem）

      分布式存儲系統(tǒng)

      提供了高可靠性、高擴展性和高吞吐率的數(shù)據(jù)存儲服務(wù)

2.資源管理系統(tǒng)YARN（Yet Another Resource Negotiator）:

      負責(zé)集群資源統(tǒng)一管理和調(diào)度

3.分布式計算框架 MapReduce

      分布式計算框架

      具有易于編程、高容錯性和高擴展性等優(yōu)點

簡單分層模型如下圖所示：

HDFS

HDFS特點：

      良好的擴展性

      高容錯性

      適合PB級以上的海量數(shù)據(jù)的存儲

基本原理：

      將文件切割分成瞪大的數(shù)據(jù)塊，存儲到多臺機器上

      將數(shù)據(jù)切分、容錯，負責(zé)均衡等功能對用戶透明化（具體如何實現(xiàn)，不用開發(fā)者過問） 可將HDFS看成一個容量巨大，且具有高容錯性的磁盤

上圖所展示的就是HDFS的工作劃分：可以看出，HDFS主要有兩個部分組成：

NAMENODE節(jié)點（NN）和DATA NODE（DN）節(jié)點

大數(shù)據(jù)中，HDFS集群以Master-Slave模式運行，主要有兩類節(jié)點：一個Namenode(即Master)和多個Datanode(即Slave)。Namenode管理者文件系統(tǒng)的Namespace。它維護著文件系統(tǒng)樹(filesystem tree)以及文件樹中所有的文件和文件夾的元數(shù)據(jù)(metadata)。

以上還能看出，ZooKeeper在這里扮演者調(diào)度管理者，同時也在監(jiān)控著HDFS各個節(jié)點的狀態(tài)。

因為，本文主要是宏觀說Haoop這里不不展開說了

YARN：

       Hadoop2.0新增的一個角色

      負責(zé)集群的資源管理和調(diào)度

      使得多種計算框架可以運行在一個集群中

Yarn的特點：

      良好的擴展性，高可用性

      對多種類型的應(yīng)用程序進行統(tǒng)一的管理和調(diào)度

      自帶了多種多用戶調(diào)度器，適合共享集群環(huán)境

上圖比較直觀反映了，在這個集群上，不同時段上

Hadoop（主要指MapReduce） Spark（基于內(nèi)存的計算框架， in-memory）  MPI（也是一種計算框架）三者上都有性能不足時候，這樣通過YARN可以進行干預(yù)，讓他們之間互補，如在MapReduce性能不能完全發(fā)揮是，可以分配少一點資源，讓Spark頂上去，協(xié)調(diào)集群的資源調(diào)度。

上圖，則反映YARN的工作機制，依然能看出Master-Slave的模式運行機制

這張圖更為直觀，顯示，YARN就像插排一一樣,上面可以擴展多種分布式計算框架，

如批處理的MapReduce、交互式的Tez、流式處理的Storm，圖處理的Giraph，內(nèi)存處理計算的Spark等等

MapReduce

      良好的擴展性

      高容錯性

      適合PB級以上海量數(shù)據(jù)的離線處理

上圖，可以看出 MapReduce工作分成兩塊，Map 和 Rudece：

首先用戶書寫程序，經(jīng)由master分配工作，首先將用戶提交的數(shù)據(jù)Split成若干塊，每塊放入一個MapWorker作業(yè)，這樣就可以并行處理數(shù)據(jù)，這個過程可以看成分發(fā)處理；處理的結(jié)果先放入本地磁盤中，然后再由 Reduce部分中的worker在計算，最終輸出結(jié)果，傳入HDFS中去。這里值得注意的是，輸入的文件格式和最終處理的格式始終保持一致的，這也包括中間處理的結(jié)果文件格式。

這張圖，反映的是MapReduce對文件中出現(xiàn)的單詞統(tǒng)計的程序，先將文件中的詞拆分幾個部分，然后在Map作業(yè)處理統(tǒng)計，經(jīng)shuff洗牌，然后交由Rudce處理作業(yè)，這個時候可以看出，中間處理的數(shù)據(jù)已經(jīng)有所變化，已經(jīng)做了歸并的處理，這個時候只要在歸并的基礎(chǔ)上再進行統(tǒng)計，將最終的結(jié)果輸出。

下面我們通過兩張Hadoop生態(tài)系統(tǒng)總圖來比交一下1.0和2.0的差異:

Hadoop1.0

Hadoop2.0

簡單說明：

各個組件功能圖中都有標明，這里不贅述了。

      主要說一下Hive，Pig，Mahout

      首先，我們要處理數(shù)據(jù)，一般是通過書寫MapReduce程序來處理輸入的數(shù)據(jù)，其代碼是有java書寫。這樣就導(dǎo)致了那些沒有java基礎(chǔ)但又想要做大數(shù)據(jù)處理的工作者犯難了。

這樣Hive和Pig就登場了，這里可以理解他們是兩位翻譯官。

Hive（Facebook提出）提供了一種類似于傳統(tǒng)Sql語句的Hql語言，來書寫要處理的數(shù)據(jù)代碼。通過Hive就可以實現(xiàn)將Hql寫的代碼，自動轉(zhuǎn)變成MapReduce程序。

同理，Pig提出了一種新PigLatin的語言，書寫處理數(shù)據(jù)的程序。他也能轉(zhuǎn)成MapReduce程序

Mahout提供了數(shù)據(jù)挖掘庫，這里包含了大量算法，主要包括三大類：

推薦（Recommendation）

聚類（Clustering）

分類（Classification）

這樣，開發(fā)人員就不發(fā)費大量時間在構(gòu)筑算中，提高工作效率。

Oozie它使得開發(fā)人員能夠調(diào)度電子郵件通知方面的重復(fù)作業(yè)，或者調(diào)度使用 Java、UNIX Shell、Apache Hive、Apache Pig和 Apache Sqoop等各種編程語言編寫的重復(fù)作業(yè)。

目前計算框架和作業(yè)繁多：

       MapReduce Storm Hive Pig等

這樣就會存在以下問題：

1. 1.     不同作業(yè)之間存在依賴關(guān)系（DAG）

2. 2.     有的作業(yè)周期執(zhí)行

3. 3.     有的作業(yè)需要定時執(zhí)行

4. 4.     作業(yè)執(zhí)行狀態(tài)需要監(jiān)控與報警（發(fā)郵件，短信）

這個時候就需要Oozie進行統(tǒng)一管理和調(diào)度

       HBase：Hadoop的數(shù)據(jù)庫

             高可靠性

             高性能

             面向列

             良好的擴展性

組成：

Table表：類似傳統(tǒng)數(shù)據(jù)中的表

ColumnFamily：列族

       table在水平方向有一個或者多個Column Family組成

 一個column family中可以由任意多個Column組成

RowKey：行鍵

              Table的主鍵

              Table中的記錄按照RowKey排序

TimeStamp：時間戳

             每個行數(shù)據(jù)均對應(yīng)一個時間戳

             版本號

       Zookeeper：它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護、域名服務(wù)、分布式同步、組服務(wù)等。

ZooKeeper的目標就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。

覆蓋范圍：HDFS YARN Storm HBaseFlume Dubbo（阿里巴巴） Metaq（阿里巴巴）

       Sqoop：（數(shù)據(jù)同步工具）

      連接Hadoop與傳統(tǒng)數(shù)據(jù)庫之間的橋梁

      支持多種數(shù)據(jù)庫，包括MySQL、DB2等

      插拔式，用戶可根據(jù)需要支持新的數(shù)據(jù)庫

      本質(zhì)上一個MapReduce程序：

      充分利用MapReduce分布式并行的特點MapReduce容錯性

    Flume（日志搜集工具）：

    分布式

    高可靠性

    高容錯性

    易于定制與擴展