1.hadoop：

10多年專注成都網(wǎng)站制作，成都定制網(wǎng)站，個(gè)人網(wǎng)站制作服務(wù)，為大家分享網(wǎng)站制作知識(shí)、方案，網(wǎng)站設(shè)計(jì)流程、步驟,成功服務(wù)上千家企業(yè)。為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù),專注于成都定制網(wǎng)站,高端網(wǎng)頁(yè)制作,對(duì)成都集裝箱等多個(gè)領(lǐng)域，擁有豐富的網(wǎng)站營(yíng)銷經(jīng)驗(yàn)。

    作者：Doug Cutting

    受Google三篇論文的啟發(fā)

2.版本：

 Apache： 官方版本（1.1.2），學(xué)習(xí)使用

 Cloudera：在apache版本的基礎(chǔ)上添加功能，實(shí)現(xiàn)商業(yè)用途

 Yahoo：現(xiàn)在已經(jīng)集中在apache的版本上

3.hadoop的核心項(xiàng)目

 HDFS:(Hadoop Distributed File System) 分布式文件系統(tǒng)

 MapReduce:并行計(jì)算框架

4.HDFS的架構(gòu)（主從結(jié)構(gòu)中，主節(jié)點(diǎn)負(fù)責(zé)管理。從節(jié)點(diǎn)負(fù)責(zé)操作）

 主從結(jié)構(gòu)（只有一個(gè)主節(jié)點(diǎn)namenode,可以有很多個(gè)從節(jié)點(diǎn)datanodes）

 namenode負(fù)責(zé)：

        接收用戶的操作請(qǐng)求

       維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu)

        管理文件與block之間的關(guān)系，block與datanode之間的關(guān)系

 datanode負(fù)責(zé)：

        存儲(chǔ)文件

        文件被分成block存儲(chǔ)在磁盤上

       為保證數(shù)據(jù)安全，文件會(huì)有多個(gè)副本

5.MapReduce的架構(gòu)

 主從結(jié)構(gòu)（只有一個(gè)主節(jié)點(diǎn)JobTracker，可以用很多個(gè)從節(jié)點(diǎn)TaskTrackers）

 JobTracker負(fù)責(zé)：

        接收客戶提交的計(jì)算任務(wù)

        把計(jì)算任務(wù)分給TaskTracker執(zhí)行

        監(jiān)控TaskTracker的執(zhí)行情況

 TaskTrackers負(fù)責(zé)：

        執(zhí)行JobTracker分配的計(jì)算任務(wù)

6.Hadoop的特點(diǎn)：

擴(kuò)容能力（Scalable）:能可靠地存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)據(jù)；

成本低（Economical）:可以通過(guò)普通機(jī)器組成的服務(wù)器群來(lái)分發(fā)以及處理數(shù)據(jù)；

高效率（Efficient）:通過(guò)分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)的所在節(jié)點(diǎn)上并行處理；

可性靠（Reliable）:hadoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份副本，并且在任務(wù)失敗后能自動(dòng)重新部署計(jì)算任務(wù)

7.Hadoop集群的物理分布

說(shuō)明：

     a.下方的Rack分別表示兩個(gè)機(jī)柜，分別存放多個(gè)服務(wù)器，左右兩機(jī)柜都連接有自己的交換機(jī)，左右兩個(gè)交換機(jī)又和總的交換機(jī)連接，所以，機(jī)柜上的各個(gè)服務(wù)器之間可以互相訪問(wèn);

   b.機(jī)柜上兩個(gè)主節(jié)點(diǎn)分別都獨(dú)占一臺(tái)服務(wù)器，而從節(jié)點(diǎn)組合在一起存放在一臺(tái)服務(wù)器上

8.單節(jié)點(diǎn)物理結(jié)構(gòu)

  

 說(shuō)明：左右圖分別表示主節(jié)點(diǎn)和從節(jié)點(diǎn)，圖中主從節(jié)點(diǎn)都使用linux系統(tǒng)的服務(wù)器，并且都運(yùn)行在java虛擬機(jī)上，因?yàn)閔adoop是基于java開(kāi)發(fā)的

9.Hadoop部署方式

 本地部署（不常用）

 偽分布模式（學(xué)習(xí)使用）

 集群模式（公司使用）

10.安裝前準(zhǔn)備軟件

    VitualVox

    centos

    jdk-6u24-linux-xxx.bin

    hadoop-1.1.2.tar.gz

11.偽分布模式安裝步驟：（6步）

  關(guān)閉防火墻

  修改ip

  修改hostname

  設(shè)置ssh自動(dòng)登錄

  安裝jdk

  安裝hadoop

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章標(biāo)題：Hadoop：適合大數(shù)據(jù)的分布式存儲(chǔ)與計(jì)算平臺(tái)（第三講）-創(chuàng)新互聯(lián)
本文URL：http://weahome.cn/article/dgicoh.html