提到列式(Column Family)數(shù)據(jù)庫(kù)，就不得不提Google的BigTable，其開源版本就是我們熟知的HBASE。BigTable建立在谷歌的另兩個(gè)系統(tǒng)GFS和Chubby之上，這三個(gè)系統(tǒng)和分布式計(jì)算編程模型MapReduce共同構(gòu)成Google云計(jì)算的基礎(chǔ)，Chubby解決主從自動(dòng)切換的基礎(chǔ)。接下來通過一個(gè)表格對(duì)比來引入Hadoop。

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比巴東網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式巴東網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋巴東地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

Hadoop是有Apache Lucene的作者Boug Cutting開發(fā)的，其主體結(jié)構(gòu)如下圖所示。

HDFS（Hadoop File System）

NameNode:整個(gè)文件系統(tǒng)的大腦，提供整個(gè)系統(tǒng)的目錄信息并管理各個(gè)數(shù)據(jù)服務(wù)器。

DataNode:分布式文件系統(tǒng)中每一個(gè)文件被切割為若干數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊存儲(chǔ)在不同服務(wù)器，這些就是數(shù)據(jù)服務(wù)器。

Block:每個(gè)被切分的數(shù)據(jù)塊就是一段文件內(nèi)容，其是基本的存儲(chǔ)單位，被稱為數(shù)據(jù)塊，典型大小為64MB。

Tip:由于硬件錯(cuò)誤是常態(tài)，HDFS是很多臺(tái)Server的集合，因而錯(cuò)誤檢測(cè)和恢復(fù)是核心功能；其以流式讀為主，做批量操作，關(guān)注數(shù)據(jù)訪問的高吞吐量。

HDFS采用master/slave架構(gòu)，一個(gè)HDFS集群由一個(gè)NameNode和若干DataNode組成，中心服務(wù)器NameNode負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對(duì)文件的訪問。DataNode一般一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理節(jié)點(diǎn)上附帶的存儲(chǔ)。在內(nèi)部，一個(gè)文件被分成一個(gè)或多個(gè)block，這些block存儲(chǔ)在DataNode集合中。NameNode和DataNode均可運(yùn)行在廉價(jià)的linux機(jī)器上，HDFS由java語言開發(fā)，跨平臺(tái)好，總體結(jié)構(gòu)示意圖如下所示。

復(fù)制：采用rack-aware策略改進(jìn)數(shù)據(jù)可靠性和網(wǎng)絡(luò)帶寬的利用；NameNode決定每個(gè)DataNode的Rack id；大多數(shù)情況，replication因子是3，簡(jiǎn)單來說就是將一個(gè)副本放在本地機(jī)架節(jié)點(diǎn)，一個(gè)副本放在同一機(jī)架另一個(gè)節(jié)點(diǎn)，最后一個(gè)放在不同機(jī)架；在讀取時(shí)，會(huì)選擇最近的副本；NameNode啟動(dòng)時(shí)會(huì)進(jìn)入SafeMode狀態(tài)，該狀態(tài)時(shí)，NameNode不會(huì)進(jìn)行數(shù)據(jù)塊的復(fù)制，這是會(huì)檢測(cè)DataNode的副本數(shù)量，如果滿足要求則認(rèn)為安全。

NameNode用于存儲(chǔ)元數(shù)據(jù)，任何修改均被Editlog記錄，通訊協(xié)議基于TCP/IP，可以通過java API調(diào)用。

安裝Hadoop，步驟如下所示

 View Code

在分布式模式下，hadoop配置文件中不能使用ip，必須使用主機(jī)名，安裝hadoop必須在所有節(jié)點(diǎn)上使用相同配置和安裝路徑，并用相同用戶啟動(dòng)。Hadoop中的HDFS和Map-Reduce可以分別啟動(dòng)，NameNode和JobTracker可以部署到不同節(jié)點(diǎn)，但小集群一般在一起，注意元數(shù)據(jù)安全即可。

Hdfs常見操作，請(qǐng)見下表所示，在實(shí)踐中，一般都是通過API調(diào)用，了解下就好

通過Java調(diào)用hdfs的示例如下所示，其實(shí)就是一個(gè)文件系統(tǒng)

 View Code

• Map Reduce核心概念

Job: 用戶的每一個(gè)計(jì)算請(qǐng)求就是一個(gè)作業(yè)

JobTracker:用戶提交作業(yè)的服務(wù)器，同時(shí)它還負(fù)責(zé)各個(gè)作業(yè)任務(wù)的分配，管理所有的任務(wù)服務(wù)器。

Task:一個(gè)都需要拆分，交個(gè)多個(gè)服務(wù)器完成，拆分出來的執(zhí)行單位就是任務(wù)

TaskTracker:就是任勞任怨的工人，負(fù)責(zé)執(zhí)行具體的任務(wù)。

• Map Reduce計(jì)算模型

在hadoop中，每一個(gè)MapReduce任務(wù)被初始化為一個(gè)Job,每個(gè)Job又被分為兩個(gè)階段：Map階段、Reduce階段。這兩個(gè)階段分別用兩個(gè)函數(shù)表示，Map函數(shù)接受一個(gè)輸入，然后產(chǎn)生一個(gè)的中間輸出；之后hadoop會(huì)將具有相同中間key的value集合傳給Reduce函數(shù)，之后Reduce處理后得到形式輸出。

在Java中接入Hadoop的配置與代碼如下所示。

 View Code

MapReduce的數(shù)據(jù)流和控制流

zookeeper主要用來解決分布式應(yīng)用中經(jīng)常遇到的數(shù)據(jù)管理的問題，如統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理和分布式應(yīng)用配置項(xiàng)的管理，Zookeeper典型的應(yīng)用場(chǎng)景(配置文件的管理、集群管理、同步鎖、Leader選舉和隊(duì)列管理等)。

Zookeeper配置安裝的步驟如下所示

 View Code

ZooKeeper數(shù)據(jù)模型，其會(huì)維護(hù)一個(gè)層次關(guān)系的數(shù)據(jù)結(jié)構(gòu)，非常類似標(biāo)準(zhǔn)文件系統(tǒng)

ZooKeeper的基礎(chǔ)使用，其作為一個(gè)分布式服務(wù)框架，主要用于解決分布式集群的一致性問題，它提供類似文件系統(tǒng)目錄節(jié)點(diǎn)樹方式的數(shù)據(jù)存儲(chǔ)，并會(huì)維護(hù)和監(jiān)控?cái)?shù)據(jù)的狀態(tài)變化，其常見方法如下所示。

java調(diào)用zookeeper的API示例如下

 View Code

ZooKeeper的典型應(yīng)用場(chǎng)景

統(tǒng)一命名服務(wù)(Name Service):分布式應(yīng)用，通常需要一整套的命名規(guī)則，一般使用樹形命名，這兒和JNDI很相似。

配置管理：ZooKeeper統(tǒng)一管理配置信息，保存在對(duì)應(yīng)目錄，一旦變化，對(duì)應(yīng)機(jī)器就會(huì)收到通知(觀察者)。

集群管理：ZooKeeper不僅能維護(hù)當(dāng)前集群中及其的服務(wù)狀態(tài)，并能選出一個(gè)總管(Leader Election)，從而避免單點(diǎn)故障，示例代碼如下。

共享鎖(Locks):共享鎖在同一個(gè)進(jìn)程容易實(shí)現(xiàn)，但再不同Server見不好實(shí)現(xiàn)，但Zookeeper卻很容易實(shí)現(xiàn)，方式就是需要獲取鎖的Servere創(chuàng)建一個(gè)EPHEMERAL_SEQUENTIAL目錄節(jié)點(diǎn)，然后調(diào)用getChildren方法獲得當(dāng)前目錄節(jié)點(diǎn)列表中最小的目錄節(jié)點(diǎn)，并判斷，如果未自己建立，則獲得鎖，如果不是就調(diào)用exist方法監(jiān)控節(jié)點(diǎn)變化，一直到自己創(chuàng)建的節(jié)點(diǎn)時(shí)最小，從而獲得鎖，釋放很賤，只要?jiǎng)h除前面自己創(chuàng)建的目錄節(jié)點(diǎn)就OK。

隊(duì)列管理(Queue Management):可以處理兩類隊(duì)列，一種是當(dāng)成員齊聚時(shí)，隊(duì)列才可用，否則一直等待，被稱為同步隊(duì)列；一種是按照FIFO方式進(jìn)行入隊(duì)和出隊(duì)，例如實(shí)現(xiàn)生產(chǎn)-消費(fèi)者模型。

HBase（邏輯結(jié)構(gòu)）是BigTable的開源版，其建立在HDFS（物理結(jié)構(gòu)）之上，提供高可靠性、高性能、列存儲(chǔ)和可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫(kù)系統(tǒng)。它結(jié)余NOSQL和RDBMS之間，僅能通過主鍵和主鍵range來檢索數(shù)據(jù)，支持單行事務(wù)（可通過hive支持來實(shí)現(xiàn)多表join等復(fù)雜操作），主要用于存儲(chǔ)非結(jié)構(gòu)和半結(jié)構(gòu)化的松散數(shù)據(jù)。與Hadoop一樣，Hbase主要依靠橫向擴(kuò)展來提高計(jì)算和存儲(chǔ)能力。

Hbase的表具有以下特點(diǎn)：

大：一個(gè)表可以有上億行

面向列：面向列族的存儲(chǔ)和權(quán)限控制，列族獨(dú)立檢索。

稀疏：對(duì)于空的列，并不占用空間，因此表可以設(shè)計(jì)的非常稀疏。

• 邏輯視圖:HBase以表的形式存儲(chǔ)數(shù)據(jù)，表由行和列組成，列劃分為若干個(gè)列族row family,如下表所示。

Row Key：檢索數(shù)據(jù)的主鍵，訪問HBase中的行，可以通過單個(gè)row key（字典序，數(shù)值型數(shù)據(jù)需要補(bǔ)0）訪問；通過row key的range的訪問；全表掃描。

列族：表中的每一列，都?xì)w屬于列族，列族是表schema的一部分，必須在使用前定義，而列不是，關(guān)鍵理解。列名都以列族作為前綴，例如courses:history和courses:math都數(shù)據(jù)courses列族。

時(shí)間戳：通過row和column確定一個(gè)存儲(chǔ)單元cell，每個(gè)cell保存同一份數(shù)據(jù)的多個(gè)版本，通過時(shí)間戳來索引。時(shí)間戳為64位證書，精確到毫秒，按時(shí)間倒序排列。為了避免版本過多，一般通過個(gè)數(shù)或時(shí)間來回收。

Cell:由{row key, column(=+),version}唯一確定的單元，cell中數(shù)據(jù)沒有類型，以字節(jié)碼存儲(chǔ)。

• 物理存儲(chǔ)：指如何將大表分布的存儲(chǔ)在多臺(tái)服務(wù)器。

特點(diǎn)：Table上所有行使用row key排列;Table在行方向上分割為多個(gè)HRegion;HRegion按大小分割，每個(gè)表已開始只有一個(gè)region，隨著數(shù)據(jù)不斷插入，region增大，當(dāng)超過閾值是，會(huì)分裂成連個(gè)新的HRegion；HRegion是HBase中分布式存儲(chǔ)和負(fù)載均衡最小單元，表示不同Region可以分布在不同RegionServer上；HRegion是分布式存儲(chǔ)的最小單元，但不是最小存儲(chǔ)單元，實(shí)際上，一個(gè)Region由多個(gè)Store組成，一個(gè)Store保存一個(gè)columns family，一個(gè)Store又由一個(gè)memStore和0-多個(gè)StoreFile（重點(diǎn)是StoreFile就是一個(gè)Hdfs中文件，通過壓縮存儲(chǔ)減少通信消耗，這兒就找到了對(duì)應(yīng)關(guān)系，還可以細(xì)分，就不介紹了）組成。（腦海里有了大體的印象）

• 系統(tǒng)架構(gòu)

Client：包含訪問HBase接口，client維護(hù)一些cahce來加快訪問，比如region未知信息。

ZooKeeper:保證任何時(shí)候集群只有一個(gè)master；存儲(chǔ)所有region尋址接口；實(shí)施監(jiān)控Region Server狀態(tài)，將其上下線消息實(shí)時(shí)通知給master；存儲(chǔ)Hbase的schema,包含哪些table,每個(gè)table的column family；為region server分配region；負(fù)責(zé)Region server的負(fù)載均衡；發(fā)現(xiàn)失效的Region Server并重新分配其上Region，GFS上的垃圾文件回收；處理schema更新請(qǐng)求。

Region Server：維護(hù)Master分配給它的Region，處理這些Region的IO請(qǐng)求；切分在運(yùn)行中變得過大的Region。

Tip:可以看到client訪問HBase數(shù)據(jù)的過程并不需要master參與，尋址訪問zookeeper和Region Server，數(shù)據(jù)讀寫訪問Region Server,master只維護(hù)table和Region的元數(shù)據(jù)，負(fù)載低。

• 關(guān)鍵算法和流程

Region定位：大表使用三層類似B+樹的結(jié)構(gòu)來存儲(chǔ)Region位置，第一次保存zookeeper中數(shù)據(jù)，持有RootRegion位置；第二層RootRegion是.META表的第一個(gè)Region，其中保存了其他Region的位置；第三層是個(gè)特殊的表，存儲(chǔ)HBase中所有數(shù)據(jù)表的Region位置信息。

讀寫過程：HBase使用MemStore和StoreFile存儲(chǔ)對(duì)表的更新。數(shù)據(jù)在更新時(shí)首先寫入Log和MemStore，MemStore中的數(shù)據(jù)是排序的，當(dāng)MemStore累計(jì)到一定閾值，會(huì)創(chuàng)建新MemStore，并將老MemStore添加到Flush隊(duì)列，有單獨(dú)線程寫到磁盤，稱為一個(gè)StoreFile，同時(shí)系統(tǒng)會(huì)在zookeeper記錄一個(gè)Redo point，表示更新已經(jīng)持久化。系統(tǒng)出現(xiàn)問題是，可以使用log來恢復(fù)check point之后的數(shù)據(jù)。（思路和傳統(tǒng)數(shù)據(jù)庫(kù)一致）

Region分配：任何時(shí)刻，一個(gè)region只能分配給一個(gè)server，master記錄了當(dāng)前可用的Server以及當(dāng)前region的分配情況，當(dāng)存在未分配region且有server有可用空間時(shí)，master就給這個(gè)server發(fā)送一個(gè)裝載請(qǐng)求，分配該region。

Region Server的上下線：master通過zookeeper來跟蹤region server狀態(tài)，當(dāng)某個(gè)server啟動(dòng)時(shí)，會(huì)在zookeeper的server目錄建立代表自己的文件，并獲得該文件獨(dú)占鎖，由于master訂閱了該目錄的變更小心，因此當(dāng)文件出現(xiàn)增刪時(shí)，可以接到通知。下線時(shí)，斷開與zookeeper會(huì)話，釋放獨(dú)占鎖，這時(shí)master會(huì)發(fā)現(xiàn)并刪除對(duì)應(yīng)目錄文件，并將原有region分配給其他server。

master的上下線：從zookeeper獲取唯一master鎖，阻止其他人稱為master；掃描zookeeper上server目錄，獲得region server列表；與每個(gè)server通信，獲得Region分配的情況；掃描META.region集合，計(jì)算得到當(dāng)前未分配的region,放入待分配列表。

• 安裝與配置

 View Code

• 常見操作

比如創(chuàng)建一個(gè)如下表格

 View Code

Tip:

終于完成了，帥，這部分內(nèi)容之后重點(diǎn)在于既有的集成解決方案，包括docker上的部署等。

此外，有空考慮區(qū)塊鏈方面的學(xué)習(xí)，同時(shí)把數(shù)據(jù)結(jié)構(gòu)好好再學(xué)習(xí)下，感覺還是不太OK。，比如B+樹。