好程序員大數(shù)據(jù)學(xué)習(xí)路線Hbase總結(jié)，為什么有hbase

10年積累的成都網(wǎng)站制作、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先做網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有懷遠(yuǎn)免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

隨著數(shù)據(jù)的逐漸增大，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足對(duì)數(shù)據(jù)的查詢和存儲(chǔ)，而hive不是數(shù)據(jù)庫(kù)，只是數(shù)據(jù)倉(cāng)庫(kù)，雖然能夠滿足簡(jiǎn)單的存儲(chǔ)要求，但是始終無(wú)法滿足對(duì)非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)的存儲(chǔ)和查詢

2hbase是什么

Hbase是阿帕奇旗下的一款開(kāi)源的，多版本的，可擴(kuò)展的非關(guān)系型數(shù)據(jù)庫(kù)。

他是基于谷歌的bigtable的基礎(chǔ)上，建立在hdfs上的一款提供高?可靠性的，高性能的列式存儲(chǔ)，可伸縮，實(shí)時(shí)讀寫的nosql的數(shù)據(jù)庫(kù)系統(tǒng)

3適用場(chǎng)景

海量數(shù)據(jù)存儲(chǔ)

隨機(jī)實(shí)時(shí)讀寫和管理數(shù)據(jù)

4特點(diǎn)

列式存儲(chǔ)

模式：無(wú)模式（不需要use gp1808,就可以直接創(chuàng)建表了,所以導(dǎo)致hbase中的表是不可以重名的）

數(shù)據(jù)類型：?jiǎn)我坏腷yte[]

多版本（version）：每個(gè)值都可以有多個(gè)版本

稀疏存儲(chǔ)：如果kv為null，則不占用存儲(chǔ)空間

5結(jié)構(gòu)框架

Client：

hbase的客戶端，包含訪問(wèn)的hbase的接口（linux shell ,java api）

維護(hù)一些cache(緩存)來(lái)加速hbase的速度，比如region的位置信息

Zookeeper:

監(jiān)控hmaster的狀態(tài)，保證有且只有一個(gè)active的hmaster，達(dá)到高可用

存儲(chǔ)所有的region的尋址入口，

實(shí)時(shí)監(jiān)控hregionserver的狀態(tài)，將regionserrver的上下線信息實(shí)時(shí)通知給hmaster

存儲(chǔ)hbase的所有表的信息（hbase的元數(shù)據(jù)）

Hmster(hbase的老大)

為regionserver分配region（新建表）

負(fù)責(zé)regionserver的負(fù)載均衡

負(fù)責(zé)region的重新分配（處理hregionserver異常，hregion裂變）

Hdfs上的垃圾文件回收

處理schema的更新請(qǐng)求

Hregionserver（hbase的小弟） ??

維護(hù)老大給他的region(管理本機(jī)上的region)

處理client對(duì)region的IO請(qǐng)求，并和hdfs交互

Regionserver負(fù)責(zé)切分在運(yùn)行過(guò)程中變大的region

Hregion:

Hbase中分布式的存儲(chǔ)和負(fù)載的最小單元，表或者是表的一部分

（在HBase中數(shù)據(jù)按主鍵排序，同時(shí)表按主鍵劃分為多個(gè)Region

Region按大小分割的，隨著數(shù)據(jù)增多，Region不斷增大，當(dāng)增大到一個(gè)閥值的Region就會(huì)分成兩個(gè)新的Region）

Region雖然是分布式存儲(chǔ)的最小單元，但并不是存儲(chǔ)的最小單元。每個(gè)Region包含著多個(gè)Store對(duì)象。每個(gè)Store包含一個(gè)MemStore或若干StoreFile，StoreFile包含一個(gè)或多個(gè)HFile。MemStore存放在內(nèi)存中，StoreFile存儲(chǔ)在HDFS上。

Hlog；

對(duì)hbase的操作進(jìn)行記錄，使用wal（Write-Ahead-Log）寫數(shù)據(jù)，優(yōu)先寫入log,然后再寫入memstore,以防數(shù)據(jù)丟失時(shí)可以進(jìn)行日志回滾回復(fù)數(shù)據(jù)

Store：

相當(dāng)于一個(gè)列簇。

Memstore:128M

內(nèi)存緩沖區(qū)，用于將數(shù)據(jù)批量刷新到hdfs上

Hstorefile(hfile)

Hbase中的數(shù)據(jù)是以hfile的形式存儲(chǔ)到hdfs上

寫流程：

1client通過(guò)zookeeper的調(diào)度，向regionserver發(fā)出寫數(shù)據(jù)請(qǐng)求，在region中寫數(shù)據(jù)

2數(shù)據(jù)被寫入region的memstore，直達(dá)memstore達(dá)到預(yù)設(shè)的閾值（128M）

3memstore中的數(shù)據(jù)被flush成一個(gè)storefile

4隨著storefile文件的不斷增多，當(dāng)其數(shù)量增長(zhǎng)到一定閾值的時(shí)候，觸發(fā)了compact合并操作，將多個(gè)storefile合并成一個(gè)storefile,同時(shí)進(jìn)行版本合并和數(shù)據(jù)刪除

5storefiles通過(guò)不斷的compact合并操作，逐漸形成越來(lái)越大的storefile

6單個(gè)storefile大小超過(guò)一定閾值之后，觸發(fā)spilt操作，把當(dāng)前的region切分成2個(gè)新的region，父region會(huì)下線，新切出的2個(gè)字region會(huì)被hmaster分配到相應(yīng)的regionserver上，使得原先的一個(gè)region的壓力的以分配到2個(gè)region上

讀流程：

1client訪問(wèn)zookeeper，查找root表，獲取meta表的信息

2從meta表中查找，獲取存放的目標(biāo)的region信息，從而找到對(duì)應(yīng)的regionserver

3通過(guò)regionserver獲取需要查詢的數(shù)據(jù)

4regionserver的內(nèi)存分為memstore和blockcache兩部分，memstore主要用于寫數(shù)據(jù)，blockcache主要用于讀數(shù)據(jù)，請(qǐng)求先到memstore中查數(shù)據(jù)，查不到就在blockcache在查，再查不到就會(huì)到storefile上讀，并把讀的結(jié)果放入blockcache

尋址過(guò)程：client-->Zookeeper-->-ROOT-表-->.META.表-->RegionServer-->Region-->client

Rowkey：行鍵，和mysql的主鍵一樣，不允許重復(fù)，按照字典順序排列

Columnfamily：列簇

Column：列

Timestamp:時(shí)間戳，默認(rèn)顯示最新的時(shí)間戳

Version：版本號(hào)，記錄數(shù)據(jù)的版本

Cell:單元格，一個(gè)key?一個(gè)value

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

標(biāo)題名稱：好程序員大數(shù)據(jù)學(xué)習(xí)路線Hbase總結(jié)-創(chuàng)新互聯(lián)
鏈接分享：http://weahome.cn/article/ececi.html