本篇內(nèi)容介紹了“HBase的工作機制是怎樣的”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細閱讀,能夠?qū)W有所成!
創(chuàng)新互聯(lián)主營修文網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā),修文h5微信小程序定制開發(fā)搭建,修文網(wǎng)站營銷推廣歡迎修文等地區(qū)企業(yè)咨詢HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。
與FUJITSU Cliq等商用大數(shù)據(jù)產(chǎn)品不同,HBase是Google Bigtable的開源實現(xiàn),類似Google Bigtable利用GFS作為其文件存儲系統(tǒng),HBase利用Hadoop HDFS作為其文件存儲系統(tǒng);Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù),HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù);Google Bigtable利用 Chubby作為協(xié)同服務(wù),HBase利用Zookeeper作為對應(yīng)。
一、hbase的特性
1、hbase數(shù)據(jù)的終持久化存儲是基于hsfs文件系統(tǒng),存儲容量幾乎無限,可以隨時在線擴容。
2、hbase的數(shù)據(jù)增刪改查功能模塊是分布式系統(tǒng)。
3、nosql數(shù)據(jù)庫,表結(jié)構(gòu)。
二、HBase的存儲
HBase中的所有數(shù)據(jù)文件都存儲在Hadoop HDFS文件系統(tǒng)上。
1. HFile, HBase中KeyValue數(shù)據(jù)的存儲格式,HFile是Hadoop的二進制格式文件,實際上StoreFile就是對HFile做了輕量級包裝,即StoreFile底層就是HFile。
2. HLog File,HBase中WAL(Write Ahead Log) 的存儲格式,物理上是Hadoop的Sequence File。
三、HBase工作機制
hbase工作機制詳細解析:
1、hbase的整體工作機制是接受客戶端發(fā)來的請求命令,從hdfs中讀取表文件信息返回給客戶端;
2、每個hbase服務(wù)器負責(zé)表文件中對應(yīng)region區(qū)域,hdfs上表文件的存儲也是分為每個region單獨存儲,每個region中又分為多個列族存儲;
3、hbase集群中有兩種角色,regionserver和master,regionserver負責(zé)響應(yīng)客戶端請求,讀取表文件;
master負責(zé)監(jiān)控regionserver的狀態(tài),以便及時處理掉線的regionserver,保證hbase集群正常運行;當(dāng)一個region掛掉時,master會及時監(jiān)控到,這里利用了zookeeper管理regionserver狀態(tài)信息。
當(dāng)一個master掛掉時,不會影響客戶端查數(shù)據(jù),但如果此時regionserver掛掉,master又不能及時監(jiān)控到,便會影響數(shù)據(jù)查詢;解決方法就是再設(shè)置一臺master,一臺active狀態(tài),一臺standby狀態(tài)用作備用,當(dāng)active的master掛掉,standby的master將會變?yōu)閍ctive狀態(tài),監(jiān)控regionserver。
4、master和zookeeper就組成了高可用。
大數(shù)據(jù)開發(fā)之路不易,大家且行且珍惜。好程序員為大家的學(xué)習(xí)保駕護航。
“HBase的工作機制是怎樣的”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!