真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

大數(shù)據(jù)與Hbase的示例分析

小編給大家分享一下大數(shù)據(jù)與Hbase的示例分析,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

創(chuàng)新互聯(lián)建站堅持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時代的老邊網(wǎng)站設(shè)計、移動媒體設(shè)計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

1、大數(shù)據(jù)與Hbase

大數(shù)據(jù)在近幾年發(fā)展迅速,而實時計算也是一個重要的發(fā)展趨勢。不管是企業(yè)中的日志數(shù)據(jù),還是傳感器、智能設(shè)備等等產(chǎn)生的數(shù)據(jù),不計其數(shù)。

而這些數(shù)據(jù)中結(jié)構(gòu)化的數(shù)據(jù)只占一小部分,大部分是非結(jié)構(gòu)化的數(shù)據(jù)。這個時候,比如圖片視頻等就不能輕松的存儲在關(guān)系型數(shù)據(jù)庫中,而大數(shù)據(jù)是可以對各種類型的數(shù)據(jù)都可以進行處理的。

大數(shù)據(jù)與Hbase的示例分析

但關(guān)系型數(shù)據(jù)庫有幾點缺陷:

無法應(yīng)對高并發(fā)的考驗,沒有辦法橫向擴展,事務(wù)一致性對性能的影響。

而NoSql數(shù)據(jù)庫,也就是Not Only Sql的縮寫。擴展性強,并發(fā)性能好,數(shù)據(jù)模型靈活。

Hbase,也就是Hadoop Database是一個高可靠、高性能、可伸縮的分布式數(shù)據(jù)庫。Hbase參考了谷歌的BigTable建模,使用HDFS作為底層存儲。使用Zookeeper作為協(xié)同服務(wù)組件。

Hbase使用Java編寫,還是一種NOSQL數(shù)據(jù)庫,這些特性決定了Hbase獨特的應(yīng)用場景。

2、概念特性

HBASE是一個數(shù)據(jù)庫----可以提供數(shù)據(jù)的實時隨機讀寫

HBASE與MySQL、oralce、db2、sqlserver等關(guān)系型數(shù)據(jù)庫不同,它是一個NoSQL數(shù)據(jù)庫(非關(guān)系型數(shù)據(jù)庫)

Hbase的表模型與關(guān)系型數(shù)據(jù)庫的表模型不同:

Hbase的表沒有固定的字段定義;

Hbase的表中每行存儲的都是一些key-value對;

Hbase的表中有列族的劃分,用戶可以指定將哪些kv插入哪個列族;

Hbase的表在物理存儲上,是按照列族來分割的,不同列族的數(shù)據(jù)一定存儲在不同的文件中;

Hbase的表中的每一行都固定有一個行鍵,而且每一行的行鍵在表中不能重復;

Hbase中的數(shù)據(jù),包含行鍵,包含key,包含value,都是byte[ ]類型,hbase不負責為用戶維護數(shù)據(jù)類型;

HBASE對事務(wù)的支持很差;

HBASE相比于其他nosql數(shù)據(jù)庫(MongoDB、redis、cassendra、hazelcast)的特點:

Hbase的表數(shù)據(jù)存儲在HDFS文件系統(tǒng)中

從而,hbase具備如下特性:存儲容量可以線性擴展;數(shù)據(jù)存儲的安全性可靠性極高!

3、核心模塊

大數(shù)據(jù)與Hbase的示例分析

客戶端Client

整個Hbase的入口,使用者通過客戶端操作Hbase。通過客戶端與HMaster和RegionServer進行通訊。管理類操作與HMaster通信,讀寫類操作與RegionServer通訊。

協(xié)調(diào)服務(wù)zookeeper

zookeeper負責管理Hbase中多個HMaster的選舉,服務(wù)器間狀態(tài)同步。

主節(jié)點HMaster

HMaster可以啟動多個,由zookeeper保證總有一個正常運行,其他作為備選。

HMaster主要負責Table和Region的管理工作。

節(jié)點HRegionServer

HRegionServer主要負責響應(yīng)用戶IO請求,向HDFS中讀寫數(shù)據(jù)。HRegionServer管理了一系列的HRegion對象。HRegion對應(yīng)了Table中的一個Region。HRegion由多個HStore組成,HStore對用了Table中一個Column Family。

而且每個HRegionServer都有一個HLog對象,用于數(shù)據(jù)恢復。

4、使用場景

搜索引擎

生成索引,在查詢時通過對條件的拼接,迅速的查找到要查詢的數(shù)據(jù)。

實時流式計算

不管是實時的推薦系統(tǒng),還是日志的增量存儲,都是實時流式計算的一個應(yīng)用。

通過將數(shù)據(jù)增量的存入Hbase,并在流式處理中實時查詢Hbase,結(jié)合歷史得到最終的分析結(jié)果。

以上是“大數(shù)據(jù)與Hbase的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學習更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!


網(wǎng)頁標題:大數(shù)據(jù)與Hbase的示例分析
轉(zhuǎn)載來源:http://weahome.cn/article/iieshi.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部