幾種Nosql數(shù)據(jù)庫對比

NoSQL不像傳統(tǒng)關(guān)系型庫那樣有統(tǒng)一的標準，也不具有普適性。所以要根據(jù)應用和數(shù)據(jù)的存取特征來選擇適合的NoSQL。

創(chuàng)新互聯(lián)2013年開創(chuàng)至今，先為阿拉山口等服務建站，阿拉山口等地企業(yè)，進行企業(yè)商務咨詢服務。為阿拉山口企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。

如果以前沒有接觸過NoSQL，MongoDB是一個比較好的選擇，他支持的所以和查詢能力是所有NoSQL中最強大的，缺點是索引的成本和文檔大小限制。

如果是使用Hadoop大數(shù)據(jù)分析，數(shù)據(jù)基本上不存在修改，只是插入和查詢，并且需要配合Hadoop的MR任務，HBase會是很好的選擇。

如果要求有很強的擴展能力，高并發(fā)讀寫和維護方便，Casaandra則是不錯的選擇。

當然除了上面三個流行的NoSQL，還有很多優(yōu)秀的NoSQL數(shù)據(jù)庫，而且他們都有各自擅長領(lǐng)域，所以需要了解你們產(chǎn)品自身的特點然后分析選擇哪種才是最適合的，往往在大型系統(tǒng)中不是單一的數(shù)據(jù)庫，而是使用多種數(shù)據(jù)庫組合。

hbase是怎樣刪除和修改數(shù)據(jù)的，和oracle這類傳統(tǒng)的rdbms有什么區(qū)別

簡單來說，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的修改與刪除，可以快速通過主鍵、列或索引直接鎖定到某一行或某些行，進行物理刪除。

而對于Hbase來說，受到hdfs文件系統(tǒng)的局限（hdfs文件系統(tǒng)不能修改，添加也很不方便），進行CRUD的操作就會變得相對復雜。

Hbase的修改，是根據(jù)某個行鍵添加一行數(shù)據(jù)，并未這行數(shù)據(jù)生成一個較新的時間戳來實現(xiàn)，每個行鍵都會對應多個時間戳的數(shù)據(jù)，那么最新的時間戳就是最終修改后的內(nèi)容。

而刪除則是通過標記來實現(xiàn)，如果要刪除某行記錄，Hbase會添加一個帶有刪除標記的行，通過這個刪除標記來辨認該行建的數(shù)據(jù)是否刪除。

Hbase與關(guān)系型數(shù)據(jù)庫的區(qū)別：

1、場景

Hbase是面向列的數(shù)據(jù)庫，適合大量的插入的同時又要具備不俗的讀功能，而Oracle或其他關(guān)系型數(shù)據(jù)庫適合處理比較復雜的業(yè)務關(guān)系或事務處理，而且，在數(shù)據(jù)在一定量級下都會有良好的表現(xiàn)，并不是所有業(yè)務的數(shù)據(jù)壓力都會發(fā)生比較極端的情況。

2、索引

Hbase只能做主鍵索引，而關(guān)系型數(shù)據(jù)庫可以根據(jù)需求不同加入適合的索引機制，供用戶查詢。

3、瓶頸

Hbase的瓶頸是硬盤的傳輸速度，Oracle的瓶頸是硬盤的尋道時間（可以看做是硬盤的轉(zhuǎn)數(shù)）。

4、業(yè)務

Hbase適合按照時間排序的業(yè)務，而Oracle或其他關(guān)系型數(shù)據(jù)庫應用比較廣泛，如OLTP或OLAP

北大青鳥設計培訓：Hbase知識點總結(jié)？

hbase概念:??非結(jié)構(gòu)化的分布式的面向列存儲非關(guān)系型的開源的數(shù)據(jù)庫，根據(jù)谷歌的三大論文之一的bigtable??高寬厚表??作用:??為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應用難題。

能干什么:??存儲大量結(jié)果集數(shù)據(jù)，低延遲的隨機查詢。

sql:??結(jié)構(gòu)化查詢語言??nosql:??非關(guān)系型數(shù)據(jù)庫，列存儲和文檔存儲(查詢低延遲),hbase是nosql的一個種類，其特點是列式存儲。

非關(guān)系型數(shù)據(jù)庫--列存儲(hbase)??非關(guān)系型數(shù)據(jù)庫--文檔存儲(MongoDB)??非關(guān)系型數(shù)據(jù)庫--內(nèi)存式存儲(redis)??非關(guān)系型數(shù)據(jù)庫--圖形模型(graph)??hive和hbase區(qū)別???Hive的定位是數(shù)據(jù)倉庫，雖然也有增刪改查，但其刪改查對應的是整張表而不是單行數(shù)據(jù)，查詢的延遲較高。

其本質(zhì)是更加方便的使用mr的威力來進行離線分析的一個數(shù)據(jù)分析工具。

HBase的定位是hadoop的數(shù)據(jù)庫，電腦培訓發(fā)現(xiàn)是一個典型的Nosql，所以HBase是用來在大量數(shù)據(jù)中進行低延遲的隨機查詢的。

hbase運行方式:??standalonedistrubited??單節(jié)點和偽分布式???單節(jié)點:單獨的進程運行在同一臺機器上??hbase應用場景:??存儲海量數(shù)據(jù)低延遲查詢數(shù)據(jù)??hbase表由多行組成??hbase行一行在hbase中由行健和一個或多個列的值組成，按行健字母順序排序的存儲。

HBase是什么呢，都有哪些特點呢？

Hbase是一種NoSQL數(shù)據(jù)庫，這意味著它不像傳統(tǒng)的RDBMS數(shù)據(jù)庫那樣支持SQL作為查詢語言。Hbase是一種分布式存儲的數(shù)據(jù)庫，技術(shù)上來講，它更像是分布式存儲而不是分布式數(shù)據(jù)庫，它缺少很多RDBMS系統(tǒng)的特性，比如列類型，輔助索引，觸發(fā)器，和高級查詢語言等待

那Hbase有什么特性呢？如下：

強讀寫一致，但是不是“最終一致性”的數(shù)據(jù)存儲，這使得它非常適合高速的計算聚合

自動分片，通過Region分散在集群中，當行數(shù)增長的時候，Region也會自動的切分和再分配

自動的故障轉(zhuǎn)移

Hadoop/HDFS集成，和HDFS開箱即用，不用太麻煩的銜接

豐富的“簡潔，高效”API，Thrift/REST API，Java API

塊緩存，布隆過濾器，可以高效的列查詢優(yōu)化

操作管理，Hbase提供了內(nèi)置的web界面來操作，還可以監(jiān)控JMX指標

什么時候用Hbase？

Hbase不適合解決所有的問題：

首先數(shù)據(jù)庫量要足夠多，如果有十億及百億行數(shù)據(jù)，那么Hbase是一個很好的選項，如果只有幾百萬行甚至不到的數(shù)據(jù)量，RDBMS是一個很好的選擇。因為數(shù)據(jù)量小的話，真正能工作的機器量少，剩余的機器都處于空閑的狀態(tài)

其次，如果你不需要輔助索引，靜態(tài)類型的列，事務等特性，一個已經(jīng)用RDBMS的系統(tǒng)想要切換到Hbase，則需要重新設計系統(tǒng)。

最后，保證硬件資源足夠，每個HDFS集群在少于5個節(jié)點的時候，都不能表現(xiàn)的很好。因為HDFS默認的復制數(shù)量是3，再加上一個NameNode。

Hbase在單機環(huán)境也能運行，但是請在開發(fā)環(huán)境的時候使用。

內(nèi)部應用

存儲業(yè)務數(shù)據(jù):車輛GPS信息，司機點位信息，用戶操作信息，設備訪問信息。。。

存儲日志數(shù)據(jù):架構(gòu)監(jiān)控數(shù)據(jù)（登錄日志，中間件訪問日志，推送日志，短信郵件發(fā)送記錄。。。），業(yè)務操作日志信息

存儲業(yè)務附件：UDFS系統(tǒng)存儲圖像，視頻，文檔等附件信息

不過在公司使用的時候，一般不使用原生的Hbase API，使用原生的API會導致訪問不可監(jiān)控，影響系統(tǒng)穩(wěn)定性，以致于版本升級的不可控。

HFile

HFile是Hbase在HDFS中存儲數(shù)據(jù)的格式，它包含多層的索引，這樣在Hbase檢索數(shù)據(jù)的時候就不用完全的加載整個文件。索引的大小(keys的大小，數(shù)據(jù)量的大小)影響block的大小，在大數(shù)據(jù)集的情況下，block的大小設置為每個RegionServer 1GB也是常見的。

探討數(shù)據(jù)庫的數(shù)據(jù)存儲方式，其實就是探討數(shù)據(jù)如何在磁盤上進行有效的組織。因為我們通常以如何高效讀取和消費數(shù)據(jù)為目的，而不是數(shù)據(jù)存儲本身。

Hfile生成方式

起初，HFile中并沒有任何Block，數(shù)據(jù)還存在于MemStore中。

Flush發(fā)生時，創(chuàng)建HFile Writer，第一個空的Data Block出現(xiàn)，初始化后的Data Block中為Header部分預留了空間，Header部分用來存放一個Data Block的元數(shù)據(jù)信息。

而后，位于MemStore中的KeyValues被一個個append到位于內(nèi)存中的第一個Data Block中：

注：如果配置了Data Block Encoding，則會在Append KeyValue的時候進行同步編碼，編碼后的數(shù)據(jù)不再是單純的KeyValue模式。Data Block Encoding是HBase為了降低KeyValue結(jié)構(gòu)性膨脹而提供的內(nèi)部編碼機制。

hbase的特點，以及和其他nosql數(shù)據(jù)庫的異同

NoSQL太火，冒出太多產(chǎn)品了，保守估計也成百上千了。

互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個比較常見或者應用比較成功的例子吧。

1. In-Memory KV Store : Redis

in memory key-value store，同時提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機恢復，同時支持replication提供讀可擴展和高可用。

2. Disk-Based KV Store: Leveldb

真正基于磁盤的key-value storage, 模型單一簡單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優(yōu)化，順序?qū)懕P的方式對于新硬件ssd再適合不過了，不足是僅提供了一個庫，需要自己封裝server端。

3. Document Store: Mongodb

分布式nosql，具備了區(qū)別mysql的最大亮點：可擴展性。mongodb 最新引人的莫過于提供了sql接口，是目前nosql里最像mysql的，只是沒有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對于數(shù)據(jù)量遠超內(nèi)存限制的場景來說，還需要慎重。

4. Column Table Store: HBase

這個富二代似乎不用贅述了，最大的優(yōu)勢是開源，對于普通的scan和基于行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴展性方面是最強的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開源產(chǎn)品不少，來解決諸如join、聚集運算等復雜查詢。

HBase和oracle，Hadoop的區(qū)別？

hadoop的hdfs支持海量數(shù)據(jù)量存儲

mapreduce支持對海量數(shù)據(jù)的分布式處理

oracle雖然可以搭建集群

但是當數(shù)據(jù)量達到一定限度之后查詢處理速度會變得很慢

且對機器性能要求很高

其實這兩個東西不是同類

hadoop是一個分布式云處理架構(gòu)，傾向于數(shù)據(jù)計算

而oracle是一個關(guān)系型數(shù)據(jù)庫，傾向于數(shù)據(jù)存儲。要說比較可以比較hbase與oracle。

hbase是一種nosql數(shù)據(jù)庫，列式數(shù)據(jù)庫，支持海量數(shù)據(jù)存儲，支持列的擴展，但是查詢操作較復雜，不如oracle這類關(guān)系型數(shù)據(jù)庫簡單，且只支持一個索引，但是Hbase在表結(jié)構(gòu)設置合理情況下，查詢速度跟數(shù)據(jù)量大小沒有太大關(guān)系，即數(shù)據(jù)量的大小不會影響到查詢速度，順便說句Hbase查詢速度可以達到ms級