魯春利的工作筆記,誰說程序員不能有文藝范?
創(chuàng)新互聯(lián)公司公司2013年成立,先為息縣等服務(wù)建站,息縣等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為息縣企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。NoSQL Database的介紹參見:http://www.nosql-database.org/
主要分類包括:
a、Wide Column Store / Column Families 如HBase、Cassandra、Cloudata、Apache Flink、IBM Informix等。 b、Document Store 如Elasticsearch、MongoDB等。 c、Key Value / Tuple Store 如Redis、Oracle NoSQL Database、Berkeley DB等。 d、Graph Databases 如Neo4J、Sparksee等。 e、others 略
HBase – Hadoop Database,是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng),利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。
HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng),利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù),利用Zookeeper作為協(xié)調(diào)工具。此外,Pig和Hive為HBase提供了高層語言支持,使在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變得非常簡(jiǎn)單。Sqoop為HBase提供了RDBMS數(shù)據(jù)導(dǎo)入功能,使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase遷移變得非常簡(jiǎn)單。
HBase訪問接口
HBase shell:HBase的命令行工具,最簡(jiǎn)單的接口,適合HBase管理使用。
Native Java API:常規(guī)和高效的訪問方式,適合通過MR并行批處理HBase表數(shù)據(jù)。
Hive:通過類似SQL方式訪問HBase,簡(jiǎn)化了HBase的訪問。
Pig:類似于Hive,最終也是解析為MR處理HBase表數(shù)據(jù),適合進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。
1、邏輯模型
1.1 表
table,HBase數(shù)據(jù)的邏輯組織形式,在HBase中沒有數(shù)據(jù)類型的概念,所有的數(shù)據(jù)都以字節(jié)數(shù)組的形式進(jìn)行存儲(chǔ)。在HDFS中,每個(gè)表的表名都被作為獨(dú)立的目錄結(jié)構(gòu)。
HBase提供了命令行創(chuàng)建表,創(chuàng)建表時(shí)需指定表名和至少一個(gè)列族。不像關(guān)系型數(shù)據(jù)庫那樣創(chuàng)建表時(shí)必須指定列及列定義,HBase中沒有列定義,沒有數(shù)據(jù)類型。訪問HBase時(shí)也不需要用戶名和密碼,沒有Schema。
1.2 行
row key,唯一的標(biāo)識(shí)一行,以字節(jié)數(shù)組形式存儲(chǔ)。
表中的行根據(jù)Row Key的字典序進(jìn)行排序,即1、10、2、3的方式。
訪問HBase table中的行只有三種方式,通過單個(gè)row key,通過row key的range掃描和全表掃描。
1.3 列族
Column Family,在建表時(shí)必須至少指定一個(gè)列族。
create table 'test', 'cf'; # 注意在hbase shell操作時(shí),表名及列族、列需要加單引號(hào)
1.4 列限定符
1.5 單元
1.6 時(shí)間版本
2、物理模型
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。