真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

nosql容量,nosql數(shù)據(jù)庫(kù)和mysql

為什么海量數(shù)據(jù)場(chǎng)景中NoSQL越來(lái)越重要

本質(zhì)是因?yàn)椋弘S著互聯(lián)網(wǎng)的進(jìn)一步發(fā)展與各行業(yè)信息化建設(shè)進(jìn)程加快、參與者的增多,人們對(duì)軟件有了更多更新的要求,需要軟件不僅能實(shí)現(xiàn)功能,而且要求保證許多人可以共同參與使用,因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達(dá)到相應(yīng)的需求。而目前的關(guān)系型數(shù)據(jù)庫(kù)在某些方面有一些缺點(diǎn),導(dǎo)致不能滿足需要。

成都創(chuàng)新互聯(lián)公司自成立以來(lái),一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、電子商務(wù)、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開發(fā)等基于互聯(lián)網(wǎng)的全面整合營(yíng)銷服務(wù)。公司擁有豐富的網(wǎng)站建設(shè)和互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開發(fā)管理經(jīng)驗(yàn)、成熟的應(yīng)用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開發(fā)工程師團(tuán)隊(duì)及專業(yè)的網(wǎng)站設(shè)計(jì)師團(tuán)隊(duì)。

具體則需要對(duì)比關(guān)系型數(shù)據(jù)庫(kù)與Nosql之間的區(qū)別可以得出

關(guān)系型數(shù)據(jù)庫(kù)

關(guān)系型數(shù)據(jù)庫(kù)把所有的數(shù)據(jù)都通過(guò)行和列的二元表現(xiàn)形式表示出來(lái)。

關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì):

1.?保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)

2.由于以標(biāo)準(zhǔn)化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

3.?可以進(jìn)行Join等復(fù)雜查詢

其中能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫(kù)的最大優(yōu)勢(shì)。

關(guān)系型數(shù)據(jù)庫(kù)的不足:

不擅長(zhǎng)的處理

1.?大量數(shù)據(jù)的寫入處理(這點(diǎn)尤為重要)

2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更

3.?字段不固定時(shí)應(yīng)用

4.?對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理

--大量數(shù)據(jù)的寫入處理

讀寫集中在一個(gè)數(shù)據(jù)庫(kù)上讓數(shù)據(jù)庫(kù)不堪重負(fù),大部分網(wǎng)站已使用主從復(fù)制技術(shù)實(shí)現(xiàn)讀寫分離,以提高讀寫性能和讀庫(kù)的可擴(kuò)展性。

所以在進(jìn)行大量數(shù)據(jù)操作時(shí),會(huì)使用數(shù)據(jù)庫(kù)主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫(kù)負(fù)責(zé),數(shù)據(jù)的讀入由從數(shù)據(jù)庫(kù)負(fù)責(zé),可以比較簡(jiǎn)單地通過(guò)增加從數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)規(guī)?;菙?shù)據(jù)的寫入?yún)s完全沒有簡(jiǎn)單的方法來(lái)解決規(guī)?;瘑栴}。

第一,要想將數(shù)據(jù)的寫入規(guī)?;?,可以考慮把主數(shù)據(jù)庫(kù)從一臺(tái)增加到兩臺(tái),作為互相關(guān)聯(lián)復(fù)制的二元主數(shù)據(jù)庫(kù)使用,確實(shí)這樣可以把每臺(tái)主數(shù)據(jù)庫(kù)的負(fù)荷減少一半,但是更新處理會(huì)發(fā)生沖突,可能會(huì)造成數(shù)據(jù)的不一致,為了避免這樣的問題,需要把對(duì)每個(gè)表的請(qǐng)求分別分配給合適的主數(shù)據(jù)庫(kù)來(lái)處理。

第二,可以考慮把數(shù)據(jù)庫(kù)分割開來(lái),分別放在不同的數(shù)據(jù)庫(kù)服務(wù)器上,比如將不同的表放在不同的數(shù)據(jù)庫(kù)服務(wù)器上,數(shù)據(jù)庫(kù)分割可以減少每臺(tái)數(shù)據(jù)庫(kù)服務(wù)器上的數(shù)據(jù)量,以便減少硬盤IO的輸入、輸出處理,實(shí)現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲(chǔ)字不同服務(wù)器上的表之間無(wú)法進(jìn)行Join處理,數(shù)據(jù)庫(kù)分割的時(shí)候就需要預(yù)先考慮這些問題,數(shù)據(jù)庫(kù)分割之后,如果一定要進(jìn)行Join處理,就必須要在程序中進(jìn)行關(guān)聯(lián),這是非常困難的。

--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更

在使用關(guān)系型數(shù)據(jù)庫(kù)時(shí),為了加快查詢速度需要?jiǎng)?chuàng)建索引,為了增加必要的字段就一定要改變表結(jié)構(gòu),為了進(jìn)行這些處理,需要對(duì)表進(jìn)行共享鎖定,這期間數(shù)據(jù)變更、更新、插入、刪除等都是無(wú)法進(jìn)行的。如果需要進(jìn)行一些耗時(shí)操作,例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu),就需要特別注意,長(zhǎng)時(shí)間內(nèi)數(shù)據(jù)可能無(wú)法進(jìn)行更新。

--字段不固定時(shí)的應(yīng)用

如果字段不固定,利用關(guān)系型數(shù)據(jù)庫(kù)也是比較困難的,有人會(huì)說(shuō),需要的時(shí)候加個(gè)字段就可以了,這樣的方法也不是不可以,但在實(shí)際運(yùn)用中每次都進(jìn)行反復(fù)的表結(jié)構(gòu)變更是非常痛苦的。你也可以預(yù)先設(shè)定大量的預(yù)備字段,但這樣的話,時(shí)間一長(zhǎng)很容易弄不清除字段和數(shù)據(jù)的對(duì)應(yīng)狀態(tài),即哪個(gè)字段保存有哪些數(shù)據(jù)。

--對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理? (這里的“簡(jiǎn)單”指的是沒有復(fù)雜的查詢條件)

這一點(diǎn)稱不上是缺點(diǎn),但不管怎樣,關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)對(duì)簡(jiǎn)單的查詢快速返回結(jié)果,因?yàn)殛P(guān)系型數(shù)據(jù)庫(kù)是使用專門的sql語(yǔ)言進(jìn)行數(shù)據(jù)讀取的,它需要對(duì)sql與越南進(jìn)行解析,同時(shí)還有對(duì)表的鎖定和解鎖等這樣的額外開銷,這里并不是說(shuō)關(guān)系型數(shù)據(jù)庫(kù)的速度太慢,而只是想告訴大家若希望對(duì)簡(jiǎn)單查詢進(jìn)行高速處理,則沒有必要非使用關(guān)系型數(shù)據(jù)庫(kù)不可。

NoSQL數(shù)據(jù)庫(kù)

關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用廣泛,能進(jìn)行事務(wù)處理和表連接等復(fù)雜查詢。相對(duì)地,NoSQL數(shù)據(jù)庫(kù)只應(yīng)用在特定領(lǐng)域,基本上不進(jìn)行復(fù)雜的處理,但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫(kù)的不足之處。

優(yōu)點(diǎn):

易于數(shù)據(jù)的分散

各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫(kù)得名的主要原因,為了進(jìn)行join處理,關(guān)系型數(shù)據(jù)庫(kù)不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi),這不利于數(shù)據(jù)的分散,這也是關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫(kù)原本就不支持Join處理,各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的,很容易把數(shù)據(jù)分散在多個(gè)服務(wù)器上,故減少了每個(gè)服務(wù)器上的數(shù)據(jù)量,即使要處理大量數(shù)據(jù)的寫入,也變得更加容易,數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。

典型的NoSQL數(shù)據(jù)庫(kù)

臨時(shí)性鍵值存儲(chǔ)(memcached、Redis)、永久性鍵值存儲(chǔ)(ROMA、Redis)、面向文檔的數(shù)據(jù)庫(kù)(MongoDB、CouchDB)、面向列的數(shù)據(jù)庫(kù)(Cassandra、HBase)

一、 鍵值存儲(chǔ)

它的數(shù)據(jù)是以鍵值的形式存儲(chǔ)的,雖然它的速度非???,但基本上只能通過(guò)鍵的完全一致查詢獲取數(shù)據(jù),根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具 三種。

(1)臨時(shí)性

所謂臨時(shí)性就是數(shù)據(jù)有可能丟失,memcached把所有數(shù)據(jù)都保存在內(nèi)存中,這樣保存和讀取的速度非??欤钱?dāng)memcached停止時(shí),數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中,所以無(wú)法操作超出內(nèi)存容量的數(shù)據(jù),舊數(shù)據(jù)會(huì)丟失??偨Y(jié)來(lái)說(shuō):

。在內(nèi)存中保存數(shù)據(jù)

??梢赃M(jìn)行非??焖俚谋4婧妥x取處理

。數(shù)據(jù)有可能丟失

(2)永久性

所謂永久性就是數(shù)據(jù)不會(huì)丟失,這里的鍵值存儲(chǔ)是把數(shù)據(jù)保存在硬盤上,與臨時(shí)性比起來(lái),由于必然要發(fā)生對(duì)硬盤的IO操作,所以性能上還是有差距的,但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢(shì)。總結(jié)來(lái)說(shuō):

。在硬盤上保存數(shù)據(jù)

??梢赃M(jìn)行非常快速的保存和讀取處理(但無(wú)法與memcached相比)

。數(shù)據(jù)不會(huì)丟失

(3) 兩者兼?zhèn)?/p>

Redis屬于這種類型。Redis有些特殊,臨時(shí)性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中,在滿足特定條件(默認(rèn)是?15分鐘一次以上,5分鐘內(nèi)10個(gè)以上,1分鐘內(nèi)10000個(gè)以上的鍵發(fā)生變更)的時(shí)候?qū)?shù)據(jù)寫入到硬盤中,這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度,又可以通過(guò)寫入硬盤來(lái)保證數(shù)據(jù)的永久性,這種類型的數(shù)據(jù)庫(kù)特別適合處理數(shù)組類型的數(shù)據(jù)??偨Y(jié)來(lái)說(shuō):

。同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)

??梢赃M(jìn)行非??焖俚谋4婧妥x取處理

。保存在硬盤上的數(shù)據(jù)不會(huì)消失(可以恢復(fù))

。適合于處理數(shù)組類型的數(shù)據(jù)

二、面向文檔的數(shù)據(jù)庫(kù)

MongoDB、CouchDB屬于這種類型,它們屬于NoSQL數(shù)據(jù)庫(kù),但與鍵值存儲(chǔ)相異。

(1)不定義表結(jié)構(gòu)

即使不定義表結(jié)構(gòu),也可以像定義了表結(jié)構(gòu)一樣使用,還省去了變更表結(jié)構(gòu)的麻煩。

(2)可以使用復(fù)雜的查詢條件

跟鍵值存儲(chǔ)不同的是,面向文檔的數(shù)據(jù)庫(kù)可以通過(guò)復(fù)雜的查詢條件來(lái)獲取數(shù)據(jù),雖然不具備事務(wù)處理和Join這些關(guān)系型數(shù)據(jù)庫(kù)所具有的處理能力,但初次以外的其他處理基本上都能實(shí)現(xiàn)。

三、?面向列的數(shù)據(jù)庫(kù)

Cassandra、HBae、HyperTable屬于這種類型,由于近年來(lái)數(shù)據(jù)量出現(xiàn)爆發(fā)性增長(zhǎng),這種類型的NoSQL數(shù)據(jù)庫(kù)尤其引入注目。

普通的關(guān)系型數(shù)據(jù)庫(kù)都是以行為單位來(lái)存儲(chǔ)數(shù)據(jù)的,擅長(zhǎng)以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關(guān)系型數(shù)據(jù)庫(kù)也被成為面向行的數(shù)據(jù)庫(kù)。相反,面向列的數(shù)據(jù)庫(kù)是以列為單位來(lái)存儲(chǔ)數(shù)據(jù)的,擅長(zhǎng)以列為單位讀入數(shù)據(jù)。

面向列的數(shù)據(jù)庫(kù)具有搞擴(kuò)展性,即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度(特別是寫入速度),所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外,把它作為批處理程序的存儲(chǔ)器來(lái)對(duì)大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫(kù)跟現(xiàn)行數(shù)據(jù)庫(kù)存儲(chǔ)的思維方式有很大不同,故應(yīng)用起來(lái)十分困難。

總結(jié):關(guān)系型數(shù)據(jù)庫(kù)與NoSQL數(shù)據(jù)庫(kù)并非對(duì)立而是互補(bǔ)的關(guān)系,即通常情況下使用關(guān)系型數(shù)據(jù)庫(kù),在適合使用NoSQL的時(shí)候使用NoSQL數(shù)據(jù)庫(kù),讓NoSQL數(shù)據(jù)庫(kù)對(duì)關(guān)系型數(shù)據(jù)庫(kù)的不足進(jìn)行彌補(bǔ)。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代,“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫(kù)行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路,數(shù)據(jù)庫(kù)行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營(yíng),適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中,單一數(shù)據(jù)庫(kù)架構(gòu)都不能完全滿足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要,因此不同架構(gòu)數(shù)據(jù)庫(kù)混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫(kù)混合使用的模式可以概括為:OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過(guò)三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫(kù)的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心,在充分發(fā)揮OldSQL數(shù)據(jù)庫(kù)的事務(wù)處理能力的同時(shí),借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢(shì),以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力,滿足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補(bǔ)作用體現(xiàn)在,OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足,NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建,OldSQL數(shù)據(jù)庫(kù)滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用,NewSQL MPP數(shù)據(jù)庫(kù)集群對(duì)即席查詢、多維分析等應(yīng)用提供高性能支持,并且通過(guò)MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比,商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式,數(shù)據(jù)加載性能提升3倍以上,即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求,可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式,能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中,OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理,NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在,OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足,NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品,主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式,由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫(kù)集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語(yǔ)義和關(guān)系表達(dá)能力,在應(yīng)用中仍然占據(jù)著重要地位,目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB,占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面,NoSQL作為SQL的有益補(bǔ)充,解決了OldSQL數(shù)據(jù)庫(kù)無(wú)法解決的全屬性選擇器等問題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn),數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間,支持每天4000萬(wàn)的查詢請(qǐng)求,平均響應(yīng)時(shí)間在28毫秒,足以滿足未來(lái)一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高,并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類應(yīng)用,如:電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營(yíng)分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式,充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì),以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì),實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ),解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求,以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢的要求。在應(yīng)用中,NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作,NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營(yíng)商在集中化BI系統(tǒng)建設(shè)過(guò)程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問題,并且需要應(yīng)對(duì)大量的固定應(yīng)用,以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式,充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢(shì),及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì),實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同,將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中:非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫(kù)或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù),保存在NewSQL MPP數(shù)據(jù)庫(kù)中,短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái),中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語(yǔ)

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性,以及三種數(shù)據(jù)庫(kù)架構(gòu)各自所具有的優(yōu)勢(shì)和局限性,造成任何一種架構(gòu)的數(shù)據(jù)庫(kù)都不能完全滿足應(yīng)用需求,因此不同架構(gòu)數(shù)據(jù)庫(kù)混合使用,從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫(kù)進(jìn)行組合搭配,充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫(kù)的特點(diǎn)和優(yōu)勢(shì),并且與其他架構(gòu)數(shù)據(jù)庫(kù)形成互補(bǔ),完全涵蓋應(yīng)用需求,保證數(shù)據(jù)資源的最優(yōu)化利用,將成為未來(lái)一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國(guó)內(nèi)市場(chǎng)上,OldSQL主要為Oracle、IBM等國(guó)外數(shù)據(jù)庫(kù)廠商所壟斷,達(dá)夢(mèng)、金倉(cāng)等國(guó)產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)GBase 8a異軍突起,與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶則大多采用Hadoop開源方案。

國(guó)內(nèi)五大論文數(shù)據(jù)庫(kù)?

國(guó)內(nèi)五大論文數(shù)據(jù)庫(kù)如下:

一、中國(guó)知網(wǎng)提供的《中國(guó)學(xué)術(shù)期刊(光盤版)》

也稱中國(guó)期刊全文數(shù)據(jù)庫(kù)由清華同方股份有限公司出版。

收錄1994年以來(lái)國(guó)內(nèi)6 600種期刊,包括了學(xué)術(shù)期刊于非學(xué)術(shù)期刊,涵蓋理工、農(nóng)業(yè)、醫(yī)藥衛(wèi)生、文史哲、政治軍事與法律、教育與社會(huì)科學(xué)綜合、電子技術(shù)與信息科學(xué)、經(jīng)濟(jì)與管理。

收錄的學(xué)術(shù)期刊同時(shí)作為“中國(guó)學(xué)術(shù)期刊綜合評(píng)價(jià)數(shù)據(jù)庫(kù)統(tǒng)計(jì)源期刊”。

但是收錄的期刊不很全面,一些重要期刊未能收錄。

二、中國(guó)生物醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫(kù)(CBMDISC)

數(shù)據(jù)庫(kù)是中國(guó)醫(yī)學(xué)科學(xué)院信息研究所開發(fā)研制,收錄了自1978年以來(lái)1 600余種中國(guó)生物醫(yī)學(xué)期刊。

范圍涉及基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)、預(yù)防醫(yī)學(xué)、藥學(xué)、中醫(yī)學(xué)及中藥學(xué)等生物醫(yī)學(xué)的各個(gè)領(lǐng)域。

三、中文生物醫(yī)學(xué)期刊數(shù)據(jù)庫(kù)(CMCC)

由中國(guó)人民解放軍醫(yī)學(xué)圖書館數(shù)據(jù)庫(kù)研究部研制開發(fā)。

收錄了1994年以來(lái)國(guó)內(nèi)正式出版發(fā)行的生物醫(yī)學(xué)期刊和一些自辦發(fā)行的生物醫(yī)學(xué)刊物1 000余種的文獻(xiàn)題錄和文摘。

涉及的主要學(xué)科領(lǐng)域有:基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)、預(yù)防醫(yī)學(xué)、藥學(xué)、醫(yī)學(xué)生物學(xué)、中醫(yī)學(xué)、中藥學(xué)、醫(yī)院管理及醫(yī)學(xué)信息等生物醫(yī)學(xué)的各個(gè)領(lǐng)域。

并具有成果查新功能醫(yī)學(xué)全在線

四、萬(wàn)方數(shù)據(jù)資源系統(tǒng)(China Info)

由中國(guó)科技信息研究所,萬(wàn)方數(shù)據(jù)股份有限公司研制。

該數(shù)據(jù)庫(kù)收錄的期刊學(xué)科范圍廣,包括了學(xué)術(shù)期刊于非學(xué)術(shù)期刊,提供約2 000種的電子期刊的全文檢索。

被收錄的學(xué)術(shù)期刊都獲得了“中國(guó)核心期刊(遴選)數(shù)據(jù)庫(kù)來(lái)源期刊”的收錄證書。

個(gè)別期刊甚至將“遴選”改成“精選”,或者干脆去掉。

很多作者因此誤以為這就是核心期刊。

五、維普數(shù)據(jù)庫(kù)

也稱中文科技期刊數(shù)據(jù)庫(kù),維普科技期刊數(shù)據(jù)庫(kù),由中國(guó)科學(xué)技術(shù)信息研究所重慶分所出版。

收錄了1989年以來(lái)我國(guó)自然科學(xué)、工程技術(shù)、農(nóng)業(yè)科學(xué)、醫(yī)藥衛(wèi)生、經(jīng)濟(jì)管理、教育科學(xué)和圖書情報(bào)等學(xué)科9 000余種期刊,包括了學(xué)術(shù)與非學(xué)術(shù)期刊。

收錄期刊數(shù)量很大,但不足之處是部分國(guó)家新聞出版總署公布的非法期刊也被收錄了。

一般的,學(xué)術(shù)期刊都能進(jìn)入至少1個(gè)國(guó)內(nèi)期刊數(shù)據(jù)庫(kù)。

期刊據(jù)數(shù)據(jù)庫(kù)不是期刊的評(píng)價(jià)體系,對(duì)科研處的期刊性質(zhì)評(píng)價(jià)也就缺乏足夠的意義,故不宜作為期刊性質(zhì)評(píng)價(jià)的依據(jù)。

另外還有:

1、萬(wàn)方數(shù)據(jù)

萬(wàn)方數(shù)據(jù)提供中國(guó)大陸科技期刊檢索,是萬(wàn)方數(shù)據(jù)股份有限公司建立的專業(yè)學(xué)術(shù)知識(shí)服務(wù)網(wǎng)站。

隸屬于萬(wàn)方數(shù)據(jù)資源系統(tǒng),對(duì)外服務(wù)數(shù)據(jù)由萬(wàn)方數(shù)據(jù)資源系統(tǒng)統(tǒng)一部署提供。

2、全國(guó)報(bào)刊索引

收錄全國(guó)包括港臺(tái)地區(qū)的期刊8000種左右,月報(bào)道量在1.8萬(wàn)條以上,年報(bào)道量在44萬(wàn)條左右,書本式用戶有3500多家,現(xiàn)又出版光盤數(shù)據(jù)庫(kù)。

反映了中國(guó)政治、經(jīng)濟(jì)、軍事、科學(xué)、文化、文學(xué)藝術(shù)、歷史地理、科技等方面的發(fā)展情況,提供了國(guó)內(nèi)外最新學(xué)術(shù)進(jìn)展信息。

該索引是我國(guó)收錄報(bào)刊種類最多,內(nèi)容涉及范圍最廣,持續(xù)出版時(shí)間最長(zhǎng),與新文獻(xiàn)保持同步發(fā)展的權(quán)威性檢索刊物,也是查找建國(guó)以來(lái)報(bào)刊論文資料最重要的檢索工具。

正文采用分類編排,先后采用過(guò)《中國(guó)人民大學(xué)圖書分類法》和自編的《報(bào)刊資料分類表》,1980年起,仿《中國(guó)圖書館圖書分類法》分21類編排,1992年全面改用《中國(guó)圖書資料分類法》(第三版)編排,2000年開始用《中國(guó)圖書館分類法》(第四版)標(biāo)引,計(jì)算機(jī)編排。

在著錄上,《全國(guó)報(bào)刊索引》從1991年起采用國(guó)家標(biāo)準(zhǔn)——《檢索期刊條目著錄規(guī)則》進(jìn)行著錄,包括題名、著譯者姓名、報(bào)刊名、版本、卷期標(biāo)識(shí)、起止頁(yè)碼、附注等項(xiàng)。

同時(shí),“哲社版”采用電腦編排,增加了“著者索引”、“題中人名分析索引”、“引用報(bào)刊一覽表”,方便了讀者的使用。

3、超星數(shù)字圖書館

為目前世界最大的中文在線數(shù)字圖書館,提供大量的電子圖書資源提供閱讀,其中包括文學(xué)、經(jīng)濟(jì)、計(jì)算機(jī)等五十余大類,數(shù)十萬(wàn)冊(cè)電子圖書,300萬(wàn)篇論文,全文總量4億余頁(yè),數(shù)據(jù)總量30000GB,大量免費(fèi)電子圖書,并且每天仍在不斷的增加與更新。

覆蓋范圍:涉及哲學(xué)、宗教、社科總論、經(jīng)典理論、民族學(xué)、經(jīng)濟(jì)學(xué)、自然科學(xué)總論、計(jì)算機(jī)等各個(gè)學(xué)科門類。

本館已訂購(gòu)67萬(wàn)余冊(cè)。

收錄年限:1977年至今。

4、維普資訊

維普資訊是科學(xué)技術(shù)部西南信息中心下屬的一家大型的專業(yè)化數(shù)據(jù)公司,是中文期刊數(shù)據(jù)庫(kù)建設(shè)事業(yè)的奠基人,公司全稱重慶維普資訊有限公司。

目前已經(jīng)成為中國(guó)最大的綜合文獻(xiàn)數(shù)據(jù)庫(kù)。

從1989年開始,一直致力于對(duì)海量的報(bào)刊數(shù)據(jù)進(jìn)行科學(xué)嚴(yán)謹(jǐn)?shù)难芯?、分析,采集、加工等深層次開發(fā)和推廣應(yīng)用。

5、中宏數(shù)據(jù)庫(kù)

中宏數(shù)據(jù)庫(kù)由國(guó)家發(fā)改委所屬的中國(guó)宏觀經(jīng)濟(jì)學(xué)會(huì)、中宏基金、中國(guó)宏觀經(jīng)濟(jì)信息網(wǎng)、中宏經(jīng)濟(jì)研究中心聯(lián)合研創(chuàng)。

是由18類大庫(kù)、74類中庫(kù)組成,涵蓋了九十年代以來(lái)宏觀經(jīng)濟(jì)、區(qū)域經(jīng)濟(jì)、產(chǎn)業(yè)經(jīng)濟(jì)、金融保險(xiǎn)、投資消費(fèi)、世界經(jīng)濟(jì)、政策法規(guī)、統(tǒng)計(jì)數(shù)字、研究報(bào)告等方面的詳盡內(nèi)容,是目前國(guó)內(nèi)門類最全,分類最細(xì),容量最大的經(jīng)濟(jì)類數(shù)據(jù)庫(kù)。

發(fā)展現(xiàn)狀

在數(shù)據(jù)庫(kù)的發(fā)展歷史上,數(shù)據(jù)庫(kù)先后經(jīng)歷了層次數(shù)據(jù)庫(kù)、網(wǎng)狀數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)等各個(gè)階段的發(fā)展,數(shù)據(jù)庫(kù)技術(shù)在各個(gè)方面的快速的發(fā)展。特別是關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)成為目前數(shù)據(jù)庫(kù)產(chǎn)品中最重要的一員,80年代以來(lái),幾乎所有的數(shù)據(jù)庫(kù)廠商新出的數(shù)據(jù)庫(kù)產(chǎn)品都支持關(guān)系型數(shù)據(jù)庫(kù),

即使一些非關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品也幾乎都有支持關(guān)系數(shù)據(jù)庫(kù)的接口。這主要是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)可以比較好的解決管理和存儲(chǔ)關(guān)系型數(shù)據(jù)的問題。隨著云計(jì)算的發(fā)展和大數(shù)據(jù)時(shí)代的到來(lái),關(guān)系型數(shù)據(jù)庫(kù)越來(lái)越無(wú)法滿足需要,

這主要是由于越來(lái)越多的半關(guān)系型和非關(guān)系型數(shù)據(jù)需要用數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)管理,以此同時(shí),分布式技術(shù)等新技術(shù)的出現(xiàn)也對(duì)數(shù)據(jù)庫(kù)的技術(shù)提出了新的要求,于是越來(lái)越多的非關(guān)系型數(shù)據(jù)庫(kù)就開始出現(xiàn),這類數(shù)據(jù)庫(kù)與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)有了很大的不同,

它們更強(qiáng)調(diào)數(shù)據(jù)庫(kù)數(shù)據(jù)的高并發(fā)讀寫和存儲(chǔ)大數(shù)據(jù),這類數(shù)據(jù)庫(kù)一般被稱為NoSQL(Not only SQL)數(shù)據(jù)庫(kù)。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在一些傳統(tǒng)領(lǐng)域依然保持了強(qiáng)大的生命力。

以上內(nèi)容參考:百度百科——數(shù)據(jù)庫(kù)

nosql數(shù)據(jù)庫(kù)是什么 具有代表性以key-value的形式存儲(chǔ)的

什么是NoSQL

大家有沒有聽說(shuō)過(guò)“NoSQL”呢?近年,這個(gè)詞極受關(guān)注??吹健癗oSQL”這個(gè)詞,大家可能會(huì)誤以為是“No!SQL”的縮寫,并深感憤怒:“SQL怎么會(huì)沒有必要了呢?”但實(shí)際上,它是“Not Only SQL”的縮寫。它的意義是:適用關(guān)系型數(shù)據(jù)庫(kù)的時(shí)候就使用關(guān)系型數(shù)據(jù)庫(kù),不適用的時(shí)候也沒有必要非使用關(guān)系型數(shù)據(jù)庫(kù)不可,可以考慮使用更加合適的數(shù)據(jù)存儲(chǔ)。

為彌補(bǔ)關(guān)系型數(shù)據(jù)庫(kù)的不足,各種各樣的NoSQL數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。

為了更好地了解本書所介紹的NoSQL數(shù)據(jù)庫(kù),對(duì)關(guān)系型數(shù)據(jù)庫(kù)的理解是必不可少的。那么,就讓我們先來(lái)看一看關(guān)系型數(shù)據(jù)庫(kù)的歷史、分類和特征吧。

關(guān)系型數(shù)據(jù)庫(kù)簡(jiǎn)史

1969年,埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發(fā)表了劃時(shí)代的論文,首次提出了關(guān)系數(shù)據(jù)模型的概念。但可惜的是,刊登論文的《IBM Research Report》只是IBM公司的內(nèi)部刊物,因此論文反響平平。1970年,他再次在刊物《Communication of the ACM》上發(fā)表了題為“A Relational Model of Data for Large Shared Data banks”(大型共享數(shù)據(jù)庫(kù)的關(guān)系模型)的論文,終于引起了大家的關(guān)注。

科德所提出的關(guān)系數(shù)據(jù)模型的概念成為了現(xiàn)今關(guān)系型數(shù)據(jù)庫(kù)的基礎(chǔ)。當(dāng)時(shí)的關(guān)系型數(shù)據(jù)庫(kù)由于硬件性能低劣、處理速度過(guò)慢而遲遲沒有得到實(shí)際應(yīng)用。但之后隨著硬件性能的提升,加之使用簡(jiǎn)單、性能優(yōu)越等優(yōu)點(diǎn),關(guān)系型數(shù)據(jù)庫(kù)得到了廣泛的應(yīng)用。

通用性及高性能

雖然本書是講解NoSQL數(shù)據(jù)庫(kù)的,但有一個(gè)重要的大前提,請(qǐng)大家一定不要誤解。這個(gè)大前提就是“關(guān)系型數(shù)據(jù)庫(kù)的性能絕對(duì)不低,它具有非常好的通用性和非常高的性能”。毫無(wú)疑問,對(duì)于絕大多數(shù)的應(yīng)用來(lái)說(shuō)它都是最有效的解決方案。

突出的優(yōu)勢(shì)

關(guān)系型數(shù)據(jù)庫(kù)作為應(yīng)用廣泛的通用型數(shù)據(jù)庫(kù),它的突出優(yōu)勢(shì)主要有以下幾點(diǎn):

保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)

由于以標(biāo)準(zhǔn)化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

可以進(jìn)行JOIN等復(fù)雜查詢

存在很多實(shí)際成果和專業(yè)技術(shù)信息(成熟的技術(shù))

這其中,能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫(kù)的最大優(yōu)勢(shì)。在需要嚴(yán)格保證數(shù)據(jù)一致性和處理完整性的情況下,用關(guān)系型數(shù)據(jù)庫(kù)是肯定沒有錯(cuò)的。但是有些情況不需要JOIN,對(duì)上述關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)也沒有什么特別需要,這時(shí)似乎也就沒有必要拘泥于關(guān)系型數(shù)據(jù)庫(kù)了。

關(guān)系型數(shù)據(jù)庫(kù)的不足

不擅長(zhǎng)的處理

就像之前提到的那樣,關(guān)系型數(shù)據(jù)庫(kù)的性能非常高。但是它畢竟是一個(gè)通用型的數(shù)據(jù)庫(kù),并不能完全適應(yīng)所有的用途。具體來(lái)說(shuō)它并不擅長(zhǎng)以下處理:

大量數(shù)據(jù)的寫入處理

為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更

字段不固定時(shí)應(yīng)用

對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理

。。。。。。

NoSQL數(shù)據(jù)庫(kù)

為了彌補(bǔ)關(guān)系型數(shù)據(jù)庫(kù)的不足(特別是最近幾年),NoSQL數(shù)據(jù)庫(kù)出現(xiàn)了。關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用廣泛,能進(jìn)行事務(wù)處理和JOIN等復(fù)雜處理。相對(duì)地,NoSQL數(shù)據(jù)庫(kù)只應(yīng)用在特定領(lǐng)域,基本上不進(jìn)行復(fù)雜的處理,但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫(kù)的不足之處。

易于數(shù)據(jù)的分散

如前所述,關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)大量數(shù)據(jù)的寫入處理。原本關(guān)系型數(shù)據(jù)庫(kù)就是以JOIN為前提的,就是說(shuō),各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫(kù)得名的主要原因。為了進(jìn)行JOIN處理,關(guān)系型數(shù)據(jù)庫(kù)不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi),這不利于數(shù)據(jù)的分散。相反,NoSQL數(shù)據(jù)庫(kù)原本就不支持JOIN處理,各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的,很容易把數(shù)據(jù)分散到多個(gè)服務(wù)器上。由于數(shù)據(jù)被分散到了多個(gè)服務(wù)器上,減少了每個(gè)服務(wù)器上的數(shù)據(jù)量,即使要進(jìn)行大量數(shù)據(jù)的寫入操作,處理起來(lái)也更加容易。同理,數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。

提升性能和增大規(guī)模

下面說(shuō)一點(diǎn)題外話,如果想要使服務(wù)器能夠輕松地處理更大量的數(shù)據(jù),那么只有兩個(gè)選擇:一是提升性能,二是增大規(guī)模。下面我們來(lái)整理一下這兩者的不同。

首先,提升性能指的就是通過(guò)提升現(xiàn)行服務(wù)器自身的性能來(lái)提高處理能力。這是非常簡(jiǎn)單的方法,程序方面也不需要進(jìn)行變更,但需要一些費(fèi)用。若要購(gòu)買性能翻倍的服務(wù)器,需要花費(fèi)的資金往往不只是原來(lái)的2倍,可能需要多達(dá)5到10倍。這種方法雖然簡(jiǎn)單,但是成本較高。

另一方面,增大規(guī)模指的是使用多臺(tái)廉價(jià)的服務(wù)器來(lái)提高處理能力。它需要對(duì)程序進(jìn)行變更,但由于使用廉價(jià)的服務(wù)器,可以控制成本。另外,以后只要依葫蘆畫瓢增加廉價(jià)服務(wù)器的數(shù)量就可以了。

不對(duì)大量數(shù)據(jù)進(jìn)行處理的話就沒有使用的必要嗎?

NoSQL數(shù)據(jù)庫(kù)基本上來(lái)說(shuō)為了“使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務(wù)器數(shù)量更容易)”而設(shè)計(jì)的。但如果不是對(duì)大量數(shù)據(jù)進(jìn)行操作的話,NoSQL數(shù)據(jù)庫(kù)的應(yīng)用就沒有意義嗎?

答案是否定的。的確,它在處理大量數(shù)據(jù)方面很有優(yōu)勢(shì)。但實(shí)際上NoSQL數(shù)據(jù)庫(kù)還有各種各樣的特點(diǎn),如果能夠恰當(dāng)?shù)乩眠@些特點(diǎn)將會(huì)是非常有幫助。具體的例子將會(huì)在第2章和第3章進(jìn)行介紹,這些用途將會(huì)讓你感受到利用NoSQL的好處。

希望順暢地對(duì)數(shù)據(jù)進(jìn)行緩存(Cache)處理

希望對(duì)數(shù)組類型的數(shù)據(jù)進(jìn)行高速處理

希望進(jìn)行全部保存

多樣的NoSQL數(shù)據(jù)庫(kù)

NoSQL數(shù)據(jù)庫(kù)存在著“key-value存儲(chǔ)”、“文檔型數(shù)據(jù)庫(kù)”、“列存儲(chǔ)數(shù)據(jù)庫(kù)”等各種各樣的種類,每種數(shù)據(jù)庫(kù)又包含各自的特點(diǎn)。下一節(jié)讓我們一起來(lái)了解一下NoSQL數(shù)據(jù)庫(kù)的種類和特點(diǎn)。

NoSQL數(shù)據(jù)庫(kù)是什么

NoSQL說(shuō)起來(lái)簡(jiǎn)單,但實(shí)際上到底有多少種呢?我在提筆的時(shí)候,到NoSQL的官方網(wǎng)站上確認(rèn)了一下,竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒有涉及到的圖形數(shù)據(jù)庫(kù)和對(duì)象數(shù)據(jù)庫(kù)等各個(gè)類別。不知不覺間,原來(lái)已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫(kù)啊。

本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫(kù)。

key-value存儲(chǔ)

這是最常見的NoSQL數(shù)據(jù)庫(kù),它的數(shù)據(jù)是以key-value的形式存儲(chǔ)的。雖然它的處理速度非???,但是基本上只能通過(guò)key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具三種。

臨時(shí)性

memcached屬于這種類型。所謂臨時(shí)性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內(nèi)存中,這樣保存和讀取的速度非???,但是當(dāng)memcached停止的時(shí)候,數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中,所以無(wú)法操作超出內(nèi)存容量的數(shù)據(jù)(舊數(shù)據(jù)會(huì)丟失)。

在內(nèi)存中保存數(shù)據(jù)

可以進(jìn)行非常快速的保存和讀取處理

數(shù)據(jù)有可能丟失

永久性

Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時(shí)性相反,所謂永久性就是“數(shù)據(jù)不會(huì)丟失”的意思。這里的key-value存儲(chǔ)不像memcached那樣在內(nèi)存中保存數(shù)據(jù),而是把數(shù)據(jù)保存在硬盤上。與memcached在內(nèi)存中處理數(shù)據(jù)比起來(lái),由于必然要發(fā)生對(duì)硬盤的IO操作,所以性能上還是有差距的。但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢(shì)。

在硬盤上保存數(shù)據(jù)

可以進(jìn)行非常快速的保存和讀取處理(但無(wú)法與memcached相比)

數(shù)據(jù)不會(huì)丟失

兩者兼具

Redis屬于這種類型。Redis有些特殊,臨時(shí)性和永久性兼具,且集合了臨時(shí)性key-value存儲(chǔ)和永久性key-value存儲(chǔ)的優(yōu)點(diǎn)。Redis首先把數(shù)據(jù)保存到內(nèi)存中,在滿足特定條件(默認(rèn)是15分鐘一次以上,5分鐘內(nèi)10個(gè)以上,1分鐘內(nèi)10000個(gè)以上的key發(fā)生變更)的時(shí)候?qū)?shù)據(jù)寫入到硬盤中。這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度,又可以通過(guò)寫入硬盤來(lái)保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫(kù)特別適合于處理數(shù)組類型的數(shù)據(jù)。

同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)

可以進(jìn)行非??焖俚谋4婧妥x取處理

保存在硬盤上的數(shù)據(jù)不會(huì)消失(可以恢復(fù))

適合于處理數(shù)組類型的數(shù)據(jù)

面向文檔的數(shù)據(jù)庫(kù)

MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫(kù),但與key-value存儲(chǔ)相異。

不定義表結(jié)構(gòu)

面向文檔的數(shù)據(jù)庫(kù)具有以下特征:即使不定義表結(jié)構(gòu),也可以像定義了表結(jié)構(gòu)一樣使用。關(guān)系型數(shù)據(jù)庫(kù)在變更表結(jié)構(gòu)時(shí)比較費(fèi)事,而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫(kù)則可省去這些麻煩(通常程序都是正確的),確實(shí)是方便快捷。

可以使用復(fù)雜的查詢條件

跟key-value存儲(chǔ)不同的是,面向文檔的數(shù)據(jù)庫(kù)可以通過(guò)復(fù)雜的查詢條件來(lái)獲取數(shù)據(jù)。雖然不具備事務(wù)處理和JOIN這些關(guān)系型數(shù)據(jù)庫(kù)所具有的處理能力,但除此以外的其他處理基本上都能實(shí)現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫(kù)。

不需要定義表結(jié)構(gòu)

可以利用復(fù)雜的查詢條件

面向列的數(shù)據(jù)庫(kù)

Cassandra、Hbase、HyperTable屬于這種類型。由于近年來(lái)數(shù)據(jù)量出現(xiàn)爆發(fā)性增長(zhǎng),這種類型的NoSQL數(shù)據(jù)庫(kù)尤其引人注目。

面向行的數(shù)據(jù)庫(kù)和面向列的數(shù)據(jù)庫(kù)

普通的關(guān)系型數(shù)據(jù)庫(kù)都是以行為單位來(lái)存儲(chǔ)數(shù)據(jù)的,擅長(zhǎng)進(jìn)行以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關(guān)系型數(shù)據(jù)庫(kù)也被稱為面向行的數(shù)據(jù)庫(kù)。相反,面向列的數(shù)據(jù)庫(kù)是以列為單位來(lái)存儲(chǔ)數(shù)據(jù)的,擅長(zhǎng)以列為單位讀入數(shù)據(jù)。

高擴(kuò)展性

面向列的數(shù)據(jù)庫(kù)具有高擴(kuò)展性,即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度(特別是寫入速度),所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外,利用面向列的數(shù)據(jù)庫(kù)的優(yōu)勢(shì),把它作為批處理程序的存儲(chǔ)器來(lái)對(duì)大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫(kù)跟現(xiàn)行數(shù)據(jù)庫(kù)存儲(chǔ)的思維方式有很大不同,應(yīng)用起來(lái)十分困難。

高擴(kuò)展性(特別是寫入處理)

應(yīng)用十分困難

最近,像Twitter和Facebook這樣需要對(duì)大量數(shù)據(jù)進(jìn)行更新和查詢的網(wǎng)絡(luò)服務(wù)不斷增加,面向列的數(shù)據(jù)庫(kù)的優(yōu)勢(shì)對(duì)其中一些服務(wù)是非常有用的,但是由于這與本書所要介紹的內(nèi)容關(guān)系不大,就不進(jìn)行詳細(xì)介紹了。

總結(jié):

NoSQL并不是No-SQL,而是指Not Only SQL。

NoSQL的出現(xiàn)是為了彌補(bǔ)SQL數(shù)據(jù)庫(kù)因?yàn)槭聞?wù)等機(jī)制帶來(lái)的對(duì)海量數(shù)據(jù)、高并發(fā)請(qǐng)求的處理的性能上的欠缺。

NoSQL不是為了替代SQL而出現(xiàn)的,它是一種替補(bǔ)方案,而不是解決方案的首選。

絕大多數(shù)的NoSQL產(chǎn)品都是基于大內(nèi)存和高性能隨機(jī)讀寫的(比如具有更高性能的固態(tài)硬盤陣列),一般的小型企業(yè)在選擇NoSQL時(shí)一定要慎重!不要為了NoSQL而NoSQL,可能會(huì)導(dǎo)致花了冤枉錢又耽擱了項(xiàng)目進(jìn)程。

NoSQL不是萬(wàn)能的,但在大型項(xiàng)目中,你往往需要它!


網(wǎng)頁(yè)名稱:nosql容量,nosql數(shù)據(jù)庫(kù)和mysql
URL網(wǎng)址:http://weahome.cn/article/dsgohso.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部