CAP原則的與NoSQL的關(guān)系

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在功能支持上通常很寬泛，從簡(jiǎn)單的鍵值查詢(xún)，到復(fù)雜的多表聯(lián)合查詢(xún)?cè)俚绞聞?wù)機(jī)制的支持。而與之不同的是，NoSQL系統(tǒng)通常注重性能和擴(kuò)展性，而非事務(wù)機(jī)制（事務(wù)就是強(qiáng)一致性的體現(xiàn)） 。傳統(tǒng)的SQL數(shù)據(jù)庫(kù)的事務(wù)通常都是支持ACID的強(qiáng)事務(wù)機(jī)制。A代表原子性，即在事務(wù)中執(zhí)行多個(gè)操作是原子性的，要么事務(wù)中的操作全部執(zhí)行，要么一個(gè)都不執(zhí)行;C代表一致性，即保證進(jìn)行事務(wù)的過(guò)程中整個(gè)數(shù)據(jù)加的狀態(tài)是一致的，不會(huì)出現(xiàn)數(shù)據(jù)花掉的情況;I代表隔離性，即兩個(gè)事務(wù)不會(huì)相互影響，覆蓋彼此數(shù)據(jù)等;D表示持久化，即事務(wù)一量完成，那么數(shù)據(jù)應(yīng)該是被寫(xiě)到安全的，持久化存儲(chǔ)的設(shè)備上（比如磁盤(pán)）。NoSQL系統(tǒng)僅提供對(duì)行級(jí)別的原子性保證，也就是說(shuō)同時(shí)對(duì)同一個(gè)Key下的數(shù)據(jù)進(jìn)行的兩個(gè)操作，在實(shí)際執(zhí)行的時(shí)候是會(huì)串行的執(zhí)行，保證了每一個(gè)Key-Value對(duì)不會(huì)被破壞。

創(chuàng)新互聯(lián)是一家專(zhuān)注于成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作與策劃設(shè)計(jì),高安網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:高安等地區(qū)。高安做網(wǎng)站價(jià)格咨詢(xún):028-86922220

關(guān)于NewSQL數(shù)據(jù)庫(kù)對(duì)于CAP的再解釋

作者 石默研

關(guān)于CAP的討論已經(jīng)很多，包括作者的另一篇文章“對(duì)CAP的初步解釋”，基本已經(jīng)即定思維的理解就是：分布式系統(tǒng)必須遵循CAP，一個(gè)分布式系統(tǒng)的設(shè)計(jì)只能同時(shí)滿(mǎn)足其中兩個(gè)，不可能同時(shí)滿(mǎn)足；傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)選擇A與C，代表了互聯(lián)網(wǎng)新興技術(shù)的NoSQL數(shù)據(jù)庫(kù)則選擇A與P（或者C與P，雖然這種情況其實(shí)需要詳細(xì)討論）。

但是，近年來(lái)，新興的NewSQL數(shù)據(jù)庫(kù)（TiDB或者OceanBase），則是一種在分布式環(huán)境下，保證的ACID強(qiáng)事務(wù)特征的強(qiáng)一致性數(shù)據(jù)庫(kù)，并且很顯然，它同時(shí)也滿(mǎn)足了高可用性與優(yōu)秀的分區(qū)可容忍性（很好的可擴(kuò)展特性便是其一個(gè)層面的證明），似乎看起來(lái)，C、A、P都同時(shí)保證了，這不是違反了已經(jīng)經(jīng)過(guò)嚴(yán)格證明的CAP理論嗎？

這個(gè)問(wèn)題初看起來(lái)，似乎是比較神奇，但仔細(xì)分析，其實(shí)答案是很明顯的。

首先，需要讀者區(qū)分“分布式”與CAP中所提到的分區(qū)可容忍性Paritition Tolerance并不是一回事。分區(qū)可容忍性P是指以下兩種分布式的情況：

. 同一份數(shù)據(jù)的多個(gè)副本的可分布性

. 有相互關(guān)聯(lián)的數(shù)據(jù)的可分布性（操作中表現(xiàn)為保證ACID的強(qiáng)分布式事務(wù)）

即使是分庫(kù)分表，如果不存在以上兩種情況，只是獨(dú)立數(shù)據(jù)在同一個(gè)節(jié)點(diǎn)上的情況，雖然也是分布式，但跟CAP中的P沒(méi)有半毛錢(qián)關(guān)系。

那么，還是回到上面的問(wèn)題，NewSQL數(shù)據(jù)庫(kù)，確實(shí)也是在保證了同一份數(shù)據(jù)多副本的強(qiáng)讀寫(xiě)一致性、以及強(qiáng)分布式事務(wù)特性這樣的C的情況下，同時(shí)保證了A與P呀！事實(shí)確實(shí)如此，但這還是要仔細(xì)分析：

無(wú)論是TiDB，還是OceanBase，其在保證數(shù)據(jù)多副本的強(qiáng)一致性時(shí)，都采用了Paxos協(xié)議或者Raft，它們簡(jiǎn)單來(lái)講就是多數(shù)選舉的原則，即寫(xiě)不需要全部副本都完成，就能保證讀的強(qiáng)一致性，反過(guò)來(lái)也是一樣。因此，其在分布式情況下，保證數(shù)據(jù)讀寫(xiě)強(qiáng)一致性的效率還是很高的，就是說(shuō)，在同一個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)環(huán)境下，雖然這種分布可容忍性的滿(mǎn)足理論上講也會(huì)比單節(jié)點(diǎn)多一點(diǎn)點(diǎn)效率損失，但實(shí)際上是可以忽略不計(jì)的。但需要指出的是，在跨數(shù)據(jù)中心、跨城市的分布式情況下，如果要保證數(shù)據(jù)多副本的強(qiáng)一致性，即保證分區(qū)可容忍性，對(duì)效率（實(shí)際上是可用性A）的影響那還是不可忽略的。因此，在這種情況下，CAP理論依然成立。

再來(lái)看相互關(guān)聯(lián)數(shù)據(jù)的可分布性，這就涉及到了分布式事務(wù)?，F(xiàn)有的NewSQL數(shù)據(jù)庫(kù)，即使在同一數(shù)據(jù)中心，為了保證強(qiáng)的分布式事務(wù)，對(duì)效率的折衷都是不可忽略的，所謂的樂(lè)觀事務(wù)，只是因?yàn)榭陀^問(wèn)題本身沖突就少，并不改變沖突很多時(shí)效率明顯受影響的現(xiàn)實(shí)。因此，NewSQL數(shù)據(jù)庫(kù)雖然提供強(qiáng)分布式事務(wù)的能力，但在現(xiàn)實(shí)應(yīng)用中，都是提倡盡量避免大量的分布式事務(wù)出現(xiàn)。如果你所遇到的應(yīng)用場(chǎng)景是確實(shí)需要大量的分布式事務(wù)執(zhí)行，又不做應(yīng)用優(yōu)化全交給數(shù)據(jù)庫(kù)執(zhí)行，那么，現(xiàn)有的NewSQL分布式數(shù)據(jù)庫(kù)，依然會(huì)遇到明顯的性能問(wèn)題，其實(shí)就是可用性A降低了。同學(xué)仔細(xì)去研究應(yīng)用中的實(shí)際情況就會(huì)發(fā)現(xiàn)，很多互聯(lián)網(wǎng)應(yīng)用，當(dāng)其所需要的QPS很高很高，而對(duì)讀寫(xiě)一致性與強(qiáng)分布式事務(wù)的要求又不那很高時(shí)候，其實(shí)，NewSQL數(shù)據(jù)庫(kù)還是不能滿(mǎn)足他們的需求的，他們?nèi)匀恍枰鶕?jù)自己的情況改造或者選用NoSQL數(shù)據(jù)庫(kù)，這也是CAP理論并沒(méi)有被NewSQL打破的現(xiàn)實(shí)證明。

因此，總結(jié)來(lái)講，NewSQL數(shù)據(jù)庫(kù)，也是遵循CAP理論的，只不過(guò)，在同中心數(shù)據(jù)多副本情況下，保證P的同時(shí)對(duì)A的影響微乎其微；而在分布式事務(wù)的情況下，又采用了與應(yīng)用特性相關(guān)的策略（其實(shí)樂(lè)觀、悲觀事務(wù)本質(zhì)上就有根本應(yīng)用特性區(qū)分的意思）來(lái)保證性能而已。當(dāng)然，隨著網(wǎng)絡(luò)與計(jì)算機(jī)性能的提高，CAP三個(gè)特征中，保證其中兩個(gè)，折衷另外一個(gè)，所帶來(lái)的影響也會(huì)逐漸變小，但其理論依然是正確的。

為什么大部分NoSQL不提供分布式事務(wù)

像MongoDB, Cassandra, HBase, DynamoDB, 和

Riak這些NoSQL缺乏傳統(tǒng)的原子事務(wù)機(jī)制，所謂原子事務(wù)機(jī)制是可以保證一系列寫(xiě)操作要么全部完成，要么全部不會(huì)完成，不會(huì)發(fā)生只完成一系列中一兩個(gè)

寫(xiě)操作;因?yàn)閿?shù)據(jù)庫(kù)不提供這種事務(wù)機(jī)制支持，開(kāi)發(fā)者需要自己編寫(xiě)代碼來(lái)確保一系列寫(xiě)操作的事務(wù)機(jī)制，比較復(fù)雜和測(cè)試。

這些NoSQL數(shù)據(jù)庫(kù)不提供事務(wù)機(jī)制原因在于其分布式特點(diǎn)，一系列寫(xiě)操作中訪問(wèn)的數(shù)據(jù)可能位于不同的分區(qū)服務(wù)器，這樣的事務(wù)就變成分布式事務(wù)，在分

布式事務(wù)中實(shí)現(xiàn)原子性需要彼此協(xié)調(diào)，而協(xié)調(diào)是耗費(fèi)時(shí)間的，每臺(tái)機(jī)器在一個(gè)大事務(wù)過(guò)程中必須依次確認(rèn)，這就需要一種協(xié)議確保一個(gè)事務(wù)中沒(méi)有任何一臺(tái)機(jī)器寫(xiě)操

作失敗。

這種協(xié)調(diào)是昂貴的，會(huì)增加延遲時(shí)間，關(guān)鍵問(wèn)題是，當(dāng)協(xié)調(diào)沒(méi)有完成時(shí)，其他操作是不能讀取事務(wù)中寫(xiě)操作結(jié)果的，這是因?yàn)槭聞?wù)的all-or-

nothing原理導(dǎo)致，萬(wàn)一協(xié)調(diào)過(guò)程發(fā)現(xiàn)某個(gè)寫(xiě)操作不能完成，那么需要將其他寫(xiě)操作成功的進(jìn)行回滾。針對(duì)分布式事務(wù)的分布式協(xié)調(diào)對(duì)整體數(shù)據(jù)庫(kù)性能有嚴(yán)重

影響，不只是吞吐量還包括延遲時(shí)間，這樣大部分NoSQL數(shù)據(jù)庫(kù)因?yàn)樾阅軉?wèn)題就選擇不提供分布式事務(wù)。

MongoDB, Riak, HBase, 和 Cassandra提供基于單一鍵的事務(wù)，這是因?yàn)樗行畔⒍己鸵粋€(gè)鍵key有關(guān)，這個(gè)鍵是存儲(chǔ)在單個(gè)服務(wù)器上，這樣基于單鍵的事務(wù)不會(huì)帶來(lái)復(fù)雜的分布式協(xié)調(diào)。

那么看來(lái)擴(kuò)展性性能和分布式事務(wù)是一對(duì)矛盾，總要有取舍?實(shí)際上是不完全是，現(xiàn)在完全有可能提供高擴(kuò)展的性能同時(shí)提供分布式原子事務(wù)。

FIT是這樣一個(gè)在分布式系統(tǒng)提供原子事務(wù)的策略，在fairness公平性, isolation隔離性, 和throughput吞吐量(簡(jiǎn)稱(chēng)FIT)可以權(quán)衡。

一個(gè)支持分布式事務(wù)的可伸縮分布式系統(tǒng)能夠完成這三個(gè)屬性中兩個(gè)，公平是事務(wù)之間不會(huì)相互影響造成延遲;隔離性提供一種幻覺(jué)好像整個(gè)數(shù)據(jù)庫(kù)只有它自

己一個(gè)事務(wù)，隔離性保證當(dāng)任何同時(shí)發(fā)生的事務(wù)發(fā)生沖突時(shí)，能夠保證彼此能看到彼此的寫(xiě)操作結(jié)果，因此減輕了程序員為避免事務(wù)讀寫(xiě)沖突的強(qiáng)邏輯推理要求;吞

吐量是指每單元時(shí)間數(shù)據(jù)庫(kù)能夠并發(fā)處理多少事務(wù)。

FIT是如下進(jìn)行權(quán)衡：

保證公平性fairness 和隔離性isolation, 但是犧牲吞吐量

保證公平性fairness和吞吐量, 犧牲隔離性isolation

保證隔離性isolation和吞吐量throughput, 但是犧牲公平性fairness.

犧牲公平性：放棄公平性，數(shù)據(jù)庫(kù)能有更多機(jī)會(huì)降低分布式事務(wù)的成本，主要成本是分布式協(xié)調(diào)帶來(lái)的，也就是說(shuō)，不需要在每個(gè)事務(wù)過(guò)程內(nèi)對(duì)每個(gè)機(jī)器都依

次確認(rèn)事務(wù)完成，這樣排隊(duì)式的確認(rèn)commit事務(wù)是很浪費(fèi)時(shí)間的，放棄公平性，意味著可以在事務(wù)外面進(jìn)行協(xié)調(diào)，這樣就只是增加了協(xié)調(diào)時(shí)間，不會(huì)增加互相

沖突事務(wù)因?yàn)楸舜藳_突而不能運(yùn)行所耽擱的時(shí)間，當(dāng)系統(tǒng)不需要公平性時(shí)，需要根據(jù)事務(wù)的優(yōu)先級(jí)或延遲等標(biāo)準(zhǔn)進(jìn)行指定先后執(zhí)行順序，這樣就能夠獲得很好的吞吐

量。

G-Store是一種放棄公平性的 Isolation-Throughput

的分布式key-value存儲(chǔ)，支持多鍵事務(wù)(multi-key transactions)，MongoDB 和

HBase在鍵key在同樣分區(qū)上也支持多鍵事務(wù)，但是不支持跨分區(qū)的事務(wù)。

總之：傳統(tǒng)分布式事務(wù)性能不佳的原因是確保原子性(分布式協(xié)調(diào))和隔離性同時(shí)重疊，創(chuàng)建一個(gè)高吞吐量分布式事務(wù)的關(guān)鍵是分離這兩種關(guān)注，這種分離原

子性和隔離性的視角將導(dǎo)致兩種類(lèi)型的系統(tǒng)，第一種選擇是弱隔離性能讓沖突事務(wù)并行執(zhí)行和確認(rèn)提交;第二個(gè)選擇重新排序原子性和隔離性機(jī)制保證它們不會(huì)某個(gè)

時(shí)間重疊，這是一種放棄公平的事務(wù)執(zhí)行，所謂放棄公平就是不再同時(shí)照顧原子性和隔離性了，有所傾斜，放棄高標(biāo)準(zhǔn)道德要求就會(huì)帶來(lái)高自由高效率。

什么是NoSQL數(shù)據(jù)庫(kù)？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類(lèi)型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問(wèn)題，而非關(guān)系型的數(shù)據(jù)庫(kù)則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類(lèi)帶來(lái)的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。

（例如谷歌或Facebook每天為他們的用戶(hù)收集萬(wàn)億比特的數(shù)據(jù)）。這些類(lèi)型的數(shù)據(jù)存儲(chǔ)不需要固定的模式，無(wú)需多余操作就可以橫向擴(kuò)展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 關(guān)系型數(shù)據(jù)庫(kù)與NoSQL的區(qū)別？

3.1 RDBMS

高度組織化結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化查詢(xún)語(yǔ)言（SQL）

數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。

數(shù)據(jù)操縱語(yǔ)言，數(shù)據(jù)定義語(yǔ)言

嚴(yán)格的一致性

基礎(chǔ)事務(wù)

ACID

關(guān)系型數(shù)據(jù)庫(kù)遵循ACID規(guī)則

事務(wù)在英文中是transaction，和現(xiàn)實(shí)世界中的交易很類(lèi)似，它有如下四個(gè)特性：

A (Atomicity) 原子性

原子性很容易理解，也就是說(shuō)事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個(gè)操作失敗，整個(gè)事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶(hù)轉(zhuǎn)100元至B賬戶(hù)，分為兩個(gè)步驟：1）從A賬戶(hù)取100元；2）存入100元至B賬戶(hù)。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢(qián)會(huì)莫名其妙少了100元。

C (Consistency) 一致性

一致性也比較容易理解，也就是說(shuō)數(shù)據(jù)庫(kù)要一直處于一致的狀態(tài)，事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫(kù)原本的一致性約束。

I (Isolation) 獨(dú)立性

所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響，如果一個(gè)事務(wù)要訪問(wèn)的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改，只要另外一個(gè)事務(wù)未提交，它所訪問(wèn)的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個(gè)交易是從A賬戶(hù)轉(zhuǎn)100元至B賬戶(hù)，在這個(gè)交易還未完成的情況下，如果此時(shí)B查詢(xún)自己的賬戶(hù)，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事務(wù)提交后，它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫(kù)上，即使出現(xiàn)宕機(jī)也不會(huì)丟失。

3.2 NoSQL

代表著不僅僅是SQL

沒(méi)有聲明性查詢(xún)語(yǔ)言

沒(méi)有預(yù)定義的模式

鍵 - 值對(duì)存儲(chǔ)，列存儲(chǔ)，文檔存儲(chǔ)，圖形數(shù)據(jù)庫(kù)

最終一致性，而非ACID屬性

非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)

CAP定理

高性能，高可用性和可伸縮性

分布式數(shù)據(jù)庫(kù)中的CAP原理(了解)

CAP定理：

Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動(dòng)都是同步的

Availability(可用性), 好的響應(yīng)性能

Partition tolerance(分區(qū)容錯(cuò)性) 可靠性

P: 系統(tǒng)中任意信息的丟失或失敗不會(huì)影響系統(tǒng)的繼續(xù)運(yùn)作。

定理：任何分布式系統(tǒng)只可同時(shí)滿(mǎn)足二點(diǎn)，沒(méi)法三者兼顧。

CAP理論的核心是：一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿(mǎn)足一致性，可用性和分區(qū)容錯(cuò)性這三個(gè)需求，

因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫(kù)分成了滿(mǎn)足 CA 原則、滿(mǎn)足 CP 原則和滿(mǎn)足 AP 原則三 大類(lèi)：

CA - 單點(diǎn)集群，滿(mǎn)足一致性，可用性的系統(tǒng)，通常在可擴(kuò)展性上不太強(qiáng)大。

CP - 滿(mǎn)足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。

AP - 滿(mǎn)足可用性，分區(qū)容忍性的系統(tǒng)，通?？赡軐?duì)一致性要求低一些。

CAP理論就是說(shuō)在分布式存儲(chǔ)系統(tǒng)中，最多只能實(shí)現(xiàn)上面的兩點(diǎn)。

而由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問(wèn)題，所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。

所以我們只能在一致性和可用性之間進(jìn)行權(quán)衡，沒(méi)有NoSQL系統(tǒng)能同時(shí)保證這三點(diǎn)。

說(shuō)明：C：強(qiáng)一致性 A：高可用性 P：分布式容忍性

舉例：

CA：傳統(tǒng)Oracle數(shù)據(jù)庫(kù)

AP：大多數(shù)網(wǎng)站架構(gòu)的選擇

CP：Redis、Mongodb

注意：分布式架構(gòu)的時(shí)候必須做出取舍。

一致性和可用性之間取一個(gè)平衡。多余大多數(shù)web應(yīng)用，其實(shí)并不需要強(qiáng)一致性。

因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫(kù)產(chǎn)品的方向。

4. 當(dāng)下NoSQL的經(jīng)典應(yīng)用

當(dāng)下的應(yīng)用是 SQL 與 NoSQL 一起使用的。

代表項(xiàng)目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型機(jī)，很貴的，好像好幾萬(wàn)一臺(tái)；O 是指 Oracle 數(shù)據(jù)庫(kù)，也很貴的，好幾萬(wàn)呢；M 是指 EMC 的存儲(chǔ)設(shè)備，也很貴的。

難點(diǎn)：

數(shù)據(jù)類(lèi)型多樣性。

數(shù)據(jù)源多樣性和變化重構(gòu)。

數(shù)據(jù)源改造而服務(wù)平臺(tái)不需要大面積重構(gòu)。