最近在學(xué)習(xí)MongoDB的過程中,接觸到一個(gè)新名詞——冪等性。
先來看一下度娘的解釋。
冪等
冪等(idempotent、idempotence)是一個(gè)數(shù)學(xué)與計(jì)算機(jī)學(xué)概念,常見于抽象代數(shù)中。
在編程中,一個(gè)冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。
冪等函數(shù),或冪等方法,是指可以使用相同參數(shù)重復(fù)執(zhí)行,并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會(huì)影響系統(tǒng)狀態(tài),也不用擔(dān)心重復(fù)執(zhí)行會(huì)對(duì)系統(tǒng)造成改變。例如,“setTrue()”函數(shù)就是一個(gè)冪等函數(shù),無論多次執(zhí)行,其結(jié)果都是一樣的.更復(fù)雜的操作冪等保證是利用唯一交易號(hào)(流水號(hào))實(shí)現(xiàn)。
看懂了嗎?這個(gè)解釋比較抽象,不要著急。接下來看一下什么是冪等性問題。
冪等性問題
所謂冪等,簡(jiǎn)單地說,就是對(duì)接口的多次調(diào)用所產(chǎn)生的結(jié)果和調(diào)用一次是一致的。擴(kuò)展一下,這里的接口,可以理解為對(duì)外發(fā)布的HTTP接口或者其他接口,也可以是接收消息的內(nèi)部接口,甚至是一個(gè)內(nèi)部方法或操作。
那么我們?yōu)槭裁葱枰涌诰哂袃绲刃阅兀吭O(shè)想一下以下情形:
-
在App中下訂單的時(shí)候,點(diǎn)擊確認(rèn)之后,沒反應(yīng),就又點(diǎn)擊了幾次。在這種情況下,如果無法保證該接口的冪等性,那么將會(huì)出現(xiàn)重復(fù)下單問題。
-
在接收消息的時(shí)候,消息推送重復(fù)。如果處理消息的接口無法保證冪等,那么重復(fù)消費(fèi)消息產(chǎn)生的影響可能會(huì)非常大。
在分布式環(huán)境中,網(wǎng)絡(luò)環(huán)境更加復(fù)雜,因前端操作抖動(dòng)、網(wǎng)絡(luò)故障、消息重復(fù)、響應(yīng)速度慢等原因,對(duì)接口的重復(fù)調(diào)用概率會(huì)比集中式環(huán)境下更大,尤其是重復(fù)消息在分布式環(huán)境中很難避免。
分布式環(huán)境中,有些接口是天然保證冪等性的,如查詢操作。有些對(duì)數(shù)據(jù)的修改是一個(gè)常量,并且無其他記錄和操作,那也可以說是具有冪等性的。其他情況下,所有涉及對(duì)數(shù)據(jù)的修改、狀態(tài)的變更就都有必要防止重復(fù)性操作的發(fā)生。通過間接的實(shí)現(xiàn)接口的冪等性來防止重復(fù)操作所帶來的影響,成為了一種有效的解決方案。
看了上面App的例子好理解多了。那冪等性在并發(fā)系統(tǒng)中如何保證呢?
高并發(fā)系統(tǒng)中如何保證數(shù)據(jù)冪等性
在系統(tǒng)開發(fā)過程中,經(jīng)常遇到數(shù)據(jù)重復(fù)插入、重復(fù)更新、消息重發(fā)發(fā)送等等問題,因?yàn)閼?yīng)用系統(tǒng)的復(fù)雜邏輯以及網(wǎng)絡(luò)交互存在的不確定性,會(huì)導(dǎo)致這一重復(fù)現(xiàn)象,但是有些邏輯是需要有冪等特性的,否則造成的后果會(huì)比較嚴(yán)重,例如訂單重復(fù)創(chuàng)建,這時(shí)候帶來的問題可是非同一般啊。
一、系統(tǒng)的冪等性
冪等是數(shù)據(jù)中得一個(gè)概念,表示N次變換和1次變換的結(jié)果相同。
二、高并發(fā)的系統(tǒng)如何保證冪等性
1、查詢
查詢的API,可以說是天然的冪等性,因?yàn)槟悴樵円淮魏筒樵儍纱?,?duì)于系統(tǒng)來講,沒有任何數(shù)據(jù)的變更,所以,查詢一次和查詢多次一樣的;
2、MVCC方案
多版本并發(fā)控制,update with condition更新帶條件,這也是在系統(tǒng)設(shè)計(jì)的時(shí)候,合理的選擇樂觀鎖,通過version或者其他條件,來做樂觀鎖,這樣保證更新及時(shí)在并發(fā)的情況下,也不會(huì)有太大的問題。
例如update table_xxx set name=#name#,version=version+1 where version=#version# ,或者是 update table_xxx set quality=quality-#subQuality# where quality-#subQuality# >= 0
3、單獨(dú)的去重表
如果涉及到的去重的地方特別多,例如ERP系統(tǒng)中有各種各樣的業(yè)務(wù)單據(jù),每一種業(yè)務(wù)單據(jù)都需要去重,這時(shí)候,可以單獨(dú)搞一張去重表,在插入數(shù)據(jù)的時(shí)候,插入去重表,利用數(shù)據(jù)庫的唯一索引特性,保證唯一的邏輯;
4、分布式鎖
還是拿插入數(shù)據(jù)的例子,如果是分布是系統(tǒng),構(gòu)建唯一索引比較困難,例如唯一性的字段沒法確定,這時(shí)候可以引入分布式鎖,通過第三方的系統(tǒng),在業(yè)務(wù)系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù),獲取分布式鎖,然后做操作,之后釋放鎖,這樣其實(shí)是把多線程并發(fā)的鎖的思路,引入多多個(gè)系統(tǒng),也就是分布式系統(tǒng)中得解決思路;
5、刪除數(shù)據(jù)
刪除數(shù)據(jù),僅僅第一次刪除是真正的操作數(shù)據(jù),第二次甚至第三次刪除,直接返回成功,這樣保證了冪等;
6、插入數(shù)據(jù)的唯一索引
插入數(shù)據(jù)的唯一性,可以通過業(yè)務(wù)主鍵來進(jìn)行約束,例如一個(gè)特定的業(yè)務(wù)場(chǎng)景,三個(gè)字段肯定確定唯一性,那么,可以在數(shù)據(jù)庫表添加唯一索引來進(jìn)行標(biāo)示。
這里有一個(gè)場(chǎng)景,API層面的冪等,例如提交數(shù)據(jù),如何控制重復(fù)提交,這里可以在提交數(shù)據(jù)的form表單或者客戶端軟件,增加一個(gè)唯一標(biāo)示,然后服務(wù)端,根據(jù)這個(gè)UUID來進(jìn)行去重,這樣就能比較好的做到API層面的唯一標(biāo)示
看到這里,你也許對(duì)冪等性已經(jīng)有了深入的理解。最后,我們看一下MongoDB中的冪等性。
MongoDB中的冪等性
MongoDB是由C++語言所編寫的一種面向文檔的非關(guān)系型數(shù)據(jù)庫(是一種NoSql數(shù)據(jù)庫實(shí)現(xiàn)),也是介于關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)存儲(chǔ)產(chǎn)品,其提供了高性能、高可用、高可拓展及基于分布式存儲(chǔ)的數(shù)據(jù)庫,是非關(guān)系型數(shù)據(jù)庫中功能最豐富,最類似關(guān)系型數(shù)據(jù)庫的一種集合、文檔格式的數(shù)據(jù)庫。
在MongoDB中,文檔的操作不支持事務(wù),但是其對(duì)文檔的保存,修改及刪除等都是原子的,也就是要么操作完成,要么操作不完成,不存在中間不確定狀態(tài),因此可以保證數(shù)據(jù)的完整性。
MongoDB官方提供了一種做法,就是分兩階段提交,基本原理就是利用寫操作的冪等性,但是有個(gè)前提條件:業(yè)務(wù)實(shí)現(xiàn)過程中,可以忽略中間態(tài)的不一致性,但最終結(jié)果是一致的,實(shí)際上絕大多數(shù)需求,只要結(jié)果一致就可,也希望MongoDB在這方面做更好的拓展和優(yōu)化。
1、數(shù)據(jù)模型
舉個(gè)例子,不過我們需要為文檔新增一個(gè)計(jì)數(shù)器字段,它沒有實(shí)際的業(yè)務(wù)作用,只是用來作為操作原子性的標(biāo)志位avaliable,具體代碼如下:
{
"_id" :ObjectId("57e89964b316d2e13cc0ba9b"),
"username" :"marky@123.com",
"nickname" : "marky",
"address" : "云端路1024號(hào),柯南私募基金大廈",
"contact" :"13141250012",
"created" : "2012-07-07", "orders" : [
ObjectId("57e89b3ab316d2e13cc0ba9c"),
ObjectId("57e89bcfb316d2e13cc0ba9d")
],
"available": 1}
注意:
此種添加一個(gè)計(jì)數(shù)器標(biāo)志位的方式雖然可以實(shí)現(xiàn)原子性,但對(duì)于業(yè)務(wù)的緊密度及可理解方面不友好,所以實(shí)際上,我們只在比較敏感的文檔操作時(shí)才使用,比如:金錢交易等。
2、如何操作
如何操作?其實(shí)就是使用findAndModify()方法實(shí)現(xiàn)即可,如果找到的文檔的計(jì)數(shù)器available值不為-1為大于0時(shí),則代表有新的操作狀態(tài),然后在更新新的操作,同時(shí)同步修改available為默認(rèn)值,具體如下:
>db.user.findAndModify({query:{_id:ObjectId("57e89964b316d2e13cc0ba9b"), available:{$gt:0}},update:{$inc:{ available:-1},$set:{created:'2012-07-08'}}})
返回的結(jié)果:
{
"_id" : ObjectId("57e89964b316d2e13cc0ba9b"),
"username" :"marky@123.com",
"nickname" : "marky",
"address" : "云端路1024號(hào),柯南私募基金大廈",
"contact" :"13141250012",
"created" :"2012-07-08", "orders" : [
ObjectId("57e89b3ab316d2e13cc0ba9c"),
ObjectId("57e89bcfb316d2e13cc0ba9d")
],
" available" : 0}
~~~~~~~ the end~~~~~~~~~
hoegh
2017.04.05
文章標(biāo)題:mongoDB中的冪等性
地址分享:
http://weahome.cn/article/gojsod.html