實際系統(tǒng)中有很多操作,是不管做多少次,都應該產(chǎn)生一樣的效果或返回一樣的結(jié)果。例如:
目前創(chuàng)新互聯(lián)已為成百上千家的企業(yè)提供了網(wǎng)站建設、域名、虛擬空間、網(wǎng)站運營、企業(yè)網(wǎng)站設計、德清網(wǎng)站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
前端重復提交選中的數(shù)據(jù),應該后臺只產(chǎn)生對應這個數(shù)據(jù)的一個反應結(jié)果。
我們發(fā)起一筆付款請求,應該只扣用戶賬戶一次錢,當遇到網(wǎng)絡重發(fā)或系統(tǒng)bug重發(fā),也應該只扣一次錢;
發(fā)送消息,也應該只發(fā)一次,同樣的短信發(fā)給用戶,用戶會哭的;
等等很多重要的情況,這些邏輯都需要冪等的特性來支持。
冪等性概念
冪等(idempotent、idempotence)是一個數(shù)學與計算機學概念,常見于抽象代數(shù)中。
在編程中.一個冪等操作的特點是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。冪等函數(shù),或冪等方法,是指可以使用相同參數(shù)重復執(zhí)行,并能獲得相同結(jié)果的函數(shù)。
這些函數(shù)不會影響系統(tǒng)狀態(tài),也不用擔心重復執(zhí)行會對系統(tǒng)造成改變。例如,“getUsername()和setTrue()”函數(shù)就是一個冪等函數(shù).
更復雜的操作冪等保證是利用唯一交易號(流水號)實現(xiàn).
我的理解:冪等就是一個操作,不論執(zhí)行多少次,產(chǎn)生的效果和返回的結(jié)果都是一樣的
技術方案
查詢操作 查詢一次和查詢多次,在數(shù)據(jù)不變的情況下,查詢結(jié)果是一樣的。select是天然的冪等操作
3.唯一索引,防止新增臟數(shù)據(jù) 比如:支付寶的資金賬戶,支付寶也有用戶賬戶,每個用戶只能有一個資金賬戶,怎么防止給用戶創(chuàng)建資金賬戶多個,那么給資金賬戶表中的用戶ID加唯一索引,所以一個用戶新增成功一個資金賬戶記錄
要點: 唯一索引或唯一組合索引來防止新增數(shù)據(jù)存在臟數(shù)據(jù) (當表存在唯一索引,并發(fā)時新增報錯時,再查詢一次就可以了,數(shù)據(jù)應該已經(jīng)存在了,返回結(jié)果即可)
業(yè)務要求:
頁面的數(shù)據(jù)只能被點擊提交一次
發(fā)生原因:由于重復點擊或者網(wǎng)絡重發(fā),或者nginx重發(fā)等情況會導致數(shù)據(jù)被重復提交
解決辦法:集群環(huán)境:采用token加redis(redis單線程的,處理需要排隊) 單JVM環(huán)境:采用token加redis或token加jvm內(nèi)存
處理流程:
數(shù)據(jù)提交前要向服務的申請token,token放到redis或jvm內(nèi)存,token有效時間
提交后后臺校驗token,同時刪除token,生成新的token返回
token特點:
要申請,一次有效性,可以限流
注意:redis要用刪除操作來判斷token,刪除成功代表token校驗通過,如果用select+delete來校驗token,存在并發(fā)問題,不建議使用
獲取數(shù)據(jù)的時候加鎖獲取
select * from table_xxx where id='xxx' for update;
注意:id字段一定是主鍵或者唯一索引,不然是鎖表,會死人的
悲觀鎖使用時一般伴隨事務一起使用,數(shù)據(jù)鎖定時間可能會很長,根據(jù)實際情況選用
樂觀鎖只是在更新數(shù)據(jù)那一刻鎖表,其他時間不鎖表,所以相對于悲觀鎖,效率更高。
樂觀鎖的實現(xiàn)方式多種多樣可以通過version或者其他狀態(tài)條件:
1、通過版本號實現(xiàn)
update table_xxx set name=#name#,version=version+1 where version=#version#`
如下圖(來自網(wǎng)上):
2、通過條件限制
update tablexxx set avaiamount=avaiamount-#subAmount# where avaiamount-#subAmount# >= 0`
要求:quality-#subQuality# >= ,這個情景適合不用版本號,只更新是做數(shù)據(jù)安全校驗,適合庫存模型,扣份額和回滾份額,性能更高
注意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖,否則更新時會鎖表,上面兩個sql改成下面的兩個更好
`update tablexxx set name=#name#,version=version+1 where id=#id# and version=#version#update tablexxx set avaiamount=avaiamount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0`
還是拿插入數(shù)據(jù)的例子,如果是分布是系統(tǒng),構建全局唯一索引比較困難,例如唯一性的字段沒法確定
這時候可以引入分布式鎖,通過第三方的系統(tǒng)(redis或zookeeper),在業(yè)務系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù),獲取分布式鎖,然后做操作,之后釋放鎖
這樣其實是把多線程并發(fā)的鎖的思路,引入多多個系統(tǒng),也就是分布式系統(tǒng)中得解決思路。
要點:某個長流程處理過程要求不能并發(fā)執(zhí)行,可以在流程執(zhí)行之前根據(jù)某個標志(用戶ID+后綴等)獲取分布式鎖,其他流程執(zhí)行時獲取鎖就會失敗,也就是同一時間該流程只能有一個能執(zhí)行成功,執(zhí)行完成后,釋放分布式鎖(分布式鎖要第三方系統(tǒng)提供)
并發(fā)不高的后臺系統(tǒng),或者一些任務JOB,為了支持冪等,支持重復執(zhí)行,簡單的處理方法是,先查詢下一些關鍵數(shù)據(jù),判斷是否已經(jīng)執(zhí)行過,在進行業(yè)務處理,就可以了
注意:核心高并發(fā)流程不要用這種方法
在設計單據(jù)相關的業(yè)務,或者是任務相關的業(yè)務,肯定會涉及到狀態(tài)機(狀態(tài)變更圖),就是業(yè)務單據(jù)上面有個狀態(tài),狀態(tài)在不同的情況下會發(fā)生變更,一般情況下存在有限狀態(tài)機
如果狀態(tài)機已經(jīng)處于下一個狀態(tài),這時候來了一個上一個狀態(tài)的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態(tài)機的冪等。
注意:訂單等單據(jù)類業(yè)務,存在很長的狀態(tài)流轉(zhuǎn),一定要深刻理解狀態(tài)機,對業(yè)務系統(tǒng)設計能力提高有很大幫助
如銀聯(lián)提供的付款接口:需要接入商戶提交付款請求時附帶:source來源,seq序列號
source+seq在數(shù)據(jù)庫里面做唯一索引,防止多次付款,(并發(fā)時,只能處理一個請求)
重點對外提供接口為了支持冪等調(diào)用,接口有兩個字段必須傳,一個是來源source,一個是來源方序列號seq,這個兩個字段在提供方系統(tǒng)里面做聯(lián)合唯一索引
這樣當?shù)谌秸{(diào)用時,先在本方系統(tǒng)里面查詢一下,是否已經(jīng)處理過,返回相應處理結(jié)果;沒有處理過,進行相應處理,返回結(jié)果。
注意,為了冪等友好,一定要先查詢一下,是否處理過該筆業(yè)務,不查詢直接插入業(yè)務系統(tǒng),會報錯,但實際已經(jīng)處理了。
總結(jié)
冪等性應該是合格程序員的一個基因,在設計系統(tǒng)時,是首要考慮的問題,尤其是在像支付寶,銀行,互聯(lián)網(wǎng)金融公司等涉及的都是錢的系統(tǒng),既要高效,數(shù)據(jù)也要準確,所以不能出現(xiàn)多扣款,多打款等問題,這樣會很難處理,用戶體驗也不好