修改方法
成都創(chuàng)新互聯(lián)專注于阜新網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供阜新營銷型網(wǎng)站建設(shè),阜新網(wǎng)站制作、阜新網(wǎng)頁設(shè)計(jì)、阜新網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù),打造阜新網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供阜新網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
有兩種方法可以對(duì)配置了 systemd 的程序進(jìn)行資源隔離:1. 命令行修改:通過執(zhí)行?systemctl set-property?命令實(shí)現(xiàn),形式為?systemctl set-property?name parameter=value;修改默認(rèn)即時(shí)生效。2. 手工修改文件:直接編輯程序的 systemd unit file 文件,完成之后需手工執(zhí)行?systemctl?daemon-reload?更新配置,并重啟服務(wù)?systemctl restart name.service。
systemd unit file 里支持的資源隔離配置項(xiàng),如常見的:
CPUQuota=value
該參數(shù)表示服務(wù)可以獲取的最大 CPU 時(shí)間,value 為百分?jǐn)?shù)形式,高于 100% 表示可使用?1 核以上的?CPU。與 cgroup cpu 控制器?cpu.cfs_quota_us?配置項(xiàng)對(duì)應(yīng)。
MemoryLimit=value
該參數(shù)表示服務(wù)可以使用的最大內(nèi)存量,value 可以使用 K, M, G, T 等后綴表示值的大小。與 cgroup?memory 控制器?memory.limit_in_bytes?配置項(xiàng)對(duì)應(yīng)。
事務(wù)的4種隔離級(jí)別
READ UNCOMMITTED ? ? ? 未提交讀,可以讀取未提交的數(shù)據(jù)。
READ COMMITTED ? ? ? ? 已提交讀,對(duì)于鎖定讀(select with for update 或者 for share)、update 和 delete 語句,InnoDB 僅鎖定索引記錄,而不鎖定它們之間的間隙,因此允許在鎖定的記錄旁邊自由插入新記錄。 ? ? ? ? ? ? ? ? ? ?
Gap locking 僅用于外鍵約束檢查和重復(fù)鍵檢查。
REPEATABLE READ ? ? ? ?可重復(fù)讀,事務(wù)中的一致性讀取讀取的是事務(wù)第一次讀取所建立的快照。
SERIALIZABLE ? ? ? ? ? 序列化在了解了 4 種隔離級(jí)別的需求后,在采用鎖控制隔離級(jí)別的基礎(chǔ)上,我們需要了解加鎖的對(duì)象(數(shù)據(jù)本身間隙),以及了解整個(gè)數(shù)據(jù)范圍的全集組成。
數(shù)據(jù)范圍全集組成
SQL 語句根據(jù)條件判斷不需要掃描的數(shù)據(jù)范圍(不加鎖);
SQL 語句根據(jù)條件掃描到的可能需要加鎖的數(shù)據(jù)范圍;
以單個(gè)數(shù)據(jù)范圍為例,數(shù)據(jù)范圍全集包含:(數(shù)據(jù)范圍不一定是連續(xù)的值,也可能是間隔的值組成)
加鎖情況與死鎖原因分析
為方便大家復(fù)現(xiàn),完整表結(jié)構(gòu)和數(shù)據(jù)如下:
CREATE TABLE `t3` (
`c1` int(11) NOT NULL AUTO_INCREMENT,
`c2` int(11) DEFAULT NULL,
PRIMARY KEY (`c1`),
UNIQUE KEY `c2` (`c2`)
) ENGINE=InnoDB
insert into t3 values(1,1),(15,15),(20,20);
在 session1 執(zhí)行 commit 的瞬間,我們會(huì)看到 session2、session3 的其中一個(gè)報(bào)死鎖。這個(gè)死鎖是這樣產(chǎn)生的:
1.?session1 執(zhí)行 delete ?會(huì)在唯一索引 c2 的 c2 = 15 這一記錄上加 X lock(也就是在MySQL 內(nèi)部觀測(cè)到的:X Lock but not gap);
2.?session2 和 session3 在執(zhí)行 insert 的時(shí)候,由于唯一約束檢測(cè)發(fā)生唯一沖突,會(huì)加 S Next-Key Lock,即對(duì) (1,15] 這個(gè)區(qū)間加鎖包括間隙,并且被 seesion1 的 X Lock 阻塞,進(jìn)入等待;
3.?session1 在執(zhí)行 commit 后,會(huì)釋放 X Lock,session2 和 session3 都獲得 S Next-Key Lock;
4.?session2 和 session3 繼續(xù)執(zhí)行插入操作,這個(gè)時(shí)候 INSERT INTENTION LOCK(插入意向鎖)出現(xiàn)了,并且由于插入意向鎖會(huì)被 gap 鎖阻塞,所以 session2 和 session3 互相等待,造成死鎖。
死鎖日志如下:
請(qǐng)點(diǎn)擊輸入圖片描述
INSERT INTENTION LOCK
在之前的死鎖分析第四點(diǎn),如果不分析插入意向鎖,也是會(huì)造成死鎖的,因?yàn)椴迦胱罱K還是要對(duì)記錄加 X Lock 的,session2 和 session3 還是會(huì)互相阻塞互相等待。
但是插入意向鎖是客觀存在的,我們可以在官方手冊(cè)中查到,不可忽略:
Prior to inserting the row, a type of gap lock called an insert intention gap lock is set. This lock signals the intent to insert in such a way that multiple transactions inserting into the same index gap need not wait for each other if they are not inserting at the same position within the gap.
插入意向鎖其實(shí)是一種特殊的 gap lock,但是它不會(huì)阻塞其他鎖。假設(shè)存在值為 4 和 7 的索引記錄,嘗試插入值 5 和 6 的兩個(gè)事務(wù)在獲取插入行上的排它鎖之前使用插入意向鎖鎖定間隙,即在(4,7)上加 gap lock,但是這兩個(gè)事務(wù)不會(huì)互相沖突等待。
當(dāng)插入一條記錄時(shí),會(huì)去檢查當(dāng)前插入位置的下一條記錄上是否存在鎖對(duì)象,如果下一條記錄上存在鎖對(duì)象,就需要判斷該鎖對(duì)象是否鎖住了 gap。如果 gap 被鎖住了,則插入意向鎖與之沖突,進(jìn)入等待狀態(tài)(插入意向鎖之間并不互斥)。總結(jié)一下這把鎖的屬性:
1. 它不會(huì)阻塞其他任何鎖;
2. 它本身僅會(huì)被 gap lock 阻塞。
在學(xué)習(xí) MySQL 過程中,一般只有在它被阻塞的時(shí)候才能觀察到,所以這也是它常常被忽略的原因吧...
GAP LOCK
在此例中,另外一個(gè)重要的點(diǎn)就是 gap lock,通常情況下我們說到 gap lock 都只會(huì)聯(lián)想到 REPEATABLE-READ 隔離級(jí)別利用其解決幻讀。但實(shí)際上在 READ-COMMITTED 隔離級(jí)別,也會(huì)存在 gap lock ,只發(fā)生在:唯一約束檢查到有唯一沖突的時(shí)候,會(huì)加 S Next-key Lock,即對(duì)記錄以及與和上一條記錄之間的間隙加共享鎖。
通過下面這個(gè)例子就能驗(yàn)證:
請(qǐng)點(diǎn)擊輸入圖片描述
這里 session1 插入數(shù)據(jù)遇到唯一沖突,雖然報(bào)錯(cuò),但是對(duì) (15,20] 加的 S Next-Key Lock 并不會(huì)馬上釋放,所以 session2 被阻塞。另外一種情況就是本文開始的例子,當(dāng) session2 插入遇到唯一沖突但是因?yàn)楸?X Lock 阻塞,并不會(huì)立刻報(bào)錯(cuò) “Duplicate key”,但是依然要等待獲取 S Next-Key Lock 。
有個(gè)困惑很久的疑問:出現(xiàn)唯一沖突需要加 S Next-Key Lock 是事實(shí),但是加鎖的意義是什么?還是說是通過 S Next-Key Lock 來實(shí)現(xiàn)的唯一約束檢查,但是這樣意味著在插入沒有遇到唯一沖突的時(shí)候,這個(gè)鎖會(huì)立刻釋放,這不符合二階段鎖原則。這點(diǎn)希望能與大家一起討論得到好的解釋。
如果是在 REPEATABLE-READ,除以上所說的唯一約束沖突外,gap lock 的存在是這樣的:
普通索引(非唯一索引)的S/X Lock,都帶 gap 屬性,會(huì)鎖住記錄以及前1條記錄到后1條記錄的左閉右開區(qū)間,比如有[4,6,8]記錄,delete 6,則會(huì)鎖住[4,8)整個(gè)區(qū)間。
對(duì)于 gap lock,相信 DBA 們的心情是一樣一樣的,所以我的建議是:
1. 在絕大部分的業(yè)務(wù)場景下,都可以把 MySQL 的隔離界別設(shè)置為 READ-COMMITTED;
2. 在業(yè)務(wù)方便控制字段值唯一的情況下,盡量減少表中唯一索引的數(shù)量。
鎖沖突矩陣
前面我們說的 GAP LOCK 其實(shí)是鎖的屬性,另外我們知道 InnoDB 常規(guī)鎖模式有:S 和 X,即共享鎖和排他鎖。鎖模式和鎖屬性是可以隨意組合的,組合之后的沖突矩陣如下,這對(duì)我們分析死鎖很有幫助:
請(qǐng)點(diǎn)擊輸入圖片描述
多線程開啟事務(wù)處理。每個(gè)事務(wù)有多個(gè)update操作和一個(gè)insert操作(都在同一張表)。
默認(rèn)隔離級(jí)別:Repeatable Read
只有hotel_id=2和hotel_id=11111的數(shù)據(jù)
邏輯刪除原有數(shù)據(jù)
插入新的數(shù)據(jù)
根據(jù)現(xiàn)有數(shù)據(jù)情況,update的時(shí)候沒有數(shù)據(jù)被更新
報(bào)了非常多一樣的錯(cuò)
發(fā)現(xiàn)居然有死鎖。
根據(jù)常識(shí)考慮,我每個(gè)線程(事務(wù))更新的數(shù)據(jù)都不沖突,為什么會(huì)產(chǎn)生死鎖?
帶著這個(gè)問題,打印mysql最近一次的死鎖信息
show engine innodb status
顯示如下
發(fā)現(xiàn)事務(wù)1在等待一個(gè)鎖
事務(wù)2也在等待一個(gè)鎖
而且事物2持有了事物1需要的鎖
關(guān)于鎖的描述,出現(xiàn)了 lock_mode , gap before rec , insert intention 等字眼,看不懂說明了什么?說明我關(guān)于mysql的鎖相關(guān)的知識(shí)儲(chǔ)備還不夠。那就開始調(diào)查mysql的鎖相關(guān)知識(shí)。
通過搜索引擎,
鎖的持有兼容程度如下表
那么再回到死鎖日志,可以知道 :
事務(wù)1正在獲取插入意向鎖
事務(wù)2正在獲取插入意向鎖,持有排他gap鎖
再看我們上面的鎖兼容表格,可以知道, gap lock和insert intention lock是不兼容的
那么就可以推斷出: 事務(wù)1持有g(shù)ap lock,等待事務(wù)2的insert intention lock釋放;事務(wù)2持有g(shù)ap lock,等待事務(wù)1的insert intention lock釋放,從而導(dǎo)致死鎖。
那么新的問題就來了,事務(wù)1的intention lock 為什么會(huì)和事務(wù)2的gap lock 有交集,或者說,事務(wù)1要插入的數(shù)據(jù)的位置為什么會(huì)被事務(wù)2給鎖住?
讓我回顧一下gap lock的定義:
間隙鎖,鎖定一個(gè)范圍,但不包括記錄本身。GAP鎖的目的,是為了防止同一事務(wù)的兩次當(dāng)前讀,出現(xiàn)幻讀的情況
那為什么是gap lock,gap lock到底是基于什么邏輯鎖的記錄?發(fā)現(xiàn)自己相關(guān)的知識(shí)儲(chǔ)備還不夠。那就開始調(diào)查。
調(diào)查后發(fā)現(xiàn),當(dāng)當(dāng)前索引是一個(gè) 普通索引 的時(shí)候,會(huì)加一個(gè)gap lock來防止幻讀, 此gap lock 會(huì)鎖住一個(gè)左開右閉的區(qū)間。 假設(shè)索引為xx_idx(xx_id),數(shù)據(jù)分布為1,4,6,8,12,當(dāng)更新xx_id=9的時(shí)候,這個(gè)時(shí)候gap lock的鎖定記錄區(qū)間就是(8,12],也就是鎖住了xxid in (9,10,11,12)的數(shù)據(jù),當(dāng)有其他事務(wù)要插入xxid in (9,10,11,12)的數(shù)據(jù)時(shí),就會(huì)處于等待獲取鎖的狀態(tài)。
ps:當(dāng)前索引不是普通索引,而且是唯一索引等其他情況,請(qǐng)參考下面資料
MySQL 加鎖處理分析
回到我自己的案例中,重新屢一下事務(wù)1的執(zhí)行過程:
因?yàn)槠胀ㄋ饕?/p>
KEY hotel_date_idx ( hotel_id , rate_date )
的關(guān)系 這段sql會(huì)獲取一個(gè)gap lock,范圍(2,11111]
這段sql會(huì)獲取一個(gè)insert intention lock (waiting)
再看事務(wù)2的執(zhí)行過程
因?yàn)槠胀ㄋ饕?/p>
KEY hotel_date_idx ( hotel_id , rate_date )
的關(guān)系 這段sql也會(huì)獲取一個(gè)gap lock,范圍也是(2,11111](根據(jù)前面的知識(shí),gap lock之間會(huì)互相兼容,可以一起持有鎖的)
這段sql也會(huì)獲取一個(gè)insert intention lock (waiting)
看到這里,基本也就破案了。因?yàn)槠胀ㄋ饕年P(guān)系,事務(wù)1和事務(wù)2的gap lock的覆蓋范圍太廣,導(dǎo)致其他事務(wù)無法插入數(shù)據(jù)。
重新梳理一下:
所以從結(jié)果來看,一堆事務(wù)被回滾,只有10007數(shù)據(jù)被更新成功
gap lock 導(dǎo)致了并發(fā)處理的死鎖
在mysql默認(rèn)的事務(wù)隔離級(jí)別(repeatable read)下,無法避免這種情況。只能把并發(fā)處理改成同步處理?;蛘邚臉I(yè)務(wù)層面做處理。
共享鎖、排他鎖、意向共享、意向排他
record lock、gap lock、next key lock、insert intention lock
show engine innodb status
接上篇 事務(wù)隔離級(jí)別和幻讀 ,留了個(gè)坑,沒想到竟然過了10天,時(shí)間不注意真的過的好快。順便提下,圖片鏈接是屬于網(wǎng)站的,開發(fā)自己的圖床迫在眉睫,萬一哪天遷移就要做很多額外工作,一些概念或者思路用圖片表達(dá)更直觀清楚。
回到正題,之前提到一般情況下MySQL的InnoDB引擎在可重復(fù)讀的情況下是沒法保證不出現(xiàn)幻讀的,但實(shí)際情況是MySQL可以通過加鎖來防止幻讀的出現(xiàn),這種鎖定通過Next-key機(jī)制來實(shí)現(xiàn),是屬于記錄鎖和間隙鎖(Gap鎖)的結(jié)合。
引申,行級(jí)別鎖的三種算法:
舉個(gè)存在唯一索引和輔助索引的例子做說明:
執(zhí)行 select * from test where b = 3 for update
存在兩個(gè)索引,分別加鎖,唯一主鍵列a加record lock , 輔助索引列b加next-key lock (1,3) 以及給下一個(gè)值的區(qū)間(3,6)加gap鎖;
因此在另一個(gè)事務(wù)里執(zhí)行以下語句都會(huì)阻塞,具體分析:
第一個(gè)阻塞因?yàn)榧恿宋ㄒ凰饕膔ecord lock a = 5;
第二個(gè)主鍵插入4,符合條件,但是根據(jù)輔助索引b 的范圍, b = 2 在(1,3)中,同樣阻塞;
第三個(gè)a =6 不在主鍵a鎖定范圍,b = 5 也不在輔助索引b 的范圍(1,3)中,但在另一個(gè)gap鎖范圍(3,6)中,因此也阻塞;
這種鎖定情形下,可以執(zhí)行的包括類似語句:
insert的特殊情況
對(duì)于insert 會(huì)檢查下一條記錄是否被鎖定,如上述例子有 select * from test where b = 3 for update 插入 insert into test select 2,2 會(huì)檢測(cè)到b = 3 已經(jīng)被鎖定,而 insert into test select 2,0 可以執(zhí)行;
[1]:《MySQL技術(shù)內(nèi)幕:InnoDB存儲(chǔ)引擎》-第六章:鎖