鎖產(chǎn)生的原因是因為請求某個資源而得不到滿足。
創(chuàng)新互聯(lián)是專業(yè)的龍海網(wǎng)站建設(shè)公司,龍海接單;提供成都網(wǎng)站建設(shè)、網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行龍海網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!
比如請求一需要資源順序為A - B -C
第二個請求需要的資源順序為B - A -C
當上面兩個請求同時進行時會有可能產(chǎn)生以下情況:請求一申請了資源A,請求二申請了資源B
然后請求一再去申請資源B時需要等待請求二完成,請求二去請求資源A時要等請求一完成。這樣請求一和請求二都在互相等待的時候就會一直都完不成就等于一個鎖鎖住了A、B資源誰也用不了了。
鎖差生的原因是:數(shù)據(jù)庫并發(fā)太高、程序設(shè)計不合理、數(shù)據(jù)庫操作處理時間太長。等
知道原理后可以針對性的優(yōu)化數(shù)據(jù)庫和程序。
鎖是計算機協(xié)調(diào)多個進程或線程并發(fā)訪問某一資源的機制,在數(shù)據(jù)庫中,除傳統(tǒng)的計算資源(CPU、RAM、I/O)爭用外,數(shù)據(jù)也是一種供許多用戶共享的資源,如何保證數(shù)據(jù)并發(fā)訪問的一致性,有效性是所有數(shù)據(jù)庫必須解決的一個問題,鎖沖突也是影響數(shù)據(jù)庫并發(fā)訪問性能的一個重要因素,從這個角度來說,鎖對數(shù)據(jù)庫而言是尤其重要,也更加復(fù)雜。MySQL中的鎖,按照鎖的粒度分為:1、全局鎖,就鎖定數(shù)據(jù)庫中的所有表。2、表級鎖,每次操作鎖住整張表。3、行級鎖,每次操作鎖住對應(yīng)的行數(shù)據(jù)。
全局鎖就是對整個數(shù)據(jù)庫實例加鎖,加鎖后整個實例就處于只讀狀態(tài),后續(xù)的DML的寫語句,DDL語句,已經(jīng)更新操作的事務(wù)提交語句都將阻塞。其典型的使用場景就是做全庫的邏輯備份,對所有的表進行鎖定,從而獲取一致性視圖,保證數(shù)據(jù)的完整性。但是對數(shù)據(jù)庫加全局鎖是有弊端的,如在主庫上備份,那么在備份期間都不能執(zhí)行更新,業(yè)務(wù)會受影響,第二如果是在從庫上備份,那么在備份期間從庫不能執(zhí)行主庫同步過來的二進制日志,會導(dǎo)致主從延遲。
解決辦法是在innodb引擎中,備份時加上--single-transaction參數(shù)來完成不加鎖的一致性數(shù)據(jù)備份。
添加全局鎖: flush tables with read lock; 解鎖 unlock tables。
表級鎖,每次操作會鎖住整張表.鎖定粒度大,發(fā)送鎖沖突的概率最高,并發(fā)讀最低,應(yīng)用在myisam、innodb、BOB等存儲引擎中。表級鎖分為: 表鎖、元數(shù)據(jù)鎖(meta data lock, MDL)和意向鎖。
表鎖又分為: 表共享讀鎖 read lock、表獨占寫鎖write lock
語法: 1、加鎖 lock tables 表名 ... read/write
2、釋放鎖 unlock tables 或者關(guān)閉客戶端連接
注意: 讀鎖不會阻塞其它客戶端的讀,但是會阻塞其它客戶端的寫,寫鎖既會阻塞其它客戶端的讀,又會阻塞其它客戶端的寫。大家可以拿一張表來測試看看。
元數(shù)據(jù)鎖,在加鎖過程中是系統(tǒng)自動控制的,無需顯示使用,在訪問一張表的時候會自動加上,MDL鎖主要作用是維護表元數(shù)據(jù)的數(shù)據(jù)一致性,在表上有活動事務(wù)的時候,不可以對元數(shù)據(jù)進行寫入操作。為了避免DML和DDL沖突,保證讀寫的正確性。
在MySQL5.5中引入了MDL,當對一張表進行增刪改查的時候,加MDL讀鎖(共享);當對表結(jié)構(gòu)進行變更操作時,加MDL寫鎖(排他).
查看元數(shù)據(jù)鎖:
select object_type,object_schema,object_name,lock_type,lock_duration from performance_schema_metadata_locks;
意向鎖,為了避免DML在執(zhí)行時,加的行鎖與表鎖的沖突,在innodb中引入了意向鎖,使得表鎖不用檢查每行數(shù)據(jù)是否加鎖,使用意向鎖來減少表鎖的檢查。意向鎖分為,意向共享鎖is由語句select ... lock in share mode添加。意向排他鎖ix,由insert,update,delete,select。。。for update 添加。
select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_lock;
行級鎖,每次操作鎖住對應(yīng)的行數(shù)據(jù),鎖定粒度最小,發(fā)生鎖沖突的概率最高,并發(fā)讀最高,應(yīng)用在innodb存儲引擎中。
innodb的數(shù)據(jù)是基于索引組織的,行鎖是通過對索引上的索引項加鎖來實現(xiàn)的,而不是對記錄加的鎖,對于行級鎖,主要分為以下三類:
1、行鎖或者叫record lock記錄鎖,鎖定單個行記錄的鎖,防止其他事物對次行進行update和delete操作,在RC,RR隔離級別下都支持。
2、間隙鎖Gap lock,鎖定索引記錄間隙(不含該記錄),確保索引記錄間隙不變,防止其他事物在這個間隙進行insert操作,產(chǎn)生幻讀,在RR隔離級別下都支持。
3、臨鍵鎖Next-key-lock,行鎖和間隙鎖組合,同時鎖住數(shù)據(jù),并鎖住數(shù)據(jù)前面的間隙Gap,在RR隔離級別下支持。
innodb實現(xiàn)了以下兩種類型的行鎖
1、共享鎖 S: 允許一個事務(wù)去讀一行,阻止其他事務(wù)獲得相同數(shù)據(jù)集的排他鎖。
2、排他鎖 X: 允許獲取排他鎖的事務(wù)更新數(shù)據(jù),阻止其他事務(wù)獲得相同數(shù)據(jù)集的共享鎖和排他鎖。
insert 語句 排他鎖 自動添加的
update語句 排他鎖 自動添加
delete 語句 排他鎖 自動添加
select 正常查詢語句 不加鎖 。。。
select 。。。lock in share mode 共享鎖 需要手動在select 之后加lock in share mode
select 。。。for update 排他鎖 需要手動在select之后添加for update
默認情況下,innodb在repeatable read事務(wù)隔離級別運行,innodb使用next-key鎖進行搜索和索引掃描,以防止幻讀。
間隙鎖唯一目的是防止其它事務(wù)插入間隙,間隙鎖可以共存,一個事務(wù)采用的間隙鎖不會阻止另一個事務(wù)在同一間隙上采用的間隙鎖。
在程序員的職業(yè)生涯中,總會遇到數(shù)據(jù)庫表被鎖的情況,前些天就又撞見一次。由于業(yè)務(wù)突發(fā)需求,各個部門都在批量操作、導(dǎo)出數(shù)據(jù),而數(shù)據(jù)庫又未做讀寫分離,結(jié)果就是:數(shù)據(jù)庫的某張表被鎖了!
用戶反饋系統(tǒng)部分功能無法使用,緊急排查,定位是數(shù)據(jù)庫表被鎖,然后進行緊急處理。這篇文章給大家講講遇到類似緊急狀況的排查及解決過程,建議點贊收藏,以備不時之需。
用戶反饋某功能頁面報502錯誤,于是第一時間看服務(wù)是否正常,數(shù)據(jù)庫是否正常。在控制臺看到數(shù)據(jù)庫CPU飆升,堆積大量未提交事務(wù),部分事務(wù)已經(jīng)阻塞了很長時間,基本定位是數(shù)據(jù)庫層出現(xiàn)問題了。
查看阻塞事務(wù)列表,發(fā)現(xiàn)其中有鎖表現(xiàn)象,本想利用控制臺直接結(jié)束掉阻塞的事務(wù),但控制臺賬號權(quán)限有限,于是通過客戶端登錄對應(yīng)賬號將鎖表事務(wù)kill掉,才避免了情況惡化。
下面就聊聊,如果當突然面對類似的情況,我們該如何緊急響應(yīng)?
想象一個場景,當然也是軟件工程師職業(yè)生涯中會遇到的一種場景:原本運行正常的程序,某一天突然數(shù)據(jù)庫的表被鎖了,業(yè)務(wù)無法正常運轉(zhuǎn),那么我們該如何快速定位是哪個事務(wù)鎖了表,如何結(jié)束對應(yīng)的事物?
首先最簡單粗暴的方式就是:重啟MySQL。對的,網(wǎng)管解決問題的神器——“重啟”。至于后果如何,你能不能跑了,要你自己三思而后行了!
重啟是可以解決表被鎖的問題的,但針對線上業(yè)務(wù)很顯然不太具有可行性。
下面來看看不用跑路的解決方案:
遇到數(shù)據(jù)庫阻塞問題,首先要查詢一下表是否在使用。
如果查詢結(jié)果為空,那么說明表沒在使用,說明不是鎖表的問題。
如果查詢結(jié)果不為空,比如出現(xiàn)如下結(jié)果:
則說明表(test)正在被使用,此時需要進一步排查。
查看數(shù)據(jù)庫當前的進程,看看是否有慢SQL或被阻塞的線程。
執(zhí)行命令:
該命令只顯示當前用戶正在運行的線程,當然,如果是root用戶是能看到所有的。
在上述實踐中,阿里云控制臺之所以能夠查看到所有的線程,猜測應(yīng)該使用的就是root用戶,而筆者去kill的時候,無法kill掉,是因為登錄的用戶非root的數(shù)據(jù)庫賬號,無法操作另外一個用戶的線程。
如果情況緊急,此步驟可以跳過,主要用來查看核對:
如果情況緊急,此步驟可以跳過,主要用來查看核對:
看事務(wù)表INNODB_TRX中是否有正在鎖定的事務(wù)線程,看看ID是否在show processlist的sleep線程中。如果在,說明這個sleep的線程事務(wù)一直沒有commit或者rollback,而是卡住了,需要手動kill掉。
搜索的結(jié)果中,如果在事務(wù)表發(fā)現(xiàn)了很多任務(wù),最好都kill掉。
執(zhí)行kill命令:
對應(yīng)的線程都執(zhí)行完kill命令之后,后續(xù)事務(wù)便可正常處理。
針對緊急情況,通常也會直接操作第一、第二、第六步。
這里再補充一些MySQL鎖相關(guān)的知識點:數(shù)據(jù)庫鎖設(shè)計的初衷是處理并發(fā)問題,作為多用戶共享的資源,當出現(xiàn)并發(fā)訪問的時候,數(shù)據(jù)庫需要合理地控制資源的訪問規(guī)則,而鎖就是用來實現(xiàn)這些訪問規(guī)則的重要數(shù)據(jù)結(jié)構(gòu)。
根據(jù)加鎖的范圍,MySQL里面的鎖大致可以分成全局鎖、表級鎖和行鎖三類。MySQL中表級別的鎖有兩種:一種是表鎖,一種是元數(shù)據(jù)鎖(metadata lock,MDL)。
表鎖是在Server層實現(xiàn)的,ALTER TABLE之類的語句會使用表鎖,忽略存儲引擎的鎖機制。表鎖通過lock tables… read/write來實現(xiàn),而對于InnoDB來說,一般會采用行級鎖。畢竟鎖住整張表影響范圍太大了。
另外一個表級鎖是MDL(metadata lock),用于并發(fā)情況下維護數(shù)據(jù)的一致性,保證讀寫的正確性,不需要顯式的使用,在訪問一張表時會被自動加上。
常見的一種鎖表場景就是有事務(wù)操作處于:Waiting for table metadata lock狀態(tài)。
MySQL在進行alter table等DDL操作時,有時會出現(xiàn)Waiting for table metadata lock的等待場景。
一旦alter table TableA的操作停滯在Waiting for table metadata lock狀態(tài),后續(xù)對該表的任何操作(包括讀)都無法進行,因為它們也會在Opening tables的階段進入到Waiting for table metadata lock的鎖等待隊列。如果核心表出現(xiàn)了鎖等待隊列,就會造成災(zāi)難性的后果。
通過show processlist可以看到表上有正在進行的操作(包括讀),此時alter table語句無法獲取到metadata 獨占鎖,會進行等待。
通過show processlist看不到表上有任何操作,但實際上存在有未提交的事務(wù),可以在information_schema.innodb_trx中查看到。在事務(wù)沒有完成之前,表上的鎖不會釋放,alter table同樣獲取不到metadata的獨占鎖。
處理方法:通過 select * from information_schema.innodb_trxG, 找到未提交事物的sid,然后kill掉,讓其回滾。
通過show processlist看不到表上有任何操作,在information_schema.innodb_trx中也沒有任何進行中的事務(wù)。很可能是因為在一個顯式的事務(wù)中,對表進行了一個失敗的操作(比如查詢了一個不存在的字段),這時事務(wù)沒有開始,但是失敗語句獲取到的鎖依然有效,沒有釋放。從performance_schema.events_statements_current表中可以查到失敗的語句。
處理方法:通過performance_schema.events_statements_current找到其sid,kill 掉該session,也可以kill掉DDL所在的session。
總之,alter table的語句是很危險的(核心是未提交事務(wù)或者長事務(wù)導(dǎo)致的),在操作之前要確認對要操作的表沒有任何進行中的操作、沒有未提交事務(wù)、也沒有顯式事務(wù)中的報錯語句。
如果有alter table的維護任務(wù),在無人監(jiān)管的時候運行,最好通過lock_wait_timeout設(shè)置好超時時間,避免長時間的metedata鎖等待。
關(guān)于MySQL的鎖表其實還有很多其他場景,我們在實踐的過程中盡量避免鎖表情況的發(fā)生,當然這需要一定經(jīng)驗的支撐。但更重要的是,如果發(fā)現(xiàn)鎖表我們要能夠快速的響應(yīng),快速的解決問題,避免影響正常業(yè)務(wù),避免情況進一步惡化。所以,本文中的解決思路大家一定要收藏或記憶一下,做到有備無患,避免突然狀況下抓瞎。
1、確定mysql有鎖表的情況則使用以下命令查看鎖表進程
2、殺掉查詢結(jié)果中已經(jīng)鎖表的trx_mysql_thread_id
擴展:
1、查看鎖的事務(wù)
2、查看等待鎖的事務(wù)
3、查詢是否鎖表:
4、查詢進程
重啟mysql服務(wù)
執(zhí)行show processlist,找到state,State狀態(tài)為Locked即被其他查詢鎖住。KILL?? 10866。