MySQL 在崩潰恢復(fù)時(shí)，會遍歷打開所有 ibd 文件的 header page 驗(yàn)證數(shù)據(jù)字典的準(zhǔn)確性，如果 MySQL 中包含了大量表，這個校驗(yàn)過程就會比較耗時(shí)。 MySQL 下崩潰恢復(fù)確實(shí)和表數(shù)量有關(guān)，表總數(shù)越大，崩潰恢復(fù)時(shí)間越長。另外磁盤 IOPS 也會影響崩潰恢復(fù)時(shí)間，像這里開發(fā)庫的 HDD IOPS 較低，因此面對大量的表空間，校驗(yàn)速度就非常緩慢。另外一個發(fā)現(xiàn)，MySQL 8 下正常啟用時(shí)居然也會進(jìn)行表空間校驗(yàn)，而故障恢復(fù)時(shí)則會額外再進(jìn)行一次表空間校驗(yàn)，等于校驗(yàn)了 2 遍。不過 MySQL 8.0 里多了一個特性，即表數(shù)量超過 5W 時(shí)，會啟用多線程掃描，加快表空間校驗(yàn)過程。
成都創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括萬源網(wǎng)站建設(shè)、萬源網(wǎng)站制作、萬源網(wǎng)頁制作以及萬源網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，萬源網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到萬源省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
如何跳過校驗(yàn)MySQL 5.7 下有方法可以跳過崩潰恢復(fù)時(shí)的表空間校驗(yàn)過程嘛？查閱了資料，方法主要有兩種：
1. 配置 innodb_force_recovery可以使 srv_force_recovery != 0 ，那么 validate = false，即可以跳過表空間校驗(yàn)。實(shí)際測試的時(shí)候設(shè)置 innodb_force_recovery =1，也就是強(qiáng)制恢復(fù)跳過壞頁，就可以跳過校驗(yàn)，然后重啟就是正常啟動了。通過這種臨時(shí)方式可以避免崩潰恢復(fù)后非常耗時(shí)的表空間校驗(yàn)過程，快速啟動 MySQL，個人目前暫時(shí)未發(fā)現(xiàn)有什么隱患。2. 使用共享表空間替代獨(dú)立表空間這樣就不需要打開 N 個 ibd 文件了，只需要打開一個 ibdata 文件即可，大大節(jié)省了校驗(yàn)時(shí)間。自從聽了姜老師講過使用共享表空間替代獨(dú)立表空間解決 drop 大表時(shí)性能抖動的原理后，感覺共享表空間在很多業(yè)務(wù)環(huán)境下，反而更有優(yōu)勢。
臨時(shí)冒出另外一種解決想法，即用 GDB 調(diào)試崩潰恢復(fù)，通過臨時(shí)修改 validate 變量值讓 MySQL 跳過表空間驗(yàn)證過程，然后讓 MySQL 正常關(guān)閉，重新啟動就可以正常啟動了。但是實(shí)際測試發(fā)現(xiàn)，如果以 debug 模式運(yùn)行，確實(shí)可以臨時(shí)修改 validate 變量，跳過表空間驗(yàn)證過程，但是 debug 模式下代碼運(yùn)行效率大打折扣，反而耗時(shí)更長。而以非 debug 模式運(yùn)行，則無法修改 validate 變量，想法破滅。
兩方面
硬件：用固態(tài)硬盤、加大內(nèi)存
配置：根據(jù)內(nèi)存 調(diào)整 my.ini 里 innodb_buffer_pool_size
我們先來看第一個階段，MySQL慢的診斷思路，一般我們會從三個方向來做：
第一個方向是MySQL內(nèi)部的觀測
第二個方向是外部資源的觀測
第三個方向是外部需求的改造
1.1 MySQL 內(nèi)部觀測
我們來看MySQL內(nèi)部的觀測，常用的觀測手段是這樣的，從上往下看，第一部分是Processlist，看一下哪個SQL壓力不太正常，第二步是explain，解釋一下它的執(zhí)行計(jì)劃，第三步我們要做Profilling，如果這個SQL能再執(zhí)行一次的話, 就做一個Profilling，然后高級的DBA會直接動用performance_schema ，MySQL 5.7 以后直接動用sys_schema，sys_schema是一個視圖，里面有便捷的各類信息，幫助大家來診斷性能。再高級一點(diǎn)，我們會動用innodb_metrics進(jìn)行一個對引擎的診斷。
除了這些手段以外，大家還提出了一些亂七八糟的手段，我就不列在這了，這些是常規(guī)的一個MySQL的內(nèi)部的狀態(tài)觀測的思路。除了這些以外，MySQL還陸陸續(xù)續(xù)提供了一些暴露自己狀態(tài)的方案，但是這些方案并沒有在實(shí)踐中形成套路，原因是學(xué)習(xí)成本比較高。
1.2 外部資源觀測
外部資源觀測這部分，我引用了一篇文章，這篇文章的二維碼我貼在上面了。這篇文章是國外的一個神寫的，標(biāo)題是：60秒的快速巡檢，我們來看一下它在60秒之內(nèi)對服務(wù)器到底做了一個什么樣的巡檢。一共十條命令，這是前五條，我們一條一條來看。
1.uptime，uptime告訴我們這個機(jī)器活了多久，以及它的平均的負(fù)載是多少。
2.dmesg -T | tail，告訴我們系統(tǒng)日志里邊有沒有什么報(bào)錯。
3.vmstat 1，告訴我們虛擬內(nèi)存的狀態(tài)，頁的換進(jìn)換出有沒有問題，swap有沒有使用。
4. mpstat -P ALL，告訴我們CPU壓力在各個核上是不是均勻的。
5.pidstat 1，告訴我們各個進(jìn)程的對資源的占用大概是什么樣子。
我們來看一下后五條：
首先是iostat-xz 1，查看IO的問題，然后是free-m內(nèi)存使用率，之后兩個sar，按設(shè)備網(wǎng)卡設(shè)備的維度，看一下網(wǎng)絡(luò)的消耗狀態(tài)，以及總體看TCP的使用率和錯誤率是多少。最后一條命令top，看一下大概的進(jìn)程和線程的問題。
這個就是對于外部資源的診斷，這十條命令揭示了應(yīng)該去診斷哪些外部資源。
1.3 外部需求改造
第三個診斷思路是外部的需求改造，我在這里引用了一篇文檔，這篇文檔是MySQL的官方文檔中的一章，這一章叫Examples of Common Queries，文檔中介紹了常規(guī)的SQL怎么寫, 給出了一些例子。文章的鏈接二維碼在slide上。
我們來看一下它其中提到的一個例子。
它做的事情是從一個表里邊去選取，這張表有三列，article、dealer、price，選取每個作者的最貴的商品列在結(jié)果集中，這是它的最原始的SQL，非常符合業(yè)務(wù)的寫法，但是它是個關(guān)聯(lián)子查詢。
關(guān)聯(lián)子查詢成本是很貴的，所以上面的文檔會教你快速地把它轉(zhuǎn)成一個非關(guān)聯(lián)子查詢，大家可以看到中間的子查詢和外邊的查詢之間是沒有關(guān)聯(lián)性的。
第三步，會教大家直接把子查詢拿掉，然后轉(zhuǎn)成這樣一個SQL，這個就叫業(yè)務(wù)改造，前后三個SQL的成本都不一樣，把關(guān)聯(lián)子查詢拆掉的成本，拆掉以后SQL會跑得非常好，但這個SQL已經(jīng)不能良好表義了，只有在診斷到SQL成本比較高的情況下才建議大家使用這種方式。
為什么它能夠把一個關(guān)聯(lián)子查詢拆掉呢？
這背后的原理是關(guān)系代數(shù)，所有的SQL都可以被表達(dá)成等價(jià)的關(guān)系代數(shù)式，關(guān)系代數(shù)式之間有等價(jià)關(guān)系，這個等價(jià)關(guān)系通過變換可以把關(guān)聯(lián)子查詢拆掉。
上面的這篇文檔是一個大學(xué)的教材，它從頭教了關(guān)于代數(shù)和SQL之間的關(guān)系。然后一步步推導(dǎo)怎么去簡化這句SQL。
第一，MySQL本身提供了很多命令來觀察MySQL自身的各類狀態(tài)，大家從上往下檢一般能檢到SQL的問題或者服務(wù)器的問題。
第二，從服務(wù)器的角度，我們從巡檢的腳本角度入手，服務(wù)器的資源就這幾種，觀測手法也就那么幾種，我們把服務(wù)器的資源全部都觀察一圈就可以了。
第三，如果實(shí)在搞不定，需求方一定要按照數(shù)據(jù)庫容易接受的方式去寫SQL，這個成本會下降的非?？?，這個是常規(guī)的MySQL慢的診斷思路。
mysql5的手冊中提到，插入一條記錄，所需的時(shí)間比例大概是：
連接：(3)
發(fā)送查詢給服務(wù)器：(2)
分析查詢：(2)
插入記錄：（1x記錄大?。?/p>
插入索引：（1x索引）
關(guān)閉：(1)
并且表的大小以logN（B樹）的速度減慢索引的插入，因此提高插入速度的方法大概有以下7種：
一個insert語句包含多個value值；
使用insert delayed方法；
使用insert into ...values(select ...from)，即select的同時(shí)執(zhí)行insert；
使用load data infile；
先禁掉索引，插入后再創(chuàng)建索引；
寫鎖表，插入，解鎖。原因是索引緩存區(qū)僅在所有insert語句完成后才刷新到磁盤上一次；
增加key_buffer_size值來擴(kuò)大鍵高速緩沖區(qū)。
重慶分公司
重慶分公司
