問題
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供樂業(yè)網(wǎng)站建設(shè)、樂業(yè)做網(wǎng)站、樂業(yè)網(wǎng)站設(shè)計(jì)、樂業(yè)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、樂業(yè)企業(yè)網(wǎng)站模板建站服務(wù),十載樂業(yè)做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
我們有一個(gè) SQL,用于找到?jīng)]有主鍵 / 唯一鍵的表,但是在 MySQL 5.7 上運(yùn)行特別慢,怎么辦?
實(shí)驗(yàn)
我們搭建一個(gè) MySQL 5.7 的環(huán)境,此處省略搭建步驟。
寫個(gè)簡(jiǎn)單的腳本,制造一批帶主鍵和不帶主鍵的表:
執(zhí)行一下腳本:
現(xiàn)在執(zhí)行以下 SQL 看看效果:
...
執(zhí)行了 16.80s,感覺是非常慢了。
現(xiàn)在用一下 DBA 三板斧,看看執(zhí)行計(jì)劃:
感覺有點(diǎn)慘,由于 information_schema.columns 是元數(shù)據(jù)表,沒有必要的統(tǒng)計(jì)信息。
那我們來 show warnings 看看 MySQL 改寫后的 SQL:
我們格式化一下 SQL:
可以看到 MySQL 將
select from A where A.x not in (select x from B) //非關(guān)聯(lián)子查詢
轉(zhuǎn)換成了
select from A where not exists (select 1 from B where B.x = a.x) //關(guān)聯(lián)子查詢
如果我們自己是 MySQL,在執(zhí)行非關(guān)聯(lián)子查詢時(shí),可以使用很簡(jiǎn)單的策略:
select from A where A.x not in (select x from B where ...) //非關(guān)聯(lián)子查詢:1. 掃描 B 表中的所有記錄,找到滿足條件的記錄,存放在臨時(shí)表 C 中,建好索引2. 掃描 A 表中的記錄,與臨時(shí)表 C 中的記錄進(jìn)行比對(duì),直接在索引里比對(duì),
而關(guān)聯(lián)子查詢就需要循環(huán)迭代:
select from A where not exists (select 1 from B where B.x = a.x and ...) //關(guān)聯(lián)子查詢掃描 A 表的每一條記錄 rA: ? ? 掃描 B 表,找到其中的第一條滿足 rA 條件的記錄。
顯然,關(guān)聯(lián)子查詢的掃描成本會(huì)高于非關(guān)聯(lián)子查詢。
我們希望 MySQL 能先"緩存"子查詢的結(jié)果(緩存這一步叫物化,MATERIALIZATION),但MySQL 認(rèn)為不緩存更快,我們就需要給予 MySQL 一定指導(dǎo)。
...
可以看到執(zhí)行時(shí)間變成了 0.67s。
整理
我們?cè)\斷的關(guān)鍵點(diǎn)如下:
\1. 對(duì)于 information_schema 中的元數(shù)據(jù)表,執(zhí)行計(jì)劃不能提供有效信息。
\2. 通過查看 MySQL 改寫后的 SQL,我們猜測(cè)了優(yōu)化器發(fā)生了誤判。
\3. 我們?cè)黾恿?hint,指導(dǎo) MySQL 正確進(jìn)行優(yōu)化判斷。
但目前我們的實(shí)驗(yàn)僅限于猜測(cè),猜中了萬(wàn)事大吉,猜不中就無(wú)法做出好的診斷。
mysql的其他數(shù)據(jù)查詢是否也比較慢
在mysql里調(diào)整運(yùn)行參數(shù),簡(jiǎn)單的方法,是啟動(dòng)時(shí)選擇不通的my**.ini
1、到mysql官網(wǎng)下載安裝包,沒有賬號(hào)的需要注冊(cè)賬號(hào)登錄,然后雙擊下載安裝包,點(diǎn)擊接受協(xié)議
2、這里選擇默認(rèn)安裝所有產(chǎn)品,當(dāng)然也可以按照自己的需要選擇安裝,不過建議全部安裝
3、然后選擇安裝路徑,默認(rèn)安裝到C盤,不建議,可以自己選擇安裝路徑和數(shù)據(jù)存儲(chǔ)目錄
4、檢查電腦配置是否符合安裝要求,直接點(diǎn)擊下一步,可能會(huì)有一個(gè)彈出框,直接點(diǎn)擊yes進(jìn)入下一步
5、來到安裝界面,點(diǎn)擊execute執(zhí)行安裝,這個(gè)過程可能有點(diǎn)慢,需要逐個(gè)安裝產(chǎn)品,完成之后,點(diǎn)擊下一步
6、產(chǎn)品確認(rèn),對(duì)你選擇安裝的所有產(chǎn)品展示,點(diǎn)擊下一步即可
7、跳轉(zhuǎn)到MySQL Server8.0.11安裝引導(dǎo),一路下一步即可
8、設(shè)置登錄密碼,一定要牢記密碼,到最后一步,點(diǎn)擊Execute執(zhí)行,等待所有產(chǎn)品檢查安裝完成,點(diǎn)擊finish完成
MySQL 在崩潰恢復(fù)時(shí),會(huì)遍歷打開所有 ibd 文件的 header page 驗(yàn)證數(shù)據(jù)字典的準(zhǔn)確性,如果 MySQL 中包含了大量表,這個(gè)校驗(yàn)過程就會(huì)比較耗時(shí)。 MySQL 下崩潰恢復(fù)確實(shí)和表數(shù)量有關(guān),表總數(shù)越大,崩潰恢復(fù)時(shí)間越長(zhǎng)。另外磁盤 IOPS 也會(huì)影響崩潰恢復(fù)時(shí)間,像這里開發(fā)庫(kù)的 HDD IOPS 較低,因此面對(duì)大量的表空間,校驗(yàn)速度就非常緩慢。另外一個(gè)發(fā)現(xiàn),MySQL 8 下正常啟用時(shí)居然也會(huì)進(jìn)行表空間校驗(yàn),而故障恢復(fù)時(shí)則會(huì)額外再進(jìn)行一次表空間校驗(yàn),等于校驗(yàn)了 2 遍。不過 MySQL 8.0 里多了一個(gè)特性,即表數(shù)量超過 5W 時(shí),會(huì)啟用多線程掃描,加快表空間校驗(yàn)過程。
如何跳過校驗(yàn)MySQL 5.7 下有方法可以跳過崩潰恢復(fù)時(shí)的表空間校驗(yàn)過程嘛?查閱了資料,方法主要有兩種:
1. 配置 innodb_force_recovery可以使 srv_force_recovery != 0 ,那么 validate = false,即可以跳過表空間校驗(yàn)。實(shí)際測(cè)試的時(shí)候設(shè)置 innodb_force_recovery =1,也就是強(qiáng)制恢復(fù)跳過壞頁(yè),就可以跳過校驗(yàn),然后重啟就是正常啟動(dòng)了。通過這種臨時(shí)方式可以避免崩潰恢復(fù)后非常耗時(shí)的表空間校驗(yàn)過程,快速啟動(dòng) MySQL,個(gè)人目前暫時(shí)未發(fā)現(xiàn)有什么隱患。2. 使用共享表空間替代獨(dú)立表空間這樣就不需要打開 N 個(gè) ibd 文件了,只需要打開一個(gè) ibdata 文件即可,大大節(jié)省了校驗(yàn)時(shí)間。自從聽了姜老師講過使用共享表空間替代獨(dú)立表空間解決 drop 大表時(shí)性能抖動(dòng)的原理后,感覺共享表空間在很多業(yè)務(wù)環(huán)境下,反而更有優(yōu)勢(shì)。
臨時(shí)冒出另外一種解決想法,即用 GDB 調(diào)試崩潰恢復(fù),通過臨時(shí)修改 validate 變量值讓 MySQL 跳過表空間驗(yàn)證過程,然后讓 MySQL 正常關(guān)閉,重新啟動(dòng)就可以正常啟動(dòng)了。但是實(shí)際測(cè)試發(fā)現(xiàn),如果以 debug 模式運(yùn)行,確實(shí)可以臨時(shí)修改 validate 變量,跳過表空間驗(yàn)證過程,但是 debug 模式下代碼運(yùn)行效率大打折扣,反而耗時(shí)更長(zhǎng)。而以非 debug 模式運(yùn)行,則無(wú)法修改 validate 變量,想法破滅。