首先介紹下 pt-stalk，它是 Percona-Toolkit 工具包中的一個(gè)工具，說(shuō)起 PT 工具包大家都不陌生，平時(shí)常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自于這個(gè)工具包，這里就不多介紹了。
創(chuàng)新互聯(lián)建站基于分布式IDC數(shù)據(jù)中心構(gòu)建的平臺(tái)為眾多戶提供托管服務(wù)器 四川大帶寬租用 成都機(jī)柜租用 成都服務(wù)器租用。
pt-stalk 的主要功能是在出現(xiàn)問(wèn)題時(shí)收集 OS 及 MySQL 的診斷信息，這其中包括：
1. OS 層面的 CPU、IO、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等信息；
2. MySQL 層面的行鎖等待、會(huì)話連接、主從復(fù)制，狀態(tài)參數(shù)等信息。
而且 pt-stalk 是一個(gè) Shell腳本，對(duì)于我這種看不懂 perl 的人來(lái)說(shuō)比較友好，腳本里面的監(jiān)控邏輯與監(jiān)控命令也可以拿來(lái)參考，用于構(gòu)建自己的監(jiān)控體系。
三、使用
接著我們來(lái)看下如何使用這個(gè)工具。
pt-stalk 通常以后臺(tái)服務(wù)形式監(jiān)控 MySQL 并等待觸發(fā)條件，當(dāng)觸發(fā)條件時(shí)收集相關(guān)診斷數(shù)據(jù)。
觸發(fā)條件相關(guān)的參數(shù)有以下幾個(gè)：
function：
°?默認(rèn)為 status，代表監(jiān)控 SHOW GLOBAL STATUS 的輸出；
°?也可以設(shè)置為 processlist，代表監(jiān)控 show processlist 的輸出；
variable：
°?默認(rèn)為 Threads_running，代表 監(jiān)控參數(shù)，根據(jù)上述監(jiān)控輸出指定具體的監(jiān)控項(xiàng)；
threshold：
°?默認(rèn)為 25，代表 監(jiān)控閾值，監(jiān)控參數(shù)超過(guò)閾值，則滿足觸發(fā)條件；
°?監(jiān)控參數(shù)的值非數(shù)字時(shí)，需要配合 match 參數(shù)一起使用，如 processlist 的 state 列；
cycles：
°?默認(rèn)為 5，表示連續(xù)觀察到五次滿足觸發(fā)條件時(shí)，才觸發(fā)收集；
連接參數(shù)：host、password、port、socket。
其他一些重要參數(shù)：
iterations：該參數(shù)指定 pt-stalk 在觸發(fā)收集幾次后退出，默認(rèn)會(huì)一直運(yùn)行。
run-time：觸發(fā)收集后，該參數(shù)指定收集多長(zhǎng)時(shí)間的數(shù)據(jù)，默認(rèn) 30 秒。
sleep：該參數(shù)指定在觸發(fā)收集后，sleep 多久后繼續(xù)監(jiān)控，默認(rèn) 300 秒。
interval：指定狀態(tài)參數(shù)的檢查頻率，判斷是否需要觸發(fā)收集，默認(rèn) 1 秒。
dest：監(jiān)控?cái)?shù)據(jù)存放路徑，默認(rèn)為 /var/lib/pt-stalk。
retention-time ：監(jiān)控?cái)?shù)據(jù)保留時(shí)長(zhǎng)，默認(rèn) 30 天。
daemonize：以后臺(tái)服務(wù)運(yùn)行，默認(rèn)不開(kāi)啟。
log：后臺(tái)運(yùn)行日志，默認(rèn)為 /var/log/pt-stalk.log。
collect：觸發(fā)發(fā)生時(shí)收集診斷數(shù)據(jù)，默認(rèn)開(kāi)啟。
°?collect-gdb：收集 GDB 堆棧跟蹤，需要 gdb 工具。
°?collect-strace：收集跟蹤數(shù)據(jù)，需要 strace 工具。
°?collect-tcpdump：收集 tcpdump 數(shù)據(jù)，需要 tcpdump 工具。
使用 bcc 工具觀測(cè) MySQL：1）dbstat功能：將 MySQL/PostgreSQL 的查詢延遲匯總為直方圖
語(yǔ)法：
dbstat [-h] [-v] [-p [PID [PID ...]]] [-m THRESHOLD] [-u] [-i INTERVAL] ? ? ? ? ? ? ?{mysql,postgres}
選項(xiàng)：
{mysql,postgres} ? ? ? ? ? ? ? ? ? ? ? ? ? # 觀測(cè)哪種數(shù)據(jù)庫(kù)-h, --help ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? # 顯示幫助然后退出-v, --verbose ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# 顯示BPF程序-p [PID [PID ...]], --pid [PID [PID ...]] ?# 要觀測(cè)的進(jìn)程號(hào)，空格分隔-m THRESHOLD, --threshold THRESHOLD ? ? ? ?# 只統(tǒng)計(jì)查詢延遲比此閾值高的-u, --microseconds ? ? ? ? ? ? ? ? ? ? ? ? # 以微秒為時(shí)間單位來(lái)顯示延遲(默認(rèn)單位：毫秒)-i INTERVAL, --interval INTERVAL ? ? ? ? ? # 打印摘要的時(shí)間間隔(單位：秒)
示例：
# 使用 sysbench 在被觀測(cè)數(shù)據(jù)庫(kù)上執(zhí)行 select[root@liuan tools]# dbstat mysql -p `pidof mysqld` -uTracing database queries for pids 3350 slower than 0 ms...^C[14:42:26] ? ? query latency (us)
2）dbslower
功能：跟蹤 MySQL/PostgreSQL 的查詢時(shí)間高于閾值
語(yǔ)法：
dbslower [-h] [-v] [-p [PID [PID ...]]] [-x PATH] [-m THRESHOLD] ? ? ? ? ? ? ? ? {mysql,postgres}
參數(shù)：
{mysql,postgres} ? ? ? ? ? ? ? ? ? ? ? ? ? # 觀測(cè)哪種數(shù)據(jù)庫(kù) -h, --help ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? # 顯示幫助然后退出 -v, --verbose ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# 顯示BPF程序 -p [PID [PID ...]], --pid [PID [PID ...]] ?# 要觀測(cè)的進(jìn)程號(hào)，空格分隔 -m THRESHOLD, --threshold THRESHOLD ? ? ? ?# 只統(tǒng)計(jì)查詢延遲比此閾值高的 -x PATH, --exe PATH ? ? ? ? ? ? ? ? ? ? ? ?# 數(shù)據(jù)庫(kù)二進(jìn)制文件的位置
示例：
# 使用sysbench在被觀測(cè)數(shù)據(jù)庫(kù)上執(zhí)行update_index [root@liuan tools]# dbslower mysql -p `pidof mysqld` -m 2 Tracing database queries for pids 3350 slower than 2 ms... TIME(s) ? ? ? ?PID ? ? ? ? ?MS QUERY 1.765087 ? ? ? 3350 ? ? ?2.996 UPDATE sbtest1 SET k=k+1 WHERE id=963 3.187147 ? ? ? 3350 ? ? ?2.069 UPDATE sbtest1 SET k=k+1 WHERE id=628 5.945987 ? ? ? 3350 ? ? ?2.171 UPDATE sbtest1 SET k=k+1 WHERE id=325 7.771761 ? ? ? 3350 ? ? ?3.853 UPDATE sbtest1 SET k=k+1 WHERE id=5955. 使用限制
bcc 基于 eBPF 開(kāi)發(fā)（需要 Linux 3.15 及更高版本）。bcc 使用的大部分內(nèi)容都需要 Linux 4.1 及更高版本。
"bcc.usdt.USDTException: failed to enable probe 'query__start'; a possible cause can be that the probe requires a pid to enable" 需要 MySQL 具備 Dtrace tracepoint。
比如我想監(jiān)聽(tīng)mysql的這樣的操作，delete from acrelation where *** 如果是這樣的話，你可以看看關(guān)于mysql的觸發(fā)器的東西。 Rainbow702 寫(xiě)道引用最好可以日志或其它方式記錄下來(lái)數(shù)據(jù)庫(kù)本身應(yīng)該就有操作日志的啊問(wèn)題補(bǔ)充：我用的hibernate的PostDeleteEvent,還是有些問(wèn)題 hibernate自帶的監(jiān)聽(tīng) jkxydp 寫(xiě)道用spring的aop啊，在刪除記錄的方法上加一個(gè)記錄日志的切入點(diǎn)去記錄啊，dao層一般增、刪、改、查的方法都是單獨(dú)出來(lái)的吧，在所有刪除記錄的方法上寫(xiě)切入點(diǎn)。 或者使用loger，其它的都不寫(xiě)，就在刪除的方法里面寫(xiě)上日志應(yīng)該就沒(méi)問(wèn)題。 用hibernate就肯定有用到log4j吧，不想全寫(xiě)，就只在刪除方法上寫(xiě)就完了。
一、MySQL數(shù)據(jù)庫(kù)有幾個(gè)配置選項(xiàng)可以幫助我們及時(shí)捕獲低效SQL語(yǔ)句
1，slow_query_log
這個(gè)參數(shù)設(shè)置為ON，可以捕獲執(zhí)行時(shí)間超過(guò)一定數(shù)值的SQL語(yǔ)句。
2，long_query_time
當(dāng)SQL語(yǔ)句執(zhí)行時(shí)間超過(guò)此數(shù)值時(shí)，就會(huì)被記錄到日志中，建議設(shè)置為1或者更短。
3，slow_query_log_file
記錄日志的文件名。
4，log_queries_not_using_indexes
這個(gè)參數(shù)設(shè)置為ON，可以捕獲到所有未使用索引的SQL語(yǔ)句，盡管這個(gè)SQL語(yǔ)句有可能執(zhí)行得挺快。
二、檢測(cè)mysql中sql語(yǔ)句的效率的方法
1、通過(guò)查詢?nèi)罩?/p>
（1）、Windows下開(kāi)啟MySQL慢查詢
MySQL在Windows系統(tǒng)中的配置文件一般是是my.ini找到[mysqld]下面加上
代碼如下
log-slow-queries = F:/MySQL/log/mysqlslowquery。log
long_query_time = 2
（2）、Linux下啟用MySQL慢查詢
MySQL在Windows系統(tǒng)中的配置文件一般是是my點(diǎn)吸煙 f找到[mysqld]下面加上
代碼如下
log-slow-queries=/data/mysqldata/slowquery。log
long_query_time=2
說(shuō)明
log-slow-queries = F:/MySQL/log/mysqlslowquery。
為慢查詢?nèi)罩敬娣诺奈恢?，一般這個(gè)目錄要有MySQL的運(yùn)行帳號(hào)的可寫(xiě)權(quán)限，一般都將這個(gè)目錄設(shè)置為MySQL的數(shù)據(jù)存放目錄；
long_query_time=2中的2表示查詢超過(guò)兩秒才記錄；
2.show processlist 命令
SHOW PROCESSLIST顯示哪些線程正在運(yùn)行。您也可以使用mysqladmin processlist語(yǔ)句得到此信息。
各列的含義和用途：
ID列
一個(gè)標(biāo)識(shí)，你要kill一個(gè)語(yǔ)句的時(shí)候很有用，用命令殺掉此查詢 /*/mysqladmin kill 進(jìn)程號(hào)。
user列
顯示單前用戶，如果不是root，這個(gè)命令就只顯示你權(quán)限范圍內(nèi)的sql語(yǔ)句。
host列
顯示這個(gè)語(yǔ)句是從哪個(gè)ip的哪個(gè)端口上發(fā)出的。用于追蹤出問(wèn)題語(yǔ)句的用戶。
db列
顯示這個(gè)進(jìn)程目前連接的是哪個(gè)數(shù)據(jù)庫(kù)。
command列
顯示當(dāng)前連接的執(zhí)行的命令，一般就是休眠（sleep），查詢（query），連接（connect）。
time列
此這個(gè)狀態(tài)持續(xù)的時(shí)間，單位是秒。
state列
顯示使用當(dāng)前連接的sql語(yǔ)句的狀態(tài)，很重要的列，后續(xù)會(huì)有所有的狀態(tài)的描述，請(qǐng)注意，state只是語(yǔ)句執(zhí)行中的某一個(gè)狀態(tài)，一個(gè) sql語(yǔ)句，以查詢?yōu)槔赡苄枰?jīng)過(guò)copying to tmp table，Sorting result，Sending data等狀態(tài)才可以完成
info列
顯示這個(gè)sql語(yǔ)句，因?yàn)殚L(zhǎng)度有限，所以長(zhǎng)的sql語(yǔ)句就顯示不全，但是一個(gè)判斷問(wèn)題語(yǔ)句的重要依據(jù)。
這個(gè)命令中最關(guān)鍵的就是state列，mysql列出的狀態(tài)主要有以下幾種：
Checking table
正在檢查數(shù)據(jù)表（這是自動(dòng)的）。
Closing tables
正在將表中修改的數(shù)據(jù)刷新到磁盤(pán)中，同時(shí)正在關(guān)閉已經(jīng)用完的表。這是一個(gè)很快的操作，如果不是這樣的話，就應(yīng)該確認(rèn)磁盤(pán)空間是否已經(jīng)滿了或者磁盤(pán)是否正處于重負(fù)中。
Connect Out
復(fù)制從服務(wù)器正在連接主服務(wù)器。
Copying to tmp table on disk
由于臨時(shí)結(jié)果集大于tmp_table_size，正在將臨時(shí)表從內(nèi)存存儲(chǔ)轉(zhuǎn)為磁盤(pán)存儲(chǔ)以此節(jié)省內(nèi)存。
Creating tmp table
正在創(chuàng)建臨時(shí)表以存放部分查詢結(jié)果。
deleting from main table
服務(wù)器正在執(zhí)行多表刪除中的第一部分，剛刪除第一個(gè)表。
deleting from reference tables
服務(wù)器正在執(zhí)行多表刪除中的第二部分，正在刪除其他表的記錄。
Flushing tables
正在執(zhí)行FLUSH TABLES，等待其他線程關(guān)閉數(shù)據(jù)表。
Killed
發(fā)送了一個(gè)kill請(qǐng)求給某線程，那么這個(gè)線程將會(huì)檢查kill標(biāo)志位，同時(shí)會(huì)放棄下一個(gè)kill請(qǐng)求。MySQL會(huì)在每次的主循環(huán)中檢查kill標(biāo)志位，不過(guò)有些情況下該線程可能會(huì)過(guò)一小段才能死掉。如果該線程程被其他線程鎖住了，那么kill請(qǐng)求會(huì)在鎖釋放時(shí)馬上生效。
Locked
被其他查詢鎖住了。
Sending data
正在處理SELECT查詢的記錄，同時(shí)正在把結(jié)果發(fā)送給客戶端。
Sorting for group
正在為GROUP BY做排序。
Sorting for order
正在為ORDER BY做排序。
Opening tables
這個(gè)過(guò)程應(yīng)該會(huì)很快，除非受到其他因素的干擾。例如，在執(zhí)ALTER TABLE或LOCK TABLE語(yǔ)句行完以前，數(shù)據(jù)表無(wú)法被其他線程打開(kāi)。正嘗試打開(kāi)一個(gè)表。
Removing duplicates
正在執(zhí)行一個(gè)SELECT DISTINCT方式的查詢，但是MySQL無(wú)法在前一個(gè)階段優(yōu)化掉那些重復(fù)的記錄。因此，MySQL需要再次去掉重復(fù)的記錄，然后再把結(jié)果發(fā)送給客戶端。
Reopen table
獲得了對(duì)一個(gè)表的鎖，但是必須在表結(jié)構(gòu)修改之后才能獲得這個(gè)鎖。已經(jīng)釋放鎖，關(guān)閉數(shù)據(jù)表，正嘗試重新打開(kāi)數(shù)據(jù)表。
Repair by sorting
修復(fù)指令正在排序以創(chuàng)建索引。
Repair with keycache
修復(fù)指令正在利用索引緩存一個(gè)一個(gè)地創(chuàng)建新索引。它會(huì)比Repair by sorting慢些。
Searching rows for update
正在講符合條件的記錄找出來(lái)以備更新。它必須在UPDATE要修改相關(guān)的記錄之前就完成了。
Sleeping
正在等待客戶端發(fā)送新請(qǐng)求.
System lock
正在等待取得一個(gè)外部的系統(tǒng)鎖。如果當(dāng)前沒(méi)有運(yùn)行多個(gè)mysqld服務(wù)器同時(shí)請(qǐng)求同一個(gè)表，那么可以通過(guò)增加--skip-external-locking參數(shù)來(lái)禁止外部系統(tǒng)鎖。
Upgrading lock
INSERT DELAYED正在嘗試取得一個(gè)鎖表以插入新記錄。
Updating
正在搜索匹配的記錄，并且修改它們。
User Lock
正在等待GET_LOCK()。
Waiting for tables
該線程得到通知，數(shù)據(jù)表結(jié)構(gòu)已經(jīng)被修改了，需要重新打開(kāi)數(shù)據(jù)表以取得新的結(jié)構(gòu)。然后，為了能的重新打開(kāi)數(shù)據(jù)表，必須等到所有其他線程關(guān)閉這個(gè)表。以下幾種情況下會(huì)產(chǎn)生這個(gè)通知：FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。
waiting for handler insert
INSERT DELAYED已經(jīng)處理完了所有待處理的插入操作，正在等待新的請(qǐng)求。
大部分狀態(tài)對(duì)應(yīng)很快的操作，只要有一個(gè)線程保持同一個(gè)狀態(tài)好幾秒鐘，那么可能是有問(wèn)題發(fā)生了，需要檢查一下。
還有其他的狀態(tài)沒(méi)在上面中列出來(lái)，不過(guò)它們大部分只是在查看服務(wù)器是否有存在錯(cuò)誤是才用得著。
例如如圖：
3、explain來(lái)了解SQL執(zhí)行的狀態(tài)
explain顯示了mysql如何使用索引來(lái)處理select語(yǔ)句以及連接表?？梢詭椭x擇更好的索引和寫(xiě)出更優(yōu)化的查詢語(yǔ)句。
使用方法，在select語(yǔ)句前加上explain就可以了：
例如：
explain select surname,first_name form a,b where a.id=b.id
結(jié)果如圖
EXPLAIN列的解釋
table
顯示這一行的數(shù)據(jù)是關(guān)于哪張表的
type
這是重要的列，顯示連接使用了何種類(lèi)型。從最好到最差的連接類(lèi)型為const、eq_reg、ref、range、indexhe和ALL
possible_keys
顯示可能應(yīng)用在這張表中的索引。如果為空，沒(méi)有可能的索引?？梢詾橄嚓P(guān)的域從WHERE語(yǔ)句中選擇一個(gè)合適的語(yǔ)句
key
實(shí)際使用的索引。如果為NULL，則沒(méi)有使用索引。很少的情況下，MYSQL會(huì)選擇優(yōu)化不足的索引。這種情況下，可以在SELECT語(yǔ)句 中使用USE INDEX（indexname）來(lái)強(qiáng)制使用一個(gè)索引或者用IGNORE INDEX（indexname）來(lái)強(qiáng)制MYSQL忽略索引
key_len
使用的索引的長(zhǎng)度。在不損失精確性的情況下，長(zhǎng)度越短越好
ref
顯示索引的哪一列被使用了，如果可能的話，是一個(gè)常數(shù)
rows
MYSQL認(rèn)為必須檢查的用來(lái)返回請(qǐng)求數(shù)據(jù)的行數(shù)
Extra
關(guān)于MYSQL如何解析查詢的額外信息。將在表4.3中討論，但這里可以看到的壞的例子是Using temporary和Using filesort，意思MYSQL根本不能使用索引，結(jié)果是檢索會(huì)很慢
extra列返回的描述的意義
Distinct
一旦MYSQL找到了與行相聯(lián)合匹配的行，就不再搜索了
Not exists
MYSQL優(yōu)化了LEFT JOIN，一旦它找到了匹配LEFT JOIN標(biāo)準(zhǔn)的行，就不再搜索了
Range checked for each Record（index map:#）
沒(méi)有找到理想的索引，因此對(duì)于從前面表中來(lái)的每一個(gè)行組合，MYSQL檢查使用哪個(gè)索引，并用它來(lái)從表中返回行。這是使用索引的最慢的連接之一
Using filesort
看到這個(gè)的時(shí)候，查詢就需要優(yōu)化了。MYSQL需要進(jìn)行額外的步驟來(lái)發(fā)現(xiàn)如何對(duì)返回的行排序。它根據(jù)連接類(lèi)型以及存儲(chǔ)排序鍵值和匹配條件的全部行的行指針來(lái)排序全部行
Using index
列數(shù)據(jù)是從僅僅使用了索引中的信息而沒(méi)有讀取實(shí)際的行動(dòng)的表返回的，這發(fā)生在對(duì)表的全部的請(qǐng)求列都是同一個(gè)索引的部分的時(shí)候
Using temporary
看到這個(gè)的時(shí)候，查詢需要優(yōu)化了。這里，MYSQL需要?jiǎng)?chuàng)建一個(gè)臨時(shí)表來(lái)存儲(chǔ)結(jié)果，這通常發(fā)生在對(duì)不同的列集進(jìn)行ORDER BY上，而不是GROUP BY上
Where used
使用了WHERE從句來(lái)限制哪些行將與下一張表匹配或者是返回給用戶。如果不想返回表中的全部行，并且連接類(lèi)型ALL或index，這就會(huì)發(fā)生，或者是查詢有問(wèn)題不同連接類(lèi)型的解釋?zhuān)ò凑招矢叩偷捻樞蚺判颍?/p>
const
表中的一個(gè)記錄的最大值能夠匹配這個(gè)查詢（索引可以是主鍵或惟一索引）。因?yàn)橹挥幸恍?，這個(gè)值實(shí)際就是常數(shù)，因?yàn)镸YSQL先讀這個(gè)值然后把它當(dāng)做常數(shù)來(lái)對(duì)待
eq_ref
在連接中，MYSQL在查詢時(shí)，從前面的表中，對(duì)每一個(gè)記錄的聯(lián)合都從表中讀取一個(gè)記錄，它在查詢使用了索引為主鍵或惟一鍵的全部時(shí)使用
ref
這個(gè)連接類(lèi)型只有在查詢使用了不是惟一或主鍵的鍵或者是這些類(lèi)型的部分（比如，利用最左邊前綴）時(shí)發(fā)生。對(duì)于之前的表的每一個(gè)行聯(lián)合，全部記錄都將從表中讀出。這個(gè)類(lèi)型嚴(yán)重依賴于根據(jù)索引匹配的記錄多少—越少越好
range
這個(gè)連接類(lèi)型使用索引返回一個(gè)范圍中的行，比如使用或查找東西時(shí)發(fā)生的情況
index
這個(gè)連接類(lèi)型對(duì)前面的表中的每一個(gè)記錄聯(lián)合進(jìn)行完全掃描（比ALL更好，因?yàn)樗饕话阈∮诒頂?shù)據(jù)）
ALL
這個(gè)連接類(lèi)型對(duì)于前面的每一個(gè)記錄聯(lián)合進(jìn)行完全掃描，這一般比較糟糕，應(yīng)該盡量避免
重慶分公司
重慶分公司
