MySQL 的 Binlog 記錄著 MySQL 數(shù)據(jù)庫的所有變更信息,了解 Binlog 的結(jié)構(gòu)可以幫助我們解析Binlog,甚至對 Binlog 進(jìn)行一些修改,或者說是“篡改”,例如實(shí)現(xiàn)類似于 Oracle 的 flashback 的功能,恢復(fù)誤刪除的記錄,把 update 的記錄再還原回去等。本文將帶您探討一下這些神奇功能的實(shí)現(xiàn),您會發(fā)現(xiàn)比您想象地要簡單得多。本文指的 Binlog 是 ROW 模式的 Binlog,這也是 MySQL 8 里的默認(rèn)模式,STATEMENT 模式因?yàn)槭褂弥杏泻芏嘞拗?,現(xiàn)在用得越來越少了。
創(chuàng)新互聯(lián)公司是專業(yè)的西固網(wǎng)站建設(shè)公司,西固接單;提供網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行西固網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!
Binlog 由事件(event)組成,請注意是事件(event)不是事務(wù)(transaction),一個(gè)事務(wù)可以包含多個(gè)事件。事件描述對數(shù)據(jù)庫的修改內(nèi)容。
現(xiàn)在我們已經(jīng)了解了 Binlog 的結(jié)構(gòu),我們可以試著修改 Binlog 里的數(shù)據(jù)。例如前面舉例的 Binlog 刪除了一條記錄,我們可以試著把這條記錄恢復(fù),Binlog 里面有個(gè)刪除行(DELETE_ROWS_EVENT)的事件,就是這個(gè)事件刪除了記錄,這個(gè)事件和寫行(WRITE_ROWS_EVENT)的事件的數(shù)據(jù)結(jié)構(gòu)是完全一樣的,只是刪除行事件的類型是 32,寫行事件的類型是 30,我們把對應(yīng)的 Binlog 位置的 32 改成 30 即可把已經(jīng)刪除的記錄再插入回去。從前面的 “show binlog events” 里面可看到這個(gè) DELETE_ROWS_EVENT 是從位置 378 開始的,這里的位置就是 Binlog 文件的實(shí)際位置(以字節(jié)為單位)。從事件(event)的結(jié)構(gòu)里面可以看到 type_code 是在 event 的第 5 個(gè)字節(jié),我們寫個(gè) Python 小程序把把第383(378+5=383)字節(jié)改成 30 即可。當(dāng)然您也可以用二進(jìn)制編輯工具來改。
找出 Binlog 中的大事務(wù)
由于 ROW 模式的 Binlog 是每一個(gè)變更都記錄一條日志,因此一個(gè)簡單的 SQL,在 Binlog 里可能會產(chǎn)生一個(gè)巨無霸的事務(wù),例如一個(gè)不帶 where 的 update 或 delete 語句,修改了全表里面的所有記錄,每條記錄都在 Binlog 里面記錄一次,結(jié)果是一個(gè)巨大的事務(wù)記錄。這樣的大事務(wù)經(jīng)常是產(chǎn)生麻煩的根源。我的一個(gè)客戶有一次向我抱怨,一個(gè) Binlog 前滾,滾了兩天也沒有動(dòng)靜,我把那個(gè) Binlog 解析了一下,發(fā)現(xiàn)里面有個(gè)事務(wù)產(chǎn)生了 1.4G 的記錄,修改了 66 萬條記錄!下面是一個(gè)簡單的找出 Binlog 中大事務(wù)的 Python 小程序,我們知道用 mysqlbinlog 解析的 Binlog,每個(gè)事務(wù)都是以 BEGIN 開頭,以 COMMIT 結(jié)束。我們找出 BENGIN 前面的 “# at” 的位置,檢查 COMMIT 后面的 “# at” 位置,這兩個(gè)位置相減即可計(jì)算出這個(gè)事務(wù)的大小,下面是這個(gè) Python 程序的例子。
切割 Binlog 中的大事務(wù)
對于大的事務(wù),MySQL 會把它分解成多個(gè)事件(注意一個(gè)是事務(wù) TRANSACTION,另一個(gè)是事件 EVENT),事件的大小由參數(shù) binlog-row-event-max-size 決定,這個(gè)參數(shù)默認(rèn)是 8K。因此我們可以把若干個(gè)事件切割成一個(gè)單獨(dú)的略小的事務(wù)
ROW 模式下,即使我們只更新了一條記錄的其中某個(gè)字段,也會記錄每個(gè)字段變更前后的值,這個(gè)行為是 binlog_row_image 參數(shù)控制的,這個(gè)參數(shù)有 3 個(gè)值,默認(rèn)為 FULL,也就是記錄列的所有修改,即使字段沒有發(fā)生變更也會記錄。這樣我們就可以實(shí)現(xiàn)類似 Oracle 的 flashback 的功能,我個(gè)人估計(jì) MySQL 未來的版本從可能會基于 Binlog 推出這樣的功能。
了解了 Binlog 的結(jié)構(gòu),再加上 Python 這把瑞士軍刀,我們還可以實(shí)現(xiàn)很多功能,例如我們可以統(tǒng)計(jì)哪個(gè)表被修改地最多?我們還可以把 Binlog 切割成一段一段的,然后再重組,可以靈活地進(jìn)行 MySQL 數(shù)據(jù)庫的修改和遷移等工作。
1、命令查看是否開啟event_scheduleSHOWVARIABLESLIKE'event_scheduler'。
2、使用命令開啟臨時(shí)開啟,重啟mysql又還原回去。
3、修改配置永久修改配置文件的[mysqld]部分加上event_scheduler=ON。
mysql怎么讓一個(gè)存儲過程定時(shí)執(zhí)行
查看event是否開啟: show variables like '%sche%';
將事件計(jì)劃開啟: set global event_scheduler=1;
關(guān)閉事件任務(wù): alter event e_test ON COMPLETION PRESERVE DISABLE;
開戶事件任務(wù): alter event e_test ON COMPLETION PRESERVE ENABLE;
簡單實(shí)例.
創(chuàng)建表 CREATE TABLE test(endtime DATETIME);
創(chuàng)建存儲過程test
CREATE PROCEDURE test ()
BEGIN
update examinfo SET endtime = now() WHERE id = 14;
END;
創(chuàng)建event e_test
CREATE EVENT if not exists e_test
on schedule every 30 second
on completion preserve
do call test();
每隔30秒將執(zhí)行存儲過程test,將當(dāng)前時(shí)間更新到examinfo表中id=14的記錄的endtime字段中去
1) 首先來看一個(gè)簡單的例子來演示每秒插入一條記錄到數(shù)據(jù)表
USE test;
CREATE TABLE aaa (timeline TIMESTAMP);
CREATE EVENT e_test_insert
ON SCHEDULE EVERY 1 SECOND
DO INSERT INTO test.aaa VALUES (CURRENT_TIMESTAMP);
等待3秒鐘后,再執(zhí)行查詢看看:
mysql SELECT * FROM aaa;
+---------------------+
| timeline |
+---------------------+
| 2007-07-18 20:44:26 |
| 2007-07-18 20:44:27 |
| 2007-07-18 20:44:28 |
+---------------------+
2) 5天后清空test表:
CREATE EVENT e_test
ON SCHEDULE AT CURRENT_TIMESTAMP + INTERVAL 5 DAY
DO TRUNCATE TABLE test.aaa;
3) 2007年7月20日12點(diǎn)整清空test表:
CREATE EVENT e_test
ON SCHEDULE AT TIMESTAMP '2007-07-20 12:00:00'
DO TRUNCATE TABLE test.aaa;
4) 每天定時(shí)清空test表:
CREATE EVENT e_test
ON SCHEDULE EVERY 1 DAY
DO TRUNCATE TABLE test.aaa;
5) 5天后開啟每天定時(shí)清空test表:
CREATE EVENT e_test
ON SCHEDULE EVERY 1 DAY
STARTS CURRENT_TIMESTAMP + INTERVAL 5 DAY
DO TRUNCATE TABLE test.aaa;
6) 每天定時(shí)清空test表,5天后停止執(zhí)行:
CREATE EVENT e_test
ON SCHEDULE EVERY 1 DAY
ENDS CURRENT_TIMESTAMP + INTERVAL 5 DAY
DO TRUNCATE TABLE test.aaa;
7) 5天后開啟每天定時(shí)清空test表,一個(gè)月后停止執(zhí)行:
CREATE EVENT e_test
ON SCHEDULE EVERY 1 DAY
STARTS CURRENT_TIMESTAMP + INTERVAL 5 DAY
ENDS CURRENT_TIMESTAMP + INTERVAL 1 MONTH
DO TRUNCATE TABLE test.aaa;
[ON COMPLETION [NOT] PRESERVE]可以設(shè)置這個(gè)事件是執(zhí)行一次還是持久執(zhí)行,默認(rèn)為NOT PRESERVE。
8) 每天定時(shí)清空test表(只執(zhí)行一次,任務(wù)完成后就終止該事件):
CREATE EVENT e_test
ON SCHEDULE EVERY 1 DAY
ON COMPLETION NOT PRESERVE
DO TRUNCATE TABLE test.aaa;
[ENABLE | DISABLE]可是設(shè)置該事件創(chuàng)建后狀態(tài)是否開啟或關(guān)閉,默認(rèn)為ENABLE。
[COMMENT ‘comment’]可以給該事件加上注釋。
三、修改事件(ALTER EVENT)
ALTER EVENT event_name
[ON SCHEDULE schedule]
[RENAME TO new_event_name]
[ON COMPLETION [NOT] PRESERVE]
[COMMENT 'comment']
[ENABLE | DISABLE]
[DO sql_statement]
1) 臨時(shí)關(guān)閉事件
ALTER EVENT e_test DISABLE;
2) 開啟事件
ALTER EVENT e_test ENABLE;
3) 將每天清空test表改為5天清空一次:
ALTER EVENT e_test
ON SCHEDULE EVERY 5 DAY;
四、刪除事件(DROP EVENT)
語 法很簡單,如下所示:
DROP EVENT [IF EXISTS] event_name
例如刪除前面創(chuàng)建的e_test事件
DROP EVENT e_test;
當(dāng)然前提是這個(gè)事件存在,否則會產(chǎn)生ERROR 1513 (HY000): Unknown event錯(cuò)誤,因此最好加上IF EXISTS
DROP EVENT IF EXISTS e_test;
create event test
ON SCHEDULE AT '2007-09-01 12:00:00' + INTERVAL 1 DAY
on completion not preserve
do insert into yyy values('hhh','uuu');
解釋:從2007-09-01開始,每天對表yyy在12:00:00進(jìn)行一個(gè)插入操作。而且只執(zhí)行一次(on completion not preserve )
我的計(jì)劃任務(wù)為:
create event sysplan
ON SCHEDULE AT '2010-05-22 23:00:00' + INTERVAL 1 DAY
on completion not preserve
do truncate table bjproj.ae_tmp;
三、通過設(shè)定全局變量event_scheduler 的值即可動(dòng)態(tài)的控制事件調(diào)度器是否啟用。
查看是否event_scheduler開啟mysql SHOW VARIABLES LIKE '%event%';
設(shè)置開啟mysql SET GLOBAL event_scheduler=ON;
四、例子:
每分鐘插入一條日志:DELIMITER //CREATE EVENT `user_log_event` ON SCHEDULE EVERY 1 MINUTE STARTS '2010-12-27 00:00:00' ON COMPLETION NOT PRESERVE ENABLE DO BEGIN INSERT INTO log SET addtime=NOW();END//
調(diào)用存儲過程:DELIMITER //CREATE EVENT `user_log_event` ON SCHEDULE EVERY 1 DAY STARTS '2010-00-00 00:00:00' ON COMPLETION NOT PRESERVE ENABLE DO BEGIN CALL user_log_prov();END//