下面我們就看一下常見的備份工具，以及目前最流行的 Percona XtraBackup 的備份流程。
成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供黃南州企業(yè)網(wǎng)站建設,專注與網(wǎng)站制作、成都網(wǎng)站建設、H5場景定制、小程序制作等業(yè)務。10年已為黃南州眾多企業(yè)、政府機構等服務。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進行中。
MySQL 常見的備份工具主要分為三種：
這里先說一下 binlog 備份，它只是把 binlog 又復制了一份，并且需要在邏輯備份或者物理備份的基礎上才能進行數(shù)據(jù)恢復，無法單獨進行數(shù)據(jù)恢復。
mysqldump 備份出的文件就是 sql 文件，其核心就是對每個表執(zhí)行 select ，然后轉化成相應的 insert 語句。mysqldump 的備份流程大致如下：
從上面可以看出在 mysqldump 備份期間，備份到某個數(shù)據(jù)庫時，該數(shù)據(jù)庫下的表都會處于只讀狀態(tài)，無法對表進行任何變更，直到該庫下的表備份完畢，這對于線上環(huán)境一般是無法接受的。若是指定了--master-data或者 --dump-slave 則會在備份開始時加全局讀鎖（FLUSH TABLES WITH READ LOCK），直到備份結束。當然我們可以選一個從庫進行備份，這樣就不會影響線上業(yè)務。另外使用 mysqldump 備份還有一個最大的好處，因為備份出來的是 sql 語句，所以它支持跨平臺和跨版本的數(shù)據(jù)遷移或者恢復，這是物理備份無法做到的。
但是也正是因為 mysqldump 備份出來的是 sql 語句，在使用時要更加注意，否則可能會釀成大禍。例如，使用 mysqldump 常見的問題有：
所以使用 mysqldump 時一定要了解各個選項的作用，以及確認備份出來的 sql 文件里會有什么操作，會對現(xiàn)有數(shù)據(jù)造成什么影響。
Mydumper 原理與 Mysqldump 原理類似，最大的區(qū)別是引入了多線程備份，每個備份線程備份一部分表，當然并發(fā)粒度可以到行級，達到多線程備份的目的。這里不再單獨介紹。
Percona XtraBackup 是 Percona 公司開發(fā)的一個用于 MySQL 數(shù)據(jù)庫物理熱備的備份工具，是基于 InnoDB 的崩潰恢復功能來實現(xiàn)的。它的基本工作原理如下：
Percona XtraBackup 在進行恢復時會應用拷貝的 redo log ，應用已提交的事務，回滾未提交的事物，將數(shù)據(jù)庫恢復到一致性狀態(tài)。因為 Percona XtraBackup 備份出來的是物理文件，所以在使用備份出的文件進行恢復或者遷移時，不會像 mysqldump 那樣會存在很多問題。
使用 XtraBackup 備份時根據(jù)備份參數(shù)設置不同，對數(shù)據(jù)庫的變更會造成不同程度的影響，具體影響會在下文分析。
通過對比發(fā)現(xiàn)，XtraBackup 具有對數(shù)據(jù)庫影響小，且能快速恢復的優(yōu)點，在日常備份中是首選；mysqldump 使用相對更加靈活，但是使用是要注意對數(shù)據(jù)庫原有數(shù)據(jù)的影響。
備份策略主要有：全量備份和增量備份，再加上 binlog 備份。
目前去哪兒網(wǎng)數(shù)據(jù)庫備份主要采用 XtraBackup 全量備份 +binlog 備份。數(shù)據(jù)庫的重要級別不同，全量備份的頻率不同。備份程序主要架構如下：
說明：
Percona XtraBackup 是目前備份 MySQL 使用最廣泛的工具。在備份過程中，數(shù)據(jù)庫可以進行正常的讀寫或者其他變更操作，但是偶爾也會遇見備份引起的元數(shù)據(jù)鎖，或提交事務時發(fā)現(xiàn)被 binlog lock 阻塞等情況。下面我們就看一下 Percona XtraBackup 的備份流程和加鎖時機。
說明：以下對 Percona XtraBackup 的分析都是基于 2.4.23 的版本，其他版本會略有差別，但是關鍵步驟基本相同。
XtraBackup 在備份開始時，會創(chuàng)建一個后臺線程，專門用于拷貝數(shù)據(jù)庫的 redo log 。首先 XtraBackup 會掃描每組 redo log 的頭部，找出當前的 checkpoint lsn ，然后從該 lsn 后順序拷貝所有的 redo log ，包括后續(xù)新產(chǎn)生的 redo log 。該線程會一直持續(xù)到將非事務表完全拷貝完成，才會安全退出。備份日志輸出中會記錄拷貝開始時的 checkpoint lsn 。日志輸出如下：
在拷貝ibd文件之前，會先掃描數(shù)據(jù)庫的數(shù)據(jù)文件目錄，獲取ibdata1，undo tablespaces及所有的ibd文件列表，并會記錄相應的 space id，因為在恢復時需要這些 space id來找到對應 doublewrite buffer里頁面的內(nèi)容，以及對應的redo log條目。然后開始循環(huán)拷貝ibdata1，undo tablespaces及所有的ibd文件。
這里可通過設置--parallel進行多線程備份，提高物理文件的拷貝效率。不設置則默認為1。
在所有ibd文件拷貝完成后，XtraBackup開始備份非ibd文件。這一部分的邏輯比較復雜，因為備份非ibd文件前需要加鎖，具體是否會加鎖主要受到--no-lock 參數(shù)設置的影響。
若是設置了--no-lock為TRUE，則不會使用"FLUSH TABLES WITH READ LOCK"去加全局讀鎖，但是若備份過程中對non-InnoDB表執(zhí)行了DDL或者DML操作， 這會導致備份的不一致，恢復出來的數(shù)據(jù)就會有問題。所以是不建議將--no-lock為TRUE，默認值是FALSE，也就是在不指定該選項的情況下會在備份非ibd文件前加全局讀鎖。
下面我們結合源碼來看看判斷是否加全局鎖這部分的具體流程邏輯：
流程圖如下：
總結來看：
1）若--no-lock為FALSE（默認值），則先施加全局讀鎖，然后再進行拷貝文件，另外若 --safe-slave-backup 設置為TRUE ，則會在加全局鎖之前關閉SQL_THREAD線程；
2）若--no-lock為TRUE，則不會施加鎖，直接進行拷貝文件。
加鎖的邏輯主要由lock_tables_maybe實現(xiàn),先看一下lock_tables_maybe源代碼，如下：
lock_tables_maybe 函數(shù)簡化處理流程如下：
1）若備份實例上已經(jīng)加鎖（ LOCK TABLES FOR BACKUP / FLUSH TABLES WITH READ LOCK）或者設置lock-ddl-per-table 則直接返回；
2）若支持備份鎖，則執(zhí)行LOCK TABLES FOR BACKUP；
3）若不支持備份鎖，則執(zhí)行 FLUSH TABLES WITH READ LOCK。根據(jù)相應選項設置，在執(zhí)行該操作前會判斷是否有執(zhí)行中的DDL/DML，以及等待超時時間，是否kill 對應的未結束的事務等。
從上文中我們還看到一個參數(shù)--safe-slave-backup ，該參數(shù)的主要作用是：
若是在從庫執(zhí)行的備份操作時設置了該參數(shù)，可以防止因從庫同步主庫操作，而導致XtraBackup長時間請求不到鎖而造成備份失敗。
若是設置了 --safe-slave-backup 為TRUE，那么會執(zhí)行"STOP SLAVE SQL_THREAD"，并等待Slave_open_temp_tables 為零才開始拷貝非 ibd 文件，Slave_open_temp_tables 為零說明SQL thread執(zhí)行的事務都已經(jīng)完成，這樣就能保證備份的一致性。并且此時也不會有在執(zhí)行的事務阻塞 XtraBackup 施加全局鎖。
備份完非 ibd 文件后，將會備份 slave 和 binlog 信息。
mysql-bin.000004 2004 6b7bda9f-15f0-11ec-ba14-fa163ea367a4:1-83,9841546e-15f0-11ec-9557-fa163e736db4:1
需要注意，在支持備份鎖的實例上備份，指定了 --slave-info 或--binlog-info 均會先施加 binlog 備份鎖（ LOCK BINLOG FOR BACKUP），這會阻塞任何會更改 binlog 位點的操作。
備份完數(shù)據(jù)庫的所有文件和binlog等相關信息，備份工作就基本完成了，之后主要執(zhí)行的操作如下：
1）執(zhí)行"FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS",將所有的redo log刷盤；
2）停止redo log復制線程；
3）釋放全局讀鎖（備份鎖），binlog鎖；
4）開啟SQL_THREAD；
5）拷貝ib_buffer_pool和ib_lru_dump文件；
6）生成配置文件backup-my.cnf；
7）打印備份信息到xtrabackup_info文件，這些信息主要包含備份時使用的參數(shù)信息，備份起止時間，binlog位點信息，以及將會回到的lsn點。
下面是xtrabackup_info記錄的部分內(nèi)容：
加鎖對應的函數(shù)是 mdl_lock_tables ，釋放鎖對應的函數(shù)是 mdl_unlock_all，主要是執(zhí)行COMMIT，結束 mdl_lock_tables 中開啟的顯式事務，來釋放MDL鎖。mdl_lock_tables 流程如下：
上面參數(shù)--lock-ddl和--lock-ddl-per-table是在 Percona XtraBackup 2.4.8 之后添加的，因為 MySQL 5.7 新增了一個叫做 Sorted Index Builds 的功能，這會導致某些 DDL 操作不記錄重做日志而導致備份失敗。使用--lock-ddl或--lock-ddl-per-table 就會在備份開始時施加鎖，阻止 DDL 操作。
另外，若備份時指定了--lock-ddl或--lock-ddl-per-table，則在備份非 ibd 文件時就不是再有加鎖操作。
注意：LOCK TABLES FOR BACKUP和LOCK BINLOG FOR BACKUP 語句只有在支持備份鎖的實例上才會執(zhí)行，Percona Server for MySQL已經(jīng)在 5.6.16-64.0 版本開始支持這種更加輕量的備份鎖。
Q1: 使用 XtraBackup 備份的文件進行恢復時，恢復到哪個時間點？ A1：恢復到執(zhí)行 LOCK BINLOG FOR BACKUP 或 FLUSH TABLES WITH READ LOCK 的時間點，因為這時任何改變 binlog 位點的操作都會被阻塞，redo log和binlog 是一致的。
Q2: 在開啟 binlog 的情況下，MySQL 的奔潰恢復是同時依賴 binlog 和 redo log 這兩種日志的，為什么XtraBackup 不用備份binlog？
A2：因為在備份中有執(zhí)行LOCK BINLOG FOR BACKUP/FLUSH TABLES WITH READ LOCK，阻止了任何改變binlog位點的操作，這樣只需要根據(jù)redo log將有commit log 的事務提交，沒有commit log的事務進行回滾即可。
Q3: 使用Percona XtraBackup備份完成后redo的位點是和binlog是一樣還是比binlog多一些？
A3：通過分析備份流程可以發(fā)現(xiàn)備份 binlog 位點信息（加binlog鎖）是發(fā)生在停止 redo 拷貝線程前，而釋放鎖是在停止 redo 拷貝線之后，所以 redo log 會多一些。鎖住了 binlog 保證了在該 binlog 位點前已經(jīng)提交的事務的 redo log 都有 commit log 的信息，未提交的事物也就沒有對應的 commit log 的信息，即便在鎖住 binlog 后有 Innodb 表新的 DML 產(chǎn)生的 redo log ，但是事務無法提交，也就沒有 commit log 的信息的，最后在回放的過程中對沒有 commit log 的事務進行回滾就可以了。
Q4：Percona XtraBackup什么時候會加鎖，以及影響加鎖時間長度的因素有哪些？
A4：上面進行了分析，加鎖操作只在備份非 ibd 文件時執(zhí)行，加鎖時長主要和非事務表的數(shù)量和大小有關，非事務表的數(shù)量越多，體積越大，拷貝文件所用的時間越長，那么加鎖時間也就越長。也會和 redo log 生成的速度有關，只是 redo log 刷盤受到多個因素的影響，未及時刷盤的 redo log 一般很小。
Q5：Percona XtraBackup 和mysqldump選擇哪個更好？
A5：通過上面的的解析，若是整個實例備份，首先選擇 Percona XtraBackup ，因為對數(shù)據(jù)庫的影響最小。若只是備份某個庫表，這個就要視數(shù)據(jù)量而定，若數(shù)據(jù)量不大可以使用 mysqldump 。注意，對數(shù)據(jù)庫做備份時最好選擇業(yè)務連接最少的從庫，因為備份也會消耗一定的資源，避免影響業(yè)務。
1、建立自動備份腳本
為了使數(shù)據(jù)庫備份和恢復的符合我們的實際要求（備份保留七天，每天凌晨備份一次），用一段符合要求的Shell腳本來實現(xiàn)整個備份過程的自動化。
[root@mysqltest ~]# vim mysql-backup.sh
#!/bin/bash
##作者：Barlow##
##最后修訂：2013-6-25##
#腳本作用：備份Mysql數(shù)據(jù)庫
#
#設定備份保留天數(shù)K
K=7
#
TODAY=`date '+%Y%m%d'`
KDAY=`date -d "$TODAY - $K day" '+%Y%m%d'`
BACKDIR=/var/mysqlbak/$TODAY
KDAYDIR=/var/mysqlbak/$KDAY
mkdir -p $BACKDIR
#
# The Password of MySQL
ROOTPASS=******* ##將*替換為實際mysql數(shù)據(jù)庫的root密碼
#
# Get the Name of Database
DBLIST=`ls -p /var/lib/mysql | grep / | tr -d /`
#
# Backup with Database
for dbname in $DBLIST
do
mysqlhotcopy $dbname -u root -p $ROOTPASS $BACKDIR | logger -t mysqlhotcopy
done
#
#刪除過期備份
if [ -d "$KDAYDIR" ];then
rm -rf $KDAYDIR
exit
fi
改變腳本權限，root具有完全權限，其他用戶沒有任何權限：
[root@mysqltest ~]# chmod 700 mysql-backup.sh
運行一次腳本：
[root@mysqltest ~]# ./mysql-backup.sh
查看運行結果：
[root@mysqltest ~]# ll /var/mysqlbak/20130625/
mysql/ wordpress/
[root@mysqltest ~]# ll /var/mysqlbak/20130625/
總用量 8
drwxr-x---. 2 mysql mysql 4096 6月 25 14:26 mysql
drwxr-x---. 2 mysql mysql 4096 6月 25 14:26 wordpress
可以看到備份已經(jīng)成功完成。
2、創(chuàng)建自動任務每天運行
[root@mysqltest ~]# crontab -e
00 01 * * * /root/mysql-backup.sh
##每天凌晨1點運行一次
數(shù)據(jù)備份是數(shù)據(jù)容災的最后一道防線，即便有著兩地三中心的架構，備份也依然重要。如果備份出問題，備份時影響了交易業(yè)務，備份數(shù)據(jù)無法恢復，這些也是企業(yè)難以承受的。所以選擇合適的備份工具尤為重要。
每個企業(yè)級數(shù)據(jù)庫都會有配套的備份工具，MEB(MySQL Enterprise Backup)就是MySQL企業(yè)版中非常重要的工具之一，是為企業(yè)級客戶提供的數(shù)據(jù)備份方案。
Xtrabackup一直作為MEB 開源版?zhèn)涮ザ嬖?，從MySQL 8.0開始情況可能會變得有所不同。
在 MySQL 8.0的Backup Lock、Redo Log Archiving、Page Tracking等新特性的加持下，MEB備份/恢復體驗會更好，目前xtrabackup還不支持這些特性。
MySQL 企業(yè)版還有哪些功能？
特性1：Backup Lock
8.0之前使用xtrabackup或MEB做物理備份，為了保證備份時InnoDB引擎表與其他引擎數(shù)據(jù)文件、及binlog日志的一致性會上全局讀鎖，再拷貝非InnoDB文件，這期間MySQL會變成只讀，數(shù)據(jù)無法寫入。表數(shù)量越多，可能加上時間越長，如果使用的xtrabackup 不小心沒加rsync參數(shù)，逐個拷貝frm文件，鎖定時間會更長，對業(yè)務影響較大。
我曾遇到過部署在虛擬機的實例有12000多張表，當時使用的xtrabackup，備份腳本中沒加rsync參數(shù)，結果鎖了十幾分鐘，而MEB就沒有這樣的問題。
MySQL 8.0支持輕量級備份鎖 LOCK INSTANCE FOR BACKUP，數(shù)據(jù)字典也重構了由InnoDB存儲。若不創(chuàng)建非InnoDB表，MEB默認使用備份鎖獲取binlog日志一致性位置，并阻止DDL操作，但不影響DML操作。
只有InnoDB表，僅上備份鎖
請點擊輸入圖片描述
若有非InnoDB表，上全局鎖
請點擊輸入圖片描述
特性2：Redo Log Archiving
MEB能做到在線熱備，備份時不影響數(shù)據(jù)庫讀寫，這是利用了InnoDB事務日志，在備份期間持續(xù)監(jiān)視redo log的變化，讀取增量變化，寫入到ibbackup_logfile，也就不需要上鎖來保障備份一致性。(對非InnoDB的文件需要上讀鎖拷貝)
如果備份期間數(shù)據(jù)庫寫入負載特別大，而寫入ibbackup_logfile速度較慢，redo log size也不大，很可能會出現(xiàn)ibbackup_logfile的寫入速度跟不上redo log記錄生成速度，redo log 空間不夠時需要覆寫日志文件，那么來不及寫入ibbackup_logfile的記錄會丟失，導致備份失敗。
MEB 4.1對此做了優(yōu)化，將redo log處理線程拆分成多線程分工合作，提高處理redo log的效率，降低了redo log覆寫造成備份失敗的概率，但redo log新增速度和ibbackup_logfile寫入速度懸殊太大，問題依然會發(fā)生。
MySQL 8.0.17支持了redo log archiving 徹底解決了此問題，備份前設置innodb_redo_log_archive_dirs，指定redo log歸檔目錄。MEB備份時自動開啟日志歸檔，當checkpoint時會將舊記錄歸檔到此目錄，后續(xù)從歸檔文件中讀取redo日志記錄，避免了覆寫可能導致的redo記錄丟失。
請點擊輸入圖片描述
注意：innodb_redo_log_archive_dirs 不能在數(shù)據(jù)目錄下，目錄權限要求是700
特性3：Page Tracking
Page Tracking 是為優(yōu)化增量備份效率，減少不必要的數(shù)據(jù)頁掃描。
增量備份當前有3種掃描模式：
page-track：利用LSN精確跟蹤上次備份之后被修改頁面，僅復制這些頁面，效率最快。
optimistic：掃描上次備份之后被修改的InnoDB 數(shù)據(jù)文件中，找出并拷貝修改的頁面。依賴系統(tǒng)時間，使用存在限制。
full-scan：掃描所有InnoDB數(shù)據(jù)文件，找出并拷貝自上次備份之后修改的頁面，效率最慢
1、利用page-track增量備份，需先安裝備份組件
mysql INSTALL COMPONENT "";
2、在全備前開啟page-track
SELECT mysqlbackup_page_track_set(true);
3、全備之后，做增量備份時指定若滿足page tracking條件，默認會使用page-track模式，否則會使用full-scan模式，也可以指定--incremental=page-track。
mysqlbackup --incremental-backup-dir=backup_incr --trace=3 --incremental=page-track --incremental-base=history:last_full_backup backup
incremental-base有3種選擇
last_backup：基于前一次備份做增備，前一次備份可能是增備，也可能是全備。這種方式全備之間可能會有多個增備，每次增量可能比較小，但恢復時需要逐個合并。
last_full_backup：基于前一次全備做增備。這種方式增備會越往后體積可能越大，但恢復時只需要合并最后一次增量備份。
dir：基于前一次的備份目錄，前一次備份可能是增備，也可能是全備。
測試對比full-scan 和page-track ，在變更頁小于總體50%的情況下 ，備份效率至少能有1倍的速度提升。
page-track 模式 磁盤讀寫均衡，說明讀寫的都是修改頁面。
請點擊輸入圖片描述
full-scan模式 磁盤讀寫差別很大，說明讀了很多未修改的頁面。
請點擊輸入圖片描述
Mysql數(shù)據(jù)庫的常用備份方法是使用使用實用程序mysqldump, 其命令格式如下
# mysqldump [options] database [tables]
其參數(shù)的含義為：
options：代表mysqldump的選項，通過mysqldump –help可以查到。
database: 代表將要備份的數(shù)據(jù)庫
tables: 代表將要備份的表，如果不指定任何表，則備份整個數(shù)據(jù)庫。
使用 mysqldump進行備份非常簡單，如果要備份數(shù)據(jù)庫” phpbb_db_backup ”,使用命令：
#mysqldump –u -p phpbb_db_backup /usr/backups/mysql/ phpbb_db_backup.2005.5.6
還可以使用gzip命令對備份文件進行壓縮：
#mysqldump phpbb_db_backup | gzip /usr/backups/mysql/ phpbb_db_backup.2005.5.6。gz
恢復數(shù)據(jù)使用命令：
#mysql –u -p phpbb_db_backup /usr/backups/mysql/phpbb_db_backup.2005
重慶分公司
重慶分公司
