關(guān)于rsync
一款快速增量備份工具
- Remote Sync,遠(yuǎn)程同步
- 支持本地復(fù)制,或者與其他SsH、rsync 主機同步
- 官方網(wǎng)站: http://rsync.samba.org
rsync同步源
- 指備份操作的遠(yuǎn)程服務(wù)器,也稱為備份源
配置rsync源
- 基本思路
- 建立rsyncd.conf配置文件、獨立的賬號文件
- 啟用rsync的-daemon模式
- 應(yīng)用示例
- 用戶backuper, 允許下行同步
- 操作的目錄為/var/www/html/
- 配置文件rsyncd.conf
- 需手動建立,語法類似于Samba配置
- 認(rèn)證配置auth users、secrets file, 不加則為匿名
- rsync賬號文件
- 采用"用戶名:密碼”的記錄格式,每行一個用戶記錄
- 獨立的賬號數(shù)據(jù),不依賴于系統(tǒng)賬號
- 啟用rsync服務(wù)
- 通過--daemon獨自提供服務(wù)
- 執(zhí)行kill $(cat /var/run/rsyncd.pid)關(guān)閉rsync服務(wù)
使用rsync備份工具
rsync命令用法
rsync [選項] 原始位置 目標(biāo)位置
- 常用選項
- -a:歸檔模式,遞歸并保留對象屬性,等同于-rlptgoD
- -v:示同步過程的詳細(xì)(verbose)信息
- -z:在傳輸文件時進(jìn)行壓縮(compress)
- -H:保留硬連接文件
- -A:保留ACL屬性信息
- --delete:刪除目標(biāo)位置有而原始位置沒有的文件
- --checksum:根據(jù)對象的校驗和來決定是否跳過文件
- 配置源的兩種表示方法
- 格式1: 用戶名@主機地址::共享模塊名
- 格式2: rsync://用戶名@主機地址/共享模塊名
rsync實時同步
定期同步的不足
- 執(zhí)行備份的時間固定,延遲明顯、實時性差
- 當(dāng)同步源長期不變化時,密集的定期任務(wù)是不必要的
實時同步的優(yōu)點
- 一旦同步源出現(xiàn)變化,立即啟動備份
- 只要同步源無變化,則不執(zhí)行備份
關(guān)于inotify
Linux內(nèi)核的inotify機制
- 從版本2.6.144開始提供
- 可以監(jiān)控文件系統(tǒng)的變動情況,并作出通知響應(yīng)
- 輔助軟件: inotify-tools
rsync+inotify實時同步
- 調(diào)整inotify內(nèi)核參數(shù)
- max_queue_events: 監(jiān)控隊列大小
- max_user_instances: 最多監(jiān)控實例數(shù)
- max_user_watches:每個實例最多監(jiān)控文件數(shù),配置時應(yīng)大于監(jiān)控目標(biāo)的總文件數(shù)
- 安裝inotify-tools輔助工具
- inotifywait:用于持續(xù)監(jiān)控,實時輸出結(jié)果
- 常用選項
- -m:持續(xù)進(jìn)行監(jiān)控
- -r:遞歸監(jiān)控所有子對象
- -q:簡化輸出信息
- -e:指定要監(jiān)控哪些事件類型
- inotifwatch:用于短期監(jiān)控,任務(wù)完成后再出結(jié)果
- 通過inotifywait觸發(fā)rsync同步操作
- 使用while、read持續(xù)獲取監(jiān)控結(jié)果
- 根據(jù)結(jié)果可以作進(jìn)一 步判斷,決定執(zhí)行何種操作
實踐配置
實驗環(huán)境
- rsyncd服務(wù)器IP地址:192.168.144.128
- client客戶端IP地址:192.168.144.129
在rsyncd服務(wù)器上修改配置文件
[root@rsyncd ~]# rpm -q rsync
rsync-3.0.9-18.el7.x86_64
[root@rsyncd ~]# vim /etc/rsyncd.conf
uid = nobody //匿名用戶
gid = nobody
use chroot = yes //禁錮家目錄
pid file = /var/run/rsyncd.pid //pid文件路徑
address = 192.168.144.128 //配置監(jiān)聽地址
port = 873 //端口號
log file = /var/log/rsyncd.log //日志文件路徑
hosts allow = 192.168.144.0/24 //允許地址段訪問
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 //不需要壓縮的類型
[wwwroot] //共享模塊名
path = /var/www/html //共享文件路徑
comment = www.kgc.com //定義名稱
read only = yes //只讀權(quán)限
auth users = backuper //身份驗證用戶名
secrets file = /etc/rsyncd_users.db //密碼文件
:wq
[root@rsyncd ~]# vim /etc/rsyncd_users.db //創(chuàng)建密碼文件
backuper:123123 //編輯用戶名:密碼
:wq
[root@rsyncd ~]# chmod 600 /etc/rsyncd_users.db //更改權(quán)限
[root@rsyncd ~]# rsync --daemon //開啟rsync服務(wù)
[root@rsyncd ~]# netstat -ntap | grep rsync //查看端口
tcp 0 0 192.168.144.128:873 0.0.0.0:* LISTEN 36346/rsync
[root@rsyncd ~]# systemctl stop firewalld.service //關(guān)閉防火墻
[root@rsyncd ~]# setenforce 0
[root@rsyncd ~]# yum install httpd -y //安裝httpd服務(wù)
[root@rsyncd ~]# cd /var/www/html/
[root@rsyncd html]# echo "this is test web" > index.html //編輯網(wǎng)頁信息
[root@rsyncd html]# cd ../
[root@rsyncd www]# chmod 777 html/ //放開目錄權(quán)限,方便用戶操作
在客戶端服務(wù)器上,拉取同步源rsyncd
[root@client ~]# systemctl stop firewalld.service //關(guān)閉防火墻
[root@client ~]# setenforce 0 //關(guān)閉selinux
[root@client ~]# rpm -q rsync //檢查是否安裝rsync服務(wù)
rsync-3.0.9-18.el7.x86_64
[root@client ~]# yum install httpd -y //安裝httpd服務(wù)
[root@client ~]# cd /var/www/
[root@client www]# chmod 777 html/ //放開目錄權(quán)限
[root@client www]# rsync -avz backuper@192.168.144.128::wwwroot /var/www/html //拉取共享模塊
Password: //輸入密碼
[root@client www]# cat html/index.html //查看是否同步信息
this is test web
[root@client www]# rm -rf html/index.html
[root@client www]# vim /etc/server.pass //創(chuàng)建本地的密碼文件
123123
[root@client www]# chmod 600 /etc/server.pass //更改權(quán)限
[root@client www]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.144.128::wwwroot /var/www/html/ //指定本地密碼文件,刪除目標(biāo)位置有而原始位置沒有的文件,實現(xiàn)免交互
在client客戶端上安裝inotify(監(jiān)控)
[root@client www]# vim /etc/sysctl.conf //修改內(nèi)核參數(shù)文件
fs.inotify.max_queued_events = 16384 //隊列
fs.inotify.max_user_instances = 1024 //每個隊列中的實例數(shù)
fs.inotify.max_user_watches = 1048576 //每個實例中的文件數(shù)
[root@client www]# sysctl -p ##加載
[root@client www]# mount.cifs //192.168.100.8/LNMP-C7 /mnt/ //掛載
Password for root@//192.168.100.3/LNMP-C7:
[root@client www]# cd /mnt/
[root@client mnt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/ //解壓inotify到/opt下
[root@client mnt]# cd /opt/
[root@client opt]# cd inotify-tools-3.14/
[root@client inotify-tools-3.14]# yum install gcc gcc-c++ make -y //安裝環(huán)境
[root@client inotify-tools-3.14]# ./configure //配置
[root@client inotify-tools-3.14]# make && make install //編譯安裝
[root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html/ //啟動監(jiān)控
重新開啟一個客戶機的終端
[root@client ~]# cd /var/www/html/
[root@client html]# touch abc
[root@client html]# rm -rf abc
回到開啟監(jiān)控的終端查看
/var/www/html/ CREATE abc
/var/www/html/ DELETE abc //顯示監(jiān)控信息
在client客戶機創(chuàng)建腳本,通過inotifywait觸發(fā)rsync同步操作腳本
[root@client inotify-tools-3.14]# cd /opt/
[root@client opt]# vim inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html/"
RSYNC_CMD="rsync -avz --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.144.128::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -le 0 ]; then
$RSYNC_CMD
fi
done
[root@client opt]# chmod +x inotify.sh //添加執(zhí)行權(quán)限
在rsyncd服務(wù)器上修改配置文件
[root@rsyncd www]# vim /etc/rsyncd.conf
read only = no //關(guān)閉只讀權(quán)限
[root@rsyncd www]# netstat -natp | grep rsync
tcp 0 0 192.168.144.128:873 0.0.0.0:* LISTEN 36346/rsync
[root@rsyncd www]# kill -9 36346 //關(guān)閉服務(wù)
[root@rsyncd www]# netstat -natp | grep rsync
[root@rsyncd www]# rm -rf /var/run/rsyncd.pid //刪除pid文件
[root@rsyncd www]# rsync --daemon //重新開啟rsync服務(wù)
在client客戶機上執(zhí)行inotify腳本文件
[root@client opt]# ./inotify.sh
重新開啟一個client客戶機終端
[root@client html]# echo "this is test" > test.txt //添加文本
查看開啟監(jiān)控服務(wù)終端信息
[root@client opt]# ./inotify.sh
sending incremental file list
./
rsync: failed to set times on "/." (in wwwroot): Operation not permitted (1)
test.txt
sent 121 bytes received 30 bytes 302.00 bytes/sec
total size is 30 speedup is 0.20
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender=3.0.9]
sending incremental file list
sent 66 bytes received 8 bytes 148.00 bytes/sec
total size is 30 speedup is 0.41
在rsync服務(wù)器上查看
[root@rsyncd www]# cd html/
[root@rsyncd html]# ls
index.html test.txt //實現(xiàn)同步
文章名稱:rsync遠(yuǎn)程同步(理論+實踐篇)
網(wǎng)頁地址:
http://weahome.cn/article/jghpjj.html