linux下如何實現增量備份？

服務器需求：

創(chuàng)新互聯公司主要從事成都網站建設、成都做網站、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務廣陵,10余年網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:028-86922220

需要備份文件的服務器（服務器端）：192.168.10.2 （RHEL 5）

接收備份文件的服務器（客戶端）：192.168.10.3 （RHEL 5）

實現功能：

通過rsync工具對turbomail郵件服務器的accounts目錄和conf目錄進行增量備份。

accounts目錄：用于存儲用戶相關信息的目錄

conf目錄：用戶配置文件存放目錄

前提條件：

先將turbomail郵件系統(tǒng)安裝好（服務器端與客戶端操作一樣）

安裝過程如下：

1、掛載光驅：mount /dev/cdrom

2、將turbomail的安裝包拷貝到跟目錄下/

#cd /dev/cdrom

#cp turbomail_linux_x86_xxx.tgz

3、解壓turbomail安裝包

tar –zxvf turbomail_linux_x86_xxx.tgz

4、啟動turbomail

#cd /turbomail

#./starttm.sh

#cd /turbomail/web/bin/

#./startup.sh 5、修改啟動腳本/etc/rc.d/rc.local

使郵件服務器開機自動啟動加入以下幾行：#/turbomail/starttm.sh

#/turbomail/web/bin/startup.sh #/turbomail/safestart.sh

rsync的配置如下：

1.服務器端rsync的配置：使用系統(tǒng)自帶的rsync工具，插入系統(tǒng)啟動光盤，通過rpm安裝rsync工具。

若采用采用源碼包安裝，上傳安裝包到服務器1）tar –zxvf rsyncrsync-2.6.9.tar.gz #解壓2）cd rsyncrsync-2.6.9 3）./configure #默認配置，生成編譯環(huán)境

4）make #編譯

5）make install #安裝完成，任何步驟有疑問輸入echo $?查返回值，0表示成功，其他都為失敗rsync 版本

2.4.6(可以從獲得最新版本)

1）編輯/etc/rsyncd.conf文件，rsync的主要配置文件：

#[globale]

strict modes= yes

#check passwd file

port= 873 #rsync工具默認使用的端口

#default port

logfile= /var/log/rsyncd.log #日志文件存放路徑pidfile= /var/run/rsyncd.pid #記錄rsync運行時的進程ID

max connections= 4 #同上最大的鏈接數

#[modules] #同步模塊的配置

[rsync]

uid= root #該選項指定當該模塊傳輸文件時守護進程應該具有的uid

gid= root #該選項指定當該模塊傳輸文件時守護進程應該具有的gid

ignore errors #忽略一些無關的錯誤信息

#要備份的目錄

path= /turbomail/accounts #需要同步的目錄

read only= no #是否設置以只讀的方式運行

host allow= 192.168.10.3 #同步數據的客戶端ip如有多個客戶端，以“，”隔開即可

auth users= zhouhw #同步用的用戶名

secrets file= /etc/rsyncd.scrt #同步的密碼認證文件

[test]

uid= root #該選項指定當該模塊傳輸文件時守護進程應該具有的uid

gid= root #該選項指定當該模塊傳輸文件時守護進程應該具有的gid

ignore errors #忽略一些無關的錯誤信息

#要備份的目錄

path= /turbomail/conf #需要同步的目錄

read only= no #是否設置以只讀的方式運行

host allow= 192.168.10.3 #同步數據的客戶端ip如有多個客戶端，以“，”隔開即可

auth users= zhouhw #同步用的用戶名

secrets file= /etc/rsyncd.scrt #同步的密碼認證文件2）編輯/etc/rsyncd.scrt文件，密碼認證文件

zhouhw：123456

該更權限為600：chmod 600 /etc/rsyncd.scrt 3) 運行rsync --daemon,并在/etc/rc.d/rc.local加入此語句,開機自動啟動。

備注：rsync默認端口873，若安裝了iptables，如需改動啟動時啟動rsync –port 873,請在iptables 中開放該端口，語句如下：

iptables -I INPUT -p tcp --dport 873 -j ACCEPT

4）編輯/etc/xinetd.d/rsync

rsync服務的監(jiān)聽由xinet來統(tǒng)一分配:

service rsync

{

disable = no #將此項改為no

socket_typ

e = stream

wait = no

user = root

server = /usr/bin/rsync

server_args = --daemon

log_on_failure += USERID

}

重啟xinetd以啟動rsync服務

service xinetd restart

5)查看rsync事故正常運行

輸入命令：netstat -ant|grep :873若有顯示以下一條語句，則說明rsync服務已經正常啟動了。

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2.客戶端的配置：使用系統(tǒng)自帶的rsync工具，插入系統(tǒng)啟動光盤，通過rpm安裝rsync工具。

1）編輯/etc/rsyncd.scrt文件，密碼認證文件

zhouhw：123456

該更權限為600：chmod 600 /etc/rsyncd.scrt 2）編輯腳本vi /root/scrpit/rsync.sh并加入開機自動啟動。

#!/bin/sh /usr/bin/rsync -vazu --progress --delete

zhouhw@192.168.10.2::rsync /turbomail --password-file=/etc/rsyncd.scrt

zhouhw@192.168.10.2::test /turbomail

--password-file=/etc/rsyncd.scrt修改權限：chmod u+x

/root/scrpit/rsync.sh執(zhí)行./rsync.sh 同步數據。

3）編輯/etc/crontab文件，定義為每小時30分鐘執(zhí)行一次數據同步。

vi /etc/crontab

# run-parts

01 * * * * root run-parts /etc/cron.hourly 02 4 * * * root

run-parts /etc/cron.daily 22 4 * * 0 root run-parts /etc/cron.weekly 42 4

1 * * root run-parts /etc/cron.monthly 30 * * * * root

/root/scrpit/rsync.sh客戶端的配置到此就可以了，服務器與客戶端的數據也會在每小時的第30分鐘執(zhí)行一次。

客戶端同步命令詳解：

v, --verbose 詳細模式輸出-q, --quiet 精簡輸出模式-c, --checksum

打開校驗開關，強制對文件傳輸進行校驗-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬性，等于-rlptgoD

-r, --recursive 對子目錄以遞歸模式處理-R, --relative 使用相對路徑信息-b, --backup

創(chuàng)建備份，也就是對于目的已經存在有同樣的文件名時，將老的文件重新命名為~filename?？梢允褂?-suffix選項來指定不同的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX定義備份文件前綴

-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且文件時間晚于要備份的文件。(不覆蓋更新的文件) -l, --links 保留軟鏈結-L, --copy-links 想對待常規(guī)文件一樣處理軟鏈結

--copy-unsafe-links僅僅拷貝指向SRC路徑目錄樹以外的鏈結

--safe-links忽略指向SRC路徑目錄樹以外的鏈結

-H, --hard-links 保留硬鏈結-p, --perms 保持文件權限-o, --owner 保持文件屬主信息-g,

--group 保持文件屬組信息-D, --devices 保持設備文件信息-t, --times 保持文件時間信息-S, --sparse

對稀疏文件進行特殊處理以節(jié)省DST的空間-n, --dry-run現實哪些文件將被傳輸-W, --whole-file

拷貝文件，不進行增量檢測-x, --one-file-system 不要跨越文件系統(tǒng)邊界-B, --block-size=SIZE

檢驗算法使用的塊尺寸，默認是700字節(jié)-e, --rsh=COMMAND 指定替代rsh的shell程序

--rsync-path=PATH指定遠程服務器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件--existing 僅僅更新那些已經存在于DST的文件，而不備份那些新創(chuàng)建的文件

--delete刪除那些DST中SRC沒有的文件

--delete-excluded同樣刪除接收端那些被該選項指定排除的文件

--delete-after傳輸結束以后再刪除

--ignore-errors及時出現IO錯誤也進行刪除

--max-delete=NUM最多刪除NUM個文件

--partial 保留那些因故沒有完全傳輸的文件，以是加快隨后的再次傳輸--force 強制刪除目錄，即使不為空

--numeric-ids不將數字的用戶和組ID匹配為用戶名和組名

--timeout=TIME IP超時時間，單位為秒-I, --ignore-times

不跳過那些有同樣的時間和長度的文件--size-only

當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認為0

-T --temp-dir=DIR在DIR中創(chuàng)建臨時文件

--compare-dest=DIR同樣比較DIR中的文件來決定是否需要備份

-P等同于--partial

--progress顯示備份過程

-z, --compress 對備份的文件在傳輸時進行壓縮處理

--exclude=PATTERN指定排除不需要傳輸的文件模式

--include=PATTERN指定不排除而需要傳輸的文件模式

--exclude-from=FILE排除F

ILE中指定模式的文件

--include-from=FILE不排除FILE指定模式匹配的文件

--version打印版本信息

--address綁定到特定的地址

--config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件

--port=PORT指定其他的rsync服務端口

--blocking-io對遠程shell使用阻塞IO

-stats給出某些文件的傳輸狀態(tài)

--progress在傳輸時現實傳輸過程

--log-format=formAT指定日志文件格式

--password-file=FILE從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬，KBytes per second -h, --help 顯示幫助信息

Linux下數據備份命令scp、rsync和后臺運行

scp和rsync 均可實現文件的復制，但相比較，scp占用系統(tǒng)資源較小，rsync速度較快。當小文件眾多時，rsync會導致硬盤I/O非常高，而scp基本不影響系統(tǒng)正常使用?？筛鶕枰@倆選其一實現文件復制。

scp 是secure copy的縮寫，scp是Linux系統(tǒng)下基于ssh登錄進行安全的遠程文件拷貝命令。

可以實現本地文件復制到遠程服務器，也可以將遠程文件復制到本地。

rsync 是remote sync的縮寫。使用rsync備份數據時，不會直接覆蓋以前的數據（如果數據已經存在），而是先判斷已存在的數據和新數據的差異（默認規(guī)則是文件大小或修改時間有差異），只有數據不相同時才會把不相同的部分覆蓋。在僅作增量數據的copy時比scp靈活。

一般CentOS默認安裝rsync，若使用 rsync -v 提示找不到命令，可使用 yum install -y rsync 安裝。

單個冒號和雙冒號的區(qū)別 ：使用rsync在遠程傳輸數據前，是需要進行登陸認證的，這個過程可使用ssh協(xié)議也可以使用rsync協(xié)議完成。單冒號（:）使用的是ssh協(xié)議；雙冒號（::）使用的是rsync協(xié)議。

默認情況下，rsync只確保源文件的所有內容（明確排除的文件除外）都復制到目標目錄。它不會使兩個目錄保持不同，并且不會刪除文件。如果要使目標目錄成為源目錄的鏡像副本，則使用--delete選項?？蓜h除只存在目標目錄，不存在于源目錄的文件。

增量備份算是一個經常使用的場景了。兩臺服務器之間進行文件定期備份，無需所有文件都copy一遍，僅復制有變動的文件。

具體做法是，第一次同步是全量備份，所有文件在基準目錄里面同步一份。以后每一次同步都是增量備份，只同步源目錄與基準目錄之間有變動的部分，將這部分保存在一個新的目標目錄。這個新的目標目錄之中，也是包含所有文件，但實際上，只有那些變動過的文件是存在于該目錄，其他沒有變動的文件都是指向基準目錄文件的硬鏈接。

--link-dest 參數用來指定同步時的基準目錄。

上面命令中， --link-dest 參數指定基準目錄 /compare/path ，然后源目錄 /source/path 跟基準目錄進行比較，找出變動的文件，將它們拷貝到目標目錄 /target/path 。那些沒變動的文件則會生成硬鏈接。這個命令的第一次備份時是全量備份，后面就都是增量備份了。

一般服務器之間復制文件都比較大，為防止誤操作，最好在后臺運行。但因為需要和遠程服務器之間的ssh通訊多是需要密碼的，所以不能直接使用nohup 放置于后臺。無論是scp還是rsync都可操作如下：

后臺和前臺任務的切換

scp不支持斷點續(xù)傳，掛起scp進程可能導致數據缺失。傾向于使用rsync。

如果有其他任務需要使用nohup后臺運行，但執(zhí)行時卻忘記了使用nohup，也可參照此方法進行設置。

參考：1. Linux之scp命令及后臺運行scp

(十六)Linux文件備份

1.Linux系統(tǒng)需要備份的數據

/root/目錄：

/home/目錄：

/var/spool/mail/目錄：

/etc/目錄：

其他目錄：

數據備份的原則： 不要把雞蛋放在同一個籃子里

2.安裝服務的數據

apache需要備份的數據

配置文件

網頁主目錄

日志文件

mysql需要備份的數據

源碼包安裝的mysql：/usr/local/mysqld/data/

RPM包安裝的mysql：/var/lib/mysql/

3.備份策略

完全備份： 完全備份就是指把所有需要備份的數據全部備份，當然完全備份可以備份整塊硬盤，整個分區(qū)或某個具體的記錄(需要更大的硬盤空間和時間)

增量備份： 第一天完全備份，第二天備份當天新增數據，第三天備份當天數據，即每次都是備份新增數據，每次備份后數據要進行壓縮(需要較小的硬盤空間恢復麻煩)

差異備份： 第一天完全備份，第二天備份當天新增數據，第三天備份相比原始備份新增數據，即每次都是備份與原始數據相比的新增數據(比完全備份需要的空間小一點，比增量備份恢復容易一點)

1.dump命令

dump [選項] 備份之后的文件名 原文件或目錄

選項

-level? ? ? ? ? ? ? ? ? ? 就是我們說的0-9十個備份級別

-f 文件名? ? ? ? ? ? ? 指定備份之后的文件名

-u? ? ? ? ? ? ? ? ? ? ? ? ? 備份成功之后，把備份時間記錄在/etc/dumpdates文件

-v? ? ? ? ? ? ? ? ? ? ? ? ? 顯示備份過程中更多的輸出信息

-j? ? ? ? ? ? ? ? ? ? ? ? ? 調用bzib庫壓縮備份文件，其實就是把備份文件壓縮為.bz2格式

-W? ? ? ? ? ? ? ? ? ? ? ? 顯示允許被dump的分區(qū)的備份等級及備份時間

備份分區(qū)實例

dump -0uj -f /root/boot.bak.bz2 /boot/? ? ? ? 備份命令，先執(zhí)行一次完全備份，并壓縮和更新備份時間

cat /etc/dumpdates? ? ? ? ? ? ? ? 查看備份時間文件

cp install.log /boot/? ? ? ? ? ? ? ? 復制日志文件到boot分區(qū)

dump -luj -f /root/boot.bak1.bz2? ? ? ? ? ? ? 增量備份/boot分區(qū)，并壓縮

dump -W? ? ? ? ? ? ? ? ? 查詢分區(qū)的備份時間及備份級別的

備份文件或目錄實例

dump -0j /root/etc.dump.bz2 /etc/? ? ? ? 完全備份/etc/目錄，只能使用0級別進行完全備份，而不再支持增量備份

注意： dump只能針對分區(qū)做增量備份，對文件或目錄不能進行增量備份

2.restore命令

restore [模式選項] [選項]

模式選項：restore命令常用的模式有一下四種，這四個模式不能混用

-C? ? ? ? ? ? 比較備份數據和實際數據的變化

-i? ? ? ? ? ?? 進入交互模式，手工選擇需要恢復的文件

-t? ? ? ? ? ?? 查看模式，用于查看備份文件中擁有哪些數據

-r? ? ? ? ? ?? 還原模式，用于數據還原

選項

-f? ? ? ? ? ? 指定備份文件的文件名

比較備份數據和實際數據的變化

mv /boot/vmlinuz-2.3.32--279.el6.i686 /boot/vmlinuz-2.6.32-279.el6.i686.bak

把boot目錄中內核鏡像文件改個名字

restore -C -f /root/boot.bak.bz2

restore發(fā)現內核鏡像文件丟失

查看模式

restore -t -f boot.bak.bz2

還原模式

還原boot.bak.bz2分區(qū)備份

mkdir boot.test

cd boot.test/

先還原完全備份的數據

restore -r -f /root/boot.bak.bz2

再恢復增量備份的數據

restore -r -f /root/boot.bak1.bz2

還原/etc/目錄的備份etc.dump.bz2

restore -r -f etc.dump.bz2

還原etc.dump.bz2備份

如何使用linux下的差異和增量備份

這是我正在使用的一段備份腳本 mybackup.sh

在redhat Linux 7.2 下運行正常

mybackup.sh

代碼:

#!/bin/sh

umount /mnt/bak

mount /dev/sdb1 /mnt/bak

if [ `date +%d` = '01' ] #每月1號進行完全備份

then

bakdir="/mnt/bak/daybak/month/"`date +%m%d`

zl="" #進行完全備份

else

bakdir="/mnt/bak/daybak/"`date +%d`

zl="-N "`date +'%Y-%m-01 00:00:01'`; #差異備份

#zl="-N "`date -d '-1 day' +'%Y-%m-%d 00:00:01'` #日增量備份

fi

tmpbakdir=${bakdir}tmp

rm -rf ${tmpbakdir}

mkdir ${tmpbakdir}

tar "${zl}" -czf ${tmpbakdir}/ /var/www/html

tar "${zl}" -czf ${tmpbakdir}/etc.tgz /etc

tar "${zl}" -czf ${tmpbakdir}/mysql.tgz /var/lib/mysql

tar "${zl}" -czf ${tmpbakdir}/home.tgz /home

tar "${zl}" -czf ${tmpbakdir}/name.tgz /var/name

rm -rf $bakdir

mv $tmpbakdir $bakdir

umount /mnt/bak

把mybackup.sh 放到 /etc/cron.daly 中即實現可月循環(huán) 差異/增量 備份

為方便恢復數據我使用了差異備份,如果想節(jié)約空間可以使用日總量備份,不過那樣恢復數據時刻就要麻煩點了,另外你也可以很容易把上面的腳本改為周循環(huán)

事項增量備份的另外方法是利用find命令，

例如只備份一天前修改過的文件

代碼:

find /var/www -type f -mtime -1 -print/tmp/filelist.txt