公司有一臺(tái)文件服務(wù)器,提供給設(shè)計(jì)部門,用來存放圖紙,空間10T,已使用容量9.2T,文件約為100萬個(gè)。由于文件服務(wù)器使用一臺(tái)較為低端的DELL R320加上幾個(gè)SATA硬盤做的RAID5,為安全計(jì),需要備份數(shù)據(jù)。
成都創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括詔安網(wǎng)站建設(shè)、詔安網(wǎng)站制作、詔安網(wǎng)頁制作以及詔安網(wǎng)絡(luò)營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,詔安網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶以成都為中心已經(jīng)輻射到詔安省份的部分城市,未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任!
對(duì)于備份的方案前期我們也做了一些調(diào)研,比如使用備份一體機(jī)還是使用傳統(tǒng)的方案來進(jìn)行備份。并且對(duì)各方面進(jìn)行了一番對(duì)比。
備份一體機(jī) | 傳統(tǒng) | |
備份原理 | 在設(shè)計(jì)部文件服務(wù)器上安裝備份代理,定期通過網(wǎng)絡(luò)備份到一體機(jī) | 通過DFS復(fù)制,實(shí)時(shí)或定期將文件副本寫入新服務(wù)器,定期對(duì)新服務(wù)器存儲(chǔ)的文件備份到本地 |
安全性 | 因?yàn)槠涫褂胠inux做為底層,不易受到勒索病毒***,文件不易被刪除,安全性較高 | 使用windows,在windows上使用備份工具備份,易受到勒索病毒***,存在安全風(fēng)險(xiǎn) |
可靠性 | 使用單獨(dú)的一體機(jī),只用于備份設(shè)計(jì)部文件服務(wù)器時(shí),可靠性較高 | 使用wsb,文件易被誤刪除,導(dǎo)致無法還原,可靠性比一體機(jī)低 |
如果DFS出錯(cuò),未能同步,可能導(dǎo)致數(shù)據(jù)丟失 | ||
底層OS為windows,備份做為一種工具或程序存在,OS故障,則導(dǎo)致備份可能無法還原 | ||
備份時(shí)間 | 按備份速度為50MB/s,即網(wǎng)絡(luò)流量為400Mbps,單次全備時(shí)間預(yù)計(jì)60個(gè)小時(shí)以上 | 除首次同步外,不需長時(shí)間占用網(wǎng)絡(luò)流量,在同一臺(tái)機(jī)器上備份 |
價(jià)格 | 160000 | 55000 |
優(yōu)勢(shì) | 可靠性高,操作簡單,易于驗(yàn)證,不易出錯(cuò) | 價(jià)格較低,只購買一臺(tái)服務(wù)器,且服務(wù)器可以用于提供文件服務(wù)(備用文件服務(wù)器) |
劣勢(shì) | 價(jià)格較高 | 可靠性和安全性比備份一體機(jī)低,無售后技術(shù)支持 |
簡單的來講,使用備份一體機(jī),就是使用一臺(tái)專門的一體機(jī),只為這10T內(nèi)容進(jìn)行備份。因?yàn)?0T的內(nèi)容按照備份速度50MB/s,需要58小時(shí)才能備份完成。如果使用原有的備份一體機(jī),那么在這個(gè)時(shí)間段內(nèi),其他數(shù)據(jù)的備份可能存在資源沖突。也有可能,10T數(shù)據(jù)備份,加上其他數(shù)據(jù)備份到同一臺(tái),這10T數(shù)據(jù)可能需要3-5天的時(shí)間才能完成。所以需要一臺(tái)專門的備份一體機(jī)來為這10T數(shù)據(jù)備份。
而使用傳統(tǒng)方案,則是使用卷影副本+DFS+WSB。具體是這樣操作:在原有的服務(wù)器上,我們對(duì)存放數(shù)據(jù)的10T的卷做了卷影副本,如果空間充足,可以提供多達(dá)64個(gè)以前的版本。新購買一臺(tái)服務(wù)器,可用空間50T,價(jià)格約為5.5萬元,數(shù)據(jù)存放劃分兩個(gè)區(qū),一個(gè)20T的空間用于存放DFS的已復(fù)制文件夾,另一個(gè)30T的空間用于使用WSB進(jìn)行備份。DFS即分布式文件系統(tǒng),可以用來抵御因硬件損壞帶來的單點(diǎn)故障(與備份不同),這樣,如果原有的10T服務(wù)器當(dāng)機(jī)后,這臺(tái)機(jī)器依然可以提供給用戶訪問。而數(shù)據(jù)的備份就依靠windows server backup來做了,經(jīng)過測試環(huán)境的檢驗(yàn),使用WSB默認(rèn)設(shè)置,即完全備份-副本備份,其實(shí)際上做的備份會(huì)進(jìn)行重復(fù)數(shù)據(jù)刪除或者說實(shí)際上做的是增量備份,除第一次全備外,并不會(huì)每次備份10個(gè)T的數(shù)據(jù),而只會(huì)備份增量的數(shù)據(jù)。通過這個(gè)方案,我們可以抵御硬件帶來的單點(diǎn)故障,對(duì)于小量的文件恢復(fù),可以使用卷影副本來恢復(fù),而如果面對(duì)服務(wù)器感染勒索病毒等情況下,還有備份可以還原。當(dāng)然,前提是服務(wù)器需要打好補(bǔ)丁,安裝好正版的殺毒軟件。
兩個(gè)方案報(bào)給領(lǐng)導(dǎo),領(lǐng)導(dǎo)決定使用傳統(tǒng)的備份方案。
接下來需要準(zhǔn)備在實(shí)驗(yàn)環(huán)境下進(jìn)行測試了,主要是考慮到10T的數(shù)據(jù),進(jìn)行DFS的初始復(fù)制需要的時(shí)間很長。根據(jù)微軟網(wǎng)站上的實(shí)驗(yàn),1400萬個(gè)文件,共10T,進(jìn)行初始同步花費(fèi)了24天,微軟網(wǎng)站上把這個(gè)形成為一種針對(duì)網(wǎng)絡(luò)的***。官方推薦的做法是預(yù)先通過將目標(biāo)服務(wù)器上放置源服務(wù)器上存在的數(shù)據(jù),并且通過導(dǎo)出DFS數(shù)據(jù)庫,再導(dǎo)入數(shù)據(jù)庫到目標(biāo)服務(wù)器的方式來減少DFS初始同步的問題。
我先把要點(diǎn)捋一下:
一、 在兩臺(tái)服務(wù)器上都安裝DFS復(fù)制組件,DFS復(fù)制與DFS命名空間是分開的,可以不安裝DFS命名空間。將源服務(wù)器(10T)加入到復(fù)制組并且創(chuàng)建已復(fù)制文件夾。使之成為初始復(fù)制的主要成員。
二、在源服務(wù)器上導(dǎo)出DFS數(shù)據(jù)庫的克隆
三、使用robocopy將源服務(wù)器(10T)的數(shù)據(jù)拷貝到目標(biāo)服務(wù)器(50T)
四、 在目標(biāo)服務(wù)器上將第二步在源上導(dǎo)入的DFS數(shù)據(jù)庫導(dǎo)入到目標(biāo)服務(wù)器
五、 將目標(biāo)服務(wù)器加入到復(fù)制組
六、進(jìn)行初次同步
注意問題:
1. 目標(biāo)服務(wù)器不要在最開始的時(shí)候加入到已復(fù)制組,需要等到數(shù)據(jù)復(fù)制完成,DFS數(shù)據(jù)庫導(dǎo)入完成后再加入。
2. 目標(biāo)服務(wù)器和源服務(wù)器不要搞混,源服務(wù)器指擁有權(quán)威數(shù)據(jù)的服務(wù)器,它應(yīng)該被設(shè)置成為初始復(fù)制的主服務(wù)器,也稱為上游服務(wù)器;目標(biāo)服務(wù)器是指新服務(wù)器,沒有數(shù)據(jù)的50T服務(wù)器,也稱為下游服務(wù)器。
3. 在下游服務(wù)器上,不要手動(dòng)創(chuàng)建被同步的文件夾,這兩個(gè)文件夾應(yīng)該由robocopy來創(chuàng)建,以免文件HASH存在不一致,導(dǎo)致DFS初始化時(shí)間過長。
4. 進(jìn)行初始復(fù)制的時(shí)候,由上游服務(wù)器做為權(quán)威,會(huì)去同步下游服務(wù)器。而此時(shí)下游服務(wù)器上存在,上游服務(wù)器上不存在的數(shù)據(jù),會(huì)被存放到下游服務(wù)器的dfsrprivate\preexiting這個(gè)目錄下。這個(gè)目錄是隱藏的,就在你的已同步文件夾里面。顯示隱藏和系統(tǒng)文件即可看到。
5. 可以適當(dāng)調(diào)整暫存文件夾和沖突和已刪除文件夾的大小。建議暫存文件夾至少為4需要同步的最大文件的大小,否則,可能會(huì)報(bào)錯(cuò)。
接下來,我們開始實(shí)驗(yàn)
實(shí)驗(yàn)環(huán)境:有兩臺(tái)windows server 2012的虛擬機(jī),dc201201 IP:192.168.99.98,充當(dāng)DC以及DFS復(fù)制的上游服務(wù)器; dc201202 IP:192.168.99.99,充當(dāng)DFS復(fù)制的下游服務(wù)器。
實(shí)驗(yàn)?zāi)繕?biāo):上游服務(wù)器上存在數(shù)千個(gè)文件,需要使用預(yù)播的方式存到下游服務(wù)器,以便初次同步能迅速完成。
已復(fù)制文件夾名稱:部門文檔
DFS復(fù)制
一、 在DC201201上安裝AD域服務(wù),并且將其提升為新林contoso.com中的第一個(gè)域的DC
二、 域控安裝完成之后,在兩臺(tái)機(jī)器上分別安裝DFS復(fù)制這個(gè)管理組件。
Install-WindowsFeature –Name Fs-Dfs-Replication -IncludeManagementTools
三、 在兩臺(tái)服務(wù)器上分別創(chuàng)建分區(qū)E和F,大約都為50G。在dc201201的E盤創(chuàng)建了部門文檔文件夾,并且放入了4875個(gè)文件,大小約為900M。
四、在上游服務(wù)器上創(chuàng)建復(fù)制組,創(chuàng)建一個(gè)已復(fù)制文件夾,并指定該文件夾在上游服務(wù)器的物理位置。
驗(yàn)證:等待DFS復(fù)制的事件日志中出現(xiàn)4112,這表示這臺(tái)服務(wù)器DC201201是初始化復(fù)制時(shí)的主文件夾。
五、導(dǎo)出上游服務(wù)器的克隆數(shù)據(jù)庫和卷配置的XML文件,它還要求該卷上的任何已復(fù)制文件夾都未處于初始同步階段。
在這一個(gè)通PS創(chuàng)建了一個(gè)e:\dfsrclone的文件夾,并且將E盤的信息做出了一個(gè)克隆,注意,這個(gè)并不是真實(shí)的數(shù)據(jù)文件的克隆。
在這一步實(shí)施的時(shí)候,建議讓用戶不要訪問e:\部門文檔上的內(nèi)容,因?yàn)檫@會(huì)導(dǎo)致克隆的效率降低。更重要的一點(diǎn)是,在初始復(fù)制完成以前,絕對(duì)禁止用戶訪問下游(目標(biāo))服務(wù)器上的文件。
在克隆數(shù)據(jù)庫的時(shí)候,它給出了如何將數(shù)據(jù)和數(shù)據(jù)庫復(fù)制到下游服務(wù)器的命令,按照給出的命令執(zhí)行即可,目標(biāo)可以使用UNC路徑的方式來表示。
五、驗(yàn)證數(shù)據(jù)庫的導(dǎo)出和上游服務(wù)器初始復(fù)制已經(jīng)準(zhǔn)備好。分別通過日志2402和2002表示。日志2402表示克隆的數(shù)據(jù)庫已經(jīng)導(dǎo)出完成,2002表示初始復(fù)制已經(jīng)在主服務(wù)器上準(zhǔn)備好。
六、將已復(fù)制文件夾內(nèi)的數(shù)據(jù)使用robocopy復(fù)制到下游服務(wù)器。需要特別注意的是,目標(biāo)路徑不能在下游服務(wù)器上手動(dòng)創(chuàng)建,讓robocopy自動(dòng)創(chuàng)建即可。
通過robocopy的顯示,共復(fù)制了4875個(gè)文件,1002M,花費(fèi)了21秒。
執(zhí)行的命令
```
Robocopy.exe“e:\部門文檔”“\\dc201202\E$\部門文檔”/ E / B / COPYALL / R:6 / W:5 / MT:64 / XD DfsrPrivate / TEE /LOG+:preseed.log
/E:
```
請(qǐng)勿在卷的根目錄上使用robocopy / MIR選項(xiàng),不要在下游服務(wù)器上手動(dòng)創(chuàng)建已復(fù)制的文件夾,也不要運(yùn)行先前已復(fù)制的robocopy文件(即如果必須重新開始,請(qǐng)刪除目標(biāo)文件夾和文件結(jié)構(gòu),并真正重新開始)。讓robocopy創(chuàng)建所有文件夾,并在每次運(yùn)行時(shí)通過/ e / b / copyall選項(xiàng)將所有內(nèi)容復(fù)制到下游服務(wù)器。否則,您很可能最終會(huì)出現(xiàn)哈希不匹配。
接下來,我們需要將導(dǎo)出的E盤的數(shù)據(jù)庫XML文件通過xcopy復(fù)制到下游服務(wù)器,同時(shí),在這個(gè)時(shí)候,為了模擬上游服務(wù)器有人使用,復(fù)制了幾個(gè)大文件到上游服務(wù)器。
七、驗(yàn)證文件HASH,驗(yàn)證兩臺(tái)服務(wù)器上的文件的HASH值是否一致,如果HASH一致,則表示這些文件在初始復(fù)制的時(shí)候無需再進(jìn)行同步了。建議在多個(gè)目錄下進(jìn)行比對(duì)。
八、在下游服務(wù)器上導(dǎo)入數(shù)據(jù)庫和XML文件,在導(dǎo)入之前,請(qǐng)確保下游服務(wù)器的e:\system volume information\dfsr這個(gè)文件夾不存在。
也可以使用以下方法來確保DFSR里不存在任何文件。
1. 創(chuàng)建一個(gè)e:\empty的文件夾
2. robocopy "e:\cmpty" "e:\system vloume information\dfsr" /mir
本文略過此步
九、驗(yàn)證下游服務(wù)器的數(shù)據(jù)庫和XML文件導(dǎo)入是否成功,通過DFS復(fù)制的日志來查看,2412,2416,2404.看到日志2404則表示已經(jīng)完成了導(dǎo)入。
十、 將下游服務(wù)器dc201202加入到復(fù)制組
十一、驗(yàn)證初始復(fù)制是否成功,需要等待DFS復(fù)制日志4104,請(qǐng)注意,在這里不會(huì)出現(xiàn)日志4102.如果在上游導(dǎo)出了克隆后,上游又有數(shù)據(jù)被更改了,那么這些文件將以權(quán)威的方式復(fù)制到下游服務(wù)器。
至此,DFS的復(fù)制工作完成。我們來下游服務(wù)器上看看數(shù)據(jù)是否被復(fù)制過來了。
驗(yàn)證一下同步功能,在下游服務(wù)器上刪除紅色HDTV01.MKV這個(gè)文件,查看上游是否會(huì)同步。
驗(yàn)證結(jié)果是可以同步。
卷影副本
vssadmin add shadowstorage /for=d: /on=e: /maxsize=2GB
1. 卷影副本最多可以支持多達(dá)64個(gè)以前的版本,如果超過64個(gè),它會(huì)自動(dòng)刪除最前面的版本。
2. 卷影副本不適合大量讀寫的文件,可能導(dǎo)致CPU占用率居高不下
在這里,我準(zhǔn)備的方案是在兩臺(tái)機(jī)器上都開啟卷影副本。卷影副本占用的空間,我的做法是上游服務(wù)器1T,下游服務(wù)器2T。實(shí)驗(yàn)環(huán)境,都是取10%
首次開啟卷影副本,會(huì)自動(dòng)創(chuàng)建一次。在我的實(shí)際環(huán)境中,10T的數(shù)據(jù)空間,將卷影副本放到另外一個(gè)1T的空間。保存了64個(gè)副本。
提示:卷影副本不能完全當(dāng)成備份使用,特別是你的磁盤空間不足的情況下,如果磁盤被擦寫一次完整的,可能會(huì)丟失所有的卷影副本。
備份
安裝windows server backup備份工具,并且進(jìn)行默認(rèn)的備份,默認(rèn)的備份指完全備份,副本備份。下次有時(shí)候我再去執(zhí)行非副本方式的備份。
一、在下游服務(wù)器, 通過向?qū)О惭bwsb
在這里,默認(rèn)的備份頻率是每天一天或者多次,我們可以更改任務(wù)計(jì)劃里的back的相關(guān)計(jì)劃來調(diào)整頻率。
進(jìn)行首次備份,然后,添加1G文件,再進(jìn)行第二次備份。查看兩次備份總共占用的空間大小。
E盤已用空間4.42G,F(xiàn)盤目前占用空間為0.1G
備份第一次后,F(xiàn)盤已用空間為6.02GB
復(fù)制兩個(gè)總共1G的文件,到E:\部門文檔
再次執(zhí)行備份,F(xiàn)盤已用空間為6.1G。
通過這個(gè)實(shí)驗(yàn),我們進(jìn)行了兩次完全備份,第一次占用了6G空間,第二次備份,只占用了0.1G。它并沒有占用兩次備份的數(shù)據(jù)之和的空間。所以說明它是增量備份或者說是進(jìn)行了重復(fù)數(shù)據(jù)刪除的。(還要去查資料)
數(shù)據(jù)還原:
打開windows server backup,點(diǎn)擊恢復(fù),可以通過日期來看到備份編錄。
災(zāi)難恢復(fù)
如果哪一天,50T空間的服務(wù)器操作系統(tǒng)故障,重裝了,如何來有效的利用這上面的數(shù)據(jù)呢?
1. 卷影副本:
重裝前的卷影副本有四次,
重裝系統(tǒng)以后的數(shù)據(jù):
2. 備份的數(shù)據(jù)
重裝系統(tǒng)以前,備份的數(shù)據(jù)有以下幾次
在重裝后的系統(tǒng)啟用WSB的恢復(fù)向?qū)?/p>
請(qǐng)注意上圖,11月2日到6日,數(shù)字加粗了,就表示有備份。這樣,即使是重裝了系統(tǒng),也可以把原來的卷影副本和備份的數(shù)據(jù)找到。當(dāng)然,由于這個(gè)備份的平臺(tái)是Windows平臺(tái),一定要考慮好安全問題,一個(gè)是即時(shí)打補(bǔ)丁,一個(gè)是安裝殺毒軟件。 另外一點(diǎn)就是,DFS我們這個(gè)實(shí)驗(yàn)中設(shè)置的時(shí)實(shí)時(shí)的同步,也可以選擇為非實(shí)時(shí)的,即多長時(shí)間復(fù)制一次,比如每周二、周六晚上0點(diǎn)到7:00進(jìn)行復(fù)制,甚至也可以使用robocopy進(jìn)行復(fù)制。像我原來公司的文件服務(wù)器就是每周三次的robocopy進(jìn)行的復(fù)制,這樣有一個(gè)好處就是萬一哪天原文件服務(wù)器被勒索病毒***,加密了,我還有一個(gè)緩沖的時(shí)間,這樣至多丟失三天的數(shù)據(jù)。
附全文腳本:(PS的腳本我也不熟悉,除了導(dǎo)出和導(dǎo)出數(shù)據(jù)庫和XML以外,竊以為,其他的都可以通過GUI來實(shí)現(xiàn))
On the upstream DC201201 server:
New-DfsReplicationGroup “VSS” |
New-DfsReplicatedFolder -FolderName “部門文檔” | Add-DfsrMember -ComputerName dc201201
Set-DfsrMembership –GroupName “VSS” -ComputerName dc201201 -ContentPath "E:\部門文檔" -PrimaryMember $True -FolderName “部門文檔”
Update-DfsrConfigurationFromAD
Get-WinEvent “Dfs replication” -MaxEvents 4 | fl
New-Item -Path “E:\Dfsrclone” -Type Directory
Export-DfsrClone -Volume E: -Path “E:\Dfsrclone”
Robocopy.exe “E:\部門文檔” “\\dc201202\E$\部門文檔” /E /B /COPYALL /R:6 /W:5 /MT:64 /XD DfsrPrivate /TEE /LOG+:preseed.log
Robocopy.exe E:\Dfsrclone \\dc201202\e$\Dfsrclone
On the downstream DC201202 server (note: you may need to stop the DFSR service to perform the first step; be sure to start it up again so that you can run the import)
RD “E:\System Volume Information\DFSR” –Force -Recurse
Import-DfsrClone -Volume E: -Path “E:\Dfsrclone”
Get-WinEvent “Dfs replication” -MaxEvents 10 | fl
Add-DfsrMember -GroupName “VSS” -ComputerName “DC201202” | Set-DfsrMembership -FolderName “部門文檔” -ContentPath “E:\部門文檔”
Add-DfsrConnection -GroupName “VSS” -SourceComputerName “DC201201” -DestinationComputerName “DC201202”
Update-DfsrConfigurationFromAD DC201201,DC201202
Get-WinEvent “Dfs replication” -MaxEvents 10 | fl