小編給大家分享一下sersync如何實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
專注于為中小企業(yè)提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)滄源免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了千余家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
1.1 第一個(gè)里程碑:安裝sersync軟件
1.1.1 將軟件上傳到服務(wù)器當(dāng)中并解壓
1、上傳軟件到服務(wù)器上 rz -E
為了便于管理上傳位置統(tǒng)一設(shè)置為 /server/tools 中
2、解壓軟件包
[root@backup sersync_installdir_64bit]# tree . └── sersync ├── bin │ └── sersync ├── conf │ └── confxml.xml └── logs
1.1.2 二進(jìn)制包安裝方法
二進(jìn)制包安裝軟件方法(綠色軟件安裝方法):
直接解壓就可以使用
[root@nfs01 sersync_installdir_64bit]# mv sersync/ /usr/local/ [root@nfs01 tools]# tree /usr/local/sersync/ /usr/local/sersync/ ├── bin │ └── sersync ├── conf │ └── confxml.xml └── logs directories, 2 files
1.2 第二個(gè)里程碑:編寫sersync配置文件
1.2.1 常見的語法格式
rsync 配置文件編寫:ini語法
sersync配置文件編寫:xml語法
ansible配置文件編寫:yml 語法
1.2.2 修改配置文件
編寫前備份
[root@backup conf]# ll total 4 -rw-r--r-- 1 root root 2214 Oct 26 2011 confxml.xml [root@backup conf]# cp confxml.xml{,.bak}
6-11行表示排除同步的數(shù)據(jù),等價(jià)于 --exclude 功能,表示排除
12-21行是利用inotify的功能監(jiān)控指定的事件,等價(jià)與 -e create,delete…… 表示指定監(jiān)控事件信息
24-28行:推送到哪里 name=模塊 是rsync服務(wù)器的地址
#監(jiān)控那個(gè)目錄
29-35行 定義rsync推送時(shí)的參數(shù)信息。
注意:不要有單詞拼寫錯(cuò)誤 (true),否則程序不能正常啟動(dòng),卡死
配置文件最終內(nèi)容:
[root@nfs01 tools]# cat /usr/local/sersync/conf/confxml.xml
1.3 第三里程碑: 啟動(dòng)sersync
1.3.1 修改文件的權(quán)限(可執(zhí)行)
首先讓程序讓文件有執(zhí)行權(quán)限
[root@nfs01 bin]# chmod a+x sersync [root@nfs01 bin]# ll total 1768 -rwxr-xr-x 1 root root 1810128 Oct 26 2011 sersync
1.3.2 查看軟件的幫助信息
[root@nfs01 bin]# ./sersync -h set the system param execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param _______________________________________________________ 重要參數(shù)-d:啟用守護(hù)進(jìn)程模式 重要參數(shù)-r:在監(jiān)控前,將監(jiān)控目錄與遠(yuǎn)程主機(jī)用rsync命令推送一遍 參數(shù)-n: 指定開啟守護(hù)線程的數(shù)量,默認(rèn)為10個(gè) 重要參數(shù)-o:指定配置文件,默認(rèn)使用confxml.xml文件 參數(shù)-m:單獨(dú)啟用其他模塊,使用 -m refreshCDN 開啟刷新CDN模塊 參數(shù)-m:單獨(dú)啟用其他模塊,使用 -m socket 開啟socket模塊 參數(shù)-m:單獨(dú)啟用其他模塊,使用 -m http 開啟http模塊 不加-m參數(shù),則默認(rèn)執(zhí)行同步程序 ________________________________________________________________
1.3.3 在程序的bin目錄下啟動(dòng)程序
./sersync -dro /usr/local/sersync/conf/confxml.xml
1.3.4 啟動(dòng)方法二
將/usr/local/sersync/bin/程序的bin目錄添加到PATH中
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/sersync/bin/
然后sersync命令就能直接使用
[root@nfs01 scripts]# sersync -dro /usr/local/sersync/conf/confxml.xml set the system param execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param option: -d run as a daemon option: -r rsync all the local files to the remote servers before the sersync work option: -o config xml name: /usr/local/sersync/conf/confxml.xml daemon thread num: 10 parse xml config file host ip : localhost host port: 8008 daemon start,sersync run behind the console use rsync password-file : user is rsync_backup passwordfile is /etc/rsync.password config xml parse success please set /etc/rsyncd.conf max connections=0 Manually sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads) please according your cpu ,use -n param to adjust the cpu rate ------------------------------------------ rsync the directory recursivly to the remote servers once working please wait... execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password >/dev/null 2>&1 run the sersync: watch path is: /data
1.4 Inotify與 sersync總結(jié)對(duì)比
1.4.1 Inotify實(shí)時(shí)并發(fā):
結(jié)論:經(jīng)過測(cè)試,每秒200文件并發(fā),數(shù)據(jù)同步幾乎無延遲(小于1秒)
1.4.2 inotify 優(yōu)點(diǎn):
1)監(jiān)控文件系統(tǒng)事件變化,通過同步工具實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)同步。
1.4.3 inotify 缺點(diǎn)
1)并發(fā)如果大于200個(gè)文件(10-100k),同步就會(huì)有延遲
2)我們前面寫的腳本,每次都是全部推送一次,但確實(shí)是增量的。也可以只同步變化的文件,不變化的不理。
3)監(jiān)控到事件后,調(diào)用rsync同步是單進(jìn)程的,而sersync為多進(jìn)程同步。既然有了inotify-tools,為什么還要開發(fā)sersync?
1.4.4 serysync功能多:(inotify+rsync命令)
1)支持通過配置文件管理
2)真正的守護(hù)進(jìn)程socket
3)可以對(duì)失敗文件定時(shí)重傳(定時(shí)任務(wù)功能)
4)第三方的HTTP接口(例如:更新cdn緩存)
5)默認(rèn)多進(jìn)程rsync同步
1.4.5 高并發(fā)數(shù)據(jù)實(shí)時(shí)同步方案小結(jié):
1)inotify(sersync)+ rsync,是文件級(jí)別的。
2)drbd文件系統(tǒng)級(jí)別,文件系統(tǒng)級(jí)別,基于block塊同步,缺點(diǎn):備節(jié)點(diǎn)數(shù)據(jù)不可用
3)第三方軟件的同步功能:MySQL同步(主從復(fù)制),oracle,MongoDB
4)程序雙寫,直接寫兩臺(tái)服務(wù)器。
5)利用產(chǎn)品業(yè)務(wù)邏輯解決(讀寫分離,備份讀不到,讀主)
2.1 man命令的級(jí)別
centos6
[root@nfs01 ~]# man man The standard sections of the manual include: User Commands #用戶命令 System Calls #系統(tǒng)調(diào)用 C Library Functions # Ç庫函數(shù) Devices and Special Files #設(shè)備和特殊文件 File Formats and Conventions #文件格式和約定 Games et. Al. #游戲等。 Miscellanea #雜記 System Administration tools and Daemons #系統(tǒng)管理工具和程序 Distributions customize the manual section to their specifics, which often include additional sections.
centos7
[root@clsn tuichu]# man ~ Executable programs or shell commands System calls (functions provided by the kernel) Library calls (functions within program libraries) Special files (usually found in /dev) File formats and conventions eg /etc/passwd Games Miscellaneous (including macro packages and conventions), e.g. man(7), groff(7) System administration commands (usually only for root) Kernel routines [Non standard]
以上是“sersync如何實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!