本篇內(nèi)容介紹了“redis主從復(fù)制的實現(xiàn)方法是什么”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
我們提供的服務(wù)有:做網(wǎng)站、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、南岳ssl等。為成百上千企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的南岳網(wǎng)站制作公司這篇文章主要講述Redis的主從復(fù)制功能。會依次從環(huán)境搭建、功能測試和原理分析幾個方面進(jìn)行介紹。
服務(wù)器架構(gòu)圖如下
啟動主服務(wù)器101,使用info replication
命令查看狀態(tài),可以看到role為master(也就是角色為主主服務(wù)器),connected_salaves的值為0(從服務(wù)器數(shù)量為0)
接下來用修改配置文件的方式將102機(jī)器加入的主從復(fù)制當(dāng)中
然后再用命令的方式同樣將103機(jī)器加入的主從復(fù)制當(dāng)中。
ip地址為192.168.17.102的機(jī)器的Redis配置文件增加slaveof 192.168.17.101 6379
啟動102的redis,狀態(tài)如下
可以看到role變?yōu)閟lave(角色為從服務(wù)器),master_host(主服務(wù)器IP地址)為192.168.17.101,master_port(主服務(wù)器端口)為6379。
此時101主服務(wù)器的主從狀態(tài)如下,可以看到connected_salaves的值變?yōu)?,以及增加了一行slave0(從服務(wù)器的狀態(tài))
未執(zhí)行slaveof命令的主從狀態(tài)如下
開始執(zhí)行slaveof命令
192.168.17.103:6379> slaveof 192.168.17.101 6379OK
再次查看狀態(tài),可以看到角色已經(jīng)變成從服務(wù)器
現(xiàn)在再來看看主服務(wù)器的狀態(tài),可以看到從服務(wù)器數(shù)量變成2,又多了一條從服務(wù)器的信息
到這里主從環(huán)境就搭好了,現(xiàn)在來測試一波
現(xiàn)在主服務(wù)器101輸入命令
192.168.17.101:6379> set 101 101OK
然后在從服務(wù)器102上查看所有的鍵,發(fā)現(xiàn)有鍵101,接著設(shè)置鍵102
192.168.17.102:6379> keys *1) "101"192.168.17.102:6379> get 101"101"192.168.17.102:6379> set 102 102(error) READONLY You can't write against a read only slave.
發(fā)現(xiàn)出現(xiàn)錯誤(error) READONLY You can't write against a read only slave.
后面在講述出錯原因
現(xiàn)在在從服務(wù)器103上查看所有的鍵,發(fā)現(xiàn)也有101
192.168.17.103:6379> keys * 1) "101"
再向主服務(wù)器101輸入命令
192.168.17.101:6379> set ip ipOK
然后到從服務(wù)器103上查看所有的鍵
192.168.17.103:6379> keys * 1) "101" 2) "ip"
可以看到多了一個鍵,說明主服務(wù)的數(shù)據(jù)同步到了從服務(wù)器上,操作過程看下圖
出現(xiàn)錯誤(error) READONLY You can't write against a read only slave.
是因為
從節(jié)點默認(rèn)是只讀的,如需修改可以再配置文件中修改下面這個屬性
slave-read-only yes
當(dāng)主服務(wù)設(shè)置密碼時,配置文件需要增加如需參數(shù)
masterauth
當(dāng)我在從服務(wù)器103上輸入slaveof命令時,出現(xiàn)如下日志
總的來說主從復(fù)制功能的詳細(xì)步驟可以分為7個步驟:
設(shè)置主服務(wù)器的地址和端口
建立套接字連接
發(fā)送PING命令
身份驗證
發(fā)送端口信息
同步
命令傳播
接下來分別敘述每個步驟
主從復(fù)制的第一步就是設(shè)置主服務(wù)器的地址和端口,當(dāng)輸入slaveof命令或者在配置文件中配置信息時,從服務(wù)器會將主服務(wù)器的ip地址和端口號保存到服務(wù)器狀態(tài)的屬性里面。
在slaveof命令執(zhí)行之后,從服務(wù)器會根據(jù)設(shè)置的ip和端口,向主服務(wù)器簡歷socket連接。
socket連接成功后,從服務(wù)器會發(fā)送一PING命令給主服務(wù)器。
這時候PING命令可以檢查socket的讀寫狀態(tài)是否正常,還可以檢查主服務(wù)器能否正常處理命令請求。
從服務(wù)器在發(fā)送PING命令時可能遇上的情況如下圖
從服務(wù)器收到主服務(wù)器的PONG回復(fù)后,會檢查從服務(wù)器是否設(shè)置masterauth,設(shè)置則進(jìn)行身份驗證,未設(shè)置則跳過該步驟。從服務(wù)器在身份驗證時可能遇上的情況如下
身份驗證通過后,從服務(wù)器會向主服務(wù)器發(fā)送自己的監(jiān)聽端口號。主服務(wù)器收到之后會將端口號記錄到從服務(wù)器對應(yīng)的狀態(tài)屬性中。在主服務(wù)器調(diào)用info replication
可以看到從服務(wù)器的port,如下
發(fā)送端口信息之后,從服務(wù)器會向主服務(wù)器發(fā)送PSYNC命令,執(zhí)行同步操作,并將自己的數(shù)據(jù)庫同步至主服務(wù)器數(shù)據(jù)庫當(dāng)前的狀態(tài)。
同步這塊內(nèi)容會在后面詳細(xì)描述
當(dāng)完成同步操作之后,主從服務(wù)器便會進(jìn)入命令傳播階段。這時候主從服務(wù)器的數(shù)據(jù)是一致的,當(dāng)主服務(wù)器有新的寫命令時,會將改命令發(fā)送給從服務(wù)器,從服務(wù)器接收命令并執(zhí)行便可以保證與主服務(wù)器的數(shù)據(jù)保持一致。
那么Redis是如何保證主從服務(wù)器一致處于連接狀態(tài)以及命令是否丟失?
答:命令傳播階段,從服務(wù)器會利用心跳檢測機(jī)制定時的向主服務(wù)發(fā)送消息。
從服務(wù)器發(fā)送的命令如下
REPLCONF ACK
replication_offset表示從服務(wù)器當(dāng)前的復(fù)制偏移量
接下來看看心跳機(jī)制
心跳檢測機(jī)制的作用有三個:
檢查主從服務(wù)器的網(wǎng)絡(luò)連接狀態(tài)
輔助實現(xiàn)min-slaves選項
檢測命令丟失
主服務(wù)器信息中可以看到所屬的從服務(wù)器的連接信息,state表示從服務(wù)器狀態(tài),offset表示復(fù)制偏移量,lag表示延遲值(幾秒之前有過心跳檢測機(jī)制)
Redis.conf配置文件中有下方兩個參數(shù)
# 未達(dá)到下面兩個條件時,寫操作就不會被執(zhí)行# 最少包含的從服務(wù)器# min-slaves-to-write 3# 延遲值# min-slaves-max-lag 10
如果將兩個參數(shù)的注釋取消,那么如果從服務(wù)器的數(shù)量少于3個,或者三個從服務(wù)器的延遲(lag)大于等于10秒時,主服務(wù)器都會拒絕執(zhí)行寫命令。
在從服務(wù)器的連接信息中可以看到復(fù)制偏移量,如果此時主服務(wù)器的復(fù)制偏移量與從服務(wù)器的復(fù)制偏移量不一致時,主服務(wù)器會補(bǔ)發(fā)缺失的數(shù)據(jù)。
同步分為全量重同步和部分重同步。那么是什么決定采取全量重同步還是部分重同步操作?
全量重同步的步驟如下
主節(jié)點收到從服務(wù)器的全量重同步請求時,主服務(wù)器便開始執(zhí)行bgsave命令,同時用一個緩沖區(qū)記錄從現(xiàn)在開始執(zhí)行的所有寫命令。
當(dāng)主服務(wù)器的bgsave命令執(zhí)行完畢后,會將生成的RDB文件發(fā)送給從服務(wù)器。從服務(wù)器接收到RDB文件時,會將數(shù)據(jù)文件保存到硬盤,然后加載到內(nèi)存中。
主服務(wù)器將緩沖區(qū)所有緩存的命令發(fā)送到從服務(wù)器,從服務(wù)器接收并執(zhí)行這些命令,將從服務(wù)器同步至主服務(wù)器相同的狀態(tài)。
要想了解部分重同步的步驟,需要先了解部分重同步所需要的幾個屬性
復(fù)制偏移量
復(fù)制緩沖區(qū)
運行ID
從主服務(wù)器的復(fù)制信息可以看到從服務(wù)器slave0和slave1都有一個參數(shù)offset,這個參數(shù)就是從服務(wù)器的復(fù)制偏移量。master_repl_offset這個參數(shù)就是主服務(wù)器的偏移量。如下圖
主服務(wù)器的復(fù)制偏移量保存向從服務(wù)器發(fā)送過的字節(jié)數(shù)據(jù)。
從服務(wù)器的復(fù)制偏移量保存著從主服務(wù)器接收的字節(jié)數(shù)據(jù)。
通過對比主服務(wù)器和從服務(wù)器的復(fù)制偏移量就可以知道命令是否丟失,丟失則補(bǔ)發(fā)復(fù)制偏移量相差的字節(jié)命令。
那么這些字節(jié)數(shù)據(jù)是存放在哪里的呢?
這些字節(jié)數(shù)據(jù)都是存放在主服務(wù)器的復(fù)制緩沖區(qū)里的。復(fù)制緩沖區(qū)是一個固定長度(fixed-size)先進(jìn)先出(FIFO)的隊列,默認(rèn)大小為1MB。默認(rèn)大小可以對下方的參數(shù)進(jìn)行修改
# repl-backlog-size 1mb
那么復(fù)制緩沖區(qū)的數(shù)據(jù)是什么時候加入進(jìn)去的呢?
答:在命令傳播階段,主節(jié)點除了將寫命令發(fā)送給從節(jié)點,還會發(fā)送一份給復(fù)制積壓緩沖區(qū)。
復(fù)制緩沖區(qū)里面會保存著一部分最傳播的寫命令和每個字節(jié)相應(yīng)的復(fù)制偏移量。
由于復(fù)制緩沖區(qū)的大小是有限制的,所以保存的數(shù)據(jù)也是有限制的。如果從服務(wù)器與主服務(wù)器的復(fù)制偏移量相差的數(shù)據(jù)大于復(fù)制緩沖去存儲的數(shù)據(jù)時,同樣不會執(zhí)行部分重同步。
舉個例子,主服務(wù)器的復(fù)制偏移量為20000、緩沖區(qū)能保存的數(shù)據(jù)只有5000,從服務(wù)器的復(fù)制偏移量為10000。這時從服務(wù)器與主服務(wù)器復(fù)制偏移量10000,而緩沖區(qū)只有5000,那么還是會執(zhí)行全量重同步。如果相差的復(fù)制偏移量小于5000,才會執(zhí)行部分重同步。
每個Redis服務(wù)器啟動時,都會有自動生成自己的運行ID。
當(dāng)從服務(wù)器對主服務(wù)器進(jìn)行初次復(fù)制時,主服務(wù)器會發(fā)送自己的運行ID給從服務(wù)器。
當(dāng)從服務(wù)器斷線重連時,會將之前主服務(wù)器的運行ID發(fā)送給當(dāng)前連接的主服務(wù)器。這時候會出現(xiàn)下面兩種情況
運行ID和主服務(wù)器一致,主服務(wù)器可以嘗試執(zhí)行部分重同步操作。
運行ID和主服務(wù)器不一致,說明之前連接的主服務(wù)器與這次連接不同,開始執(zhí)行全量重同步操作。
################################# REPLICATION ################################## slaveof <主服務(wù)器ip> <主服務(wù)器端口># slaveof# masterauth <主服務(wù)器Redis密碼># masterauth # 當(dāng)slave丟失master或者同步正在進(jìn)行時,如果發(fā)生對slave的服務(wù)請求# yes則slave依然正常提供服務(wù)# no則slave返回client錯誤:"SYNC with master in progress"slave-serve-stale-data yes# 指定slave是否只讀slave-read-only yes# 無硬盤復(fù)制功能repl-diskless-sync no# 無硬盤復(fù)制功能間隔時間repl-diskless-sync-delay 5# 從服務(wù)器發(fā)送PING命令給主服務(wù)器的周期# repl-ping-slave-period 10# 超時時間# repl-timeout 60# 是否禁用socket的NO_DELAY選項repl-disable-tcp-nodelay no# 設(shè)置主從復(fù)制容量大小,這個backlog 是一個用來在 slaves 被斷開連接時存放 slave 數(shù)據(jù)的 buffer# repl-backlog-size 1mb# master 不再連接 slave時backlog的存活時間。# repl-backlog-ttl 3600# slave的優(yōu)先級slave-priority 100# 未達(dá)到下面兩個條件時,寫操作就不會被執(zhí)行# 最少包含的從服務(wù)器# min-slaves-to-write 3# 延遲值# min-slaves-max-lag 10
“redis主從復(fù)制的實現(xiàn)方法是什么”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!