redis主從復(fù)制原理是什么？這個問題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純?nèi)容，讓我們一起來看看吧！
為張家口等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及張家口網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站建設(shè)、成都做網(wǎng)站、張家口網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！
主從復(fù)制就是現(xiàn)在有倆臺redis服務(wù)器，把一臺redis的數(shù)據(jù)同步到另一臺redis數(shù)據(jù)庫上。前者稱之為主節(jié)點(diǎn)（master），后者為從節(jié)點(diǎn)（slave）。數(shù)據(jù)是只能master往slave同步單向。
但是在實(shí)際過程中是不可能只有倆臺redis服務(wù)器來做主從復(fù)制的，這也就意味這每臺redis服務(wù)器都有可能會稱為主節(jié)點(diǎn)（master）
下圖案例中，我們的slave3既是master的從節(jié)點(diǎn)，也是slave的主節(jié)點(diǎn)。
先知道這么個概念，更多詳解繼續(xù)查看下文。
假設(shè)我們現(xiàn)在就一臺redis服務(wù)器，也就是單機(jī)狀態(tài)。
在這種情況下會出現(xiàn)的第一個問題就是服務(wù)器宕機(jī)，直接導(dǎo)致數(shù)據(jù)丟失。如果項(xiàng)目是跟￥占關(guān)系的，那造成的后果就可想而知。
第二個情況就是內(nèi)存問題了，當(dāng)只有一臺服務(wù)器時內(nèi)存肯定會到達(dá)峰值的，不可能對一臺服務(wù)器進(jìn)行無限升級的。
所以針對以上倆個問題，我們就多準(zhǔn)備幾臺服務(wù)器，配置主從復(fù)制。將數(shù)據(jù)保存在多個服務(wù)器上。并且保證每個服務(wù)器的數(shù)據(jù)是同步的。即使有一個服務(wù)器宕機(jī)了，也不會影響用戶的使用。redis可以繼續(xù)實(shí)現(xiàn)高可用、同時實(shí)現(xiàn)數(shù)據(jù)的冗余備份。
這會應(yīng)該會有很多疑問，master跟slave怎么連接呢？ 如何同步數(shù)據(jù)呢？ 假如master服務(wù)器宕機(jī)了呢？別著急，一點(diǎn)一點(diǎn)解決你的問題。
在上邊我們說了為什么使用redis的主從復(fù)制，那么主從復(fù)制的作用就是針對為什么使用它來講了。
說了這么多，我們先簡單的配置一個主從復(fù)制案例，然后在談實(shí)現(xiàn)的原理。
redis存儲路徑為：usr/local/redis
日志跟配置文件存儲在：usr/local/redis/data
首先我們先配置倆個配置文件，分別為redis6379.conf 和 redis6380.conf
修改配置文件，主要就是修改端口。為了查看方便在把日志文件和持久化文件的名字都用各自的端口來做標(biāo)識。
然后分別開啟倆個redis服務(wù)，一個端口為6379，一個端口為6380。執(zhí)行命令redis-server redis6380.conf,然后使用redis-cli -p 6380連接，因?yàn)閞edis的默認(rèn)端口就是6379所以我們啟動另外一臺redis服務(wù)器直接使用redis-server redis6379.conf 然后直接使用redis-cli直接連接就可以。
這個時候我們就成功的配置了倆個redis服務(wù)，一臺為6380，一臺為6379，這里只是為了演示。實(shí)際工作中是需要配置在倆臺不同的服務(wù)器的。
我們先得有一個概念，就是在配置主從復(fù)制時，所有的操作都是在從節(jié)點(diǎn)來操作，也就是slave。
那么我們在從節(jié)點(diǎn)執(zhí)行一個命令為 slaveof 127.0.0.1 6379，執(zhí)行完就代表我們連接上了。
我們先測試一下看是否實(shí)現(xiàn)主從復(fù)制。在master這臺服務(wù)器上執(zhí)行倆個set kaka 123 和 set master 127.0.0.1，然后在slave6380端口是可以成功獲取到的，也就說明我們的主從復(fù)制就已經(jīng)配置完成了。但是在實(shí)現(xiàn)生產(chǎn)環(huán)境可不是就這樣完事了，后邊會在進(jìn)一步對主從復(fù)制進(jìn)行優(yōu)化，直到實(shí)現(xiàn)高可用。
在使用配置文件啟動主從復(fù)制之前呢！先需要把之前使用客戶端命令行連接的斷開，在從主機(jī)執(zhí)行slaveof no one即可斷開主從復(fù)制。
在哪可以查看從節(jié)點(diǎn)已經(jīng)斷開了主節(jié)點(diǎn)呢！在主節(jié)點(diǎn)的客戶端輸入命令行info查看
這張圖是使用從節(jié)點(diǎn)使用客戶端命令行連接主節(jié)點(diǎn)后，在主節(jié)點(diǎn)的客戶端輸入info打印的信息，可以看到有一個slave0的一個信息。
這個圖是在從節(jié)點(diǎn)執(zhí)行完slaveof no one 后，在主節(jié)點(diǎn)打印的info，說明從節(jié)點(diǎn)已經(jīng)跟主節(jié)點(diǎn)斷開連接了。
在根據(jù)配置文件啟動redis服務(wù)，redis-server redis6380.conf
當(dāng)在從節(jié)點(diǎn)重新啟動后就可以在主節(jié)點(diǎn)直接查看到從節(jié)點(diǎn)的連接信息。
測試數(shù)據(jù)，主節(jié)點(diǎn)寫的東西，從節(jié)點(diǎn)還是會自動同步的。
這種方式配置也是很簡單，在啟動redis服務(wù)器時直接就啟動主從復(fù)制，執(zhí)行命令：redis-server --slaveof host port 即可。
這個是主節(jié)點(diǎn)的日志信息
這個是從節(jié)點(diǎn)的信息，其中有連接主節(jié)點(diǎn)信息，還有RDB快照保存。
主從復(fù)制完整的工作流程分為以下三個階段。每一段都有自己的內(nèi)部工作流程，那么我們會對這三個過程進(jìn)行談?wù)摗?/p>
上圖是一個完整主從復(fù)制建立連接工作流程。然后使用簡短的話語來描述上邊的工作流程。
在建立連接的過程中，從節(jié)點(diǎn)會保存master的地址和端口、主節(jié)點(diǎn)master保存從節(jié)點(diǎn)slave的端口。
這張圖是詳細(xì)描述第一次從節(jié)點(diǎn)連接主節(jié)點(diǎn)時的數(shù)據(jù)同步過程。
當(dāng)從節(jié)點(diǎn)第一次連接主節(jié)點(diǎn)時，先會執(zhí)行一次全量復(fù)制這次的全量復(fù)制是無法避免的。
全量復(fù)制執(zhí)行完成后，主節(jié)點(diǎn)就會發(fā)送復(fù)制積壓緩沖區(qū)的數(shù)據(jù)，然后從節(jié)點(diǎn)就會執(zhí)行bgrewriteaof恢復(fù)數(shù)據(jù)，這也就是部分復(fù)制。
在這個階段提到了三個新點(diǎn)，全量復(fù)制、部分復(fù)制、復(fù)制緩沖積壓區(qū)。會在下文的常見問題里詳細(xì)說明這幾個點(diǎn)。
當(dāng)master數(shù)據(jù)庫被修改后，主從服務(wù)器的數(shù)據(jù)不一致后，此時就會讓主從數(shù)據(jù)同步到一致，這個過程稱之為命令傳播。
master會將接收到的數(shù)據(jù)變更命令發(fā)送給slave，slave接收命令后執(zhí)行命令，讓主從數(shù)據(jù)達(dá)到一致。
「命令傳播階段的部分復(fù)制」
在命令傳播階段出現(xiàn)斷網(wǎng)的情況，或者網(wǎng)絡(luò)抖動時會導(dǎo)致連接斷開（connection lost）
這個時候主節(jié)點(diǎn)master還是會繼續(xù)往replbackbuffer（復(fù)制緩沖積壓區(qū)）寫數(shù)據(jù)
從節(jié)點(diǎn)會繼續(xù)嘗試連接主機(jī)（connect to master）
當(dāng)從節(jié)點(diǎn)把自己的runid和復(fù)制偏移量發(fā)送給主節(jié)點(diǎn)，并且執(zhí)行pysnc命令同步
如果master判斷偏移量是在復(fù)制緩沖區(qū)范圍內(nèi)，就會返回continue命令。并且發(fā)送復(fù)制緩沖區(qū)的數(shù)據(jù)給從節(jié)點(diǎn)。
從節(jié)點(diǎn)接收數(shù)據(jù)執(zhí)行bgrewriteaof，恢復(fù)數(shù)據(jù)
這個過程就是主從復(fù)制最齊全的流程講解。那么下來我們對每一步進(jìn)程簡單的介紹
重慶分公司
重慶分公司
psync ? 1 psync runid offset 找對應(yīng)的runid索取數(shù)據(jù)。但是這里可以考慮一下，當(dāng)從節(jié)點(diǎn)第一次連接的時候根本就不知道主節(jié)點(diǎn)的runid 和 offset 。所以第一次發(fā)送的指令是psync ？ 1意思就是主節(jié)點(diǎn)的數(shù)據(jù)我全要。psync runid offset2繼續(xù)執(zhí)行全量復(fù)制。這里的runid不匹配只有的可能是從節(jié)點(diǎn)重啟了這個問題后邊會解決，offset（偏移量）不匹配就是復(fù)制積壓緩沖區(qū)溢出了。 如果runid或offset校驗(yàn)通過，從節(jié)點(diǎn)的offset和主節(jié)點(diǎn)的offset相同時則忽略。 如果runid或offset檢驗(yàn)通過，從節(jié)點(diǎn)的offset與offset不相同，則會發(fā)送 +CONTINUE offset(這個offset為主節(jié)點(diǎn)的)，通過socket發(fā)送復(fù)制緩沖區(qū)中從節(jié)點(diǎn)offset到主節(jié)點(diǎn)offset的數(shù)據(jù)。「1-4是全量復(fù)制 5-8是部分復(fù)制」
在主節(jié)點(diǎn)的第3步下面 主節(jié)點(diǎn)在主從復(fù)制的期間是一直在接收客戶端的數(shù)據(jù)，主節(jié)點(diǎn)的offset是一直變化的。只有有變化就會給每個slave進(jìn)行發(fā)送，這個發(fā)送的過程稱之為心跳機(jī)制
在命令傳播階段是，主節(jié)點(diǎn)與從節(jié)點(diǎn)之間一直都需要進(jìn)行信息互換，使用心跳機(jī)制進(jìn)行維護(hù)，實(shí)現(xiàn)主節(jié)點(diǎn)和從節(jié)點(diǎn)連接保持在線。
master心跳
slave心跳任務(wù)
「心跳階段的注意事項(xiàng)」主節(jié)點(diǎn)為保障數(shù)據(jù)穩(wěn)定性，當(dāng)從節(jié)點(diǎn)掛掉的數(shù)量或者延遲過高時。將會拒絕所有信息同步。
這里有倆個參數(shù)可以進(jìn)行配置調(diào)整：
min-slaves-to-write 2
min-slaves-max-lag 8
這倆個參數(shù)表示從節(jié)點(diǎn)的數(shù)量就剩余2個，或者從節(jié)點(diǎn)的延遲大于8秒時，主節(jié)點(diǎn)就會強(qiáng)制關(guān)閉maste功能，停止數(shù)據(jù)同步。
那么主節(jié)點(diǎn)是如何知道從節(jié)點(diǎn)掛掉的數(shù)量和延遲時間呢！ 在心跳機(jī)制里邊slave 會每隔一秒發(fā)送perlconf ack 這個指令，這個指令可攜帶偏移量，也可以攜帶從節(jié)點(diǎn)的延遲時間和從節(jié)點(diǎn)的數(shù)量。
我們先看一下這個run id是什么，執(zhí)行info命令即可看到。在上文中我們查看啟動日志信息也可以看到。
redis在啟動時會自動生成一個隨機(jī)的id（這里需要注意的是每次啟動的id都會不一樣），是由40個隨機(jī)的十六進(jìn)制字符串組成，用來唯一識別一個redis節(jié)點(diǎn)。
在主從復(fù)制初次啟動時，master會把自己的runid發(fā)送給slave，slave會保存master的這個id，我們可以使用info命令查看
當(dāng)斷線重連時，slave把這個id發(fā)送給master，如果slave保存的runid與master現(xiàn)在的runid相同，master會嘗試使用部分復(fù)制（這塊能否復(fù)制成功還有一個因素就是偏移量）。如果slave保存的runid與master現(xiàn)在的runid不同，則會直接進(jìn)行全量復(fù)制。
復(fù)制緩沖積壓區(qū)是一個先進(jìn)先出的隊(duì)列，用戶存儲master收集數(shù)據(jù)的命令記錄。復(fù)制緩沖區(qū)的默認(rèn)存儲空間是1M。
可以在配置文件修改repl-backlog-size 1mb來控制緩沖區(qū)大小，這個比例可以根據(jù)自己的服務(wù)器內(nèi)存來修改，咔咔這邊是預(yù)留出了30%左右。
「復(fù)制緩沖區(qū)到底存儲的是什么？」
當(dāng)執(zhí)行一個命令為set name kaka時，我們可以查看持久化文件查看
那么復(fù)制積壓緩沖區(qū)就是存儲的aof持久化的數(shù)據(jù)，并且以字節(jié)分開，并且每個字節(jié)都有自己的偏移量。這個偏移量也就是復(fù)制偏移量（offset）
「那為什么會說復(fù)制緩沖積壓區(qū)有可能會導(dǎo)致全量復(fù)制呢」
在命令傳播階段，主節(jié)點(diǎn)會把收集的數(shù)據(jù)存儲到復(fù)制緩沖區(qū)中，然后在發(fā)送給從節(jié)點(diǎn)。就是這里出現(xiàn)了問題，當(dāng)主節(jié)點(diǎn)數(shù)據(jù)量在一瞬間特別大的時候，超出了復(fù)制緩沖區(qū)的內(nèi)存，就會有一部分?jǐn)?shù)據(jù)會被擠出去，從而導(dǎo)致主節(jié)點(diǎn)和從節(jié)點(diǎn)的數(shù)據(jù)不一致。從而進(jìn)行全量復(fù)制。如果這個緩沖區(qū)大小設(shè)置不合理那么很大可能會造成死循環(huán)，從節(jié)點(diǎn)就會一直全量復(fù)制，清空數(shù)據(jù)，全量復(fù)制。
主節(jié)點(diǎn)復(fù)制偏移量是給從節(jié)點(diǎn)發(fā)送一次記錄一次，從節(jié)點(diǎn)是接收一次記錄一次。
用于同步信息，對比主節(jié)點(diǎn)和從節(jié)點(diǎn)的差異，當(dāng)slave斷聯(lián)時恢復(fù)數(shù)據(jù)使用。
這個值也就是來自己于復(fù)制緩沖積壓區(qū)里邊的那個偏移量。
當(dāng)主節(jié)點(diǎn)重啟后，runid的值將發(fā)生變化，會導(dǎo)致所有的從節(jié)點(diǎn)進(jìn)行全量復(fù)制。
這個問題我們無需考慮，知道系統(tǒng)是怎么優(yōu)化的即可。
在建立完主從復(fù)制后主節(jié)點(diǎn)會創(chuàng)建master-replid變量，這個生成的策略跟runid一樣，長度是41位，runid長度是40位，然后發(fā)送給從節(jié)點(diǎn)。
在主節(jié)點(diǎn)執(zhí)行shutdown save命令時，進(jìn)行了一次RDB持久化會把runid 和 offset保存到RDB文件中?？梢允褂妹顁edis-check-rdb查看該信息。
主節(jié)點(diǎn)重啟后加載RDB文件，將文件中的repl-id 和repl-offset加載到內(nèi)存中?？v使讓所有從節(jié)點(diǎn)認(rèn)為還是之前的主節(jié)點(diǎn)。
由于網(wǎng)絡(luò)環(huán)境不佳，從節(jié)點(diǎn)網(wǎng)絡(luò)中斷。復(fù)制積壓緩沖區(qū)內(nèi)存過小導(dǎo)致數(shù)據(jù)溢出，伴隨著從節(jié)點(diǎn)偏移量越界，導(dǎo)致全量復(fù)制。有可能會導(dǎo)致反復(fù)的全量復(fù)制。
解決方案：修改復(fù)制積壓緩沖區(qū)的大?。簉epl-backlog-size
設(shè)置建議：測試主節(jié)點(diǎn)連接從節(jié)點(diǎn)的時間，獲取主節(jié)點(diǎn)每秒平均產(chǎn)生的命令總量write_size_per_second
復(fù)制緩沖區(qū)空間設(shè)置 = 2 * 主從連接時間 * 主節(jié)點(diǎn)每秒產(chǎn)生的數(shù)據(jù)總量
由于主節(jié)點(diǎn)的cpu占用過高，或者從節(jié)點(diǎn)頻繁連接。出現(xiàn)這種情況造成的結(jié)果就是主節(jié)點(diǎn)各種資源被嚴(yán)重占用，其中包括但不限于緩沖區(qū)，寬帶，連接等。
為什么會出現(xiàn)主節(jié)點(diǎn)資源被嚴(yán)重占用？
在心跳機(jī)制中，從節(jié)點(diǎn)每秒會發(fā)送一個指令replconf ack指令到主節(jié)點(diǎn)。 從節(jié)點(diǎn)執(zhí)行了慢查詢，占用大量的cpu 主節(jié)點(diǎn)每秒調(diào)用復(fù)制定時函數(shù)replicationCron，然后從節(jié)點(diǎn)長時間沒有相應(yīng)。
解決方案：
設(shè)置從節(jié)點(diǎn)超時釋放
設(shè)置參數(shù)：repl-timeout
這個參數(shù)默認(rèn)為60秒。超過60秒，釋放slave。
由于網(wǎng)絡(luò)因素，多個從節(jié)點(diǎn)的數(shù)據(jù)會不一致。這個因素是沒有辦法避免的。
關(guān)于這個問題給出倆個解決方案：
第一個數(shù)據(jù)需要高度一致配置一臺redis服務(wù)器，讀寫都用一臺服務(wù)器，這種方式僅限于少量數(shù)據(jù)，并且數(shù)據(jù)需高度一直。
第二個監(jiān)控主從節(jié)點(diǎn)的偏移量，如果從節(jié)點(diǎn)的延遲過大，暫時屏蔽客戶端對該從節(jié)點(diǎn)的訪問。設(shè)置參數(shù)為slave-serve-stale-data yes|no。 這個參數(shù)一但設(shè)置就只能響應(yīng)info slaveof等少數(shù)命令。
感謝各位的閱讀！看完上述內(nèi)容，你們對Redis主從復(fù)制原理是什么大概了解了嗎？希望文章內(nèi)容對大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
