redis Cluster采用虛擬槽分區(qū)，所有的鍵根據(jù)哈希函數(shù)映射到0~16383整數(shù)槽內(nèi)，計算公式：slot=CRC16(key)&16383。槽是集群內(nèi)數(shù)據(jù)管理和遷移的基本單位。采用大范圍槽的主要目的是為了方便數(shù)據(jù)拆分和集群擴展。每個節(jié)點會負責(zé)一定數(shù)據(jù)的槽，如下圖所示：
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供云縣網(wǎng)站建設(shè)、云縣做網(wǎng)站、云縣網(wǎng)站設(shè)計、云縣網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、云縣企業(yè)網(wǎng)站模板建站服務(wù)，十年云縣做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。
當集群有5個節(jié)點，每個節(jié)點平均大約負載3276個槽。由于采用高質(zhì)量的哈希算法，每個槽所映射的數(shù)據(jù)通常比較均勻，將數(shù)據(jù)平均劃分到5個節(jié)點進行數(shù)據(jù)分區(qū)。每一個節(jié)點負責(zé)維護一部分槽以及槽所映射的鍵值數(shù)據(jù)，如下圖所示：
Redis虛擬槽分區(qū)的特點：
解耦數(shù)據(jù)和節(jié)點之間的關(guān)系，簡化了節(jié)點擴容和收縮難度。
節(jié)點自身維護槽的映射關(guān)系，不需要客戶端或者代理服務(wù)維護槽分區(qū)元數(shù)據(jù)。
支持節(jié)點、槽、鍵之間的映射查詢，用于數(shù)據(jù)路由、在線伸縮等場景。
數(shù)據(jù)分區(qū)是分布式存儲的核心，理解和靈活運用數(shù)據(jù)分區(qū)規(guī)則對于掌握Redis Cluster非常有幫助。
集群功能限制
Redis集群相對單機的功能上存在一些限制，需要開發(fā)人頁提前了解，在使用時做好規(guī)避。限制如下：
1)key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的key執(zhí)行批量操作。對于映射為不同slot值的key由于執(zhí)行mget、mset等操作可能存在于多個節(jié)點上因此不被支持。
2)key事務(wù)操作支持有限。同理只支持多key在同一節(jié)點上的事務(wù)操作，當多個key分布在不同的節(jié)點上時無法使用事務(wù)功能。
3)key作為數(shù)據(jù)分區(qū)的最小粒度，因此不能將一個大的鍵值對象如hash、list等映射到不同的節(jié)點。
4)不支持多數(shù)據(jù)庫空間。單機下的Redis可以支持16個數(shù)據(jù)庫，集群模式下只能使用一個數(shù)據(jù)庫空間，即db0。
5)復(fù)制結(jié)構(gòu)只支持一層，從節(jié)點只能復(fù)制主節(jié)點，不支持嵌套樹狀復(fù)制結(jié)構(gòu)。
搭建集群
下面開始搭建集群工作，需要以下三個步驟：
1)準備節(jié)點
2)節(jié)點握手
3)分配槽
準備節(jié)點
節(jié)點規(guī)劃，使用三臺機器，第臺機器上部署兩個Redis實例，分別為一主一從。
redis_1 192.168.56.120 redis_2 192.168.56.121 redis_3 192.168.56.122
Redis集群一般由多個節(jié)點組成，節(jié)點數(shù)據(jù)至少為6個才能保證組成完整高可用的集群。每個節(jié)點需要開啟配置cluster-enabled yes，讓Redis運行在集群模式下。建議為集群內(nèi)所有節(jié)點統(tǒng)一目錄，一般劃分三個目錄：conf、data、log，分別存放配置、數(shù)據(jù)和日志相關(guān)文件。把6個節(jié)點配置統(tǒng)一放在conf目錄下，集群相關(guān)配置如下：
#節(jié)點端口 port 6379 #開啟集群模式 cluster-enabled yes #節(jié)點超時時間，單位毫秒 cluster-node-timeout 15000 #集群內(nèi)部配置文件 cluster-config-file "nodes-6379.conf"
其他配置和單機模式一致即可，配置文件命名規(guī)則redis-{port}.conf，準備好配置后啟動所有節(jié)點，命令如下：
#redis_1 redis-server conf/redis-6379.conf & redis-server conf/redis-6380.conf & #redis_2 redis-server conf/redis-6379.conf & redis-server conf/redis-6380.conf & #redis_3 redis-server conf/redis-6379.conf & redis-server conf/redis-6380.conf &
檢查節(jié)點是日志是否正確，內(nèi)容如下
5200:M 05 Apr 11:28:18.931 * No cluster configuration found, I'm 383261e3f0053f74c953bd07ceee36a4b5795bc3 ...... Redis 4.0.13 (00000000/0) 64 bit Running in cluster mode Port: 6380 PID: 5200 ....... 5200:M 05 Apr 11:28:18.943 * Ready to accept connections
redis_1上的6379節(jié)點啟動成功，第一次啟動時如果沒有集群配置文件，它會自動創(chuàng)建一份，文件名稱采用cluster-config-file參數(shù)項控制，建議采用node-{port}.conf格式定義，通過使用端口號區(qū)分不同節(jié)點，防止同一機器下多個節(jié)點彼此覆蓋，造成集群信息異常。如果啟動時存在集群配置文件，節(jié)點會使用配置文件內(nèi)容初始化集群信息，啟動過程如下圖：
集群模式的Redis除了原有的配置文件之外又加了一份集群配置文件。當集群節(jié)點信息發(fā)生變化，如添加節(jié)點、節(jié)點下線、故障轉(zhuǎn)移等。節(jié)點會自動保存集群狀態(tài)到配置文件中。需要注意的是，Redis自動維護集群配置文件，不要手動修改，防止節(jié)點重啟時產(chǎn)生集群信息錯亂。
如redis_3的6379實例首次啟動后生成集群配置如下：
[redis@redis_3 ~]$ cat data/nodes-6379.conf
275753d11365feabb366170b940bca4b8486bbd7 :0@0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0
文件內(nèi)容記錄了集群初始狀態(tài)，這里最重要的是節(jié)點ID，它是一個40位16進制字符串，用于標準集群內(nèi)一個節(jié)點，之后很多集群操作都要借助于節(jié)點ID來完成。需要注意的是，節(jié)點IDeas不同于運行IDeas。節(jié)點IDeas在集群初始化時只創(chuàng)建一次，節(jié)點重啟時會加載集群配置文件進行重用，而Redis的運行IDeas每次重啟都 會變化。在redis_3的6379節(jié)點上執(zhí)行cluster nodes命令獲取集群節(jié)點狀態(tài)：
127.0.0.1:6380> cluster nodes
d54639285709a65bb8ca331f26d4fe1b1c8c73ca :6380@16380 myself,master - 0 0 0 connected
每個節(jié)點目前只能識別出自己的節(jié)點信息。我們啟動6個節(jié)點，但每個節(jié)點彼此不知道對方的存在，下面通過節(jié)點握手讓6個節(jié)點彼此建議聯(lián)系從而組成一個集群。
節(jié)點握手
節(jié)點握手是批一批運行在集群模式下的節(jié)點通過Gossip協(xié)議彼此通信，達到感知對方的過程。節(jié)點握手是集群彼此通信的第一步，由客戶端發(fā)起命令：cluster meet {ip} {port}，如下圖所示
圖中執(zhí)行的命令是：cluster meet 127.0.0.1 6380讓節(jié)點6379和6380進行握手通信。cluster meet命令是一個異步命令，執(zhí)行之后立刻返回。內(nèi)部發(fā)起與目標節(jié)點進行握手通信，如圖所示
1)節(jié)點6379本地創(chuàng)建6380節(jié)點信息對象，并發(fā)送meet消息。
2)節(jié)點6380接受到meet消息后，保存6379節(jié)點信息并回復(fù)pong消息。
3)之后節(jié)點6379和6380彼此定期通過ping/pong消息進行正常的節(jié)點通信。
這里的meet、ping、pong消息是Gossip協(xié)議通信的載體，之后的節(jié)點通信部分做進一步介紹，它的主要作用是節(jié)點彼此交換狀態(tài)數(shù)據(jù)信息。6379和6380節(jié)點通過meet命令彼此建議通信之后集群結(jié)構(gòu)如圖：
執(zhí)行完cluster meet后，可以通過cluster nodes看到兩個實例都檢查到了對方的存在
[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379 redis_1:6379> cluster meet 192.168.56.120 6380 OK redis_1:6379> cluster nodes 383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554440139158 1 connected ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 myself,master - 0 0 0 connected redis_1:6379> exit [redis@redis_1 ~]$ redis-cli -h redis_1 -p 6380 redis_1:6380> cluster nodes ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 master - 0 1554440152934 0 connected 383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 myself,master - 0 0 1 connected redis_1:6380>
使用如下命令把其他節(jié)點加入集群，只需要在集群內(nèi)任意節(jié)點執(zhí)行cluster meet命令加入新節(jié)點，握手狀態(tài)會通過消息在集群內(nèi)傳播，這樣其他節(jié)點會自動發(fā)現(xiàn)新節(jié)點并發(fā)起握手流程。最后執(zhí)行cluster nodes命令確認6個節(jié)點都彼此感知并組成了集群：
[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379 redis_1:6379> cluster meet 192.168.56.121 6379 OK redis_1:6379> cluster meet 192.168.56.121 6380 OK redis_1:6379> cluster meet 192.168.56.122 6379 OK redis_1:6379> cluster meet 192.168.56.122 6380 OK redis_1:6379> cluster nodes 275753d11365feabb366170b940bca4b8486bbd7 192.168.56.122:6379@16379 master - 0 1554440316783 4 connected 383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554440316000 1 connected ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 myself,master - 0 1554440315000 5 connected d54639285709a65bb8ca331f26d4fe1b1c8c73ca 192.168.56.122:6380@16380 master - 0 1554440316000 0 connected ca4f05809dc9a9eda4292a33b994b4e2aab13033 192.168.56.121:6380@16380 master - 0 1554440317000 3 connected a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1 192.168.56.121:6379@16379 master - 0 1554440315000 2 connected
握手完成后集群的狀態(tài)如下圖：
節(jié)點建議握手之后集群還不能正常工作，這里集群處理下線狀態(tài)，所有的數(shù)據(jù)讀寫都被禁止。通過如下命令可以看到：
redis_2:6379> set hello world (error) CLUSTERDOWN Hash slot not served
通過cluster info 命令可以獲取集群當前狀態(tài)：
redis_2:6379> cluster info cluster_state:fail cluster_slots_assigned:0 cluster_slots_ok:0 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:0 cluster_current_epoch:5 cluster_my_epoch:2 cluster_stats_messages_ping_sent:315 cluster_stats_messages_pong_sent:314 cluster_stats_messages_meet_sent:3 cluster_stats_messages_sent:632 cluster_stats_messages_ping_received:312 cluster_stats_messages_pong_received:318 cluster_stats_messages_meet_received:2 cluster_stats_messages_received:632
從輸出內(nèi)容可以看到，被分配的槽(cluster_slots_assigned)是0，由于目前所有的槽沒有分配節(jié)點，因此集群無法完成槽到節(jié)點的映射。只有當16384個槽全部分配給節(jié)點后，集群才進入在線狀態(tài)。
分配槽
Redis集群把所有的數(shù)據(jù)映射到16384個槽中。每個key會映射為一個固定的槽，只有當節(jié)點分配了槽，才響應(yīng)和這些槽相關(guān)聯(lián)的鍵命令。通過cluster addslots命令為節(jié)點分配槽。這些利用bash特性批量設(shè)置槽(slots)，命令如下：
重慶分公司
重慶分公司
[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6379 cluster addslots {0..5461}
OK
[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster addslots {5462..10922}
OK
[redis@redis_1 ~]$ redis-cli -h redis_3 -p 6379 cluster addslots {10923..16383}
OK把16384個slot平均分配給redis_1/2/3的6379三個節(jié)點。執(zhí)行cluster info查看集群狀態(tài)如下所示：
[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:5 cluster_my_epoch:2 cluster_stats_messages_ping_sent:1062 cluster_stats_messages_pong_sent:1067 cluster_stats_messages_meet_sent:3 cluster_stats_messages_sent:2132 cluster_stats_messages_ping_received:1065 cluster_stats_messages_pong_received:1065 cluster_stats_messages_meet_received:2 cluster_stats_messages_received:2132
當前集群狀態(tài)是OK，集群進入在線狀態(tài)。所有的槽都已經(jīng)分配給節(jié)點，執(zhí)行cluster nodes命令可以看到節(jié)點和槽的分配關(guān)系：
[redis@redis_1 ~]$ redis-cli -h redis_2 -p 6379 cluster nodes a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1 192.168.56.121:6379@16379 myself,master - 0 1554441448000 2 connected 5462-10922 ceaf2ccb751978b7334ddeca474da3d6b7aac99b 192.168.56.120:6379@16379 master - 0 1554441448455 5 connected 0-5461 ca4f05809dc9a9eda4292a33b994b4e2aab13033 192.168.56.121:6380@16380 master - 0 1554441449000 3 connected 383261e3f0053f74c953bd07ceee36a4b5795bc3 192.168.56.120:6380@16380 master - 0 1554441450000 1 connected d54639285709a65bb8ca331f26d4fe1b1c8c73ca 192.168.56.122:6380@16380 master - 0 1554441450491 0 connected 275753d11365feabb366170b940bca4b8486bbd7 192.168.56.122:6379@16379 master - 0 1554441449470 4 connected 10923-16383
目前還有三個節(jié)點沒有使用，作為一個完整的集群，每個負責(zé)處理槽的節(jié)點應(yīng)該具有從節(jié)點，保證當它出現(xiàn)故障時可以自動進行故障轉(zhuǎn)移。集群模式下，Redis節(jié)點角色分為主節(jié)點和從節(jié)點。首次啟動的節(jié)點和被分配槽的節(jié)點都是主節(jié)點，從節(jié)點負責(zé)復(fù)制主節(jié)點槽信息和相關(guān)的數(shù)據(jù)。使用cluster replicate {nodeID}命令讓一個節(jié)點成為從節(jié)點。其中命令執(zhí)行必須在對應(yīng)的從節(jié)點上執(zhí)行，nodeID是要復(fù)制主節(jié)點的節(jié)點ID，命令如下：
[redis@redis_1 ~]$ redis-cli -h redis_1 -p 6380 cluster replicate a85bbb17a3f559d18d7f5059f14ffd9f6ba48ee1 OK [redis@redis_1 ~]$ redis-cli -h redis_2 -p 6380 cluster replicate 275753d11365feabb366170b940bca4b8486bbd7 OK [redis@redis_1 ~]$ redis-cli -h redis_3 -p 6380 cluster replicate ceaf2ccb751978b7334ddeca474da3d6b7aac99b OK
復(fù)制(replication)完成后，整個集群的結(jié)構(gòu)如圖
到此為止，我們依照Redis協(xié)議手動建立一個集群。它由6個節(jié)點構(gòu)成，3個主節(jié)點負責(zé)處理槽和相關(guān)數(shù)據(jù)，3個從節(jié)點負責(zé)故障轉(zhuǎn)移。
博文內(nèi)容主要參考《Redis開發(fā)與運維》一書。
