這篇文章給大家介紹同一份數(shù)據(jù)Redis需要存兩次法人原因是什么,內(nèi)容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
建網(wǎng)站原本是網(wǎng)站策劃師、網(wǎng)絡(luò)程序員、網(wǎng)頁設(shè)計師等,應(yīng)用各種網(wǎng)絡(luò)程序開發(fā)技術(shù)和網(wǎng)頁設(shè)計技術(shù)配合操作的協(xié)同工作。創(chuàng)新互聯(lián)專業(yè)提供成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計,網(wǎng)站制作(企業(yè)站、響應(yīng)式網(wǎng)站開發(fā)、電商門戶網(wǎng)站)等服務(wù),從網(wǎng)站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗的提升,我們力求做到極致!Redis
中的集合對象是一個包含字符串類型元素的無序集合,集合中元素不可重復(fù)。
集合對象的底層數(shù)據(jù)結(jié)構(gòu)有兩種:intset
和hashtable
。內(nèi)部通過編碼來進行區(qū)分:
編碼屬性 | 描述 | object encoding命令返回值 |
---|---|---|
OBJ_ENCODING_INTSET | 使用整數(shù)集合實現(xiàn)的集合對象 | intset |
OBJ_ENCODING_HT | 使用字典實現(xiàn)的集合對象 | hashtable |
intset 編碼
intset
(整數(shù)集合)可以保存類型為int16_t
,int32_t
,int64_t
的整數(shù)值,并且保證集合中沒有重復(fù)元素。intset
數(shù)據(jù)結(jié)構(gòu)定義如下(源碼inset.h
內(nèi)):
typedef struct intset { uint32_t encoding;//編碼方式 uint32_t length;//當(dāng)前集合中的元素數(shù)量 int8_t contents[];//集合中具體的元素 } intset;
下圖就是一個intset
的集合對象存儲簡圖:
encoding
在intset
內(nèi)部的encoding
記錄了當(dāng)前整數(shù)集合的數(shù)據(jù)存儲類型,主要有三種:
INTSET_ENC_INT16
此時contents[]
內(nèi)的每個元素都是一個int16_t
類型的整數(shù)值,范圍是:-32768 ~ 32767(-2 的 15 次方 ~ 2 的 15 次方 - 1)。
INTSET_ENC_INT32
此時contents[]
內(nèi)的每個元素都是一個int32_t
類型的整數(shù)值,范圍是:-2147483648 ~ 2147483647(-2 的 31 次方 ~ 2 的 31 次方 - 1)。
INTSET_ENC_INT64
此時contents[]
內(nèi)的每個元素都是一個int64_t
類型的整數(shù)值,范圍是:-9223372036854775808 ~ 9223372036854775807(-2 的 63 次方 ~ 2 的 63 次方 - 1)。
contents[]
contents[]
雖然結(jié)構(gòu)的定義上寫的是int8_t
類型,但是實際存儲類型是由上面的encoding
來決定的。
整數(shù)集合的升級
假如一開始整數(shù)集合中的元素都是16
位的,采用int16_t
類型來存儲,此時需要再存儲一個32
位的整數(shù),那么就需要對原先的整數(shù)集合進行升級,升級之后才能將32
位的整數(shù)存儲到整數(shù)集合內(nèi)。這就涉及到了整數(shù)集合的類型升級,升級過程主要有4
個步驟:
根據(jù)新添加元素的類型來擴展底層數(shù)組空間的大小,按照升級后現(xiàn)有元素的位數(shù)來分配新的空間。
將現(xiàn)有的元素進行類型轉(zhuǎn)換,并將轉(zhuǎn)換類型后的元素從后到前逐個重新放回到數(shù)組內(nèi)。
將新元素放到數(shù)組的頭部或者尾部(因為觸發(fā)升級的條件就是當(dāng)前數(shù)組的整數(shù)類型無法存儲新元素,所以新元素要么比現(xiàn)有元素都大,要么就比現(xiàn)有元素都?。?。
將encoding
屬性修改為新的編碼,并且同步修改length
屬性。
PS:和字符串對象的編碼一樣,整數(shù)集合的類型一旦發(fā)生升級,將會保持編碼,無法降級。
升級示例
假如我們有一個集合存儲的encoding
是int16_t
,內(nèi)部存儲了3
個元素:
這時候需要插入一個整數(shù)50000
,發(fā)現(xiàn)存儲不下去,而50000
是一個int32_t
類型整數(shù),所以需要申請新空間,申請空間大小為4 * 32 - 48=80
。
現(xiàn)在新的數(shù)組內(nèi)要放置4
個元素,原來的數(shù)組排在第3
,所以需要將升級后的3
移動到64-95
位。
繼續(xù)將升級后的2
移動到32-63
位。
繼續(xù)將升級后的1
移動到0-31
位。
然后會將50000
放到96-127
位。
最后會修改encoding
和length
屬性,修改之后就完成了本次的升級。
hashtable 編碼
hashtable
結(jié)構(gòu)在前面講述哈希對象的時候進行過詳細分析,想詳細了解的可以點擊這里。
intset 和 hashtable 編碼轉(zhuǎn)換
當(dāng)一個集合滿足以下兩個條件時,Redis
會選擇使用intset
編碼:
集合對象保存的所有元素都是整數(shù)值。集合對象保存的元素數(shù)量小于等于512
個(這個閾值可以通過配置文件set-max-intset-entries
來控制)。
一旦集合中的元素不滿足上面兩個條件,則會選擇使用hashtable
編碼。
集合對象常用命令
sadd key member1 member2:將一個或多個元素member
加入到集合key
當(dāng)中,并返回添加成功的數(shù)目,如果元素已存在則被忽略。
sismember key member:判斷元素member
是否存在集合key
中。
srem key member1 member2:移除集合key
中的元素,不存在的元素會被忽略。
smove source dest member:將元素member
從集合source
中移動到dest
中,如果member
不存在,則不執(zhí)行任何操作。
smembers key:返回集合key
中所有元素。
了解了操作集合對象的常用命令,我們就可以來驗證下前面提到的哈希對象的類型和編碼了,在測試之前為了防止其他key
值的干擾,我們先執(zhí)行flushall
命令清空Redis
數(shù)據(jù)庫。
依次執(zhí)行如下命令:
sadd num 1 2 3 //設(shè)置 3 個整數(shù)的集合,會使用 intset 編碼 type num //查看類型 object encoding num //查看編碼 sadd name 1 2 3 test //設(shè)置 3 個整數(shù)和 1 個字符串的集合,會使用 hashtable 編碼 type name //查看類型 object encoding name //查看編碼
得到如下效果:
可以看到,當(dāng)設(shè)置的元素里面只有整數(shù)時,集合使用的就是intset
編碼,當(dāng)設(shè)置的元素中含有非整數(shù)時,使用的就是hashtable
編碼。
五種基本類型之有序集合對象
Redis
中的有序集合和集合的區(qū)別是有序集合中的每個元素都會關(guān)聯(lián)一個double
類型的分數(shù),然后按照分數(shù)從小到大的順序進行排列。換句話說,有序集合的順序是由我們自己設(shè)值的時候通過分數(shù)來確定的。
有序集合對象的底層數(shù)據(jù)結(jié)構(gòu)有兩種:skiplist
和ziplist
。內(nèi)部同樣是通過編碼來進行區(qū)分:
編碼屬性 | 描述 | object encoding命令返回值 |
---|---|---|
OBJ_ENCODING_SKIPLIST | 使用跳躍表實現(xiàn)的有序集合對象 | skiplist |
OBJ_ENCODING_ZIPLIST | 使用壓縮列表實現(xiàn)的有序集合對象 | ziplist |
skiplist 編碼
skiplist
即跳躍表,有時候也簡稱為跳表。使用skiplist
編碼的有序集合對象使用了zset
結(jié)構(gòu)來作為底層實現(xiàn),而zset
中同時包含了一個字典和一個跳躍表。
跳躍表
跳躍表是一種有序的數(shù)據(jù)結(jié)構(gòu),其主要特點是通過在每個節(jié)點中維持多個指向其他節(jié)點的指針,從而達到快速訪問節(jié)點的目的。
大部分情況下,跳躍表的效率可以等同于平衡樹,但是跳躍表的實現(xiàn)卻遠遠比平衡樹的實現(xiàn)簡單,所以Redis
選擇了使用跳躍表來實現(xiàn)有序集合。
下圖是一個普通的有序鏈表,我們?nèi)绻胍业?code>35 這個元素,只能從頭開始遍歷到尾(鏈表中元素不支持隨機訪問,所以不能用二分查找,而數(shù)組中可以通過下標隨機訪問,所以二分查找一般適用于有序數(shù)組),時間復(fù)雜度是O(n)
。
那么假如我們可以直接跳到鏈表的中間,那就可以節(jié)省很多資源了,這就是跳表的原理,如下圖所示就是一個跳表的數(shù)據(jù)結(jié)構(gòu)示例:
上圖中level1
,level2
,level3
就是跳表的層級,每一個level
層級都有一個指向下一個相同level
層級元素的指針,比如上圖我們遍歷尋找元素35
的時候就有三種方案:
第1
種就是執(zhí)行level1
層級的指針,需要遍歷7
次(1->8->9->12->15->20->35)才能找到元素35
。
第2
種就是執(zhí)行level2
層級的指針,只需要遍歷5
次(1->9->12->15->35)就能找到元素35
。
第3
種就是執(zhí)行level3
層級的元素,這時候只需要遍歷3
次(1->12->35)就能找到元素35
了,大大提升了效率。
skiplist 的存儲結(jié)構(gòu)
跳躍表中的每個節(jié)點是一個zskiplistNode
節(jié)點(源碼server.h
內(nèi)):
typedef struct zskiplistNode { sds ele;//元素 double score;//分值 struct zskiplistNode *backward;//后退指針 struct zskiplistLevel {//層 struct zskiplistNode *forward;//前進指針 unsigned long span;//當(dāng)前節(jié)點到下一個節(jié)點的跨度(跨越的節(jié)點數(shù)) } level[]; } zskiplistNode;
level(層)
level
即跳躍表中的層,其是一個數(shù)組,也就是說一個節(jié)點的元素可以擁有多個層,即多個指向其他節(jié)點的指針,程序可以通過不同層級的指針來選擇最快捷的路徑提升訪問速度。
level
是在每次創(chuàng)建新節(jié)點的時候根據(jù)冪次定律(power law)隨機生成的一個介于1~32
之間的數(shù)字。
forward
(前進指針)
每個層都會有一個指向鏈表尾部方向元素的指針,遍歷元素的時候需要使用到前進指針。
span
(跨度)
跨度記錄了兩個節(jié)點之間的距離,需要注意的是,如果指向了NULL
的話,則跨度為0
。
backward
(后退指針)
和前進指針不一樣的是后退指針只有一個,所以每次只能后退至前一個節(jié)點(上圖中沒有畫出后退指針)。
ele
(元素)
跳躍表中元素是一個sds
對象(早期版本使用的是redisObject
對象),元素必須不能重復(fù)。
score
(分值)
節(jié)點的分值是一個double
類型的浮點數(shù),跳躍表中會將節(jié)點按照分值按照從小到大的順序排列,不同節(jié)點的分值可以重復(fù)。
上面介紹的只是跳躍表中的一個節(jié)點,多個zskiplistNode
節(jié)點組成了一個zskiplist
對象:
typedef struct zskiplist { struct zskiplistNode *header, *tail;//跳躍表的頭節(jié)點和尾結(jié)點指針 unsigned long length;//跳躍表的節(jié)點數(shù) int level;//所有節(jié)點中較大的層數(shù) } zskiplist;
到這里你可能以為有序集合就是用這個zskiplist
來實現(xiàn)的,然而實際上Redis
并沒有直接使用zskiplist
來實現(xiàn),而是用zset
對象再次進行了一層包裝。
typedef struct zset { dict *dict;//字典對象 zskiplist *zsl;//跳躍表對象 } zset;
所以最終,一個有序集合如果使用了skiplist
編碼,其數(shù)據(jù)結(jié)構(gòu)如下圖所示:
上圖中上面一部分中的字典中的key
就是對應(yīng)了有序集合中的元素(member
),value
就對應(yīng)了分值(score
)。上圖中下面一部分中跳躍表整數(shù)1,8,9,12
也是對應(yīng)了元素(member
),最后一排的double
型數(shù)字就是分值(score
)。
為什么同時選擇使用字典和跳躍表
有序集合直接使用跳躍表或者單獨使用字典完全可以獨自實現(xiàn),但是我們想一下,如果單獨使用跳躍表來實現(xiàn),那么雖然可以使用跨度大的指針去遍歷元素來找到我們需要的數(shù)據(jù),但是其復(fù)雜度仍然達到了O(logN)
,而字典中獲取一個元素的復(fù)雜度是O(1)
,而如果單獨使用字典雖然獲取元素很快,但是字典是無序的,所以如果要范圍查找就需要對其進行排序,這又是一個耗時的操作,所以Redis
綜合了兩種數(shù)據(jù)結(jié)構(gòu)來較大程度的提升性能,這也是Redis
設(shè)計的精妙之處。
ziplist 編碼
壓縮列表在列表對象和哈希對象都有使用到,想詳細了解的可以點擊這里。
ziplist 和 skiplist 編碼轉(zhuǎn)換
當(dāng)有序集合對象同時滿足以下兩個條件時,會使用ziplist
編碼進行存儲:
有序集合對象中保存的元素個數(shù)小于128
個(可以通過配置zset-max-ziplist-entries
修改)。
有序集合對象中保存的所有元素的總長度小于64
字節(jié)(可以通過配置zset-max-ziplist-value
修改)。
有序集合對象常用命令
zadd key score1 member1 score2 member2:將一個或多個元素(member
)及其score
添加到有序集合key
中。
zscore key member:返回有序集合key
中member
成員的score
。
zincrby key num member:將有序集合key
中的member
加上num
,num
可以為負數(shù)。
zcount key min max:返回有序集合key
中score
值在[min,max]
區(qū)間的member
數(shù)量。
zrange key start stop:返回有序集合key
中score
從小到大排列后在[start,stop]
區(qū)間的所有member
。
zrevrange key start stop:返回有序集合key
中score
從大到小排列后在[start,stop]
區(qū)間的所有member
。zrangebyscore key min max:返回有序集合中按score
從小到大排列后在[min,max]
區(qū)間的所有元素。
注意這里默認是閉區(qū)間,但是可以在max
和min
的數(shù)值前面加上(
或者[
來控制開閉區(qū)間。zrevrangebyscore key max min:返回有序集合中按score
從大到小排列后在[min,max]
區(qū)間的所有元素。
注意這里默認是閉區(qū)間,但是可以在max
和min
的數(shù)值前面加上(
或者[
來控制開閉區(qū)間。
zrank key member:返回有序集合中member
中元素排名(從小到大),返回的結(jié)果從0
開始計算。
zrevrank key member:返回有序集合中member
中元素排名(從大到?。祷氐慕Y(jié)果從0
開始計算。
zlexcount key min max:返回有序集合中min
和max
之間的member
數(shù)量。
注意這個命令中的min
和max
前面必須加(
或者[
來控制開閉區(qū)間,特殊值-
和+
分別表示負無窮和正無窮。
了解了操作有序集合對象的常用命令,我們就可以來驗證下前面提到的哈希對象的類型和編碼了,在測試之前為了防止其他key
值的干擾,我們先執(zhí)行flushall
命令清空Redis
數(shù)據(jù)庫。
在執(zhí)行命令之前,我們先把配置文件中的參數(shù)zset-max-ziplist-entries
修改為2
,然后重啟Redis
服務(wù)。
重啟完成之后依次執(zhí)行如下命令:
zadd name 1 zs 2 lisi //設(shè)置 2 個元素會使用 ziplist type name //查看類型 object encoding name //查看編碼 zadd address 1 beijing 2 shanghai 3 guangzhou 4 shenzhen //設(shè)置4個元素則會使用 skiplist編碼 type address //查看類型 object encoding address //查看編碼
得到如下效果:
關(guān)于同一份數(shù)據(jù)Redis需要存兩次法人原因是什么就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。