本篇內(nèi)容主要講解“redis去重的方法有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Redis去重的方法有哪些”吧!

成都創(chuàng)新互聯(lián)始終堅持【策劃先行，效果至上】的經(jīng)營理念，通過多達十載累計超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的全網(wǎng)推廣解決方案，現(xiàn)已廣泛運用于各行各業(yè)的客戶，其中包括：報廢汽車回收等企業(yè)，備受客戶認(rèn)可。

唯一計數(shù)是網(wǎng)站系統(tǒng)中十分常見的一個功能特性，例如網(wǎng)站需要統(tǒng)計每天訪問的人數(shù) unique visitor （也就是 UV）。計數(shù)問題很常見，但解決起來可能十分復(fù)雜：一是需要計數(shù)的量可能很大，比如大型的站點每天有數(shù)百萬的人訪問，數(shù)據(jù)量相當(dāng)大；二是通常還希望擴展計數(shù)的維度，比如除了需要每天的 UV，還想知道每周或每月的 UV，這樣導(dǎo)致計算十分復(fù)雜。

在關(guān)系數(shù)據(jù)庫存儲的系統(tǒng)里，實現(xiàn)唯一計數(shù)的方法就是 select count(distinct )，它十分簡單，但是如果數(shù)據(jù)量很大，這個語句執(zhí)行是很慢的。用關(guān)系數(shù)據(jù)庫另外一個問題是插入數(shù)據(jù)性能也不高。

Redis 解決這類計數(shù)問題得心應(yīng)手，相比關(guān)系數(shù)據(jù)庫速度更快，消耗資源更少，甚至提供了 3 種不同的方法。

1.基于 set

Redis 的 set 用于保存唯一的數(shù)據(jù)集合，通過它可以快速判斷某一個元素是否存在于集合中，也可以快速計算某一個集合的元素個數(shù)，另外和可以合并集合到一個新的集合中。涉及的命令如下：

復(fù)制代碼 代碼如下:

SISMEMBER key member  # 判斷 member 是否存在
SADD key member  # 往集合中加入 member
SCARD key   # 獲取集合元素個數(shù)

基于 set 的方法簡單有效，計數(shù)精確，適用面廣，易于理解，它的缺點是消耗資源比較大（當(dāng)然比起關(guān)系數(shù)據(jù)庫是少很多的），如果元素個數(shù)很大（比如上億的計數(shù)），消耗內(nèi)存很恐怖。

2.基于 bit

Redis 的 bit 可以用于實現(xiàn)比 set 內(nèi)存高度壓縮的計數(shù)，它通過一個 bit 1 或 0 來存儲某個元素是否存在信息。例如網(wǎng)站唯一訪客計數(shù)，可以把 user_id 作為 bit 的偏移量 offset，設(shè)置為 1 表示有訪問，使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計數(shù)情況。涉及的命令如下： 復(fù)制代碼 代碼如下:

SETBIT key offset value  # 設(shè)置位信息
GETBIT key offset        # 獲取位信息
BITCOUNT key [start end] # 計數(shù)
BITOP operation destkey key [key ...]  # 位圖合并

基于 bit 的方法比起 set 空間消耗小得多，但是它要求元素能否簡單映射為位偏移，適用面窄了不少，另外它消耗的空間取決于最大偏移量，和計數(shù)值無關(guān)，如果最大偏移量很大，消耗內(nèi)存也相當(dāng)可觀。

3.基于 HyperLogLog

實現(xiàn)超大數(shù)據(jù)量精確的唯一計數(shù)都是比較困難的，但是如果只是近似的話，計算科學(xué)里有很多高效的算法，其中 HyperLogLog Counting 就是其中非常著名的算法，它可以僅僅使用 12 k左右的內(nèi)存，實現(xiàn)上億的唯一計數(shù)，而且誤差控制在百分之一左右。涉及的命令如下： 復(fù)制代碼 代碼如下:

PFADD key element [element ...]  # 加入元素
PFCOUNT key [key ...]   # 計數(shù)

這種計數(shù)方法真的很神奇，其中涉及到統(tǒng)計學(xué)中的一些均勻分布、隨機概率、伯努利分布等，我也沒有徹底弄明白，有興趣可以深入研究相關(guān)文章。

redis 提供的這三種唯一計數(shù)方式各有優(yōu)劣，可以充分滿足不同情況下的計數(shù)要求。

4. 基于bloomfilter

BloomFilter是利用類似位圖或者位集合數(shù)據(jù)結(jié)構(gòu)來存儲數(shù)據(jù)，利用位數(shù)組來簡潔的表示一個集合，并且能夠快速的判斷一個元素是不是已經(jīng)存在于這個集合。雖然BloomFilter不是100%準(zhǔn)確，但是可以通過調(diào)節(jié)參數(shù)，使用Hash函數(shù)的個數(shù)，位數(shù)組的大小來降低失誤率。這樣調(diào)節(jié)完全可以把失誤率降低到接近于0?？梢詽M足大部分場景了。

假如此時有一個集合S = {x1, x2, … xn}，Bloom Filter使用k個獨立的hash函數(shù)，分別將集合中的每一個元素映射到｛1,…,m｝的范圍。對于任何一個元素，被映射到的數(shù)字作為對應(yīng)的位數(shù)組的索引，該位會被置為1。比如元素x1被hash函數(shù)映射到數(shù)字8，那么位數(shù)組的第8位就會被置為1。下圖中集合S只有兩個元素x和y，分別被3個hash函數(shù)進行映射，映射到的位置分別為（0，3，6）和（4，7，10），對應(yīng)的位會被置為1:

現(xiàn)在假如要判斷另一個元素是否是在此集合中，只需要被這3個hash函數(shù)進行映射，查看對應(yīng)的位置是否有0存在，如果有的話，表示此元素肯定不存在于這個集合，否則有可能存在。

redis使用布隆過濾器需要安裝插件：https://blog.csdn.net/u013030276/article/details/88350641。

到此，相信大家對“Redis去重的方法有哪些”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！