C++中怎么實(shí)現(xiàn)一個(gè)布隆過濾器，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

成都創(chuàng)新互聯(lián)是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅(jiān)持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的10年時(shí)間我們累計(jì)服務(wù)了上千家以及全國政企客戶，如濕噴機(jī)等企業(yè)單位，完善的項(xiàng)目管理流程，嚴(yán)格把控項(xiàng)目進(jìn)度與質(zhì)量監(jiān)控加上過硬的技術(shù)實(shí)力獲得客戶的一致表揚(yáng)。

布隆過濾器

一、歷史背景知識(shí)

  布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實(shí)際上是一個(gè)很長的二進(jìn)制向量和一系列隨機(jī)映射函數(shù)。布隆過濾器可以用于檢索一個(gè)元素是否在一個(gè)集合中。它的優(yōu)點(diǎn)是空間效率和查詢時(shí)間都遠(yuǎn)超過一般的算法，缺點(diǎn)是有一定的誤識(shí)別率和刪除錯(cuò)誤。而這個(gè)缺點(diǎn)是不可避免的。但是絕對(duì)不會(huì)出現(xiàn)識(shí)別錯(cuò)誤的情況出現(xiàn)（即假反例False negatives,如果某個(gè)元素確實(shí)沒有在該集合中，那么Bloom Filter 是不會(huì)報(bào)告該元素存在集合中的，所以不會(huì)漏報(bào)）

在 FBI，一個(gè)嫌疑人的名字是否已經(jīng)在嫌疑名單上；在網(wǎng)絡(luò)爬蟲里，一個(gè)網(wǎng)址是否被訪問過等等。最直接的方法就是將集合中全部的元素存在計(jì)算機(jī)中，遇到一個(gè)新 元素時(shí)，將它和集合中的元素直接比較即可。一般來講，計(jì)算機(jī)中的集合是用哈希表（hash table）來存儲(chǔ)的。它的好處是快速準(zhǔn)確，缺點(diǎn)是費(fèi)存儲(chǔ)空間。當(dāng)集合比較小時(shí)，這個(gè)問題不顯著，但是當(dāng)集合巨大時(shí)，哈希表存儲(chǔ)效率低的問題就顯現(xiàn)出來 了。

比如說，一個(gè)象 Yahoo,Hotmail 和 Gmai 那樣的公眾電子郵件（email）提供商，總是需要過濾來自發(fā)送垃圾郵件的人（spamer）的垃圾郵件。一個(gè)辦法就是記錄下那些發(fā)垃圾郵件的 email 地址。由于那些發(fā)送者不停地在注冊(cè)新的地址，全世界少說也有幾十億個(gè)發(fā)垃圾郵件的地址，將他們都存起來則需要大量的網(wǎng)絡(luò)服務(wù)器。如果用哈希表，每存儲(chǔ)一億 個(gè) email 地址， 就需要 1.6GB 的內(nèi)存（用哈希表實(shí)現(xiàn)的具體辦法是將每一個(gè) email 地址對(duì)應(yīng)成一個(gè)八字節(jié)的信息指紋，然后將這些信息指紋存入哈希表，由于哈希表的存儲(chǔ)效率一般只有 50%，因此一個(gè) email 地址需要占用十六個(gè)字節(jié)。一億個(gè)地址大約要 1.6GB， 即十六億字節(jié)的內(nèi)存）。因此存貯幾十億個(gè)郵件地址可能需要上百 GB 的內(nèi)存。除非是超級(jí)計(jì)算機(jī)，一般服務(wù)器是無法存儲(chǔ)的［2］。

二、布隆過濾器原理以及優(yōu)缺點(diǎn)

如果想判斷一個(gè)元素是不是在一個(gè)集合里，一般想到的是將集合中所有元素保存起來，然后通過比較確定。鏈表、樹、散列表（哈希表，Hash table）等數(shù)據(jù)結(jié)構(gòu)都是這種思想。但是隨著集合中元素的增加，我們需要的存儲(chǔ)空間越來越大。同時(shí)檢索速度也會(huì)越來越慢。

Bloom Filter 是一種空間效率很高的隨機(jī)數(shù)據(jù)結(jié)構(gòu)，Bloom Filter 可以看做是對(duì)bit-map的擴(kuò)展，它的原理是：

當(dāng)一個(gè)元素被加入集合中時(shí)，通過K個(gè)hash函數(shù)將這個(gè)元素映射成一個(gè)位陣列（Bit array）中的K個(gè)點(diǎn)，將它們置成1. 檢索時(shí)，我們只需要看這些點(diǎn)是不是都是1就能（大約）知道集合中有沒有它：

如果這些點(diǎn)中有任何一個(gè)0，則被檢索元素一定不在；

如果都是1，則被檢索元素很可能在。

優(yōu)點(diǎn)：

它的優(yōu)點(diǎn)是空間效率和查詢時(shí)間都遠(yuǎn)遠(yuǎn)超過一般的算法，布隆過濾器存儲(chǔ)空間和插入\查詢時(shí)間都是O(K),另外，散列函數(shù)相互之間沒有關(guān)系，方便硬件并行實(shí)現(xiàn)，布隆過濾器不需要存儲(chǔ)元素本身，在某些對(duì)保密要求非常嚴(yán)格的場(chǎng)合有優(yōu)勢(shì)。

缺點(diǎn)：

1、布隆過濾器的缺點(diǎn)和優(yōu)點(diǎn)同樣明顯。誤算率是其中之一。隨著存入元素的增加，誤算率隨之增加。但是元素?cái)?shù)量太少，則使用散列就可以了。

2、一般情況下不能從布隆過濾器中刪除元素，我們很容易想到把位數(shù)組變成整數(shù)數(shù)組，每插入一個(gè)元素相應(yīng)的計(jì)數(shù)器加1，這樣刪除元素時(shí)將計(jì)數(shù)器減掉就可以了。然而要保證安全地刪除元素并非這么簡單。首先我們必須保證刪除的元素的確存在布隆過濾器里面，另外計(jì)數(shù)器回繞也會(huì)造成問題。

三、example

Google Chrome瀏覽器使用Bloom filter識(shí)別惡意鏈接（能用較小的存儲(chǔ)空間表示較大的數(shù)據(jù)集合，簡單想就是把 每一個(gè)URL都可以映射成bit）的多，并且誤判率在萬分之一以下。

C++實(shí)現(xiàn)

bit_set.h

#pragma once 
#include 
using namespace std; 
#include 
 
class Bitset 
{ 
public: 
  Bitset(size_t value) 
  { 
    _a.resize((value >> 5) + 1, 0); 
  } 
  bool set(size_t num) 
  { 
    size_t index = num>>5; 
    size_t pos = num % 32; 
    if (_a[index] & (1 << (31 - pos))) 
    { 
      return false; 
    } 
    else 
    { 
      _a[index] |= (1 << (31 - pos)); 
      _size++; 
      return true; 
    } 
     
  } 
  bool Reset(size_t num) 
  { 
    size_t index = num >> 5; 
    size_t pos = num % 32; 
    if (Text(num)) 
    { 
      _a[index] &= ~(1 << (31 - pos)); 
      _size--; 
      return true; 
    } 
    else 
    { 
      return false; 
    } 
  } 
  bool Text(size_t num) 
  { 
    size_t index = num >> 5; 
    size_t pos = num % 32; 
    return _a[index] & (1 << (31-pos)); 
  } 
private: 
  vector _a; 
  size_t _size; 
};

Hash.h

#pragma once 
template //各類哈希字符串轉(zhuǎn)換函數(shù)  
size_t BKDRHash(const char *str) 
{ 
  register size_t hash = 0; 
  while (size_t ch = (size_t)*str++) 
  { 
    hash = hash * 131 + ch; 
  } 
  return hash; 
} 
 
template 
size_t SDBMHash(const char *str) 
{ 
  register size_t hash = 0; 
  while (size_t ch = (size_t)*str++) 
  { 
    hash = 65599 * hash + ch; 
  } 
  return hash; 
} 
 
template 
size_t RSHash(const char * str) 
{ 
  size_t hash = 0; 
  size_t magic = 63689; 
  while (size_t ch = (size_t)*str++) 
  { 
    hash = hash * magic + ch; 
    magic *= 378551; 
  } 
  return hash; 
} 
 
 
template 
size_t APHash(const char *str) 
{ 
  register size_t hash = 0; 
  size_t ch; 
  for (long i = 0; ch = (size_t)*str++; i++) 
  { 
    if ((i & 1) == 0) 
    { 
      hash ^= ((hash << 7) ^ ch ^ (hash >> 3)); 
    } 
    else 
    { 
      hash ^= (~((hash << 11) ^ ch ^ (hash >> 5))); 
    } 
  } 
  return hash; 
} 
 
 
template 
size_t JSHash(const char* str) 
{ 
  if (!*str) 
  { 
    return 0; 
  } 
  size_t hash = 1315423911; 
  while (size_t ch = (size_t)*str++) 
  { 
    hash ^= ((hash << 5) + ch + (hash >> 2)); 
  } 
  return hash; 
}

Bloom_Filter.h

#pragma once 
 
#include"bite_set.h" 
#include"Hash.h" 
#include 
 
template 
struct __HashFunk1 
{ 
  size_t operator()(const T& key) 
  { 
    return BKDRHash(key.c_str()); 
  } 
}; 
 
template 
struct __HashFunk2 
{ 
  size_t operator()(const T& key) 
  { 
    return SDBMHash(key.c_str()); 
  } 
};  
 
template 
struct __HashFunk3 
{ 
  size_t operator()(const T& key) 
  { 
    return RSHash(key.c_str()); 
  } 
}; 
 
template 
struct __HashFunk4 
{ 
  size_t operator()(const T& key) 
  { 
    return APHash(key.c_str()); 
  } 
}; 
 
template 
struct __HashFunk5 
{ 
  size_t operator()(const T& key) 
  { 
    return JSHash(key.c_str()); 
  } 
}; 
 
 
template, 
class HashFunk2 = __HashFunk2, 
class HashFunk3 = __HashFunk3, 
class HashFunk4 = __HashFunk4, 
class HashFunk5 = __HashFunk5> 
 
class BoolFilter 
{ 
public: 
  BoolFilter(size_t n) 
    :_a(n * 10) 
    , _range(n * 10) 
  {} 
 
  void set(const K& key) 
  { 
    _a.set(HashFunk1()(key) % _range); 
    _a.set(HashFunk2()(key) % _range); 
    _a.set(HashFunk3()(key) % _range); 
    _a.set(HashFunk4()(key) % _range); 
    _a.set(HashFunk5()(key) % _range); 
  } 
 
  bool Text(const K& key) 
  { 
    if (!_a.Text(HashFunk1()(key)% _range)) 
      return false; 
    if (!_a.Text(HashFunk2()(key) % _range)) 
      return false; 
    if (!_a.Text(HashFunk3()(key) % _range)) 
      return false; 
    if (!_a.Text(HashFunk4()(key) % _range)) 
      return false; 
    if (!_a.Text(HashFunk5()(key) % _range)) 
      return false; 
    return true; 
  } 
private: 
  Bitset _a; 
  size_t _range; 
};

看完上述內(nèi)容，你們掌握C++中怎么實(shí)現(xiàn)一個(gè)布隆過濾器的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)建站www.cdcxhl.com，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文題目：C++中怎么實(shí)現(xiàn)一個(gè)布隆過濾器-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://weahome.cn/article/eghoi.html