探索C#之布隆過濾器(Bloom filter)

閱讀目錄：

1. 背景介紹
2. 算法原理
3. 誤判率
4. BF改進
5. 總結

背景介紹

Bloom filter(后面簡稱BF)是Bloom在1970年提出的二進制向量數據結構。通俗來說就是在大數據集合下高效判斷某個成員是否屬於這個集合。BF其優點在於：

• 插入和查詢復雜度都是O(n)
• 空間利用率極高。

例子1：

像Yahoo這類的公共郵件服務提供商，總是需要過濾垃圾郵件。 假設有50億個郵件地址，需要存儲過濾的方法有：

1. 所有郵件地址都存儲到數據庫。
   缺點：每次都需要查詢數據庫，效率低。
2. 使用Hashtable保存到內存里，接近O(1)的查詢效率。
   缺點：太占內存，假定每個地址需要十六個字符，50億個需要180G內存。
3. 創建位數組，將每個郵件地址用Hash函數映射到位數組中的某一位。
   缺點： 單個Hash函數沖突太高，會發生多個郵件會映射到同一位上。

而使用BF可以最大限度避免上述缺點，使其可以在更小空間上，進行高效插入和查詢。

例子2：

經常使用緩存的肯定知道，命中率是個永遠的話題。 特別是在分布式緩存中，每次不命中就意味着一次跨網絡通信的浪費，無故增加緩存服務器壓力。使用BF可以在很大程度上提高緩存命中率。

算法原理

BF很合適解決類似上面的問題。 BF和例子1中的第三種方法非常類似了。不同的是，BF對同一個郵件地址使用多個不同的Hash函數，再去映射位數組的中對應位置。

算法步驟：

1. 創建長度為m的位數組，全部置為0。
2. 取出郵件地址集合(m)中的某一個地址(a), 分別使用k個hash函數對a計算。
3. 將結果分別映射到位數組中，並設置為1。
4. 其他成員依次處理。

以函數個數k=8來算，50億個郵件地址只需要5G內存足夠了，比例子1中方法2節省32倍空間。

當查詢成員a時是否在垃圾郵件集合m中時，使用同樣k個hash函數進行計算，如果k個結果在位數組中的位值都是1，則判斷a屬於m集合中，即a郵件地址屬於垃圾郵件地址集合m(a∈m)。

關於例子2，可以將所有key存儲到本地內存中，每次遠程獲取緩存時，優先在內存集合中判斷是否存在。

1. 存在？去遠程獲取實際緩存內容。
2. 不存在？直接返回，無需再去遠程緩存服務器判斷。

這樣能極大提高緩存命中率，因為BF存在誤判率，所有並不能達到100%(在key的數量級不高時，用其他方法全存下來也可以)。如圖：

誤判率

因為BF使用Hash函數來取得成員的特征(可理解為成員的指紋信息)，並沒有在位數組中存儲集合內的實際數據內容，所以空間利用率極高，但存在個潛在問題，就是查詢某個成員是否屬於集合時，會發生誤判(False positive)。 也就是說，某個成員實際不在集合中，但BF會得出在集中的結論。 所以BF適用於允許發生一定誤判的場景，如例子1、2中少量過濾失敗或去服務器拿都是可以接受的。

為什么會有誤判?

假定有一個長度12的位數組，使用3個hash函數，根據算法計算成員a得出3、7、11位置，並在位數組中設置為1。 另外個成員b根據算法也計算得出3、7、11，去位數組檢查其位值時，就發現3、7、11都為1是存在的，而實際不存在(1是成員a設置的)，此時就發生了誤判現象。

BF會發生誤判，但不會發生漏判(False Negative)，即成員實際在集合中，那么BF一定能判斷出在集合中，因為成員對應的位置都設置為1了。

可控制性

根據其數組長度m、集合大小n、hash函數個數k、誤判率p，簡單得出下：

1. 其他不變，集合大小n越大，越多位被設置1，誤判率p越大。
2. 其他不變，數組漲肚m越大，剩余為0的位越多，誤判率p越小
3. 其他不變，添加時k越多，位數組越多被設置為1，即會增大誤判率。查詢時k越多，明顯誤判率可能就會越小。

hash函數個數取值公式 k = ln 2 * m/n 。

其他它關系公式見wiki。

BF改進 

基本的BF在使用時有個缺點：無法刪除集合成員a，只能增加其成員並對其查詢。 有一個很容易想到但錯誤的方法是：如果要刪除成員a，那么先用k個hash函數對其計算，因為a已經是集合成員，那么其對應的位數組的位置一定被設置為1，所以只要將對應位置重新設置為0即可。   原因就是位數組的位置不但只提供給a使用，也給其他成員使用，一旦設置為0就會影響其他成員的使用。

比如上面中提高緩存命中率的例子，不能刪除成員意味着實際緩存也不能刪除。如果實際緩存刪除了，而在集合中的數據無法刪除，就會發生漏判現象。 這樣的話就會大大限制BF的使用場景。

計數BF(count bloom filter)

計數BF是對基本BF的改進，使BF可以支持刪除成員。  因為BF的基本單位是1個bit，只能表達2種狀態，即存在、不存在。 如果把基本單位1bit拓展成多個bit，這樣就能增加更多信息，表達出多種狀態。

計數BF的基本單元由多個bit表示，一般情況為3、4個bit。  這樣在添加時，在數組位置上的數值上加1即可，刪除成員時-1即可。 查詢集合成員時保持不變，只要數值不為0即認為成員是存在的。

計數BF使基本BF有了更多應用場景。 同樣由於用了多個bit來表示，對應數組大小也相應增加，如果用3bit作為基本單位，那么數組大小對應增加了3倍。

總結

BF是大數據處理的利器，其使用場景非常多：

• Google的爬蟲重復URL檢測。
• 黑名單驗證。
• 例子中的緩存命中率，垃圾郵件過濾。
• 內存擋一層，減輕db空查壓力。
• hbase、LevelDB內部使用。

基本BF的具體實現可參考 http://bloomfilter.codeplex.com。

參考資料

[1] http://en.wikipedia.org/wiki/Bloom_filter

[2] http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html