布隆過濾器（Bloom Filter）原理以及應用

應用場景

主要是解決大規模數據下不需要精確過濾的場景，如檢查垃圾郵件地址，爬蟲URL地址去重，解決緩存穿透問題等。

 

布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實際上是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器可以用於檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的算法，缺點是有一定的誤識別率和刪除困難。
hash原理
Hash （哈希，或者散列）函數在計算機領域，尤其是數據快速查找領域，加密領域用的極廣。
其作用是將一個大的數據集映射到一個小的數據集上面（這些小的數據集叫做哈希值，或者散列值）。
一個應用是Hash table（散列表，也叫哈希表），是根據哈希值 (Key value) 而直接進行訪問的數據結構。也就是說，它通過把哈希值映射到表中一個位置來訪問記錄，以加快查找的速度。下面是一個典型的 hash 函數 / 表示意圖：

 

哈希函數有以下兩個特點：

如果兩個散列值是不相同的（根據同一函數），那么這兩個散列值的原始輸入也是不相同的。
散列函數的輸入和輸出不是唯一對應關系的，如果兩個散列值相同，兩個輸入值很可能是相同的。但也可能不同，這種情況稱為 “散列碰撞”（或者 “散列沖突”）。
缺點： 引用吳軍博士的《數學之美》中所言，哈希表的空間效率還是不夠高。如果用哈希表存儲一億個垃圾郵件地址，每個email地址 對應 8bytes, 而哈希表的存儲效率一般只有50%，因此一個email地址需要占用16bytes. 因此一億個email地址占用1.6GB，如果存儲幾十億個email address則需要上百GB的內存。除非是超級計算機，一般的服務器是無法存儲的。

所以要引入下面的 Bloom Filter。

布隆過濾器原理
如果想判斷一個元素是不是在一個集合里，一般想到的是將集合中所有元素保存起來，然后通過比較確定。鏈表、樹、散列表（又叫哈希表，Hash table）等等數據結構都是這種思路。但是隨着集合中元素的增加，我們需要的存儲空間越來越大。同時檢索速度也越來越慢。

Bloom Filter 是一種空間效率很高的隨機數據結構，Bloom filter 可以看做是對 bit-map 的擴展, 它的原理是：

當一個元素被加入集合時，通過 K 個 Hash 函數將這個元素映射成一個位陣列（Bit array）中的 K 個點，把它們置為 1。檢索時，我們只要看看這些點是不是都是 1 就（大約）知道集合中有沒有它了：

如果這些點有任何一個 0，則被檢索元素一定不在；
如果都是 1，則被檢索元素很可能在。
布隆過濾器優點
它的優點是空間效率和查詢時間都遠遠超過一般的算法，布隆過濾器存儲空間和插入 / 查詢時間都是常數O(k)。另外, 散列函數相互之間沒有關系，方便由硬件並行實現。布隆過濾器不需要存儲元素本身，在某些對保密要求非常嚴格的場合有優勢。
布隆過濾器缺點
但是布隆過濾器的缺點和優點一樣明顯。誤算率是其中之一。隨着存入的元素數量增加，誤算率隨之增加。但是如果元素數量太少，則使用散列表足矣。
(誤判補救方法是：再建立一個小的白名單，存儲那些可能被誤判的信息。)

另外，一般情況下不能從布隆過濾器中刪除元素. 我們很容易想到把位數組變成整數數組，每插入一個元素相應的計數器加 1, 這樣刪除元素時將計數器減掉就可以了。然而要保證安全地刪除元素並非如此簡單。首先我們必須保證刪除的元素的確在布隆過濾器里面. 這一點單憑這個過濾器是無法保證的。另外計數器回繞也會造成問題。（google guava實現的布隆過濾器里面就沒有包含刪除元素）

google guava實現的布隆過濾器簡單使用
場景描述：100W個字符串信息放入到布隆過濾器，另外隨機生成1W個字符串，判斷他們在100W里面是否存在
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>19.0</version>
</dependency>
package com.tlk.guava;

import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.UUID;

import com.google.common.base.Charsets;
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

/**
* google guava 布隆過濾器的使用
*
* @author tanlk 2017年10月24日 下午11:44:16
*/
public class BloomFilterTest {
private static final int insertions = 1000000;// 100萬

public static void main(String[] args) {
// 初始化一個存儲string數據的布隆過濾器,默認fpp（誤差率） 0.03
BloomFilter<String> bf = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), insertions);

Set<String> set = new HashSet<String>(insertions);
List<String> list = new ArrayList<String>(insertions);

for (int i = 0; i < insertions; i++) {
String uuid = UUID.randomUUID().toString();
bf.put(uuid);
set.add(uuid);
list.add(uuid);
}

int wrong = 0; // 布隆過濾器誤判的次數
int right = 0;// 布隆過濾器正確次數

for (int i = 0; i < 10000; i++) {
String str = i % 100 == 0 ? list.get(i / 100) : UUID.randomUUID().toString();
if (bf.mightContain(str)) {
if (set.contains(str)) {
right++;
} else {
wrong++;
}
}
}

//right 為100
System.out.println("right:" + right);
//因為誤差率為3%，所以一萬條數據wrong的值在300左右
System.out.println("wrong:" + wrong);
}

}
布隆過濾器的應用場景
1.Google著名的分布式數據庫Bigtable以及Hbase使用了布隆過濾器來查找不存在的行或列，以減少磁盤查找的ＩＯ次數。
2.檢查垃圾郵件地址
假定我們存儲一億個電子郵件地址，我們先建立一個十六億二進制（比特），即兩億字節的向量，然后將這十六億個二進制全部設置為零。對於每一個電子郵件地址 X，我們用八個不同的隨機數產生器（F1,F2, ...,F8） 產生八個信息指紋（f1, f2, ..., f8）。再用一個隨機數產生器 G 把這八個信息指紋映射到 1 到十六億中的八個自然數 g1, g2, ...,g8。現在我們把這八個位置的二進制全部設置為一。當我們對這一億個 email 地址都進行這樣的處理后。一個針對這些 email 地址的布隆過濾器就建成了。
3.Google chrome 瀏覽器使用bloom filter識別惡意鏈接（能夠用較少的存儲空間表示較大的數據集合，簡單的想就是把每一個URL都可以映射成為一個bit）
4.文檔存儲檢索系統也采用布隆過濾器來檢測先前存儲的數據
5.爬蟲URL地址去重
A,B 兩個文件，各存放 50 億條 URL，每條 URL 占用 64 字節，內存限制是 4G，讓你找出 A,B 文件共同的 URL。如果是三個乃至 n 個文件呢？
分析 ：如果允許有一定的錯誤率，可以使用 Bloom filter，4G 內存大概可以表示 340 億 bit。將其中一個文件中的 url 使用 Bloom filter 映射為這 340 億 bit，然后挨個讀取另外一個文件的 url，檢查是否與 Bloom filter，如果是，那么該 url 應該是共同的 url（注意會有一定的錯誤率）。
6.解決緩存穿透問題
緩存穿透是指查詢一個一定不存在的數據，由於緩存是不命中時被動寫的，並且出於容錯考慮，如果從存儲層查不到數據則不寫入緩存，這將導致這個不存在的數據每次請求都要到存儲層去查詢，失去了緩存的意義。在流量大時，可能DB就掛掉了，要是有人利用不存在的key頻繁攻擊我們的應用，這就是漏洞。
偽代碼如下：

 

 

---------------------
作者：tlk20071
來源：CSDN
原文：https://blog.csdn.net/tlk20071/article/details/78336407
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

 

布隆過濾器的原理

其本質就是一個只包含0和1的數組。具體操作當一個元素被加入到集合里面后，該元素通過K個Hash函數運算得到K個hash后的值，然后將K個值映射到這個位數組對應的位置，把對應位置的值設置為1。查詢是否存在時，我們就看對應的映射點位置如果全是1，他就很可能存在（跟hash函數的個數和hash函數的設計有關），如果有一個位置是0，那這個元素就一定不存在。

Redis 中的布隆過濾器

Redis 官方提供的布隆過濾器到了 Redis 4.0 提供了插件功能之后才正式登場。布隆過濾器作為一個插件加載到 Redis Server 中，給 Redis 提供了強大的布隆去重功能。

你可以使用docker鏡像來體驗

> docker pull redislabs/rebloom # 拉取鏡像
> docker run -p6379:6379 redislabs/rebloom # 運行容器
> redis-cli # 連接容器中的 redis 服務

當然你也可以自己編譯安裝

下載編譯安裝Rebloom插件
wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz
解壓 tar zxvf v1.1.1.tar.gz
cd rebloom-1.1.1
make
redis服啟動添加對應參數
rebloom_module="/usr/local/rebloom/rebloom.so"
daemon --user ${REDIS_USER-redis} "$exec $REDIS_CONFIG --loadmodule $rebloom_module --daemonize yes --pidfile $pidfile"

重啟redis服務

測試命令
bf.add test testValue
命令成功說明開啟成功

布隆過濾器基本使用

主要命令有

• bf.add 添加元素
• bf.exists 查詢元素是否存在
• bf.madd 一次添加多個元素
• bf.mexists 一次查詢多個元素是否存在

在 redis 中有兩個值決定布隆過濾器的准確率：

• error_rate：允許布隆過濾器的錯誤率，這個值越低過濾器的位數組的大小越大，占用空間也就越大。
• initial_size：布隆過濾器可以儲存的元素個數，當實際存儲的元素個數超過這個值之后，過濾器的准確率會下降。

redis 中有一個命令可以來設置這兩個值：

bf.reserve test 0.01 100 

• 第一個值是過濾器的名字。
• 第二個值為 error_rate 的值。
• 第三個值為 initial_size 的值。

注意必須在add之前使用bf.reserve指令顯式創建，如果對應的 key 已經存在，bf.reserve會報錯。同時設置的錯誤率越低，需要的空間越大。如果不使用 bf.reserve，默認的error_rate是 0.01，默認的initial_size是 100。

 

作者：Gundy
鏈接：http://www.imooc.com/article/288018
來源：慕課網