一、先談哈希
1.1原理
Hash （哈希，或者散列）函數在計算機領域，尤其是數據快速查找領域，加密領域用的極廣。
其作用是將一個大的數據集映射到一個小的數據集上面（這些小的數據集叫做哈希值，或者散列值）。
1.2一個典型的hash函數示意圖
1.3特點
如果兩個散列值是不相同的（根據同一函數），那么這兩個散列值的原始輸入也是不相同的。
散列函數的輸入和輸出不是唯一對應關系的，如果兩個散列值相同，兩個輸入值很可能是相同的。但也可能不同，這種情況稱為 “散列碰撞”（或者 “散列沖突”）。
1.4缺點
引用吳軍博士的《數學之美》中所言，哈希表的空間效率還是不夠高。如果用哈希表存儲一億個垃圾郵件地址，每個email地址 對應 8bytes, 而哈希表的存儲效率一般只有50%，因此一個email地址需要占用16bytes. 因此一億個email地址占用1.6GB，如果存儲幾十億個email address則需要上百GB的內存。除非是超級計算機，一般的服務器是無法存儲的。
二、布隆過濾器
2.1原理
如果想判斷一個元素是不是在一個集合里，一般想到的是將集合中所有元素保存起來，然后通過比較確定。鏈表、樹、散列表（又叫哈希表，Hash table）等等數據結構都是這種思路。但是隨着集合中元素的增加，我們需要的存儲空間越來越大。同時檢索速度也越來越慢。
Bloom Filter 是一種空間效率很高的隨機數據結構，Bloom filter 可以看做是對 bit-map 的擴展, 它的原理是：
當一個元素被加入集合時，通過 K 個 Hash 函數將這個元素映射成一個位陣列（Bit array）中的 K 個點，把它們置為 1。檢索時，我們只要看看這些點是不是都是 1 就（大約）知道集合中有沒有它了：
如果這些點有任何一個 0，則被檢索元素一定不在；
如果都是 1，則被檢索元素很可能在。
2.2優點
它的優點是空間效率和查詢時間都遠遠超過一般的算法，布隆過濾器存儲空間和插入 / 查詢時間都是常數O(k)。另外, 散列函數相互之間沒有關系，方便由硬件並行實現。布隆過濾器不需要存儲元素本身，在某些對保密要求非常嚴格的場合有優勢
2.3缺點
但是布隆過濾器的缺點和優點一樣明顯。誤算率是其中之一。隨着存入的元素數量增加，誤算率隨之增加。但是如果元素數量太少，則使用散列表足矣。
(誤判補救方法是：再建立一個小的白名單，存儲那些可能被誤判的信息。)
另外，一般情況下不能從布隆過濾器中刪除元素. 我們很容易想到把位數組變成整數數組，每插入一個元素相應的計數器加 1, 這樣刪除元素時將計數器減掉就可以了。然而要保證安全地刪除元素並非如此簡單。首先我們必須保證刪除的元素的確在布隆過濾器里面. 這一點單憑這個過濾器是無法保證的。另外計數器回繞也會造成問題。
2.4布隆過濾器的使用場景
Google chrome 瀏覽器使用bloom filter識別惡意鏈接
檢測垃圾郵件
假定我們存儲一億個電子郵件地址，我們先建立一個十六億二進制（比特），即兩億字節的向量，然后將這十六億個二進制全部設置為零。對於每一個電子郵件地址 X，我們用八個不同的隨機數產生器（F1,F2, ...,F8） 產生八個信息指紋（f1, f2, ..., f8）。再用一個隨機數產生器 G 把這八個信息指紋映射到 1 到十六億中的八個自然數 g1, g2, ...,g8。現在我們把這八個位置的二進制全部設置為一。當我們對這一億個 email 地址都進行這樣的處理后。一個針對這些 email 地址的布隆過濾器就建成了。
A,B 兩個文件，各存放 50 億條 URL，每條 URL 占用 64 字節，內存限制是 4G，讓你找出 A,B 文件共同的 URL。如果是三個乃至 n 個文件呢？
分析 ：如果允許有一定的錯誤率，可以使用 Bloom filter，4G 內存大概可以表示 340 億 bit。將其中一個文件中的 url 使用 Bloom filter 映射為這 340 億 bit，然后挨個讀取另外一個文件的 url，檢查是否與 Bloom filter，如果是，那么該 url 應該是共同的 url（注意會有一定的錯誤率）。”