RedisBloom模块提供了四种数据类型：Bloom Filter and Cuckoo Filter , a Count-Mins-Sketch and a Top-K 。 本文介绍前两种过滤器的使用，Count-Mins-Sketch and Top-K 可参考官网用法：https://oss.redislabs.com/redisbloom
Bloom Filte 与 Cuckoo Filter 的对比：
时下一个非常流行的哈希索引结构就是bloom filter，它类似于bitmap这样的hashset，所以能够在 O(1) 的时间复杂度下快速确认该物品有没有存在。但是它有几个问题：
-
- 可能存在误报
- 无法删除元素
- 无法阻止插入（无法判断容器是否已满）
而cuckoo filter则可以解决这些问题。它的优势在于：
-
- 支援动态的新增，删除节点
- 当整个结构接近使用完毕的时候， Cuckoo Filter 具有更好的 Lookup 效能
- 具有 False Positive Rate 比 Bloom Filter 更小 (< 3%) 并且具有更少的空间使用
一、安装RedisBloom
1、下载RedisBloom模块
1、git 下载
git clone https://github.com/RedisBloom/RedisBloom.git
cd redisbloom
make
2、wget 下载
wget https://github.com/RedisBloom/RedisBloom/archive/v2.0.3.tar.gz
tar -zxvf RedisBloom-2.0.3.tar.gz
cd RedisBloom-2.0.3/
make
2、修改Redis Conf
[root@emunshe ~]#vim /etc/redis.conf
# 在文件中添加下行
loadmodule /root/RedisBloom-2.0.3/redisbloom.so
3、启动Redis server
[root@emunshe ~]# /redis-server /etc/redis.conf
或者启动服务时加载os文件
[root@emunshe ~]# /redis-server /etc/redis.conf --loadmodule /root/RedisBloom/redisbloom.so
4、测试RedisBloom
[root@emunshe ~]# redis-cli
127.0.0.1:6379> bf.add bloomFilter foo
127.0.0.1:6379> bf.exists bloomFilter foo
127.0.0.1:6379> cf.add cuckooFilter foo
127.0.0.1:6379> cf.exists cuckooFilter foo
二、python使用RedisBloom
1、安装
$ pip install redisbloom
2、使用示例
# Using Bloom Filter from redisbloom.client import Client rb = Client() rb.bfCreate('bloom', 0.01, 1000) rb.bfAdd('bloom', 'foo') # returns 1 rb.bfAdd('bloom', 'foo') # returns 0 rb.bfExists('bloom', 'foo') # returns 1 rb.bfExists('bloom', 'noexist') # returns 0 # Using Cuckoo Filter from redisbloom.client import Client rb = Client() rb.cfCreate('cuckoo', 1000) rb.cfAdd('cuckoo', 'filter') # returns 1 rb.cfAddNX('cuckoo', 'filter') # returns 0 rb.cfExists('cuckoo', 'filter') # returns 1 rb.cfExists('cuckoo', 'noexist') # returns 0
三、问题记录
在添加redisbloom os 模块后启动Redis server，使用 systemctl start redis 启动报错；使用redis-server redis.conf正常。