碼上快樂

相關內容    簡體    繁體

【SpringBoot DB 系列】Redis 高級特性之 Bitmap 使用姿勢及應用場景介紹

本文轉載自   查看原文   2020-10-17 20:57   1196    中間件/ Redis/ Spring

【SpringBoot DB 系列】Redis 高級特性之 Bitmap 使用姿勢及應用場景介紹

前面介紹過 redis 的五種基本數據結構，如 String，List, Set, ZSet, Hash，這些屬於相對常見了；在這些基本結果之上，redis 還提供了一些更高級的功能，如 geo, bitmap, hyperloglog，pub/sub，本文將主要介紹 Bitmap 的使用姿勢以及其適用場景，主要知識點包括

  • bitmap 基本使用
  • 日活統計應用場景中 bitmap 使用姿勢
  • 點贊去重應用場景中 bitmap 使用姿勢
  • 布隆過濾器 bloomfilter 基本原理及體驗 case

I. 基本使用

1. 配置

我們使用 SpringBoot 2.2.1.RELEASE來搭建項目環境，直接在pom.xml中添加 redis 依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

如果我們的 redis 是默認配置，則可以不額外添加任何配置；也可以直接在application.yml配置中，如下

spring:
  redis:
    host: 127.0.0.1
    port: 6379
    password:

2. 使用姿勢

bitmap 主要就三個操作命令，setbit，getbit以及 bitcount

a. 設置標記

即setbit，主要是指將某個索引，設置為 1(設置 0 表示抹去標記)，基本語法如下

# 請注意這個index必須是數字，后面的value必須是0/1
setbit key index 0/1

對應的 SpringBoot 中，借助 RestTemplate 可以比較容易的實現，通常有兩種寫法，都可以

@Autowired
private StringRedisTemplate redisTemplate;

/**
 * 設置標記位
 *
 * @param key
 * @param offset
 * @param tag
 * @return
 */
public Boolean mark(String key, long offset, boolean tag) {
    return redisTemplate.opsForValue().setBit(key, offset, tag);
}

public Boolean mark2(String key, long offset, boolean tag) {
    return redisTemplate.execute(new RedisCallback<Boolean>() {
        @Override
        public Boolean doInRedis(RedisConnection connection) throws DataAccessException {
            return connection.setBit(key.getBytes(), offset, tag);
        }
    });
}

上面兩種寫法的核心區別，就是 key 的序列化問題，第一種寫法使用默認的 jdk 字符串序列化，和后面的getBytes()會有一些區別，關於這個，有興趣的小伙伴可以看一下我之前的博文: RedisTemplate 配置與使用#序列化問題

b. 判斷存在與否

即 getbit key index，如果返回 1，表示存在否則不存在

/**
 * 判斷是否標記過
 *
 * @param key
 * @param offest
 * @return
 */
public Boolean container(String key, long offest) {
    return redisTemplate.opsForValue().getBit(key, offest);
}

c. 計數

即 bitcount key，統計和

/**
 * 統計計數
 *
 * @param key
 * @return
 */
public long bitCount(String key) {
    return redisTemplate.execute(new RedisCallback<Long>() {
        @Override
        public Long doInRedis(RedisConnection redisConnection) throws DataAccessException {
            return redisConnection.bitCount(key.getBytes());
        }
    });
}

3. 應用場景

前面的基本使用比較簡單，在介紹 String 數據結構的時候也提過，我們重點需要關注的是 bitmap 的使用場景，它可以干嘛用，什么場景下使用它會有顯著的優勢

  • 日活統計
  • 點贊
  • bloomfilter

上面三個場景雖有相似之處，但實際的應用場景還是些許區別，接下來我們逐一進行說明

a. 日活統計

統計應用或網站的日活，這個屬於比較常見的 case 了，如果是用 redis 來做這個事情，首先我們最容易想到的是 Hash 結構，一般邏輯如下

  • 根據日期，設置 key，如今天為 2020/10/13, 那么 key 可以為 app_20_10_13
  • 其次當用戶訪問時，設置 field 為 userId, value 設置為 true
  • 判斷日活則是統計 map 的個數hlen app_20_10_13

上面這個邏輯有毛病么？當然沒有問題，但是想一想，當我們的應用做的很 nb 的時候，每天的日活都是百萬，千萬級時，這個內存開銷就有點嚇人了

接下來我們看一下 bitmap 可以怎么做

  • 同樣根據日期設置 key
  • 當用戶訪問時，index 設置為 userId，setbit app_20_10_13 uesrId 1
  • 日活統計 bitcount app_20_10_13

簡單對比一下上面兩種方案

當數據量小時，且 userid 分布不均勻，小的為個位數，大的幾千萬，上億這種，使用 bitmap 就有點虧了，因為 userId 作為 index，那么 bitmap 的長度就需要能容納最大的 userId，但是實際日活又很小，說明 bitmap 中間有大量的空白數據

反之當數據量很大時，比如百萬/千萬，userId 是連續遞增的場景下，bitmap 的優勢有兩點：1.存儲開銷小， 2.統計總數快

c. 點贊

點贊的業務，最主要的一點是一個用戶點贊過之后，就不能繼續點贊了（當然某些業務場景除外），所以我們需要知道是否可以繼續點贊

上面這個 hash 當然也可以實現，我們這里則主要討論一下 bitmap 的實現邏輯

  • 比如我們希望對一個文章進行點贊統計，那么我們根據文章 articleId 來生成 redisKey=like_1121，將 userId 作為 index
  • 首先是通過getbit like_1121 userId 來判斷是否點贊過，從而限制用戶是否可以操作

Hash 以及 bitmap 的選擇和上面的考量范圍差不多

d. 布隆過濾器 bloomfilter

布隆過濾器可謂是大名鼎鼎了，我們這里簡單的介紹一下這東西是啥玩意

  • 底層存儲為一個 bitmap
  • 當來一個數據時，經過 n 個 hash 函數，得到 n 個數值
  • 將 hash 得到的 n 個數值，映射到 bitmap，標記對應的位置為 1

如果來一個數據，通過 hash 計算之后，若這個 n 個值，對應的 bitmap 都是 1，那么表示這個數據可能存在；如果有一個不為 1，則表示這個數據一定不存在

請注意：不存在時，是一定不存在；存在時，則不一定

從上面的描述也知道，bloomfilter 的底層數據結構就是 bitmap，當然它的關鍵點在 hash 算法；根據它未命中時一定不存在的特性，非常適用於緩存擊穿的問題解決

體驗說明

Redis 的布隆過濾器主要針對>=4.0，通過插件的形式提供，項目源碼地址為: https://github.com/RedisBloom/RedisBloom，下面根據 readme 的說明，簡單的體驗一下 redis 中 bloomfilter 的使用姿勢

# docker 方式安裝
docker run -p 6379:6379 --name redis-redisbloom redislabs/rebloom:latest

# 通過redis-cli方式訪問
docker exec -it redis-redisbloom bash

# 開始使用
# redis-cli
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> bf.add newFilter hello
(integer) 1
127.0.0.1:6379> bf.exists newFilter hello
(integer) 1
127.0.0.1:6379> bf.exists newFilter hell
(integer) 0

bloomfilter 的使用比較簡單，主要是兩個命令bf.add添加元素，bf.exists判斷是否存在，請注意它沒有刪除哦

4. 小結

bitmap 位圖屬於一個比較精巧的數據結構，通常在數據量大的場景下，會有出現的表現效果；redis 本身基於 String 數據結構來實現 bitmap 的功能支持，使用方式比較簡單，基本上就下面三個命令

  • setbit key index 1/0: 設置
  • getbit key index: 判斷是否存在
  • bitcount key: 計數統計

本文也給出了 bitmap 的三個常見的應用場景

  • 日活統計：主要借助bitcount來獲取總數（后面會介紹，在日活十萬百萬以上時，使用 hyperLogLog 更優雅）
  • 點贊: 主要借助setbit/getbit來判斷用戶是否贊過，從而實現去重
  • bloomfilter: 基於 bitmap 實現的布隆過濾器，廣泛用於去重的業務場景中（如緩存穿透，爬蟲 url 去重等）

總的來講，bitmap 屬於易用，巧用的數據結構，用得好即能節省內存也可以提高效率，用得不好貌似也不會帶來太大的問題

II. 其他

0. 項目

系列博文

工程源碼

1. 一灰灰 Blog

盡信書則不如，以上內容，純屬一家之言，因個人能力有限，難免有疏漏和錯誤之處，如發現 bug 或者有更好的建議，歡迎批評指正，不吝感激

下面一灰灰的個人博客，記錄所有學習和工作中的博文，歡迎大家前去逛逛

一灰灰blog


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 【SpringBoot DB 系列】Redis 高級特性之 HyperLoglog Redis特性和應用場景 Redis 中 BitMap 的使用場景 Redis 應用場景 Redis使用場景（一） Memcache介紹與應用場景 BFC的特性及使用場景 Redis常見應用場景 快速入門Redis調用Lua腳本及使用場景介紹 Redis實戰（九）Redis的典型應用場景
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM