如何利用redis key過期事件實現過期提醒

https://blog.csdn.net/zhu_tianwei/article/details/80169900

 

redis自2.8.0之后版本提供Keyspace Notifications功能，允許客戶訂閱Pub / Sub頻道，以便以某種方式接收影響Redis數據集的事件。

可能收到的事件的例子如下： 
所有影響給定鍵的命令。 
所有接收LPUSH操作的密鑰。 
所有密鑰在數據庫中過期0。

因為 Redis 目前的訂閱與發布功能采取的是發送即忘（fire and forget）策略， 所以如果你的程序需要可靠事件通知（reliable notification of events）， 那么目前的鍵空間通知可能並不適合你：當訂閱事件的客戶端斷線時， 它會丟失所有在斷線期間分發給它的事件。並不能確保消息送達。未來有計划允許更可靠的事件傳遞，但可能這將在更一般的層面上解決，或者為Pub / Sub本身帶來可靠性，或者允許Lua腳本攔截Pub / Sub消息來執行諸如推送將事件列入清單。

事件類型

對於每個修改數據庫的操作，鍵空間通知都會發送兩種不同類型的事件消息：keyspace 和 keyevent。以 keyspace 為前綴的頻道被稱為鍵空間通知（key-space notification）， 而以 keyevent 為前綴的頻道則被稱為鍵事件通知（key-event notification）。

事件是用  __keyspace@DB__:KeyPattern 或者  __keyevent@DB__:OpsType 的格式來發布消息的。
DB表示在第幾個庫；KeyPattern則是表示需要監控的鍵模式（可以用通配符，如：__key*__:*）；OpsType則表示操作類型。因此，如果想要訂閱特殊的Key上的事件，應該是訂閱keyspace。
比如說，對 0 號數據庫的鍵 mykey 執行 DEL 命令時， 系統將分發兩條消息， 相當於執行以下兩個 PUBLISH 命令：
PUBLISH __keyspace@0__:sampleKey del
PUBLISH __keyevent@0__:del sampleKey
訂閱第一個頻道 __keyspace@0__:mykey 可以接收 0 號數據庫中所有修改鍵 mykey 的事件， 而訂閱第二個頻道 __keyevent@0__:del 則可以接收 0 號數據庫中所有執行 del 命令的鍵。

 

開啟配置

鍵空間通知通常是不啟用的，因為這個過程會產生額外消耗。所以在使用該特性之前，請確認一定是要用這個特性的，然后修改配置文件，或使用config配置。相關配置項如下：

字符	發送通知
K	鍵空間通知，所有通知以 keyspace@ 為前綴，針對Key
E	鍵事件通知，所有通知以 keyevent@ 為前綴，針對event
g	DEL 、 EXPIRE 、 RENAME 等類型無關的通用命令的通知
$	字符串命令的通知
l	列表命令的通知
s	集合命令的通知
h	哈希命令的通知
z	有序集合命令的通知
x	過期事件：每當有過期鍵被刪除時發送
e	驅逐(evict)事件：每當有鍵因為 maxmemory 政策而被刪除時發送
A	參數 g$lshzxe 的別名，相當於是All

輸入的參數中至少要有一個 K 或者 E ， 否則的話， 不管其余的參數是什么， 都不會有任何通知被分發。上表中斜體的部分為通用的操作或者事件，而黑體則表示特定數據類型的操作。配置文件中修改 notify-keyspace-events “Kx”，注意：這個雙引號是一定要的，否則配置不成功，啟動也不報錯。例如，“Kx”表示想監控某個Key的失效事件。

也可以通過config配置：CONFIG set notify-keyspace-events Ex （但非持久化）

Redis 使用以下兩種方式刪除過期的鍵：
1.當一個鍵被訪問時，程序會對這個鍵進行檢查，如果鍵已經過期，那么該鍵將被刪除。
2.底層系統會在后台查找並刪除那些過期的鍵，從而處理那些已經過期、但是不會被訪問到的鍵。
當過期鍵被以上兩個程序的任意一個發現、 並且將鍵從數據庫中刪除時， Redis 會產生一個 expired 通知。
Redis 並不保證生存時間（TTL）變為 0 的鍵會立即被刪除： 如果程序沒有訪問這個過期鍵， 或者帶有生存時間的鍵非常多的話， 那么在鍵的生存時間變為 0 ， 直到鍵真正被刪除這中間， 可能會有一段比較顯著的時間間隔。
因此， Redis 產生 expired 通知的時間為過期鍵被刪除的時候， 而不是鍵的生存時間變為 0 的時候。

由於通知收到的是redis key，value已經過期，無法收到，所以需要在key上標記業務數據。

 

實現步驟：

1.修改配置：鍵空間通知功能耗費CPU，默認關閉，需要修改配置文件redis.conf或 操作CONFIG SET命令，設置notify-keyspace-events選項，來啟用或關閉該功能。

2.對Redis實例進行發布訂閱，指定監聽類和監聽事件類型

3.監聽類繼承JedisPubSub，實現相應操作；

4.客戶端進行操作，以觸發訂閱事件發生。

代碼實例

<dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.6.2</version>
        </dependency>

 

 

配置和訂閱

package cn.slimsmart.redis.demo.nofity;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.JedisPubSub;

import java.util.List;

public class notifyTest {

    public static void main(String[] args) {
        JedisPool pool = new JedisPool(new JedisPoolConfig(), "127.0.0.1");

        Jedis jedis = pool.getResource();
        config(jedis);//建議在redis配置文件中設置

        jedis.psubscribe(new KeyExpiredListener(), "__keyevent@0__:expired");//過期隊列
    }

    private static void config(Jedis jedis){
        String parameter = "notify-keyspace-events";
        List<String> notify = jedis.configGet(parameter);
        if(notify.get(1).equals("")){
            jedis.configSet(parameter, "Ex"); //過期事件
        }
    }
}

class KeyExpiredListener extends JedisPubSub {
    @Override
    public void onPSubscribe(String pattern, int subscribedChannels) {
        System.out.println("onPSubscribe " + pattern + " " + subscribedChannels);
    }

    @Override
    public void onPMessage(String pattern, String channel, String message) {
    System.out.println(
        "pattern = [" + pattern + "], channel = [" + channel + "], message = [" + message + "]");
    //收到消息 key的鍵值，處理過期提醒
    }
}

6. spring boot 處理方式

1、修改Redis配置

把  #  notify-keyspace-events Ex 前面的注釋去掉，然后重啟redis

2、pom文件添加

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

3、添加redis監聽

package com.example.demo.redis;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.connection.Message;
import org.springframework.data.redis.connection.MessageListener;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

/** 可以換成KeyExpirationEventMessageListener */
@Component
public class RedisMessageListener implements MessageListener {


@Autowired
private RedisTemplate<String, String> redisTemplate;

@Override
//key 過期時調用
public void onMessage(Message message, byte[] pattern) {
System.out.println("onPMessage pattern " + pattern + " " + " " + message);
String channel = new String(message.getChannel());
String str = (String) redisTemplate.getValueSerializer().deserialize(message.getBody());
System.out.println(str);

}


}
4、配置redis監聽key過期事件

package com.example.demo.redis;

import com.example.demo.DemoApplication;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Import;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.listener.ChannelTopic;
import org.springframework.data.redis.listener.RedisMessageListenerContainer;
import org.springframework.data.redis.listener.adapter.MessageListenerAdapter;

@Configuration
//value 是啟動類
@Import( value = DemoApplication.class )
public class PubsubConfiguration {

@Autowired
private RedisMessageListener redisMessageListener;


@Bean
public ChannelTopic expiredTopic() {
return new ChannelTopic("__keyevent@0__:expired");
}

@Bean
public RedisMessageListenerContainer redisMessageListenerContainer(
@Autowired RedisConnectionFactory redisConnectionFactory) {
RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
redisMessageListenerContainer.addMessageListener(redisMessageListener, expiredTopic());
return redisMessageListenerContainer;
}


}

 

4、經測試添加key=11，當其過期時，打印效果如下

 

onPMessage pattern [B@20d980fd 11
11

 

設置過期消息

package cn.slimsmart.redis.demo.nofity;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

public class TestJedis {

    public static void main(String[] args) {
        JedisPool pool = new JedisPool(new JedisPoolConfig(), "127.0.0.1");
        Jedis jedis = pool.getResource();
        jedis.setex("notify-task-001", 10,"empty");
    }
}

 

 

其他過期事件解決策略

 

解決方案2

使用spring + quartz定時任務（支持任務信息寫入mysql,多節點分布式執行任務），下單成功后，生成一個30分鍾后運行的任務，30分鍾后檢查訂單狀態，如果未支付，則進行處理

解決方案3

將訂單過期時間信息寫入mysql，按分鍾輪詢查詢mysql，如果超時則進行處理，效率差！時間精准度底！

解決方案4

使用Java的定時器，不支持高可用，設置定時器的節點掛掉或者重啟，任務失效！

結論

推薦使用方案1和方案2

8.關於通道名稱：__keyevent@0__:expired

通過Redis自帶的redis-cli命令，我們可以在服務端通過命令行的方式直接操作。我們運行上面的示例代碼，然后迅速切換到redis-cli命令中，建立一個生命周期很短暫的數據：
127.0.0.1:6379> set chaijunkun 123 PX 100
PX參數指定生命周期單位為毫秒，100即聲明周期，即100毫秒。key為chaijunkun的數據，其值為123。
當執行語句后，回顯：
OK

這時我們看實例程序的輸出：
*=__keyevent@0__:expired=chaijunkun
從輸出可以看出，之前指定的通配符為*，通配任何通道；之后是實際的通道名稱：__keyevent@0__:expired，這里我們可以看到訂閱收到了一個keyevent位於數據庫0，事件類型為：expired，是一個過期事件；最后是chaijunkun，這個是過期數據的key。
在官方文檔中，keyevent通道的格式永遠是這樣的：
__keyevent@<db>__:prefix
對於數據過期事件，我們在綁定訂閱時通配模板也可以精確地寫成：
__keyevent@*__:expired
通過示例代碼，我們可以看到確實印證了之前的構想，實現了數據過期的事件觸發（event）或者說回調（callback）。

 

參考文章:  https://blog.csdn.net/chaijunkun/article/details/27361453