SpringBoot结合Redis Stream 实现消息队列Demo

SpringBoot 中使用Redis Stream 实现消息监听

Demo环境

• JDK8
• Maven3.6.3
• springboot2.4.3

POM依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.4.3</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>vip.huhailong</groupId>
	<artifactId>redismq</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>redismq</name>
	<description>base redis stream mq</description>
	<properties>
		<java.version>1.8</java.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-redis</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

这里是一个简单的Demo，所以关于redis的一些序列化配置就省略了。

配置监听消息类

配置监听消息类，这里类需要实现StreamListener接口，该接口下只有一个要实现的方法——onMessage方法，代码：

package vip.huhailong.redismq.redistool;

import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.connection.stream.MapRecord;
import org.springframework.data.redis.stream.StreamListener;
import org.springframework.stereotype.Component;

/**
 * @author Huhailong
 * @Description 监听消息
 * @Date 2021/3/10.
 */
@Slf4j
@Component
public class ListenerMessage implements StreamListener<String, MapRecord<String, String, String>> {

    @Override
    public void onMessage(MapRecord<String, String, String> entries) {
        log.info("接受到来自redis的消息");
        System.out.println("message id "+entries.getId());
        System.out.println("stream "+entries.getStream());
        System.out.println("body "+entries.getValue());
    }
    
}

配置完该类后我们再创建一个类将该监听器注入进去，代码：

package vip.huhailong.redismq.config;

import lombok.var;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.stream.Consumer;
import org.springframework.data.redis.connection.stream.ReadOffset;
import org.springframework.data.redis.connection.stream.StreamOffset;
import org.springframework.data.redis.stream.StreamMessageListenerContainer;
import org.springframework.data.redis.stream.Subscription;
import vip.huhailong.redismq.redistool.ListenerMessage;

import java.time.Duration;

/**
 * @author Huhailong
 * @Description
 * @Date 2021/3/12.
 */
@Configuration
public class RedisStreamConfig {

    @Autowired
    private ListenerMessage streamListener;

    @Bean
    public Subscription subscription(RedisConnectionFactory factory){
        var options = StreamMessageListenerContainer
                .StreamMessageListenerContainerOptions
                .builder()
                .pollTimeout(Duration.ofSeconds(1))
                .build();
        var listenerContainer = StreamMessageListenerContainer.create(factory,options);
        var subscription = listenerContainer.receiveAutoAck(Consumer.from("mygroup","huhailong"),
                StreamOffset.create("mystream", ReadOffset.lastConsumed()),streamListener);
        listenerContainer.start();
        return subscription;
    }
}

代码分析：

1. 首先将我们实现了StreamListener的监听器类注入。

2. subscription方法返回的是一个Subscription类型，它是与当前正在运行任务的链接，可以理解为订阅的链接，它有俩个方法

   1. boolean await(Duration timeout): 当订阅变为活动或超时时，同步阻塞呼叫将返回
   2. boolean isActive(): 如果当前正在订阅则为true

3. 代码中的var是使用了Lombok的可变局部变量。主要是为了方便

4. StreamMessageListenerContainer: 消息侦听容器，不能在外部实现。创建后，StreamMessageListenerContainer可以订阅Redis流并使用传入的消息。 StreamMessageListenerContainer允许多个流读取请求，并为每个读取请求返回一个Subscription句柄。取消订阅最终将终止后台轮询。使用键和值序列化器转换消息以支持各种序列化策略。具体文档

5. __StreamMessageListenerContainerOptions: __ 它是上面4的选项，代码中pollTimeout表示轮询超时时间

6. create方法使用给定的RedisConnectionFactory和上面的配置选项创建侦听器。

7. 接下来使用receiveAutoAck创建一个新订阅，注意这里接受到消息后会被自动的确认，如果不想自动确认请使用其他的创建订阅方式。该方法共有三个参数

   1. 消费组 consumer group ，它不能为null （Consumer类型）
   2. stream offset ，stream的偏移量（StreamOffset 类型）
   3. listener 不能为null （StreamListener<K,V> 类型）

   代码中表示消费者来自名称为mygroup的组，消费者名称为huhailong，这里偏移量设置为了lastConsumed，它表示读取ID大于消费者组使用的最后一个元素的所有新到达的元素。

现在就可以运行项目来验证了，将项目运行起来后通过终端给对应key的stream添加一条消息

> XADD mystream * message springboot

这时可以看到spring boot的控制台打印除了一下消息：

message id 1615532778588-0
stream mystream
body {message=springboot}

说明侦听成功，它会一直处于监听状态，只要对应key的stream添加了新的消息都会被侦听到，到此也就简单的实现了消息队列功能。