RocketMQ部分消息消费不到的问题


在企业项目中,利用RocketMQ接收数据,存库。

由于是第一次在项目中具体的使用RocketMQ,一直采坑。

1、发现问题:在最终的联调过程中,并发压测,订单数据丢失,同一时刻,oms推送900+的数据,结果消费者只获取并入库了20几条,绝大部分消息丢失。

                        自己手写了一个生产者测试类,用最原始的循环的方式快速存入多条数据(此处为了测试方便,并不是重复消费问题,实际项目中消费端要加幂等去重)。一次就存5条但是每次都丢两条,好像最后两条数据永远消费不到的样子。

 

                             但在,RocketMQ在控制台上明显可以看到这五条数据都已经发送到topic下

2、原因排查及解决:
        (1)我在程序中原本就有在关键地方打印日志,通过阅读日志信息,我发现,在MessageListenerConcurrently()这个类中的consumeMessage方法中,前后两条消息几乎同时打印接收日志。为防止发生线程安全问题,及日志的可读性(其实只解决了日志可读性),及接收到一条消息的日志一连串的打印出来,中间不要穿插别的消息的日志,对整个方法加上锁sychronized。

           到这里,该问题还是没有解决。

       (2)怀疑是由于消费者ConsumeFromWhere配置的问题,我刚开始配置的是CONSUME_FROM_FIRST_OFFSET:第一次启动从队列初始位置消费,后续再启动接着上次消费的进度开始消费。然后我重新启动消费者,竟然神奇的好使了。
          问题似乎从这里解决了
  (3) 第二天,问题又出现了,说明之前的改了半天还是没找到问题的源头,之前我一直用wifi连接,结果我进了消费者组里面 看了,发现了消费者组内有其他的消费者占中了我一个队列,问题就是出现在这里。

          如图,当我的本地没有启动消费者时,这个客户端会占用所有的队列。当我起来的时候,我就占用了前两个队列,而该客户端还会占用一个队列。这就是问题所在了,我们在同一个消费者组下,它占用了一个队列,势必会消费掉那个队列的数据,导致我消费的只是部分数据。

 2、总结:

  同一个消费者组的消费者,会分别占用不同的队列,均衡瓜分消费该topic下的消息。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM