除了消息的丢失，另一个消息队列常见的问题就是消息积压了。我们都知道，消息之所以会挤压是由于消费端的性能除了问题，导致消息的消费速度较低来不及处理上游发送的消息。这一章我们就来看一下，如果优化代码的性能，避免出现消息积压。 在使用消息队列的系统中，对于性能的优化，主要体现在 ...

一、消息积压的原因 消息积压的直接原因，一定是系统中某个部分出现了性能问题，来不及处理上游发送的消息，才会导致消息积压。 二、优化性能来避免消息积压 在使用消息队列的系统中，对于性能的优化，主要体现在生产者和消费者两部分的业务逻辑中。对于消息队列本身的性能，作为使用者不需要太关注 ...

如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？ 思考 是什么导致了消息积压？是consumer程序bug？是consumer消费的速度落后于消息生产的速度？ 积压了多长时间，积压了多少量？ 对业务的影响？ 解决思路 1. 如果仅仅是consumer ...

1.大量消息在mq里积压了几个小时了还没解决 场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒 ...

1.大量消息在mq里积压 场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3个消费者是3000 ...

1.大量消息在mq里积压 场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3个消费者是3000 ...

据我了解，在使用消息队列遇到的问题中，消息积压这个问题，应该是最常遇到的问题了，并且，这个问题 还不太好解决。 我们都知道，消息积压的直接原因，一定是系统中的某个部分出现了性能问题，来不及处理上游发送的消 息，才会导致消息积压 ...

通常情况下，企业中会采取轮询或者随机的方式，通过Kafka的producer向Kafka集群生产数据，来尽可能保证Kafka分区之间的数据是均匀分布的。 在分区数据均匀分布的前提下，如果我们针对要处理的topic数据量等因素，设计出合理的Kafka分区数量。对于一些实时任务，比如Spark ...