由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍 ...

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动 ...

一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情，请参考链接 ...

通过原生kafka，查看对应的topic是否有数据 下载kafka：登录Apache kafka官方下载 http://kafka.apache.org/downloads.html 配置config文件 vim server.properties 启动kafka ...

一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. ...

...

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： 对应的spring-kafka消费者客户端配置参数为： 注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper ...

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： 对应的spring-kafka消费者客户端配置参数为： 注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper ...