一次 kafka 消息堆积问题排查
收到某业务组的小伙伴发来的反馈，具体问题如下： 项目中某 kafka 消息组消费特别慢，有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息： 该消费组在短时间内重平衡了 600 多次。 从 cat 查看得知，每条消息处理都会有 4 次数 ...
原文：kafka配置的问题排查
问题反馈： xx现场测试环境下，整个平台的数据，除了原始数据模块，其他模块正常运行。相同版本的包，在线上环境上原始数据的订阅是正常的，但是测试环境没有，查看所有相关的日志，均没有报异常，且日志中有正常显示已经把数据发送到kafka。但是从kafka的日志里查，没有收到转发过来的数据。 这里梳理一下这个 原始数据 的整个流程： upload 转发 原始数据到 kafka，用的topic为OREGI ...
2018-07-03 13:10 0 1305 推荐指数：
相关推荐
Kafka问题排查（消费者自动关闭）
问题描述： 在消费端能够正常消费到Kafka数据并成功生产到producer topic 中，当将kafka的一台机器关机之后，正常情况下应该是 消费端是不受影响的。因为有还有两台的负载机器。问题就是一台机器停止运行之后，消费端酒 shutdown 而无 ...
Kafka TimeoutException: Batch Expired 问题排查
迁移到：http://www.itrensheng.com//archives/kafka_batch_expired ...
Kafka 0.8 宕机问题排查步骤
CPU 利用率高的排查方法 看看该机器的连接数是不是比其他机器多,监听的端口数：netstat -anlp | wc -l Kafka-0.8的停止和启动 启动: cd /usr/local/kafka-0.8.0-release/ && nohup ./bin ...
KAFKA 节点配置问题
...
解决kafka 消息堆积问题的排查及调优
转载自博客： https://blog.csdn.net/u012811805/article/details/121347269 一、背景说明 深夜接到客户紧急电话，反馈腾讯云 kafka 中有大量消息堆积未及时消费。每分钟堆积近 100w 条数据。但是查看 ES 监控，各项指标都远还没 ...
记一次kafka莫名其妙关闭问题排查
现象： FT走着走着，就没了；一检查，发现kafka没了 排查： 1. 先复现了一次，拿到server.log [2021-09-14 16:53:07,545] ERROR [KafkaServer id=0] Fatal error during KafkaServer ...
spark日志配置及问题排查方式。
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 任何时候日志都是定位问题的关键，spark也不会例外，合适的配置和获取spark的driver，am，及executor日志将会提升问题定位的效率，这里初步整理了spark的一些配置，更好的日志配置还需要 ...