一次 kafka 消息堆積問題排查
收到某業務組的小伙伴發來的反饋，具體問題如下： 項目中某 kafka 消息組消費特別慢，有時候在 kafka-manager 控制台看到有些消費者已被踢出消費組。 從服務端日志看到如下信息： 該消費組在短時間內重平衡了 600 多次。 從 cat 查看得知，每條消息處理都會有 4 次數 ...
原文：kafka配置的問題排查
問題反饋： xx現場測試環境下，整個平台的數據，除了原始數據模塊，其他模塊正常運行。相同版本的包，在線上環境上原始數據的訂閱是正常的，但是測試環境沒有，查看所有相關的日志，均沒有報異常，且日志中有正常顯示已經把數據發送到kafka。但是從kafka的日志里查，沒有收到轉發過來的數據。 這里梳理一下這個 原始數據 的整個流程： upload 轉發 原始數據到 kafka，用的topic為OREGI ...
2018-07-03 13:10 0 1305 推薦指數：
相關推薦
Kafka問題排查（消費者自動關閉）
問題描述： 在消費端能夠正常消費到Kafka數據並成功生產到producer topic 中，當將kafka的一台機器關機之后，正常情況下應該是 消費端是不受影響的。因為有還有兩台的負載機器。問題就是一台機器停止運行之后，消費端酒 shutdown 而無 ...
Kafka TimeoutException: Batch Expired 問題排查
遷移到：http://www.itrensheng.com//archives/kafka_batch_expired ...
Kafka 0.8 宕機問題排查步驟
CPU 利用率高的排查方法 看看該機器的連接數是不是比其他機器多,監聽的端口數：netstat -anlp | wc -l Kafka-0.8的停止和啟動 啟動: cd /usr/local/kafka-0.8.0-release/ && nohup ./bin ...
KAFKA 節點配置問題
...
解決kafka 消息堆積問題的排查及調優
轉載自博客： https://blog.csdn.net/u012811805/article/details/121347269 一、背景說明 深夜接到客戶緊急電話，反饋騰訊雲 kafka 中有大量消息堆積未及時消費。每分鍾堆積近 100w 條數據。但是查看 ES 監控，各項指標都遠還沒 ...
記一次kafka莫名其妙關閉問題排查
現象： FT走着走着，就沒了；一檢查，發現kafka沒了 排查： 1. 先復現了一次，拿到server.log [2021-09-14 16:53:07,545] ERROR [KafkaServer id=0] Fatal error during KafkaServer ...
spark日志配置及問題排查方式。
此文已由作者岳猛授權網易雲社區發布。 歡迎訪問網易雲社區，了解更多網易技術產品運營經驗。 任何時候日志都是定位問題的關鍵，spark也不會例外，合適的配置和獲取spark的driver，am，及executor日志將會提升問題定位的效率，這里初步整理了spark的一些配置，更好的日志配置還需要 ...