解決kafka 消息堆積問題的排查及調優
轉載自博客： https://blog.csdn.net/u012811805/article/details/121347269 一、背景說明 深夜接到客戶緊急電話，反饋騰訊雲 kafka 中有大量消息堆積未及時消費。每分鍾堆積近 100w 條數據。但是查看 ES 監控，各項指標都遠還沒 ...
原文：一次 kafka 消息堆積問題排查
收到某業務組的小伙伴發來的反饋，具體問題如下： 項目中某 kafka 消息組消費特別慢，有時候在 kafka manager 控制台看到有些消費者已被踢出消費組。 從服務端日志看到如下信息： 該消費組在短時間內重平衡了 多次。 從 cat 查看得知，每條消息處理都會有 次數據庫的交互，經過一番溝通之后，發現每條消息的處理耗時大概率保持在 ms 以上。 Kafka 發生重平衡的有以下幾種情況： 消費 ...
2020-01-07 10:20 0 5084 推薦指數：
相關推薦
記一次線上Kafka消息堆積踩坑總結
，與其他業務系統的通信方式采用了第三代消息系統中間件Kafka。由於是第一次使用，踩了很多坑，通過這篇博客和大 ...
記一次kafka莫名其妙關閉問題排查
現象： FT走着走着，就沒了；一檢查，發現kafka沒了 排查： 1. 先復現了一次，拿到server.log [2021-09-14 16:53:07,545] ERROR [KafkaServer id=0] Fatal error during KafkaServer ...
Kafka 異步消息也會阻塞？記一次 Dubbo 頻繁超時排查過程
線上某服務 A 調用服務 B 接口完成一次交易，一次晚上的生產變更之后，系統監控發現服務 B 接口頻繁超時，后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口，剛開始誤以為外部接口延時導致，所以臨時增加服務 B dubbo 線程池線程數量 ...
一次Kafka內存泄露排查經過
一、現象 服務部署后內存總體呈上升趨勢 二、排查過程 通過go tool pprof收集了三天內存數據 2月11號數據： 2月14號數據： 2月15號數據： 我們使用sarama客戶端連接kafka，可以看到 ...
記錄一次問題排查
1. 問題描述：早上剛來上班，業務部門同事反應管理后台無法登錄 2. 問題排查定位 2.1 服務器排查 a. 接口是否可以調通：首先自己登陸后台，發現時好時壞，偶爾接口返回【系統忙】。我們系統接口異常調不通會返回系統忙 b. 服務是否死掉或者假死：連接服務器->查看Java ...
RocketMQ消息堆積問題
RocketMQ消息堆積問題 RocketMQ消息堆積主要分為三個層次的問題： 其一是Producer生產速率過快，什么場景呢，比如Producer故障，比如DOS攻擊，比如業務高峰（超過企業預估的，例如12306訂票，雙十一下單，這些一開始的時候都有超過預期的情況）。 其二是Broker消息 ...
RabbitMQ消息堆積問題？
原因： 有時可能因為消費者自身代碼問題，導致沒辦法正常消費消息，那么就會導致消息隊列中會堆積大量的消息； 或因為同一時間來了非常多的消息，消費者沒辦法及時消費，導致消息隊列中堆積了大量消息。 解決辦法： 1.去優化消費者代碼，提高消費能力。減少消費時間 2. ...