收到某業務組的小伙伴發來的反饋,具體問題如下: 項目中某 kafka 消息組消費特別慢,有時候在 kafka-manager 控制台看到有些消費者已被踢出消費組。 從服務端日志看到如下信息: 該消費組在短時間內重平衡了 600 多次。 從 cat 查看得知,每條消息處理都會有 4 次數 ...
年 月 日 : : xiaoguozi 閱讀數: 更多 個人分類:大數據 年后上線的系統,與其他業務系統的通信方式采用了第三代消息系統中間件Kafka。由於是第一次使用,踩了很多坑,通過這篇博客和大家分享一下,也算是做個總結,以便以后溫故而知新。 一 線上問題 系統平穩運行兩個多月,基本上沒有問題,知道最近幾天,突然出現Kafka手動提交失敗,堆棧信息如下: 通過堆棧信息可以看出,有兩個重要參數 ...
2018-09-28 17:20 2 7389 推薦指數:
收到某業務組的小伙伴發來的反饋,具體問題如下: 項目中某 kafka 消息組消費特別慢,有時候在 kafka-manager 控制台看到有些消費者已被踢出消費組。 從服務端日志看到如下信息: 該消費組在短時間內重平衡了 600 多次。 從 cat 查看得知,每條消息處理都會有 4 次數 ...
前段時間收到某個 Kafka 集群的生產客戶端反饋發送消息耗時很高,於是花了一段時間去排查這個問題,最后該集群進行擴容,由於某些主題的當前數據量實在太大,在對這些主題遷移過程中話費了很長一段時間,不過這個過程還算順利,因為在遷移過程中也做足了各方面的調研,包括分區重平衡過程中對客戶端的影響,以及對 ...
引言 今天中午正在帶着耳機遨游在代碼的世界里,被運營在群里@了,氣沖沖的反問我最近有刪生產的用戶數據的嗎?我肯定客氣的回答道沒有呀?生產的數據我怎么能隨隨便便可以刪除,這可是公司的紅線,再說了我也沒 ...
前言 最近自己嘗試着搭建springcloud項目,果不其然,剛開始就踩坑了,還是那種一臉懵逼的坑。搭建后程序能正常運行注冊到eureka注冊中心,但注冊好之后便會立即注銷掉。剛開始認為是線程拋異常掛掉了,便導致服務注銷了。然后各種debug排查,最后發現是正常退出。至於具體原因,我下面做個詳細 ...
最近在公司的線上服務器上發現了一個現象: 將某個node的kubelet短暫的停掉之后,其上的pod馬上會被驅逐,這讓筆者大吃一驚,印象之中,停掉kubelet后,該node會變為NotReady狀態,隨后controller-manger會經過一段時間才開始驅逐其上的pod。還有個參數專門來控制 ...
踩坑背景:項目需求一個echarts圖標組件,后期為了用戶體驗,新增了全屏切換的功能 技術實現:采用了js內置方法,requestFullScreen來實現的某個容器的最大化,踩坑之路:由於使用的時element的ui庫,圖標組件中有使用了select組件和dropdowm組件作為了用戶進行篩選 ...
來源 https://www.jianshu.com/p/271f88f06eb3 今天我司線上kafka消息代理出現錯誤日志,異常rebalance,而且平均間隔2到3分鍾就會rebalance一次,分析日志發現比較嚴重。錯誤日志 ...
發現性能問題 上一次導入數據后,發現系統十分的卡頓,但是才僅僅1000多條數據而已,怎么會讓系統變得如何的卡頓呢?於是我開始走在排查系統卡頓的原因的道路上。 首先,先定位問題是出現在前端上還是后端上。打開瀏覽器,輸入localhost:7000, 然后F12打開netword。啟動后端項目 ...