原文:记一次线上Kafka消息堆积踩坑总结

年 月 日 : : xiaoguozi 阅读数: 更多 个人分类:大数据 年后上线的系统,与其他业务系统的通信方式采用了第三代消息系统中间件Kafka。由于是第一次使用,踩了很多坑,通过这篇博客和大家分享一下,也算是做个总结,以便以后温故而知新。 一 线上问题 系统平稳运行两个多月,基本上没有问题,知道最近几天,突然出现Kafka手动提交失败,堆栈信息如下: 通过堆栈信息可以看出,有两个重要参数 ...

2018-09-28 17:20 2 7389 推荐指数:

查看详情

一次 kafka 消息堆积问题排查

收到某业务组的小伙伴发来的反馈,具体问题如下: 项目中某 kafka 消息组消费特别慢,有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息: 该消费组在短时间内重平衡了 600 多次。 从 cat 查看得知,每条消息处理都会有 4 次数 ...

Tue Jan 07 18:20:00 CST 2020 0 5084
一次 Kafka 集群线上扩容

前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高,于是花了一段时间去排查这个问题,最后该集群进行扩容,由于某些主题的当前数据量实在太大,在对这些主题迁移过程中话费了很长一段时间,不过这个过程还算顺利,因为在迁移过程中也做足了各方面的调研,包括分区重平衡过程中对客户端的影响,以及对 ...

Fri Dec 20 04:41:00 CST 2019 0 1813
一次lombok

引言 今天中午正在带着耳机遨游在代码的世界里,被运营在群里@了,气冲冲的反问我最近有删生产的用户数据的吗?我肯定客气的回答道没有呀?生产的数据我怎么能随随便便可以删除,这可是公司的红线,再说了我也没 ...

Thu Jul 29 06:38:00 CST 2021 0 624
一次spring cloud

前言 最近自己尝试着搭建springcloud项目,果不其然,刚开始就了,还是那种一脸懵逼的。搭建后程序能正常运行注册到eureka注册中心,但注册好之后便会立即注销掉。刚开始认为是线程抛异常挂掉了,便导致服务注销了。然后各种debug排查,最后发现是正常退出。至于具体原因,我下面做个详细 ...

Fri Dec 14 06:19:00 CST 2018 0 972
一次kubernetes驱逐

最近在公司的线上服务器上发现了一个现象: 将某个node的kubelet短暂的停掉之后,其上的pod马上会被驱逐,这让笔者大吃一惊,印象之中,停掉kubelet后,该node会变为NotReady状态,随后controller-manger会经过一段时间才开始驱逐其上的pod。还有个参数专门来控制 ...

Sun Feb 23 23:30:00 CST 2020 6 2927
一次requestFullScreen

背景:项目需求一个echarts图标组件,后期为了用户体验,新增了全屏切换的功能 技术实现:采用了js内置方法,requestFullScreen来实现的某个容器的最大化,之路:由于使用的时element的ui库,图标组件中有使用了select组件和dropdowm组件作为了用户进行筛选 ...

Mon Sep 28 19:38:00 CST 2020 0 2059
一次线上kafka一直rebalance故障

来源 https://www.jianshu.com/p/271f88f06eb3 今天我司线上kafka消息代理出现错误日志,异常rebalance,而且平均间隔2到3分钟就会rebalance一次,分析日志发现比较严重。错误日志 ...

Mon Mar 02 04:10:00 CST 2020 0 1334
一次关于mongodb性能总结

发现性能问题 上一次导入数据后,发现系统十分的卡顿,但是才仅仅1000多条数据而已,怎么会让系统变得如何的卡顿呢?于是我开始走在排查系统卡顿的原因的道路上。 首先,先定位问题是出现在前端上还是后端上。打开浏览器,输入localhost:7000, 然后F12打开netword。启动后端项目 ...

Tue Aug 15 02:18:00 CST 2017 1 1823
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM