记一次一个枚举引发线上事故风暴
背景 2018年8月15号下午6点左右一个我们服务的调用方通知我们他们在调用服务接口时出现了大量的异常和通知,并且错误返回值都是“显示未设置结束日期” 问题定位 收到调用方的消息后,我立即展开了问题的排查 1、通过服务管理平台查看服务是否出现超时及比对今天和昨天接口整体的响应 ...
原文：记go中一次http超时引发的事故
记一次http超时引发的事故 前言 分析下具体的代码实现 服务设置超时 客户端设置超时 http.client context http.Transport 问题 总结 参考 记一次http超时引发的事故 前言 我们使用的是golang标准库的http client，对于一些http请求，我们在处理的时候，会考虑加上超时时间，防止http请求一直在请求，导致业务长时间阻塞等待。 最近同事写了一个 ...
2021-06-02 10:19 1 2707 推荐指数：
相关推荐
记一次网络请求连接超时的事故
从HTTP请求超时、重试机制、操作系统网络等层面剖析了事故的原因，最终解决业务问题。 这里先抛两个问题：1）你遭遇过由于网络连接或请求超时造成的生产事故吗？2）你知道操作系统默认的网络连接超时是多少秒？ 问题背景 最近同事出现这么一个问题，简单业务场景： 服务A使用HTTP请求服务B ...
记一次go中map并发引起的事故
错误使用map引发的血案 前言 场景复原 原因 参考 错误使用map引发的血案 前言 最近业务中，同事使用map来接收返回的结果，使用waitGroup来并发的处理执行返回的结果，结果上线之后，直接崩了。 日志大量的数据库缓存 ...
记一次订单号事故
记一次订单号事故 去年年底的时候，我们线上出了一次事故，这个事故的表象是这样的: 系统出现了两个一模一样的订单号，订单的内容却不是不一样的，而且系统在按照 订单号查询的时候一直抛错，也没法正常回调，而且事情发生的不止一次，所以 这次系统升级一定要解决掉。 经手的同事之前也改过几次 ...
记一次Spring配置事故
在引入Spring的Validated时，需要声明如下bean： 出于偷懒，放在了如下的一个初始化中： ...
一次mongo查询不存在字段引发的事故
话说今天的一个小小的查询失误给了我比较深刻的教训，也让我对mongo有了更深刻的理解，下面我们来说说这个事情的原委： 我们经常使用阿里云子账号在DMS上查询线上数据库数据，今天也是平常的一次操作 集合： XXXX_message数据量约 600万 我执行了下面的mongo查询 ...
记一次生产事故--磁盘被占满
写在前面 今天，跑在阿里云ECS上的生产环境，突然间访问异常，接口各种报错，无奈公司没有专业的运维人员，只能硬着头皮解决一下。 问题排查 先从表面看起，数据库首先报错 直观上看，设备没有可 ...
记一次线上事故的JVM内存学习
今天线上的hadoop集群崩溃了，现象是namenode一直在GC，长时间无法正常服务。最后运维大神各种倒腾内存，GC稳定后，服务正常。虽说全程在打酱油，但是也跟着学习不少的东西。 第一个 ...