记录一次因subprocess PIPE 引起的线上故障
sence：python中使用subprocess.Popen(cmd, stdout=sys.STDOUT, stderr=sys.STDERR, shell=True) ，stdout, s ...
原文：一次DB故障引起的反思和MySQL Operator选型
前言 在一次数据库故障后，我们发现业务库会根据业务的等级会划分多个 MySQL 实例，许多业务库会同时属于一个 MySQL 实例，当一个库引发问题后整个实例的状态是不可控的。从而导致这个实例上的所有业务不稳定甚至造成中断。 故障反思 微服务架构 微服务架构在公司已经采用并坚持了近十年，我们也从传统的 VM 部署架构转身至当下的 容器 K S ，无论是软件架构还是部署架构，我们都朝着高可用，可伸缩， ...
2020-02-12 16:45 0 2300 推荐指数：
相关推荐
记一次bond引起的网络故障
本案中3个关键服务器 物理服务器：192.168.6.63，简称P，(Physical server) KVM-VM：192.168.6.150，是物理服务器P上的一个KVM虚机，简称VM NAS：外 ...
记一次mysql故障恢复
事情要从俩月前的一个坑说起，一台新的测试服务器，新项目一元夺宝用的。 配置aws上的一台云主机，系统盘8G，一块300G的云硬盘。 拿到机器后，另一运维小哥安装php，nginx，mysql等软件。 安装完后，然忘了挂载云硬盘。 随着根分区日志越来越多，mysql数据量增大。。。磁盘已满 ...
一次艰难debug的反思
已经很久没有遇到如此顽固的bug了，总共耗费了我近1个礼拜的时间。期间的种种冲突，个人崩溃，最终解决方案的形成，到回过头来的反思，实在有太多值得梳理的东西。 从结果上来讲，这是个人js基础极端薄弱的集中体现，是对js闭包、基本流程和运转方式掌握不到位的综合反应。正因为基础薄弱 ...
一次“MySQL server has gone away”故障及其解决
1，问题现象 某次测试发现，程序失去响应。由于程序集成了EurekaLog组件，弹出了错误框。查看其给出的Call Stack信息，发现没有发生线程死锁（DeadLock=0;），问题在于 Wait ...
对一次架构设计的总结和反思
最近做了一次架构（流程）的设计，简单来说，是设计一个流程，提供相应的API，方便其他程序员将业务逻辑逐步迁移到另一套框架。在完成这次设计的过程中，还是有许多经验、教训，值得思考和记录。其实，这些经验总结，可能在其他地方看到过，也听别人分享过，不过只是“夫子言之,于我心有戚戚焉”，只有当 ...
一次失败升级后的反思
最近两周因为一个升级搞的精疲力竭，一共熬了四次通宵。睡了一天，总算把觉补回来了。 不得不说这次升级非常失败，为了从哪跌倒从哪爬起，为了以后不再这么悲催，我总结下我收获的经验教训，希望对那些和我们处于同一水平线的项目有些许借鉴意义。 预则立，不预则废 准备不充分是我们这次犯得最严重的问题 ...
一次json校验故障
在往数据库添加json串的时候出现了错误 not close json text,token: 出现这种错误一般都是json的格式有问题，具体的是什么问题，需要自己认真排查写的json数据，我是由 ...