记一次逻辑卷磁盘故障导致逻辑卷不可用的问题
生产中一块磁盘故障，由于没有在系统中先通过--removemissing 操作，直接热插拔，做了raid 系统无法重启，进入救援模式，注释掉受影响的磁盘挂载点，重启进入系统之后，做了如下操作 # parted /dev/sdd mklabel gpt 首先是将新盘设置成gpt格式 ...
原文：记一次keepalived和VIP导致的故障
起因 nginx服务器采用的keepalived vip实现的双活，最近由于一台服务器有问题，更换了一台nginx： 操作： 停止有问题服务器keepalived和nginx 新服务器部署keepalived和nginx 更换后一切正常，但是过了几个小时，出现大面积的不能访问。 keepalived 升级 检查nginx正常，重启keepalived后OK，怀疑可能是keepalived的问题，于 ...
2020-08-27 10:33 0 1438 推荐指数：
相关推荐
记一次断电偶然导致Linux磁盘I/O故障无法读写
机房偶然的一次断电中，恢复服务器后出现了 无法读写磁盘。 其他挂载的磁盘均无异常 查询日志得知 磁盘挂了。。。 我单纯的以为 可能是系统I/O异常 就reboot 重启了。 发现无法进入系统， 又报 BIOS 异常，又报无法找到启动盘 我晕了。 调整思路 ...
一次读锁重入导致的死锁故障
在两天前第一次遇到自己的程序出现死锁， 我一直非常的小心使用锁，了解死锁导致的各种可能性， 这次的经历让我未来会更加小心，下面来回顾一下死锁发生的过程与代码演进的过程吧。 简述业务背景及代码演进过程 我的程序中有一块缓存，数据会组织好放到内存中，会根据数据源（MySQL）更新而刷新缓存，是读 ...
记一次自动恢复的支付故障
故障描述 作为一个老牌OTA公司，公司早些年订单主要来源是PC网站和呼叫中心。我在入职公司大约半年后，遇到一次非常诡异的故障。有一天早上，大概也是这个季节，阳光明媚，程序猿刚起床，洗洗涮涮，准备去迎接初恋般的工作日，却突然收到一大堆报警，线上消息队列大量积压；当然，我还是一如既往的非常勤奋 ...
记一次ceph集群的严重故障
问题：集群状态，坏了一个盘，pg状态好像有点问题[root@ceph-1 ~]# ceph -s cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe ...
记一次Postgres CPU爆满故障
问题描述 公司项目测试环境调用某些接口的时候，服务器立即崩溃，并一定时间内无法提供服务。 问题排查 服务器配置不够 第一反应是服务器需要升配啦，花钱解决一切！毕竟测试服务器配置确实不高，2CP ...
记一次mysql故障恢复
事情要从俩月前的一个坑说起，一台新的测试服务器，新项目一元夺宝用的。 配置aws上的一台云主机，系统盘8G，一块300G的云硬盘。 拿到机器后，另一运维小哥安装php，nginx，mysql等软件 ...
记一次IE代理异常故障
原由：S.S.R完事儿之后IE代理总是自动勾选。无论怎么修改注册表都无济于事。且通过Process Explorer监测到任意app都可以自动触发IE代理开启。 强势禁用： 编辑注册表：HKEY_ ...