記一次邏輯卷磁盤故障導致邏輯卷不可用的問題
生產中一塊磁盤故障，由於沒有在系統中先通過--removemissing 操作，直接熱插拔，做了raid 系統無法重啟，進入救援模式，注釋掉受影響的磁盤掛載點，重啟進入系統之后，做了如下操作 # parted /dev/sdd mklabel gpt 首先是將新盤設置成gpt格式 ...
原文：記一次keepalived和VIP導致的故障
起因 nginx服務器采用的keepalived vip實現的雙活，最近由於一台服務器有問題，更換了一台nginx： 操作： 停止有問題服務器keepalived和nginx 新服務器部署keepalived和nginx 更換后一切正常，但是過了幾個小時，出現大面積的不能訪問。 keepalived 升級 檢查nginx正常，重啟keepalived后OK，懷疑可能是keepalived的問題，於 ...
2020-08-27 10:33 0 1438 推薦指數：
相關推薦
記一次斷電偶然導致Linux磁盤I/O故障無法讀寫
機房偶然的一次斷電中，恢復服務器后出現了 無法讀寫磁盤。 其他掛載的磁盤均無異常 查詢日志得知 磁盤掛了。。。 我單純的以為 可能是系統I/O異常 就reboot 重啟了。 發現無法進入系統， 又報 BIOS 異常，又報無法找到啟動盤 我暈了。 調整思路 ...
一次讀鎖重入導致的死鎖故障
在兩天前第一次遇到自己的程序出現死鎖， 我一直非常的小心使用鎖，了解死鎖導致的各種可能性， 這次的經歷讓我未來會更加小心，下面來回顧一下死鎖發生的過程與代碼演進的過程吧。 簡述業務背景及代碼演進過程 我的程序中有一塊緩存，數據會組織好放到內存中，會根據數據源（MySQL）更新而刷新緩存，是讀 ...
記一次自動恢復的支付故障
故障描述 作為一個老牌OTA公司，公司早些年訂單主要來源是PC網站和呼叫中心。我在入職公司大約半年后，遇到一次非常詭異的故障。有一天早上，大概也是這個季節，陽光明媚，程序猿剛起床，洗洗涮涮，准備去迎接初戀般的工作日，卻突然收到一大堆報警，線上消息隊列大量積壓；當然，我還是一如既往的非常勤奮 ...
記一次ceph集群的嚴重故障
問題：集群狀態，壞了一個盤，pg狀態好像有點問題[root@ceph-1 ~]# ceph -s cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe ...
記一次Postgres CPU爆滿故障
問題描述 公司項目測試環境調用某些接口的時候，服務器立即崩潰，並一定時間內無法提供服務。 問題排查 服務器配置不夠 第一反應是服務器需要升配啦，花錢解決一切！畢竟測試服務器配置確實不高，2CP ...
記一次mysql故障恢復
事情要從倆月前的一個坑說起，一台新的測試服務器，新項目一元奪寶用的。 配置aws上的一台雲主機，系統盤8G，一塊300G的雲硬盤。 拿到機器后，另一運維小哥安裝php，nginx，mysql等軟件 ...
記一次IE代理異常故障
原由：S.S.R完事兒之后IE代理總是自動勾選。無論怎么修改注冊表都無濟於事。且通過Process Explorer監測到任意app都可以自動觸發IE代理開啟。 強勢禁用： 編輯注冊表：HKEY_ ...