【故障公告】數據庫服務器 CPU 100% 引發網站故障
悄悄地它又突然來了 —— 數據庫服務器 CPU 100% 問題，上次光臨時間是 3-30 8:48，這次是 4-28 9:41。 這次我們做出了快速反應，發現后立即進行主備切換，這次一次切換成功，CPU 很快恢復正常。 但是，這次來的“真”是時候（訪問高峰），雖然數據庫 CPU 恢復正常 ...
原文：【故障公告】K8s CofigMap 掛載問題引發網站故障
今天凌晨我們用阿里雲服務器自建的 kubernetes 集群出現突發異常情況，博客站點 blog web 與博客 web api blog api 的 pod 無法正常啟動 CrashLoopBackOff 。 kubectl get pods l app blog web kubectl get pods l app blog api CrashLoopBackOff 的原因是將 CofigMa ...
2021-01-27 12:12 6 2131 推薦指數：
相關推薦
【故障公告】再次遭遇SQL語句執行超時引發網站首頁訪問故障
非常抱歉，昨天 18:40~19:10 再次遭遇上次遇到的 SQL 語句執行超時引發的網站首頁訪問故障，由此您帶來麻煩，請您諒解。 上次故障詳見之前的故障公告，上次排查下來以為是 SQL Server 參數嗅探問題引起的，但在引起參數嗅探的漏洞被修復后再次出現故障說明上次的判斷是錯誤 ...
【故障公告】SQL語句執行超時引發網站首頁訪問故障
非常抱歉，今天早上 6:37~8:15 期間，由於獲取網站首頁博文列表的 SQL 語句出現突發的查詢超時問題，造成訪問網站首頁時出現 500 錯誤，由此給您帶來麻煩，請您諒解。 故障的情況是這樣的。 故障期間日志中記錄了大量下面的錯誤。 數據庫服務器（阿里雲 RDS SQL ...
k8s 開船記-故障公告：自建 k8s 集群在阿里雲上大翻船
非常非常抱歉，新年上班第一天， 在今天阿里雲上氣候突變情況下，由於我們開船技術差，在今天 10:15~12:00 左右的訪問高峰，我們竟然把船給開翻了，造成近2個小時整個博客站點無法訪問，由此給您帶來很大很大的麻煩，懇請您的諒解。 翻船經過如下。 翻船前的船只情況 博客站點正在使用的 k8s ...
【故障公告】docker swarm 集群問題引發的故障
我們的生產環境部署了 2 個 docker swarm 集群，集群 swarm-a 用於專門跑博客站點，集群 swarm-b 用於跑其他站點，manager 節點用了阿里雲包月服務器，worker 節 ...
網站故障公告2：找到問題的重要線索
再次向大家致歉！網站故障給您帶來麻煩了！請諒解！ 經過分析，確認4月16日下午15:30~18:00的網站故障是由兩種類型的System.Data.SqlClient.SqlException (0x80131904)異常引起的。 一個是 ...
【故障公告】突然猛增的巨量請求沖垮一共92核CPU的k8s集群
非常抱歉，今天下午2點左右開始，博客站點突然猛增的巨量請求讓k8s集群的節點服務器不堪重負，造成網站無法正常訪問，由此給您帶來麻煩，請您諒解。 當時k8s集群一共6台node服務器，2台32核64G，2台8核64G，1台8核16G，1台4核6G，博客站點一共跑了19個pod，如果不是突然猛增 ...
【故障公告】部署在 k8s 上的博客后台昨天與今天在訪問高峰多次出現 502
非常抱歉，從昨天上午開始，部署在 k8s 集群上的博客后台（基於 .NET Core 3.1 + Angular 8.2 實現）出現奇怪問題，一到訪問高峰就多次出現 502 ，有時能自動恢復，有時需要我們手動刪除 pod ，由此給您帶來麻煩，請您諒解。 我們的應用都部署在同一個 k8s 集群 ...