k8s 開船記-故障公告：自建 k8s 集群在阿里雲上大翻船
非常非常抱歉，新年上班第一天， 在今天阿里雲上氣候突變情況下，由於我們開船技術差，在今天 10:15~12:00 左右的訪問高峰，我們竟然把船給開翻了，造成近2個小時整個博客站點無法訪問，由此給您帶來很大很大的麻煩，懇請您的諒解。 翻船經過如下。 翻船前的船只情況 博客站點正在使用的 k8s ...
原文：【故障公告】突然猛增的巨量請求沖垮一共92核CPU的k8s集群
非常抱歉，今天下午 點左右開始，博客站點突然猛增的巨量請求讓k s集群的節點服務器不堪重負，造成網站無法正常訪問，由此給您帶來麻煩，請您諒解。 當時k s集群一共 台node服務器， 台 核 G， 台 核 G， 台 核 G， 台 核 G，博客站點一共跑了 個pod，如果不是突然猛增的巨量請求，可以穩穩撐住。 但是今天下午的請求排山倒海，比昨天還要高 昨天GA統計的UV超過 萬，其中有很多異常請求 ...
2021-11-16 17:17 77 6636 推薦指數：
相關推薦
K8S集群安裝故障排查
問題1：kubeadm初始化安裝K8S集群失敗？ 問題描述： W0601 16:17:29.317823 13912 strict.go:54] error unmarshaling configuration schema.GroupVersionKind{Group ...
【故障公告】K8s CofigMap 掛載問題引發網站故障
今天凌晨我們用阿里雲服務器自建的 kubernetes 集群出現突發異常情況，博客站點（blog-web）與博客 web api（blog-api）的 pod 無法正常啟動（CrashLoopBackOff）。 kubectl get pods -l app=blog-web ...
k8s 集群中的etcd故障解決
一次在k8s集群中創建實例發現etcd集群狀態出現連接失敗狀況，導致創建實例失敗。於是排查了一下原因。 問題來源 下面是etcd集群健康狀態： [root@docker01 ~]# cd /opt/kubernetes/ssl/ [root@docker01 ssl]# /opt ...
k8s集群故障二：節點為NotReady狀態
按照教程部署完k8s的各個節點后，獲取節點信息時，可是發現只有作為master和同時作為node的節點狀態才是正確的： 在node中查看日志： 網絡問題導致，經過多次排查發現：因為是有k8s-master 主機直接遷移node需要的組件到另外的機器，所以在配置文件 ...
k8s 集群中的etcd故障解決
一次在k8s集群中創建實例發現etcd集群狀態出現連接失敗狀況，導致創建實例失敗。於是排查了一下原因。 問題來源 下面是etcd集群健康狀態： 1 2 ...
【故障公告】部署在 k8s 上的博客后台昨天與今天在訪問高峰多次出現 502
非常抱歉，從昨天上午開始，部署在 k8s 集群上的博客后台（基於 .NET Core 3.1 + Angular 8.2 實現）出現奇怪問題，一到訪問高峰就多次出現 502 ，有時能自動恢復，有時需要我們手動刪除 pod ，由此給您帶來麻煩，請您諒解。 我們的應用都部署在同一個 k8s 集群 ...
k8s集群中遇到etcd集群故障的排查思路
一次在k8s集群中創建實例發現etcd集群狀態出現連接失敗狀況，導致創建實例失敗。於是排查了一下原因。 問題來源 下面是etcd集群健康狀態： 1 2 ...