在上次遭遇 docker swarm 集群故障后,我們將 docker 由 17.10.0-ce 升級為最新穩定版 docker 17.12.0-ce 。 前天晚上22:00之后集群中的2個節點突然出現CPU波動,在CPU波動之后,在凌晨夜深人靜、訪問量極低的時候,整個集群出現了故障,訪問 ...
非常非常抱歉 : : 左右我們用於跑 ASP.NET Core 站點的 docker swarm 集群再次出現宕機,由此給您帶來了很大很大的麻煩,懇請您的諒解 受此次故障影響的站點有:博問,閃存,班級,園子,短信息,招聘,小組,網摘,新聞,openapi 故障的經過是這樣的。 一開始只是訪問時偶爾出現 ,然后 逐漸增多。登錄到集群的各個節點,發現有節點 ssh 登錄響應慢,登錄進去后執行 doc ...
2018-03-15 18:13 15 3051 推薦指數:
在上次遭遇 docker swarm 集群故障后,我們將 docker 由 17.10.0-ce 升級為最新穩定版 docker 17.12.0-ce 。 前天晚上22:00之后集群中的2個節點突然出現CPU波動,在CPU波動之后,在凌晨夜深人靜、訪問量極低的時候,整個集群出現了故障,訪問 ...
3月21日,由於使用阿里雲服務器自建 docker swarm 集群的不穩定,我們將自建 docker swarm 集群上的所有應用切換阿里雲容器服務 swarm 版(非swarm mode)。 3月22日,我們進行移除與重啟節點的操作時引發了故障,詳見 雲計算之路-阿里雲上-容器服務:移除節點 ...
自從4月28日我們從ASP.NET線程的角度對“黑色30秒”問題進行分析之后,我們采用了新的線程設置,然后觀察“黑色30秒”是否再次出現。 采用以上設置之后,Requests Queued出現的頻率的確少了。之后的幾天,也沒出現“黑色30秒”。 於是,ASP.NET線程設置問題 ...
非常抱歉,今天 10:05-10:20 左右,我們用阿里雲服務器搭建的 docker swarm 集群又出現故障,又是因為突然的節點 CPU 波動。 受這次故障影響的站點有 閃存,博問,班級,園子,短信息,招聘,小組,網摘,openapi ,由此給您帶來很大的麻煩,請您諒解。 故障前先是有一個 ...
非常非常抱歉,由於我們的疏忽 —— docker swarm 集群中的 2 台服務器沒有及時續費,造成在夜里0點被自動關機,從而引發整個 docker swarm 集群故障,造成今天凌晨 0:30 ~ 7:50 左右跑在集群上的站點無法訪問,由此給您帶來很大很大的麻煩,懇請您的諒解。受這次故障影響 ...
針對上周 docker swarm 集群的頻繁故障(詳見故障一 、故障二、故障三),我們今天對 docker swarm 集群的部署進行了如下調整。 將 docker engine 由 “17.12.0-ce, build c97c6d6” 升級至 “17.12.1-ce, build ...
在上周六遭遇阿里雲容器服務 swarm 版的故障之后,我們決定還是走自建 docker swarm 之路,只要不是阿里雲底層的問題,我們相信會找到辦法解決或避開自建 docker swarm 不穩定的問題。 以下是我們即將采用的 docker swarm 集群部署優化措施 ...
我們從今年6月開始在生產環境進行 docker 容器化部署,將已經遷移至 ASP.NET Core 的站點部署到 docker swarm 集群上。開始我們選用的阿里雲容器服務,但是在使用過程中我們遭遇了恐怖的路由服務(acsrouting)路由錯亂問題 —— 請求被隨機路由到集群中的任一容器 ...