原文:雲計算之路-阿里雲上:為什么看不見CPU在坐過山車,磁盤IO在蹦極

這是 月 日 : : 之間發生在阿里雲上的故事。 標題中的 看不見 是指阿里雲的監控系統沒有監控到 CPU在坐過山車 是指CPU占用的瞬間波動 見下圖 磁盤IO在蹦極 是指磁盤IO的瞬間波動。 圖 月 日 : 左右開始,訪問博客園首頁有時會遇到 Bad Gateway錯誤,如下圖: 這是由阿里雲負載均衡SLB返回的錯誤信息。 發現這個問題后,我們立即登上負載均衡中的 台雲服務器,查看Windows ...

2013-04-06 10:32 25 5055 推薦指數:

查看詳情

雲計算之路-阿里上:奇怪的CPU 100%問題

這篇博文記錄一下6月1日在阿里上遇到的奇怪的CPU 100%問題,希望多年以后能真相大白。 那天負載均衡(SLB)中只放了1台服務器(平時都放2台),由於是節假日,雖然只放了一台,但這台服務器的負載也沒有平時高。但在上午的時候突然出現了CPU 100%問題,然后切換到另外一台服務器恢復正常 ...

Wed Jun 04 05:51:00 CST 2014 3 4254
雲計算之路-阿里上:烏雲飄過

一周的萬里無是我們的第一個目標,這周天氣情況好轉,但昨天/今天下午依然有烏雲飄過。 昨天下午16:40~16:48左右,博客站點的兩台Web服務器突然出現CPU過山車的波動情況。 今天下午14:26~14:32左右再次出現CPU過山車的波動情況,之后又出現了幾次短時間的波動 ...

Thu May 16 02:18:00 CST 2013 13 2939
雲計算之路-阿里上:什么是“黑色1秒”?

為了更好地分享我們解決“黑色1秒”問題的過程,在這篇博文中我們將專門描述一下“黑色1秒”問題的表現。 “黑色1秒”是我們使用阿里以來繼“黑色10秒”之后遭遇的最奇特、最詭異、最難以捉摸、最富有戲劇性的問題。 它有2個最顯著的特征: 第一個是最直觀的表現,在Windows性能監視 ...

Fri May 30 00:23:00 CST 2014 12 4580
雲計算之路-阿里上:回滾數據磁盤快照竟然要關機

本來美美地想着用阿里磁盤快照功能進行發布程序的版本管理。 將程序放在一個單獨的數據磁盤中,每次發布前創建一個快照,如果發布后出現問題,立即回滾快照。 可是后來發現回滾快照時,竟然要將整個服務器關機,美好的想法就這么破滅了。。。 了解了一下AWS,回滾數據磁盤快照並不需要將整個EC2關機。 ...

Tue Jun 24 20:13:00 CST 2014 2 3564
雲計算之路-阿里上:博客web服務器輪番CPU 100%

今天下午14:30左右開始,不知道怎么回事,博客站點負載均衡中的web服務器輪番CPU 100%。平時訪問高峰5台服務器就能穩穩支撐,而今天發現CPU出現100%問題后就開始加服務器,結果到目前加到了9台,也無濟於事,只是從5台服務器輪番CPU 100%變成9台服務器輪詢100%。 非常抱歉 ...

Thu Mar 15 00:21:00 CST 2018 25 3055
雲計算之路-阿里上:節點 CPU 波動引發 docker swarm 集群故障

非常抱歉,今天 10:05-10:20 左右,我們用阿里服務器搭建的 docker swarm 集群又出現故障,又是因為突然的節點 CPU 波動。 受這次故障影響的站點有 閃存,博問,班級,園子,短信息,招聘,小組,網摘,openapi ,由此給您帶來很大的麻煩,請您諒解。 故障前先是有一個 ...

Fri Jan 26 19:08:00 CST 2018 8 2427
雲計算之路-阿里上:對“黑色n秒”問題的最終猜想——CPU C-states引起的

如果說2013年雲計算之路的主題是“踩坑”,那么2014年我們希望雲計算之路的主題變成“填坑”——當然填坑是阿里來完成的,我們只是見證曾經的坑坑窪窪變成平坦大道。 15號(周四)晚上我們發現了SLB會話保持的坑,16號晚上阿里成功定位並進行修復,這兩天正式發布后會填平這個坑。這次從踩坑 ...

Mon May 19 04:45:00 CST 2014 9 4685
雲計算之路-阿里上: RDS實例CPU跑滿引發的故障

今天上午 10: 40 左右,我們所使用的阿里 RDS 實例的 CPU 突然飆高到近 100% ,造成大量數據庫查詢操作緩慢、超時,在這個惡劣條件下大量 memcached 緩存無法建立,這樣的雪上加霜讓 Web 服務器的 CPU 跟着不堪重負,於是要么訪問緩慢,要么直接 503 。。。造成 ...

Thu Jan 11 20:56:00 CST 2018 36 5733
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM