為了更好地分享我們解決“黑色1秒”問題的過程,在這篇博文中我們將專門描述一下“黑色1秒”問題的表現。 “黑色1秒”是我們使用阿里雲以來繼“黑色10秒”之后遭遇的最奇特、最詭異、最難以捉摸、最富有戲劇性的問題。 它有2個最顯著的特征: 第一個是最直觀的表現,在Windows性能監視 ...
更新:抱歉 黑色 秒 后來又出現了,詳見:雲計算之路 阿里雲上 幸福沒那么容易: 黑色 秒 又出現了 前幾天發生了 件神奇的事情:一是 位園友在阿里雲上遇到了和我們一模一樣的 黑色 秒 問題 二是阿里雲推出了IO優化的基於KVM架構的服務器,據說理論上可以解決 黑色 秒 問題。很巧的是,這 件事情竟然開始於同一天。 黑色 秒 問題是我們在阿里雲上遇到的最神妙莫測,也是折磨我們時間最長的一個問題。 ...
2015-06-12 16:18 19 3974 推薦指數:
為了更好地分享我們解決“黑色1秒”問題的過程,在這篇博文中我們將專門描述一下“黑色1秒”問題的表現。 “黑色1秒”是我們使用阿里雲以來繼“黑色10秒”之后遭遇的最奇特、最詭異、最難以捉摸、最富有戲劇性的問題。 它有2個最顯著的特征: 第一個是最直觀的表現,在Windows性能監視 ...
在雲上,底層的東西你無法觸及,遇到奇怪問題時只能靠猜想,所以使用雲計算會鍛煉你的想像力。 (上圖中藍色是ASP.NET的Requests Queued,另外一個是HTTP.SYS的Arrival Rate) 昨天我們發現了一個重要的線索——“黑色30秒”到來時,最初的表現是請求出現排隊 ...
“幸福沒有那么容易,才會特別讓人着迷”,這是黃小琥的《沒那么簡單》中的一句歌詞。 這句歌詞或許最能表達我們此刻的心情——在我們宣布“黑色1秒”問題已解決的第二天,“黑色1秒”竟然再次出現! 昨天早上8點左右起床后,睡眼惺忪地查看服務器的實時監控,打算欣賞一下“黑色1秒”被消滅后那漂亮 ...
“黑色1秒”問題經過一個多月的艱苦奮戰,今天終於取得了重要進展!我們終於有了足夠的數據證明不是微軟IIS的問題,就是阿里雲Xen虛擬機的問題。 這篇博文分享的是我們如何進行證明的,而且這次證明連Window性能監視器都不需要。 下面我們來分析一下今天10:37:35出現的“黑色1秒”(下面所用 ...
今天下午訪問高峰的時候,主站的Web服務器出現奇怪的問題,開始是2台8核8G的雲服務器(ECS),后來又加了1台8核8G的雲服務器,問題依舊。 而且3台服務器特地使用了不同的配置:1台是禁用了虛擬內存的臨時磁盤雲服務器,1台是啟用了虛擬內存的臨時磁盤雲服務器,1台是禁用了虛擬內存的雲盤雲服務器 ...
針對Web服務器“黑色30秒”問題(詳見雲計算之路-阿里雲上:Web服務器遭遇奇怪的“黑色30秒”問題),經過分析,我們准備從這個地方下手——為什么會出現\ASP.NET\Request Queued大於0的情況(為什么請求會排隊)? 首先, 通過Windows性能監視器去觀察,看能不能找到 ...
在昨天針對“黑色30秒”問題的分析中,我們猜測Requests Queued上升是由於正在處理的請求出不去(到達不了客戶端)。今天我們結合IIS日志驗證這個猜測。 IIS日志中有一個重要的指標——time-taken,time-taken不僅包含了請求在服務端執行的時間,還包含了響應的內容 ...
今天下午15:11-15:13間出現了類似“黑色30秒”的狀況,我們用強大的IIS日志分析工具——Log Parser Studio進行了進一步的分析。 分析情況如下—— 先看一下Windows性能監視器中的問題表現: 然后用Log Parser Studio分析07:11:55與07 ...