在雲上,底層的東西你無法觸及,遇到奇怪問題時只能靠猜想,所以使用雲計算會鍛煉你的想像力。 (上圖中藍色是ASP.NET的Requests Queued,另外一個是HTTP.SYS的Arrival Rate) 昨天我們發現了一個重要的線索——“黑色30秒”到來時,最初的表現是請求出現排隊 ...
上圖是今天出問題期間Web服務器性能監控圖,紫色表示的是Request Execution Time 昨天我們發布了一篇博客分享了我們這兩天遇到的OCS 開放緩存服務 問題,詳見雲計算之路 阿里雲上:愚人節被阿里雲OCS愚。 后來,阿里雲確認了問題的原因:在OCS升級過程中造成了寫入的緩存數據過期時間丟失,只需刪除這些有問題的緩存數據就不會再出現這個問題。 今天一大早訪問低峰的時候,我們進行了清 ...
2014-04-02 14:19 3 2645 推薦指數:
在雲上,底層的東西你無法觸及,遇到奇怪問題時只能靠猜想,所以使用雲計算會鍛煉你的想像力。 (上圖中藍色是ASP.NET的Requests Queued,另外一個是HTTP.SYS的Arrival Rate) 昨天我們發現了一個重要的線索——“黑色30秒”到來時,最初的表現是請求出現排隊 ...
今天中午我們在 docker swarm 集群上發布應用時遇到了一個奇怪的 docker swarm 內置負載均衡的問題,該應用的 2 個新容器成功啟動后,在容器內訪問正常,但通過服務名訪問時一會正常一會緩慢或超時,似乎 docker swarm 內置負載均衡與其中某個容器的網絡通信有問題 ...
今天下午訪問高峰的時候,主站的Web服務器出現奇怪的問題,開始是2台8核8G的雲服務器(ECS),后來又加了1台8核8G的雲服務器,問題依舊。 而且3台服務器特地使用了不同的配置:1台是禁用了虛擬內存的臨時磁盤雲服務器,1台是啟用了虛擬內存的臨時磁盤雲服務器,1台是禁用了虛擬內存的雲盤雲服務器 ...
在昨天針對“黑色30秒”問題的分析中,我們猜測Requests Queued上升是由於正在處理的請求出不去(到達不了客戶端)。今天我們結合IIS日志驗證這個猜測。 IIS日志中有一個重要的指標——time-taken,time-taken不僅包含了請求在服務端執行的時間,還包含了響應的內容 ...
今天下午15:11-15:13間出現了類似“黑色30秒”的狀況,我們用強大的IIS日志分析工具——Log Parser Studio進行了進一步的分析。 分析情況如下—— 先看一下Windows性能監視器中的問題表現: 然后用Log Parser Studio分析07:11:55與07 ...
在這篇博文中,我們拋開對阿里雲的懷疑,完全從ASP.NET的角度進行分析,看能不能找到針對問題現象的更合理的解釋。 “黑色30秒”問題現象的主要特征是:排隊的請求(Requests Queued)突增,到達HTTP.SYS的請求數(Arrival Rate)下降,QPS(Requests/Sec ...
針對Web服務器“黑色30秒”問題(詳見雲計算之路-阿里雲上:Web服務器遭遇奇怪的“黑色30秒”問題),經過分析,我們准備從這個地方下手——為什么會出現\ASP.NET\Request Queued大於0的情況(為什么請求會排隊)? 首先, 通過Windows性能監視器去觀察,看能不能找到 ...
12日開始使用阿里雲OCS的(詳見雲計算之路-阿里雲上:用上了開放緩存服務OCS)。OCS是保證網站性 ...