背景 　　近期被抓壯丁解決一個幾年前的系統故障，經過反復排查多次監控后終於成功解決，記錄分享一下心得吧！ 故障描述 　　具體表現為在高峰訪問期間，IIS直接報服務器處理503。 系統部署 采用ARR實現的IIS Sever Farm進行負載均衡 ...

最近接連聽說一台線上服務器總是不響應客戶端請求。 登錄服務器后查詢iis狀態，發現應用程序池狀態變為已停止。 按經驗想，重啟后應該就ok，第一次遇到也確實起了作用，當時完全沒在意，以為是其他人無意把服務關閉了而已。 但是之后幾天幾乎每天都出現問題，應用程序池再次成為 已停止 狀態。這個情況 ...

起因： 公司新采購了一批DDR 2666MHZ 內存使用到線上，機房運維小A負載擴容內存到一批DELL R740xd 服務器上。這是一個簡單的工作，體力為主。剛剛吃完午飯接到項目組電話，催我回來處理大問題。一台服務器內存持續告警，查不到原因，明天上午就要交給業務組使用了，今天還沒有 ...

服務器突然宕機，領導找了服務器供應商，然后供應商發來一張馬賽克畫質的圖片。說是我們做了什么操作，透過馬賽克，隱約能看到一些 以及一些，供應商說是因為升級操作導致的，但是上面分明是22號升級的，23號宕的機。 全圖（眼差點瞎了） 查看系統日志 所有日志目錄 查看 ...

今天寫了一段垃圾代碼，然后上服務器上運行，cpu瞬間飆到了100%，現記錄一下問題排除過程~ 1. 問題代碼 2. top 3. 查找問題 3.1 top -Hp 18571, 找出最耗cpu的線程，結果發現18584是就耗了99.9 ...

現象 排查思路 另一台服務器CPU正常，由於消息中心有部分老接口是域名調用的，網關已做負載均衡，並且pinpoint上的兩台服務器gc如圖，初步猜測是否是負載不均衡導致。 經運維調試nginx權重無效，證明與負載均衡無關。那么先看子線程，這種情況 ...

一、發現問題 下面是線上機器的cpu使用率，可以看到從4月8日開始，隨着時間cpu使用率在逐步增高，最終使用率達到100%導致線上服務不可用，后面重啟了機器后恢復。 二、排查思路 簡單分析下可能出問題的地方，分為5個方向： 1.系統本身代碼問題 2.內部下游系統的問題導致的雪崩 ...

一、發現問題 下面是線上機器的cpu使用率，可以看到從4月8日開始，隨着時間cpu使用率在逐步增高，最終使用率達到100%導致線上服務不可用，后面重啟了機器后恢復。 二、排查思路 簡單分析下可能出問題的地方，分為5個方向： 1.系統本身代碼問題 2.內部下游系統的問題導致的雪崩 ...