上周晚上,某環境 ES 出現阻塞, 運行緩慢。於是開始排查問題的過程。 開始 思路:現象是阻塞,通常是 CPU 彪高,導致業務線程分配不到 CPU 時間片,或者內存吃緊,頻繁 GC 導致的 STW。 登錄到目標服務器,由於 ES 的用戶不是 LZ,因此找運維要了 root 權限,登錄到服務器 ...
背景 近期被抓壯丁解決一個幾年前的系統故障,經過反復排查多次監控后終於成功解決,記錄分享一下心得吧 故障描述 具體表現為在高峰訪問期間,IIS直接報服務器處理 。 系統部署 采用ARR實現的IIS Sever Farm進行負載均衡,將全省內部portal請求負載到兩台web服務器。 三板斧之一:對症下葯 既然已有錯誤信息:The serverRuntime appConcurrentReques ...
2017-02-20 20:11 0 4501 推薦指數:
上周晚上,某環境 ES 出現阻塞, 運行緩慢。於是開始排查問題的過程。 開始 思路:現象是阻塞,通常是 CPU 彪高,導致業務線程分配不到 CPU 時間片,或者內存吃緊,頻繁 GC 導致的 STW。 登錄到目標服務器,由於 ES 的用戶不是 LZ,因此找運維要了 root 權限,登錄到服務器 ...
解Bug之路-記一次存儲故障的排查過程 高可用真是一絲細節都不得馬虎。平時跑的好好的系統,在相應硬件出現故障時就會引發出潛在的Bug。偏偏這些故障在應用層的表現稀奇古怪,很難讓人聯想到是硬件出了問題,特別是偶發性出現的問題更難排查。今天,筆者就給大家帶來一個存儲偶發性故障的排查過程。 Bug ...
目錄 一、問題詳情 top 命令截圖 聯系騰訊雲排查 檢查系統日志發現異常 二、 問題解析 三、問題原因 最終結論 四、擴展 進程的幾種狀態 馬后炮 ...
公司報表分析系統已經運行了一年多,最近收到服務器內存警告信息內存耗盡,第一時間着手排查問題,記錄下排查內存耗盡問題整個過程使用到的命令。 第一步查看內存使用情況: free -m 命令:已M單位顯示服務器實際內存使用情況,如圖: 第1行mem數據:total內存總數 ...
不知道為什么,窗外出現了烏雲,又不知道為什么,煩人的蟬鳴突然變得無聲了,大腦中的嘈雜瞬間歸位了寧靜,草他么,我的測試服務器又特么無緣無故的崩了。 作為菜鳥為了排查故障,最先想到的就是找日志,先后分析了項目啟動日志,resin啟動日志,jvm日志完全看不出來結果。 1.jvm日志 ...
最近接連聽說一台線上服務器總是不響應客戶端請求。 登錄服務器后查詢iis狀態,發現應用程序池狀態變為已停止。 按經驗想,重啟后應該就ok,第一次遇到也確實起了作用,當時完全沒在意,以為是其他人無意把服務關閉了而已。 但是之后幾天幾乎每天都出現問題,應用程序池再次成為 已停止 狀態。這個情況 ...
: 登錄Mysql服務器查看日志: 大致一看,更新同一索引的同一行,應該是一個Block,報Ti ...
山竹來臨,窩在家里整理個人文檔。 本篇文章主要講解排查問題的思路,涉及linux 刪除文件的原理、實例誤刪數據恢復、MySQL實例初始化參數優先級別等,雖然涉及知識點比較淺,但是個人覺得挺有 ...