近期需要對公司的接口做線上的巡查監控,需要寫一個腳本放到服務器上,定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議,而是公司基於TCP協議開發的私有協議,因此不能直接用現成的一些接口測試工具,需要自己寫代碼來調用接口。由於是私有協議,為了方便各業務項目進行通信,開發部門統一提供了一個 ...
背景 前段時間收到運維反饋,線上Mysql數據庫凌晨時候出現慢查詢的報警,並把原始sql發了過來: 表數據量 W左右,不是很大,而且是根據主鍵更新。 問題排查 排查Mysql數據庫 我看到sql后第一反應就是是不是數據庫出問題了,每個小時都有業務,偏偏白天業務高峰時間段正常,凌晨業務量很少時候出問題,讓運維先檢查了數據庫的狀態,反饋是數據庫正常。 排查業務代碼 第一次 這塊業務代碼比較復雜,而且是 ...
2020-03-27 13:00 0 964 推薦指數:
近期需要對公司的接口做線上的巡查監控,需要寫一個腳本放到服務器上,定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議,而是公司基於TCP協議開發的私有協議,因此不能直接用現成的一些接口測試工具,需要自己寫代碼來調用接口。由於是私有協議,為了方便各業務項目進行通信,開發部門統一提供了一個 ...
大家好,我是雨樂! 前幾天,突然收到報警,線上服務崩潰,然后自動重啟。 由於正值雙十一期間,業務以穩定為主,線上服務崩潰,這可不是一件小事,趕緊登陸線上服務器,分析原因,迅速解決。 借助這篇文章,記錄下整個崩潰的分析和解決過程。 收到報警 上午上班后,正在划水,突然收到郵件報警 ...
背景說明 組織架構被拆分為多個微服務 需求: 一個輸入框 查詢 前后模糊查詢 人員信息(工號、姓名),前后模糊查詢 單位名稱。 跨庫平級查詢!! 慢sql : slow sql 2969 millis. SELECT count ...
背景以前接觸到的數據庫死鎖,都是批量更新時加鎖順序不一致而導致的死鎖,但是上周卻遇到了一個很難理解的死鎖。借着這個機會又重新學習了一下mysql的死鎖知識以及常見的死鎖場景。在多方調研以及和同事們的討論下終於發現了這個死鎖問題的成因,收獲頗多。雖然是后端程序員,我們不需要像DBA一樣深入地去分析 ...
背景 以前接觸到的數據庫死鎖,都是批量更新時加鎖順序不一致而導致的死鎖,但是上周卻遇到了一個很難理解的死鎖。借着這個機會又重新學習了一下mysql的死鎖知識以及常見的死鎖場景。在多方調研以及和同事們的討論下終於發現了這個死鎖問題的成因,收獲頗多。雖然是后端程序員,我們不需要像DBA一樣深入 ...
Linux(2)---記錄一次線上服務 CPU 100%的排查過程 當時產生CPU飆升接近100%的原因是因為項目中的websocket時時斷開又重連導致CPU飆升接近100% 。如何排查的呢 是通過日志輸出錯誤信息: 得知websocket時時重新 連接的信息,然后找到原因 解決 ...
1、事件還原 昨天下午,收到一個504的告警,顯然這是一個超時告警。當時由於手頭有其他事情,沒在意,就只是瞄了一眼,但是引起告警的方法很熟悉,是我寫的,第一反應有點詫異。 詫異之后,繼續處理手頭的工作。 一小時過后,又收到同樣的告警,顯然不是偶爾,肯定是哪兒出問題了,於是開始排查。 報警 ...
線上問題的排查過程1、測試統一收口,2、產品判斷是否正常邏輯 | 測試判斷是否已經用例覆蓋 | 技術排查日志或代碼變更 ...