近期需要對公司的接口做線上的巡查監控，需要寫一個腳本放到服務器上，定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議，而是公司基於TCP協議開發的私有協議，因此不能直接用現成的一些接口測試工具，需要自己寫代碼來調用接口。由於是私有協議，為了方便各業務項目進行通信，開發部門統一提供了一個 ...

大家好，我是雨樂！ 前幾天，突然收到報警，線上服務崩潰，然后自動重啟。 由於正值雙十一期間，業務以穩定為主，線上服務崩潰，這可不是一件小事，趕緊登陸線上服務器，分析原因，迅速解決。 借助這篇文章，記錄下整個崩潰的分析和解決過程。 收到報警 上午上班后，正在划水，突然收到郵件報警 ...

微信公眾號：內核小王子 覺得可以的話歡迎關注 場景：公司對外網關對很多外部商戶開放，運行多年一直正常，昨天某一個客戶調用我們接口的時候頻繁報connectiontimeout，異常如下： 該異常來自於httpclient，原因是創建連接超時，也就是tcp進行三次握手的時候失敗 ...

一、引子 這要從線上的一個接口偶發異常耗時說起，事情往往不是你想象的樣子，尤其是在排查問題的時候，切忌有先入為主的的某些判斷。 二、問題： 接口監控圖：顯示每天總會有那么幾次耗時特別長的請求。 三、排查： 1、直觀的認識是“偶發”，每天零星的幾個，不規律。 對於這種情況，第一感覺 ...

上周晚上，某環境 ES 出現阻塞， 運行緩慢。於是開始排查問題的過程。 開始 思路：現象是阻塞，通常是 CPU 彪高，導致業務線程分配不到 CPU 時間片，或者內存吃緊，頻繁 GC 導致的 STW。 登錄到目標服務器，由於 ES 的用戶不是 LZ，因此找運維要了 root 權限，登錄到服務器 ...

公司對底層基礎庫進行了重構，線上穩定跑了幾天，在查看訂單系統的log時，有幾條error信息非常的奇怪， 訂單有狀態機進行維護 已經被撤消的訂單不能再進行有其他操作，和狀態更改。 已經支付的訂單，不能被撤消，只能退款或者部分退款。 這兩條log雖然沒有太大問題，關鍵問題 ...

背景 前段時間收到運維反饋，線上Mysql數據庫凌晨時候出現慢查詢的報警，並把原始sql發了過來： 表數據量200W左右，不是很大，而且是根據主鍵更新。 問題排查 排查Mysql數據庫 我看到sql后第一反應就是是不是數據庫出問題了，每個小時都有業務，偏偏白天業務高峰時間段 ...

項目架構： 　　部分組件如下： 　　SpringCloudAlibaba(Nacos+Gateway+OpenFeign）+SpringBoot2.x+Redis 問題背景: 　　最近由於用戶量增大，在高峰時期，會導致用戶服務偶爾Redis出現連接超時的情況， 　　例如：從Redis中 ...