在部署了的GreenPlum集群中進行數據查詢時,發現數據量一旦大了,查詢一跑就中斷,提示某個segment中斷了連接。 ERROR 58M01 "Error on receive from seg0 slice1 192.168.110.84:6000 pid=xxx: server ...
最近在和小伙伴們做充電與通信程序的架構遷移。遷移前的架構是,通信程序負責接收來自充電集控設備的數據實時數據,通過Thrift調用后端的充電服務,充電服務收到響應后放到進程的Queue中,然后在管理線程的調度下,啟動多線程進程數據處理。 隨着業務規模的不斷擴大和對系統可用性的逐步提高。現在這個架構存在很多的問題,比如: .充電服務重啟,可能會丟數據。 .充電服務重啟會波及影響通信服務。 .充電服務 ...
2017-12-23 12:48 7 2428 推薦指數:
在部署了的GreenPlum集群中進行數據查詢時,發現數據量一旦大了,查詢一跑就中斷,提示某個segment中斷了連接。 ERROR 58M01 "Error on receive from seg0 slice1 192.168.110.84:6000 pid=xxx: server ...
因自研的自動化測試工具包含壓測功能,在自己本地代碼開發完畢后進行測試,對目標接口進行1000次訪問,發現idea在執行結束后變的異常卡頓,懷疑是idea工具或者程序代碼存在問題,遂進行排查。 ---------------------------------------------------------------------------------------------- ...
前言 一個項目在經歷開發、測試、上線后,當時的用戶規模還比較小,所以剛剛上線的項目一般會表現穩定。但是隨着時間的推移,用戶數量的增加,qps的增加等因素會造成項目慢慢表現出網頁半天無響應的狀況。在之前的工作中也恰巧遇到這個過程,當時對項目進行了很多性能測試和調優,今天借助博客園,將這次性能調 ...
一、背景 2021年2月,收到反饋,視頻APP某核心接口高峰期響應慢,影響用戶體驗。 通過監控發現,接口響應慢主要是P99耗時高引起的,懷疑與該服務的GC有關,該服務典型的一個實例GC表現如下圖: 可以看出,在觀察周期里: 平均每10分鍾Young GC次數66次,峰值 ...
之前已經介紹過通過WMI接口獲取服務器硬件信息、收集服務器性能數據,從而實現對服務器性能的監控。但由於監控項目較多,而且通過WMI獲取服務器信息的方式速度相對較慢,因此有必要根據不同情況對程序進行優化。一、使用多線程並行處理最初設計服務器監控程序的時候,僅使用一個for循環來處理,當時需要監控 ...
insert優化 如果你在某一時刻有大量的insert操作,一條一條插入是非常耗時的。insert語句本身支持一次插入很多條記錄,插入記錄數上限受sql語句長度限制,一般一次插個幾千條是沒問題的。在我的 《如何手動實現Try Insert和Insert Or Update》 一文中對於各種情況 ...
一開始是存在於年輕代的,當經過 15次 gc 后,這些對象就會進入到老年代,而之后 young gc 的 ...
這邊有個性能要求極高的api要上線,這個服務端是golang http模塊實現的。在上線之前我們理所當然的要做壓力測試。起初是 “小白同學” 起頭進行壓力測試,但當我看到那壓力測試的結果時,我也是逗樂了。 現象是,直接訪問Golang http api是每秒可以到3.5W的訪問, 為了理論 ...