一次百萬長連接壓測 Nginx OOM 的問題排查分析
在最近的一次百萬長連接壓測中，32C 128G 的四台 Nginx 頻繁出現 OOM，出現問題時的內存監控如下所示。 排查的過程記錄如下。 現象描述 這是一個 websocket 百萬長連接收發消息的壓測環境，客戶端 jmeter 用了上百台機器，經過四台 ...
原文：[原創]百萬長連接壓測問題排查分析
一 背景： 基於WebSocket長連接的消息服務進行全鏈路壓測，目標是實現最少 W長連接下壓測服務的各個接口TPS，QPS及其穩定性和資源消耗情況。 二 全鏈路架構圖： 三 遇到的問題總結： 問題一：Jmeter肉雞連接達到 w左右時，出現OOM。 問題二：心跳超時導致連接斷開。 問題三：達到 w並發時，出現連接大批量掉線問題。 問題四：達到 w並發時，出現連接數上不去的問題。 問題五：達到 ...
2020-03-16 15:44 1 1429 推薦指數：
相關推薦
python_sse長連接壓測
...
.NET 連接oracle 報錯Connection request timed out問題排查分析
問題描述 在一個老的.NET系統中，每天到運行到下午或者晚上就會出現連接數據庫超時的問題Connection request timed out；針對該BUG進行了排查; 通過日志記錄，后台程序分析，最終定位到原來是底層數據庫幫助類未關閉連接導致，連接數不斷增加，閑置連接也增大，最終達到最大連接 ...
性能壓測問題分析
記一次生產環境性能壓測優化的經歷 對線上服務進行性能壓力測試的一次優化過程。 項目背景： 1.服務器的硬件配置(48核120G內存2T硬盤)； 2.網絡部署結構，用戶請求報文首先進入負載均衡Nginx，Nginx后端負載兩台Tomcat。 現象描述： 對線上的兩台服務器做性能壓測時 ...
Docker 容器內分析 java程序占用 cpu 高問題排查分析
背景描述 我們目前所有的 java 服務都是封裝在 docker 里面的，今天做壓力容量測試的時候發現有個服務占用cpu 300%,想找到是這個 java 程序的那個線程造成的問題，把問題反饋給開發讓他們去修復。 下面所使用的容器鏡像都是通過：Docker容器內執行 jvm 分析工具命令 ...
Malformed Packet PNG排查分析
1、問題描述： 接到開發工程說，圖片時而好，時而壞。懷疑是網絡三角傳輸模式問題，或者是Nginx配置問題。 2、環境拓撲圖： 3、這是Nginx處抓報文信息：HTTP和Porttable Network Graphics ...
GC Ergonomics間接引發的鎖等待超時問題排查分析
1. 問題背景 上周線上某模塊出現鎖等待超時，如下圖所示： 我雖然不是該模塊負責人，但出於好奇，也一起幫忙排查定位問題。 這里的業務背景就是在執行到某個地方時，需要去表中插入一批數據，這批數據需要根據數據類型分配流水號。這與我的select for update引發死鎖分析提到的流水號分配 ...