線上出現OutOfMemoryError的一次解決問題記錄

 

　　生產環境，出現tomcat預警 OutOfMemoryError: Java heap space，出現此問題，經過排查，發現tomcat設置內存參數xmx為2G

經過評估，可能此值不夠大，經過服務整體情況評估，決定加大內存，加到到3G。（服務器資源緊張，沒有多余的資源），以為萬事大吉。

 

第二天，繼續的OutOfMemoryError ，問題繼續排除

經過日志分析，發現在內存溢出時，now client pool [leased: 211; pending: 0; available: 2; max: 800]，即httpclient 線程池已經被消耗了200個線程handle

正常情況，httpclient應該不會有這么大的消耗，經過日志分析，前端存在http惡意請求，做ngnix 針對於同一個ip，做限流攔截。