原文:一次線上Redis類轉換異常排查引發的思考

之前同事反饋說線上遇到Redis反序列化異常問題,異常如下: 已知信息如下: 該異常不是必現的,偶爾才會出現 出現該異常后重啟應用或者過一會就好了 序列化協議使用了hessian。 因為偶爾出現,首先看了報異常那塊業務邏輯是不是有問題,看了一遍也發現什么問題。看了下對應日志,發現是在Redis讀超時之后才出現的該異常,因此懷疑redis client操作邏輯那塊導致的 公司架構組對redis做了一 ...

2019-06-24 11:05 0 885 推薦指數:

查看詳情

一次線上問題排查引發思考

前言 之前或多或少分享過一些內存模型、對象創建之類的內容,其實大部分人看完都是懵懵懂懂,也不知道這些的實際意義。 直到有一天你會碰到線上奇奇怪怪的問題,如: 線程執行一個任務遲遲沒有返回,應用假死。 接口響應緩慢,甚至請求超時。 CPU 高負載運行。 這類問題並不 ...

Mon Jul 09 16:20:00 CST 2018 6 3053
一次排查線上接口偶發異常耗時引起的思考

一、引子 這要從線上的一個接口偶發異常耗時說起,事情往往不是你想象的樣子,尤其是在排查問題的時候,切忌有先入為主的的某些判斷。 二、問題: 接口監控圖:顯示每天總會有那么幾次耗時特別長的請求。 三、排查: 1、直觀的認識是“偶發”,每天零星的幾個,不規律。 對於這種情況,第一感覺 ...

Sat Jul 11 10:04:00 CST 2020 0 922
一次線上問題引發的對dubbo優雅下線的思考

一.背景 我們經常聊到dubbo的啟動,是如何暴露接口的,如何注冊到注冊中心的,但是就一個完整的生命周期而言,有上線就必然有下線,而下線這一部分往往被人忽略,這次就一次線上發布問題為入口,來分析dubbo下線的過程和其中遇到的問題,從另一個方面加深dubbo整個生命周期的理解 ...

Tue Jun 01 01:41:00 CST 2021 0 1115
一次線上問題引發的對於C#中相等判斷的思考

線上報來一個問題,說用戶的數據丟失了。開發經過緊張的調查。終於找到了原因。 問題出在了 if 中的比較上。 values[rowIndex] 中保存的是一個整數,開發認為兩個整數比較實用 == 就可以了。 但是 values[rowIndex] 中的整數 ...

Sat Dec 22 03:17:00 CST 2018 3 535
一次線上OOM過程的排查

https://blog.csdn.net/qq_16681169/article/details/53296137 一.出現問題 在前一段時間日常環境很不穩定,前端調用mtop接口會出網絡異常或服務不存在的異常。查詢了服務器上的HSF會有偶爾掛死的情況,服務器上的接口服務都不 ...

Thu Nov 08 22:34:00 CST 2018 0 1460
一次線上死循環的排查

1、問題發現 Prometheus報警某服務的一個節點 Old GC過多,需要排查。 2、查看GC日志 使用tail -f gc.log命令查看異常節點的GC日志,從日志可以看出Young GC過於頻繁,竟然在1s內有9Young GC: 使用tail ...

Wed Jul 03 07:10:00 CST 2019 2 360
一次線上OOM故障排查經過

轉貼:http://my.oschina.net/flashsword/blog/205266 本文是一次線上OOM故障排查的經過,內容比較基礎但是真實,主要是記錄一下,沒有OOM排查經驗的同學也可以參考。 現象 我們之前有一個計算作業。最近經常出現不穩定,無法正常響應的情況。具體表現 ...

Thu Mar 06 21:05:00 CST 2014 0 2844
一次 symbol lookup error 引發思考

開發一個跨平台的項目的時候,大部分時候都是在VS下進行編碼,所以也就使用了VS的解決方案來管理項目。 因為要跨平台,當時網上看scons這個工具不錯,所以在linux下就使用了scons來作為編譯腳本 ...

Sat Jan 14 00:31:00 CST 2017 0 3892
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM