前言 dubbo是一個成熟且被廣泛運用的框架。饒是如此,在某些極端條件下基於dubbo的應用還會出現無法重連zookeeper的問題。由於此問題容易導致比較大的故障,所以筆者費了一番功夫去定位,現將排查過程寫成博文分享出來。 Bug現場 這是一起在測試環境出現的故障。起因是網工做交換機切換 ...
前言 筆者最近解決了一個困擾了業務系統很久的問題。這個問題只在發布時出現,每次只影響一兩次調用,相較於其它的問題來說,這個問題有點不夠受重視。由於種種原因,使得這個問題到了業務必須解決的程度,於是就到了筆者的手上。 問題現場 我們采用的是dubbo服務,這是個穩定成熟的RPC框架。但是我們在某些應用中會發現,只要這個應用一發布 或者重啟 ,就會出現請求超時的問題,如下圖所示: 而且都是第一筆請求會 ...
2020-08-11 10:21 15 1899 推薦指數:
前言 dubbo是一個成熟且被廣泛運用的框架。饒是如此,在某些極端條件下基於dubbo的應用還會出現無法重連zookeeper的問題。由於此問題容易導致比較大的故障,所以筆者費了一番功夫去定位,現將排查過程寫成博文分享出來。 Bug現場 這是一起在測試環境出現的故障。起因是網工做交換機切換 ...
解Bug之路-串包Bug 筆者很熱衷於解決Bug,同時比較擅長(網絡/協議)部分,所以經常被喚去解決一些網絡IO方面的Bug。現在就挑一個案例出來,寫出分析思路,以饗讀者,希望讀者在以后的工作中能夠少踩點坑。 串包Bug現場 前置故障Redis超時 由於某個系統大量的hget、hset操作 ...
解Bug之路-Nginx 502 Bad Gateway 前言 事實證明,讀過Linux內核源碼確實有很大的好處,尤其在處理問題的時刻。當你看到報錯的那一瞬間,就能把現象/原因/以及解決方案一股腦的在腦中閃現。甚至一些邊邊角角的現象都能很快的反應過來是為何。筆者讀過一些Linux TCP協議棧 ...
解Bug之路-記一次調用外網服務概率性失敗問題的排查 前言 和外部聯調一直是令人困擾的問題,尤其是一些基礎環境配置導致的問題。筆者在一次偶然情況下解決了一個調用外網服務概率性失敗的問題。在此將排查過程發出來,希望讀者遇到此問題的時候,能夠知道如何入手。 起因 筆者的新系統上線,需要PE執行 ...
原文:https://www.cnblogs.com/alchemystar/p/13409534.html 解Bug之路-Nginx 502 Bad Gateway 前言 事實證明,讀過Linux內核源碼確實有很大的好處,尤其在處理問題的時刻。當你看到報錯的那一瞬間,就能把現象/原因 ...
解Bug之路-NAT引發的性能瓶頸 筆者最近解決了一個非常曲折的問題,從抓包開始一路排查到不同內核版本間的細微差異,最后才完美解釋了所有的現象。在這里將整個過程寫成博文記錄下來,希望能夠對讀者有所幫助。(篇幅可能會有點長,耐心看完,絕對物有所值~) 環境介紹 先來介紹一下出問題的環境吧,調用 ...
解Bug之路-ZooKeeper集群拒絕服務 前言 ZooKeeper作為dubbo的注冊中心,可謂是重中之重,線上ZK的任何風吹草動都會牽動心弦。最近筆者就碰到線上ZK Leader宕機后,選主無法成功導致ZK集群拒絕服務的現象,於是把這個case寫出來分享給大家(基於ZooKeeper ...
解Bug之路-主從切換"未成功"? 前言 數據庫主從切換是個非常有意思的話題。能夠穩定的處理主從切換是保證業務連續性的必要條件。今天筆者就來講講主從切換過程中一個小小的問題。 故障場景 最近線上進行主從切換,大部分應用都切過去了,但是某些應用的連接確還在老的主(新的從)上面。 這讓對應 ...