記錄一次因subprocess PIPE 引起的線上故障
sence：python中使用subprocess.Popen(cmd, stdout=sys.STDOUT, stderr=sys.STDERR, shell=True) ，stdout, s ...
原文：一次DB故障引起的反思和MySQL Operator選型
前言 在一次數據庫故障后，我們發現業務庫會根據業務的等級會划分多個 MySQL 實例，許多業務庫會同時屬於一個 MySQL 實例，當一個庫引發問題后整個實例的狀態是不可控的。從而導致這個實例上的所有業務不穩定甚至造成中斷。 故障反思 微服務架構 微服務架構在公司已經采用並堅持了近十年，我們也從傳統的 VM 部署架構轉身至當下的 容器 K S ，無論是軟件架構還是部署架構，我們都朝着高可用，可伸縮， ...
2020-02-12 16:45 0 2300 推薦指數：
相關推薦
記一次bond引起的網絡故障
本案中3個關鍵服務器 物理服務器：192.168.6.63，簡稱P，(Physical server) KVM-VM：192.168.6.150，是物理服務器P上的一個KVM虛機，簡稱VM NAS：外 ...
記一次mysql故障恢復
事情要從倆月前的一個坑說起，一台新的測試服務器，新項目一元奪寶用的。 配置aws上的一台雲主機，系統盤8G，一塊300G的雲硬盤。 拿到機器后，另一運維小哥安裝php，nginx，mysql等軟件。 安裝完后，然忘了掛載雲硬盤。 隨着根分區日志越來越多，mysql數據量增大。。。磁盤已滿 ...
一次艱難debug的反思
已經很久沒有遇到如此頑固的bug了，總共耗費了我近1個禮拜的時間。期間的種種沖突，個人崩潰，最終解決方案的形成，到回過頭來的反思，實在有太多值得梳理的東西。 從結果上來講，這是個人js基礎極端薄弱的集中體現，是對js閉包、基本流程和運轉方式掌握不到位的綜合反應。正因為基礎薄弱 ...
一次“MySQL server has gone away”故障及其解決
1，問題現象 某次測試發現，程序失去響應。由於程序集成了EurekaLog組件，彈出了錯誤框。查看其給出的Call Stack信息，發現沒有發生線程死鎖（DeadLock=0;），問題在於 Wait ...
對一次架構設計的總結和反思
最近做了一次架構（流程）的設計，簡單來說，是設計一個流程，提供相應的API，方便其他程序員將業務邏輯逐步遷移到另一套框架。在完成這次設計的過程中，還是有許多經驗、教訓，值得思考和記錄。其實，這些經驗總結，可能在其他地方看到過，也聽別人分享過，不過只是“夫子言之,於我心有戚戚焉”，只有當 ...
一次失敗升級后的反思
最近兩周因為一個升級搞的精疲力竭，一共熬了四次通宵。睡了一天，總算把覺補回來了。 不得不說這次升級非常失敗，為了從哪跌倒從哪爬起，為了以后不再這么悲催，我總結下我收獲的經驗教訓，希望對那些和我們處於同一水平線的項目有些許借鑒意義。 預則立，不預則廢 准備不充分是我們這次犯得最嚴重的問題 ...
一次json校驗故障
在往數據庫添加json串的時候出現了錯誤 not close json text,token: 出現這種錯誤一般都是json的格式有問題，具體的是什么問題，需要自己認真排查寫的json數據，我是由 ...