墨菲定律 任何事情都沒有表面看起來那么簡單 所有事情的發展都會比你預計的時間長 會出錯的事情總會出錯 如果擔心某個事情發生，那么它更有可能發生 墨菲定律暗示我們，如果擔心某種 ...

周末早上，一個哥們突然@我，問是否有線上故障處理和定級的規范或者模板，雖然手頭有既有文檔，但內容顯的太具象了，跟我們的業務有很強的關聯性，並不是那么好直接復制到他的團隊中。因此，個人對過去的線上故障處理進行了回顧和思考，並進行了簡要的歸納，望幫助到需要的同學。文本將按事中處理、事后總結和事前預防 ...

水平擴容這種方式挺過壓力高峰，導致線上連續幾晚都出現了不同程度的問題，肯定對於我們的業務增長是有影響的 ...

容器DNS異常處理 問題詳情 最近公司開發使用的一個 maven 倉庫(nexus) 說同步阿里雲Maven 源失敗，這個倉庫是使用容器部署的。 排查問題 首先就是登陸到容器， ping www.baidu.com 發現網絡不可達，確定是容器網絡不能訪問外網。 第二步查看容器 ...

前言 在發生故障切換后，經常遇到的問題就是同步報錯，下面是最近收集的報錯信息。 記錄刪除失敗 在master上刪除一條記錄，而slave上找不到 Last_SQL_Error: Could not execute Delete_rows event on table hcy.t1 ...

高可用測試目的為了驗證集群沒有單點故障，一個服務進程down 不影響業務。進程恢復后，集群狀態正常。(穩定性、可靠性) 可用性相關設計rgw、osd、Mon(Lead、非Lead) 節點宕機rgw、osd、Mon 服務進程異常rgw、osd、Mon 管理、業務、存儲網異常 ...

SLA：服務等級協議（簡稱：SLA，全稱：service level agreement）。是在一定開銷下為保障服務的性能和可用性，服務提供商與用戶間定義的一種雙方認可的協定。通常這個開銷是驅動提供服務質量的主要因素。 SLA的定義來源百度，這到底是什么意思呢？ 我們平常經常看到互聯網公司喊 ...

談服務可用性監控 一個服務的監控從整體考慮，要達到哪些才能算是完善的？我想，如果沒有一個全局性的監控思考，一個服務的監控即使加的再多也是會有監控盲區的。 監控的層次 從基礎機器到上層業務，分為三個不同層次：系統，應用，業務。不同的層次都應該有其不同的監控目的。 系統監控 這個層次監控 ...