原文:一個purge參數引發的慘案——從線上hbase數據被刪事故說起

在寫這篇blog前,我的心情久久不能平靜,雖然明白運維工作如履薄冰,但沒有料到這么一個細小的疏漏會帶來如此嚴重的災難。這是一起其他公司誤用puppet參數引發的事故,而且這個參數我也曾被 坑過 。 . 一個purge參數引發的事故 故事要從周二下午說起,安靜了一天的某技術交流群,突然有個驚慌失措的同學在群里說,他直接使用了第三方的puppet hbase module來管理線上hbase集群,結果 ...

2014-08-13 12:58 2 2638 推薦指數:

查看詳情

記一次一個枚舉引發線上事故風暴

背景 2018年8月15號下午6點左右一個我們服務的調用方通知我們他們在調用服務接口時出現了大量的異常和通知,並且錯誤返回值都是“顯示未設置結束日期” 問題定位 收到調用方的消息后,我立即展開了問題的排查 1、通過服務管理平台查看服務是否出現超時及比對今天和昨天接口整體的響應 ...

Fri Aug 17 00:39:00 CST 2018 6 806
Redis中一個String類型引發慘案

​ 曾經看到這么一個案例,有一個團隊需要開發一個圖片存儲系統,要求這個系統能快速記錄圖片ID和圖片存儲對象ID,同時還需要能夠根據圖片的ID快速找到圖片存儲對象ID。我們假設用10位數來表示圖片ID和圖片存儲對象ID,例如圖片的ID為1101021043,它所對應的圖片存儲對象的ID ...

Sat Jul 24 19:28:00 CST 2021 0 263
從組件文檔引發慘案 ◤1◢

公司目前有很多后台管理系統,目前代碼量都越來越大,在開發的過程中,我們也秉承着提取公共組件,通過復用組件來減少開發工作量,隨着公共組件數量的增加,新同事想要快速了解公共組件如何使用,需要到具體的業務頁面中去看,這樣子學習組件的成本太大,於是就想給每個組件提供一個文檔,來解釋組件如何使用 ...

Fri Dec 20 18:08:00 CST 2019 1 1016
一道題引發慘案

昨天在一個cocos2d-x的群里,有群友發了一個問題求答案,當時自已也一下子沒想到什么好的寫法,這時候有個群友寫了一個比較少見的代碼方法,當時一看到這代碼,我有一種如糊灌頂的感受,因為自已平時基本沒用這種寫法,今日在別的群,我就發了這道題讓大家討論一下,結果沒想到,引發 ...

Thu Jul 03 23:24:00 CST 2014 10 340
線上事故竟然是自己的鍋!!!

前言 前段時間,我們線上系統出現了一個事故:用戶創建了商品,在商城的商品列表頁看不到,也搜索不到。、 這個問題持續了大概半個小時,最后發現竟然是我的鍋。 這個事情怎么說呢,完全是我自己把自己坑了。到底怎么回事呢? 1. 從需求說起 1.1 背景 由於我們這個迭代是個大版本,上線的日子 ...

Mon Apr 11 05:35:00 CST 2022 1 740
一個隨意list引發慘案(java到底是值傳遞還是引用 傳遞?)

前兩天寫了一個遞歸,因為太年輕,把一個遞歸方法需要用到的list定義該遞歸方法外了,結果開始斷點測試的時候有點小問題 ,然后上線之后因為數據量太多導致了一個java.util.ConcurrentModificationException異常,然后就debug。然后一頓操作因為單元測試的時候馬 ...

Thu Oct 10 05:34:00 CST 2019 0 712
一個小問題引發慘案(計算幾何,Voronoi圖,半平面交,分治)

某天無聊,腦子里突然蹦出一個小問題: 給定一個矩形平面,有\(n\)個相同功率的通信基站,請在平面上求出信號最弱的位置 或者說,有\(n\)個點,找出一個位置,使其離這些點中最近的點最遠 是不是一個很簡單的小問題呢 引入Voronoi圖,定義法 對於平面上每個位置,都能找到離其距離最近 ...

Fri Sep 17 09:53:00 CST 2021 4 157
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM