原文:一个purge参数引发的惨案——从线上hbase数据被删事故说起

在写这篇blog前,我的心情久久不能平静,虽然明白运维工作如履薄冰,但没有料到这么一个细小的疏漏会带来如此严重的灾难。这是一起其他公司误用puppet参数引发的事故,而且这个参数我也曾被 坑过 。 . 一个purge参数引发的事故 故事要从周二下午说起,安静了一天的某技术交流群,突然有个惊慌失措的同学在群里说,他直接使用了第三方的puppet hbase module来管理线上hbase集群,结果 ...

2014-08-13 12:58 2 2638 推荐指数:

查看详情

记一次一个枚举引发线上事故风暴

背景 2018年8月15号下午6点左右一个我们服务的调用方通知我们他们在调用服务接口时出现了大量的异常和通知,并且错误返回值都是“显示未设置结束日期” 问题定位 收到调用方的消息后,我立即展开了问题的排查 1、通过服务管理平台查看服务是否出现超时及比对今天和昨天接口整体的响应 ...

Fri Aug 17 00:39:00 CST 2018 6 806
Redis中一个String类型引发惨案

​ 曾经看到这么一个案例,有一个团队需要开发一个图片存储系统,要求这个系统能快速记录图片ID和图片存储对象ID,同时还需要能够根据图片的ID快速找到图片存储对象ID。我们假设用10位数来表示图片ID和图片存储对象ID,例如图片的ID为1101021043,它所对应的图片存储对象的ID ...

Sat Jul 24 19:28:00 CST 2021 0 263
从组件文档引发惨案 ◤1◢

公司目前有很多后台管理系统,目前代码量都越来越大,在开发的过程中,我们也秉承着提取公共组件,通过复用组件来减少开发工作量,随着公共组件数量的增加,新同事想要快速了解公共组件如何使用,需要到具体的业务页面中去看,这样子学习组件的成本太大,于是就想给每个组件提供一个文档,来解释组件如何使用 ...

Fri Dec 20 18:08:00 CST 2019 1 1016
一道题引发惨案

昨天在一个cocos2d-x的群里,有群友发了一个问题求答案,当时自已也一下子没想到什么好的写法,这时候有个群友写了一个比较少见的代码方法,当时一看到这代码,我有一种如糊灌顶的感受,因为自已平时基本没用这种写法,今日在别的群,我就发了这道题让大家讨论一下,结果没想到,引发 ...

Thu Jul 03 23:24:00 CST 2014 10 340
线上事故竟然是自己的锅!!!

前言 前段时间,我们线上系统出现了一个事故:用户创建了商品,在商城的商品列表页看不到,也搜索不到。、 这个问题持续了大概半个小时,最后发现竟然是我的锅。 这个事情怎么说呢,完全是我自己把自己坑了。到底怎么回事呢? 1. 从需求说起 1.1 背景 由于我们这个迭代是个大版本,上线的日子 ...

Mon Apr 11 05:35:00 CST 2022 1 740
一个随意list引发惨案(java到底是值传递还是引用 传递?)

前两天写了一个递归,因为太年轻,把一个递归方法需要用到的list定义该递归方法外了,结果开始断点测试的时候有点小问题 ,然后上线之后因为数据量太多导致了一个java.util.ConcurrentModificationException异常,然后就debug。然后一顿操作因为单元测试的时候马 ...

Thu Oct 10 05:34:00 CST 2019 0 712
一个小问题引发惨案(计算几何,Voronoi图,半平面交,分治)

某天无聊,脑子里突然蹦出一个小问题: 给定一个矩形平面,有\(n\)个相同功率的通信基站,请在平面上求出信号最弱的位置 或者说,有\(n\)个点,找出一个位置,使其离这些点中最近的点最远 是不是一个很简单的小问题呢 引入Voronoi图,定义法 对于平面上每个位置,都能找到离其距离最近 ...

Fri Sep 17 09:53:00 CST 2021 4 157
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM