原文:线上问题排查-HBase写数据出现NotServingRegionException(Region ... is not online)异常

今天线上遇到一个问题:有一台服务器的cpu持续冲高,排查发现是我们的一个java应用进程造成的,该进程在向hbase中写入数据时,日志不断地打印下面的异常: 排查思路如下: 查看hbase的请求数量是否过高:通过hbase的web控制界面查看RegionServer的请求数,如下图 可以看到,Request Per Second并不高,排除这个原因。 检查表iot flow cdr 信息是否正常 ...

2018-11-15 14:15 1 1852 推荐指数:

查看详情

HBase 报错系列之region is not online

报错信息: ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: Received CLOSE for a region which is not online, and we're not opening. 2016-12-07 ...

Thu Apr 06 04:42:00 CST 2017 0 2119
记一次HBaseNotServingRegionException问题

1. 问题hbase测试集群上,访问一些hbase表,均报类似下面的错误:region不可用 2. 排查问题 首先怀疑是HBase集群内正在进行Region的Split和不同机器之间的Region Balance,这时候Region是不可用的状态,但是Region切分和再均衡持续时间 ...

Fri Oct 30 05:41:00 CST 2020 0 720
JVM 出现 fullGC 很频繁,怎么去线上排查问题

可能频繁创建了大对象或者eden 区设置过小 (大对象直接分配在老年代中,导致老年代空间不足--->从而频繁 gc) 可能老年代的空间设置过小了(Minor GC 几个对象就大于老年代 ...

Fri Jul 03 19:00:00 CST 2020 0 900
Arthas线上问题排查

的 Exception? 我改的代码为什么没有执行到?难道是我没 commit?分支搞错了? 遇到问题无法在 ...

Wed Jan 13 00:22:00 CST 2021 0 673
线上死锁问题排查

问题描述: 线上一个服务的突然挂了,无法被调用,查看该服务日志发现Dubbo的线程池全满了: 没有多少访问量,但是线程却猛增,猜测可能是哪里出现了死循环或者哪里发生了死锁。 首先,检测一下服务器的CPU使用量,发现在正常范围内,基本上可以排除哪里出现了死循环。 先找出该服务的进程 ...

Sun Nov 24 03:29:00 CST 2019 0 296
JVM线上问题排查

前言 本文介绍服务器内运行的 Java 应用产生的 OOM 问题 和 CPU 100% 的问题定位 1. 内存 OOM 问题定位 某Java服务(比如进程id pid 为 3320)出现OOM,常见的原因为: 内存分配的确实小了,而正常业务使用了大量的内存 某个对象被频繁申请 ...

Tue Jun 30 21:31:00 CST 2020 0 608
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM