原文:線上問題排查-HBase寫數據出現NotServingRegionException(Region ... is not online)異常

今天線上遇到一個問題:有一台服務器的cpu持續沖高,排查發現是我們的一個java應用進程造成的,該進程在向hbase中寫入數據時,日志不斷地打印下面的異常: 排查思路如下: 查看hbase的請求數量是否過高:通過hbase的web控制界面查看RegionServer的請求數,如下圖 可以看到,Request Per Second並不高,排除這個原因。 檢查表iot flow cdr 信息是否正常 ...

2018-11-15 14:15 1 1852 推薦指數:

查看詳情

HBase 報錯系列之region is not online

報錯信息: ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: Received CLOSE for a region which is not online, and we're not opening. 2016-12-07 ...

Thu Apr 06 04:42:00 CST 2017 0 2119
記一次HBaseNotServingRegionException問題

1. 問題hbase測試集群上,訪問一些hbase表,均報類似下面的錯誤:region不可用 2. 排查問題 首先懷疑是HBase集群內正在進行Region的Split和不同機器之間的Region Balance,這時候Region是不可用的狀態,但是Region切分和再均衡持續時間 ...

Fri Oct 30 05:41:00 CST 2020 0 720
JVM 出現 fullGC 很頻繁,怎么去線上排查問題

可能頻繁創建了大對象或者eden 區設置過小 (大對象直接分配在老年代中,導致老年代空間不足--->從而頻繁 gc) 可能老年代的空間設置過小了(Minor GC 幾個對象就大於老年代 ...

Fri Jul 03 19:00:00 CST 2020 0 900
Arthas線上問題排查

的 Exception? 我改的代碼為什么沒有執行到?難道是我沒 commit?分支搞錯了? 遇到問題無法在 ...

Wed Jan 13 00:22:00 CST 2021 0 673
線上死鎖問題排查

問題描述: 線上一個服務的突然掛了,無法被調用,查看該服務日志發現Dubbo的線程池全滿了: 沒有多少訪問量,但是線程卻猛增,猜測可能是哪里出現了死循環或者哪里發生了死鎖。 首先,檢測一下服務器的CPU使用量,發現在正常范圍內,基本上可以排除哪里出現了死循環。 先找出該服務的進程 ...

Sun Nov 24 03:29:00 CST 2019 0 296
JVM線上問題排查

前言 本文介紹服務器內運行的 Java 應用產生的 OOM 問題 和 CPU 100% 的問題定位 1. 內存 OOM 問題定位 某Java服務(比如進程id pid 為 3320)出現OOM,常見的原因為: 內存分配的確實小了,而正常業務使用了大量的內存 某個對象被頻繁申請 ...

Tue Jun 30 21:31:00 CST 2020 0 608
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM