記一次hbase陷入永久RIT


事情大概是這樣的:

  存儲程序在往hbase里存儲的時候報錯,大概都是region的問題,count表也能看到有錯誤

  

  然后百度用hbck修復,中間有人說了個先disable表,我把我所有的表都先disable了,於是乎,噩夢開始了,發現hbck修復一直報錯,在等待region重新分配

  

  我領導說,誰告訴你hbck修復要disable?當時我就傻眼了,然后我想enable,還是報錯

    

  按照網上說的刪除zookeeper里的信息,沒有用,我知道不是那個原因,但是生產環境又不敢隨意重啟,網上找原因找了三天,發現沒有多少解決辦法,最后跟領導說,估計只能重啟了,然后領導同意,我重啟,hbase開始啟動,一切恢復正常

  總結原因,估計就是region在變動的時候被我disable了,所以……

 

原文參考

http://hbasefly.com/2016/09/08/hbase-rit/?lwroby=hlphw

1. 永久性掉入RIT狀態其實出現的概率並不高,都是在一些極端情況下才會出現。絕大部分RIT狀態都是暫時的。

2. 一旦掉入永久性RIT狀態,說明一定有根本性的問題原因,只有定位出這些問題才能徹底解

決問題

3. 如果Region長時間處於PENDING_CLOSE或者CLOSING狀態,一般是因為RegionServer在關閉Region的時候遇到了長時間Compaction任務或Flush任務,所以如果Region在做類似於Major_Compact的操作時盡量不要執行unassign操作,比如move操作、disable操作等;而如果Region長時間處於FAILED_OPEN狀態,一般是因為HDFS文件出現異常所致,可以通過RegionServer日志以及hbck定位出來

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM