HBASE文件太大,磁盤空間不足,清楚日志oldWALs


版本信息

Hadoop: 3.0.0-cdh6.3.2

hbase : 2.1.0-cdh6.3.2

 

當/hbase/WALs中的HLog文件被持久化到存儲文件中,且這些Hlog日志文件不再被需要時,就會被轉移到{hbase.rootdir}/oldWALs目錄下,該目錄由HMaster上的定時任務負責定期清理。

網上說了很多方法,類似改配置文件會自動清除,我做了,但不管用。

我用的這個版本的文件,直接刪除,很方便

 

查看磁盤空間:

[hbase@cdh01 ~]$ df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 32G 18G 14G 57% /
此時可用空間為14G

 

查看oldWALs大小:

[root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

發現oldWALs有20G

 

清除oldWALs

[root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

看打印出來的信息提示說,移動到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 這個目錄下面了,相當於windows的垃圾桶

 

那就在把他刪除

hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

 

再查看一下磁盤空間(可能要等一會才會刷新):

[root@cdh01 ~]# df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

完成!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM