版本信息
Hadoop: 3.0.0-cdh6.3.2
hbase : 2.1.0-cdh6.3.2
當/hbase/WALs中的HLog文件被持久化到存儲文件中,且這些Hlog日志文件不再被需要時,就會被轉移到{hbase.rootdir}/oldWALs目錄下,該目錄由HMaster上的定時任務負責定期清理。
網上說了很多方法,類似改配置文件會自動清除,我做了,但不管用。
我用的這個版本的文件,直接刪除,很方便
查看磁盤空間:
[hbase@cdh01 ~]$ df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 32G 18G 14G 57% /
此時可用空間為14G
查看oldWALs大小:
[root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
0 0 hdfs://172.18.10.90:8020/opt/hbase/staging
發現oldWALs有20G
清除oldWALs
[root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta
看打印出來的信息提示說,移動到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 這個目錄下面了,相當於windows的垃圾桶
那就在把他刪除
hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*
再查看一下磁盤空間(可能要等一會才會刷新):
[root@cdh01 ~]# df -lTH
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt
完成!