HDFS的垃圾回收機制

 

hadoop hdfs 垃圾回收機制

• 何為垃圾回收
  

  開啟垃圾回收站 把刪除的文件首先放置在回收站中 等待配置的時間結束 進行真正的數據刪除

• 如何開始
  

  vim core-site.xml
  
  <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  </property>

• 把配置文件 scp給其他節點上
  

  scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-2:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
  
  scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-3:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

• 垃圾回收機制演示效果
  
  • 未開啟
    

    [root@node-1 ~]# hadoop fs -rm /test/1.txt
    Deleted /test/1.txt

  • 開啟
    

    hadoop fs -rm /test/1.txt
    19/07/18 16:18:17 INFO fs.TrashPolicyDefault: Moved: 'hdfs://node-1:8020/test/1.txt' to trash at: hdfs://node-1:8020/user/root/.Trash/Current/test/1.txt

    本質是把刪除文件 首先移動一個指定的文件夾下面

  • 恢復刪除的數據
    

    hadoop fs -mv /user/root/.Trash/Current/test/1.txt /test

  • 跳過垃圾回收 直接刪除
    

    skipTrash 選項刪除文件，該選項不會將文件發送到垃圾箱。它將從HDFS 中完全刪除