文件的刪除和恢復
和Linux系統的回收站設計一樣，HDFS會為每一個用戶創建一個回收站目錄：/user/用戶名/.Trash/，每一個被用戶通過Shell刪除的文件/目錄，在系統回收站中都一個周期，也就是當系統回收站中的文件/目錄在一段時間之后沒有被用戶恢復的話，HDFS就會自動的把這個文件/目錄徹底刪除，之后，用戶就永遠也找不回這個文件/目錄了。在HDFS內部的具體實現就是在NameNode中開啟了一個后台線程Emptier，這個線程專門管理和監控系統回收站下面的所有文件/目錄，對於已經超過生命周期的文件/目錄，這個線程就會自動的刪除它們，不過這個管理的粒度很大。另外，用戶也可以手動清空回收站，清空回收站的操作和刪除普通的文件目錄是一樣的，只不過HDFS會自動檢測這個文件目錄是不是回收站，如果是，HDFS當然不會再把它放入用戶的回收站中了。
--此處注意：hdfs會為每個用戶都建一個回收站，用戶刪除文件時，文件並不是徹底地消失了，而是mv到了/user/用戶名/.Trash/這個文件下，在一段時間內，用戶可以恢復這些已經刪除的文件。如果用戶沒有主動刪除，那么系統會根據用戶設置的時間把文件刪除掉（某些默認設置是360分鍾，用戶也可以自己設置這個刪除的時間設置），用戶也可以手動清空回收站，這樣刪除的文件就再也找不回來了。
根據上面的介紹，用戶通過命令行即HDFS的shell命令刪除某個文件，這個文件並沒有立刻從HDFS中刪除。相反，HDFS將這個文件重命名，並轉移到操作用戶的回收站目錄中（如/user/hdfs/.Trash/Current, 其中hdfs是操作的用戶名）。如果用戶的回收站中已經存在了用戶當前刪除的文件/目錄，則HDFS會將這個當前被刪除的文件/目錄重命名，命名規則很簡單就是在這個被刪除的文件/目錄名后面緊跟一個編號(從1開始知道沒有重名為止)。
當文件還在/user/hdfs/.Trash/Current目錄時，該文件可以被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的，當超過這個時間，Namenode就會將該文件從namespace中刪除。 文件的刪除，也將釋放關聯該文件的數據塊。注意到，在文件被用戶刪除和HDFS空閑的增加之間會有一個等待時間延遲。
當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候，如果用戶想恢復這個文件，可以檢索瀏覽/user/hdfs/.Trash/Current目錄並檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其他文件目錄沒有什么不同，除了一點：HDFS在該目錄上應用了一個特殊的策略來自動刪除文件，目前的默認策略是 刪除保留超過6小時的文件，這個策略以后會定義成可配置的接口。
還有，NameNode是通過后台線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也可以通過fs.trash.classname指定TrashPolicy類)來定時清空所有用戶回收站中的文件/目錄的,它每隔interval分鍾就清空一次用戶回收站。具體的操作步驟是，先檢查用戶回收站目錄/user/用戶名/.Trash下的所有yyMMddHHmm形式的目錄，然后刪除壽命超過interval的目錄，最后將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名為一個/user/用戶名/.Trash/yyMMddHHmm.
從這個回收線程(Emptier)的實現可以看出，被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鍾，最少可保存interval分鍾，過了這個有效期，用戶刪除的文件就永遠也不可能恢復了。
配置
在每個節點(不僅僅是主節點)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下內容
| 1 2 3 4 |
<property> <name>fs.trash.interval</name> <value>1440</value> </property> |
注意：當用戶寫程序調用HDFS的API時，NameNode並不會把刪除的文件或目錄放入回收站Trash中，而是需要自己實現相關的回收站邏輯，見如下的代碼
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 |
import java.io.IOException;
import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;
public class RMFile { private final static Log log = LogFactory.getLog(RMFile.class); private final static Configuration conf = new Configuration();
/** * Delete a file/directory on hdfs * * @param path * @param recursive * @return * @throws IOException */ public static boolean rm(FileSystem fs, Path path, boolean recursive) throws IOException { log.info("rm: " + path + " recursive: " + recursive); boolean ret = fs.delete(path, recursive); if (ret) log.info("rm: " + path); return ret;
}
/** * Delete a file/directory on hdfs,and move a file/directory to Trash * @param fs * @param path * @param recursive * @param skipTrash * @return * @throws IOException */ public static boolean rm(FileSystem fs, Path path, boolean recursive, boolean skipTrash) throws IOException { log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash); if (!skipTrash) { Trash trashTmp = new Trash(fs, conf); if (trashTmp.moveToTrash(path)) { log.info("Moved to trash: " + path); return true; } } boolean ret = fs.delete(path, recursive); if (ret) log.info("rm: " + path); return ret;
}
public static void main(String[] args) throws IOException { conf.set("fs.default.name", "hdfs://data2.kt:8020/"); FileSystem fs = FileSystem.get(conf); RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false); }
} |
注：內容來自互聯網並輔以自己的理解，如有侵權，請聯系我刪除。
示例：執行 Hadoop fs -rm -f /文件路徑，將文件刪除時，文件並不是直接消失在系統中，而是被從當前目錄move到了所屬用戶的回收站中。保留時間（1440分鍾=24小時），24小時內，用戶可以去回收站找到這個文件，並且恢復它。24小時過后，系統會自動刪除這個文件，於是這個文件徹底被刪除了。
輸入命令：hdfs dfs -du /user/*
可以找到你的用戶相關的回收站文件 /user/fughting/.Trash/Current 文件
輸入命令：hdfs dfs -rm -r /user/fughting/.Trash/Current 就可以清空fighting這個用戶的回收站了
備注：
hadoop fs：使用面最廣，可以操作任何文件系統。
hadoop dfs與hdfs dfs：只能操作HDFS文件系統相關（包括與Local FS間的操作），前者已經Deprecated，一般使用后者。