HDFS常用命令總結

執行以下命令需要在hadoop安裝目錄下的bin目錄中執行，比如我的安裝路徑是/opt/module/hadoop-2.7.2，那么就在/opt/module/hadoop-2.7.2/bin目錄下執行。

 

1. -help：顯示幫助信息

hadoop fs -help rm

 

2. -ls：顯示目錄信息

hadoop fs -ls /

 

3. -mkdir：在HDFS上創建目錄

hadoop fs -mkdir -p /user/ysir

 

4. -moveFromLocal：從本地剪切粘貼到HDFS

hadoop fs -moveFromLocal ~/test.txt /home/ysir/

 

5. -appendToFile：追加一個文件到已經存在的文件末尾

hadoop fs -appendToFile /a.txt /b.txt

 

6. -cat：顯示文件內容

hadoop fs -cat /user/ysir/a.txt

 

7. -chmod、-chown：修改文件權限、所有者

hadoop fs -chmod 777 /a.txt
hadoop fs -chown admin:ysir /a.txt

 

8. -copyFromLocal：從本地文件系統中拷貝文件到HDFS中

hadoop fs -copyFromLocal a.txt /

 

9. copyToLocal：從HDFS拷貝到本地

hadoop fs -copyToLocal /a.txt ~/

 

10. -cp：在HDFS中拷貝文件

hadoop fs -cp /aaa/a.txt /bbb/

 

11. -mv：在HDFS目錄中移動文件

hadoop fs -mv /aaa/a.txt /bbb/ 

 

12. -get：從HDFS中拷貝到本地，等同於copyToLocal

hadoop fs -get /aaa/a.txt

 

13. -getmerge：合並下載多個文件

hadoop fs -getmerge /logs/* ~/logs.log # 將HDFS上/logs/路徑下的所有文件合並下載到本地~/logs.log文件中

 

14. -put：將本地文件上傳到HDFS，等同於copyFromLocal

hadoop fs -put ~/a.txt /

 

15. -tail：顯示文件末尾的內容  

hadoop fs -tail /a.txt

 

16. -rm：刪除文件夾或者文件

hadoop fs -rm /user/ysir/a.txt

 

17. -rmdir：刪除空目錄

hadoop fs -mkdir /temp

 

18. -du：統計文件夾的大小信息

hadoop fs -du -s -h /temp

 

19. -setrep：設置HDFS文件中的副本數量

hadoop fs -setrep 5 /a.txt