hadoop HDFS常用文件操作命令


命令基本格式:

hadoop fs -cmd < args >

1. ls  列出hdfs文件系統根目錄下的目錄和文件

hadoop fs -ls  /dir
hadoop fs -ls -R /dir                   --列出hdfs文件系統所有的目錄和文件 

2.put

hadoop fs -put   <local file>  <hdfs file>      --hdfs file的父目錄一定要存在,否則命令不會執行

hadoop fs -put <local file or dir> <hdfs dir>    --hdfs dir 一定要存在,否則命令不會執行
hadoop fs -put - <hdfs file>  --從鍵盤讀取輸入到hdfs file中,按Ctrl+D結束輸入,hdfs file不能存在,否則命令不會執行

3.get

hadoop fs -get <hdfs file> <local file or dir>    --local file不能和 hdfs file名字不能相同,否則會提示文件已存在,沒有重名的文件會復制到本地
hadoop fs -get < hdfs file or dir > ... < local  dir >
拷貝多個文件或目錄到本地時,本地要為文件夾路徑
注意:如果用戶不是root, local 路徑要為用戶文件夾下的路徑,否則會出現權限問題,

4.rm

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

5.mkdir

hadoop fs -mkdir  <hdfs path>  --只能一級一級的建目錄,父目錄不存在的話使用這個命令會報錯
hadoop fs -mkdir -p <hdfs path>   --所創建的目錄如果父目錄不存在就創建該父目錄

6.cp

hadoop fs -cp <hdfs file>  <hdfs file>
-- 目標文件不能存在,否則命令不能執行,相當於給文件重命名並保存,源文件還存在
hadoop fs -cp <hdfs file or dir> <hdfs dir> --目標文件夾要存在,否則命令不能執行

8.mv   移動

hadoop fs -mv <hdfs file>  <hdfs file>

目標文件不能存在,否則命令不能執行,相當於給文件重命名並保存,源文件不存在

hadoop fs -mv  < hdfs file or dir >...  < hdfs dir >
源路徑有多個時,目標路徑必須為目錄,且必須存在。
注意:跨文件系統的移動(local到hdfs或者反過來)都是不允許的

9.count 

hadoop fs -count <hdfs path>  --統計hdfs對應路徑下的目錄個數,文件個數,文件總計大小

10.text

hadoop fs -text < hdsf file>
將文本文件或某些格式的非文本文件通過文本格式輸出

11.cat

hadoop fs -cat <hdfs file>/*

hadoop fs -cat /user/hive/back/hs_ods/clientinfo/* >clientinfo.txt
-- 將文件保存到local 文件

 補充知識:

MR的運行依賴數據地址,如果數據地址不存在,則會報錯

 12. 在打開的結果中搜索

hadoop dfs -cat /user/hive/warehouse/fundmarket/* |grep '華夏'

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM