最新Hadoop Shell完全講解

　　本文為原創博客，轉載請注明出處：http://www.cnblogs.com/MrFee/p/4683953.html 

 

1、appendToFile

 

　　　　功能：將一個或多個源文件系統的內容追加至目標文件系統

　　　　使用方法：hadoop fs -appendToFile 源文件1，源文件2... 目標文件

                　　　　　   hadoop fs -appendToFile /flume/web_output/part-r-00000     /flume/app_output/part-r-00000
2、cat 

　　　　功能：將指定URI下的文件內容輸出至stdout(在控制台打印)

　　　　使用方法：hadoop fs -cat URI

                　　　 hadoop fs -cat /flume/web_output/part-r-00000

 

3、chgrp

　　　　功能：改變文件所屬的組，使用 -R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。

　　　　使用方法：hadoop fs -chgrp [-R] group URI

               　　　　hadoop fs -chgrp -R hadoop /flume

 

4、chmod

　　　　功能：改變文件的權限，使用 -R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶

　　　　使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

            　　　     hadoop fs -chmod -R  777  /flume

5、chown

　　　　功能：改變文件的擁有者，使用-R使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。

　　　　使用方法：hadoop fs -chown [-R] [OWNER]   [ :[GROUP]]  URI 

                　　　 hadoop fs -chown -R hadoop_mapreduce:hadoop /flume

 

6、copyFromLocal

　　　　功能：和put命令的用法類似，除了源文件只能是本地，從linux文件系統或者其他文件系統拷貝文件至hdfs文件系統

　　　　使用方法：hadoop fs -copyFromLocal <localsrc> URI(localRemote)

                　　　 hadoop fs -copyFromLocal /usr/huawei/app /flume/app

 

7、copyToLocal

　　　　功能：和get方法相似，除了目標文件僅限於本地文件，將hdfs文件系統的文件拷貝至linux文件系統或者其他文件系統

　　　　使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

             　　　    hadoop fs -copyToLocal ignorecrc -crc /flume/app /usr/huawei/app

 

8、count

　　　　功能：根據指定的文件樣式去匹配路徑下的目錄、文件、字節並做統計。

　　　　使用方法： hadoop fs -count [-q] <paths>

               　　　  hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2

                 　　　hadooo fs -count -q hdfs://nn1.example.com/file1

 

9、cp

　　　　功能：將文件從源路徑復制到目標路徑，允許多個源路徑，目標路徑只能有一個

　　　　使用方法：hadoop fs -cp URI... <dest>

              　　　   hadoop fs -cp /user/app  /user/flume/app

 

10、du

　　　　功能：顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。如果指定一個目錄，則顯示出該目錄下所有文件/文件夾的大小

　　　　使用方法：hadoop fs -du URI [URI …
             　　　    hadoop fs -du /flume/app /flume/web

11、dus

　　功能：顯示文件的大小。

　　使用方法：hadoop fs -dus <args>

               　 hadoop fs -dus /flume/app

12、expunge

　　　　功能：清空回收站。請參考 HDFS設計文檔以獲取更多關於回收站特性的信息。

　　　　使用方法：hadoop fs -expunge

13、get

　　　　功能：復制文件到本地文件系統。可用 -ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。

　　　　使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst> 
               　　　  hadoop fs -get /flume/app /usr/huawei/app

    

14、getfacl

　　　　功能： 顯示文件和目錄的訪問控制列表(acl)。如果一個目錄有一個默認的ACL,那么getfacl也顯示默認的ACL。

　　　　使用方法:hadoop fs -getfacl [-R] <path>

            　　　   hadop fs -getfacl -R /flume

15、getmerge

　　　　功能：接受一個源目錄和一個目標文件作為輸入，並且將源目錄中所有的文件連接成本地目標文件。 addnl是可選的，用於指定在每個文件結尾添加一個換行符。

　　　　使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

 

16、ls

　　　　功能：如果是文件，則按照如下格式返回文件信息：

　　　　文件名 <副本數> 文件大小 修改日期 修改時間 權限 用戶ID 組ID 
　　　　如果是目錄，則返回它直接子文件的一個列表，就像在Unix中一樣。目錄返回列表的信息如下：
　　　　目錄名 <dir> 修改日期 修改時間 權限 用戶ID 組ID 
　　　　使用方法：hadoop fs -ls <args>
             　　　   hadoop fs -ls /user/hadoop 

 

17、lsr

　　　　功能： ls命令的遞歸版本。類似於Unix中的ls -R。

　　　　使用方法：hadoop fs -lsr <args> 
               　　　 hadoop fs -lsr /flume

18、mkdir

　　　　功能：接受路徑指定的uri作為參數，創建這些目錄。其行為類似於Unix的mkdir -p，它會創建路徑中的各級父目錄。
　　　　使用方法：hadoop fs -mkdir [-p] <paths> 
               　　    hadoop fs -mkdir /a/b/c

19、movefromLocal

　　　　功能：和put方法類似，從本地移動文件到hdfs

　　　　使用方法：hadoop fs -moveFromLocal <src> <dst>
          　　　　  hadoop fs -moveFromLocal /usr/local/* /user/flume/

 

20、moveToLocal

　　　　功能：將hdfs文件移動到本地文件系統

　　　　使用方法：hadoop fs -moveToLocal [-crc] <src> <dst>

               　　　  hadoop fs -moveToLocal -crc /user/hadoop_hdfs/* /usr/local/

21、mv

　　　　功能：將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。不允許在不同的文件系統間移動文件。

　　　　使用方法：hadoop fs -mv URI [URI …] <dest>
            　　　　hadoop fs -mv /user/flume /user/hadoop

22、put

　　　　功能：從本地文件系統中復制單個或多個源路徑到目標文件系統。也支持從標准輸入中讀取輸入寫入目標文件系統。

　　　　使用方法：hadoop fs -put <localsrc> ... <dst>

              　　　   hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

 

23、rm

　　　　功能：刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令了解遞歸刪除。
　　　　使用方法：hadoop fs -rm URI [URI …]

               　　　　hadoop fs -rm /flume

               　　　　hadoop fs -rm /flume/app/LogParser.jar

24、rmr

　　　　功能：delete的遞歸版本。如果指定-skipTrash選項,垃圾,如果啟用,會繞過和指定的文件(s)立即刪除

　　　　使用方法：hadoop fs -rmr URI [URI …]
          　　　       hadoop fs -rmr /flume

25、setrep

　　　　功能：改變一個文件的副本系數。-R選項用於遞歸改變目錄下所有文件的副本系數。

　　　　使用方法：  hadoop fs -setrep [-R] [-w] <numReplicas> <path>
               　　　    hadoop fs -setrep  -R -w 3 /user/flume

26、stat

　　　　功能：返回指定路徑的統計信息。

　　　　使用方法：hadoop fs -stat URI [URI …]

               　　　  hadoop fs -stat/flume

27、tail

　　　　功能：將文件尾部1K字節的內容輸出到stdout。支持-f選項，行為和Unix中一致。
　　　　使用方法：hadoop fs -tail [-f] URI
             　　　    hadoop fs -tail /flume

28、test

　　　　功能：測試檢查目錄或者文件是否存在

　　　　使用方法：hadoop fs -test -[ezd] URI
　　　　選項：
   　　　　 -e 檢查文件是否存在。如果存在則返回0。
   　　　　 -z 檢查文件是否是0字節。如果是則返回0。 

　　-d 如果路徑是個目錄，則返回1，否則返回0。

29、text

　　　　功能：源文件和輸出文件為文本格式。允許的格式是zip和TextRecordInputStream。

　　　　使用方法：hadoop fs -text <src> 

 

30、touchz

　　　　功能：創建一個0字節的空文件。

　　　　使用方法：hadoop fs -touchz URI [URI …] 
　　　　　　　　　hadoop -touchz pathname