一、HDFS的shell命令簡介

我們都知道HDFS 是存取數據的分布式文件系統，那么對HDFS 的操作，就是文件系統的基本操作，比如文件的創建、修改、刪除、修改權限等，文件夾的創建、刪除、重命名等。對HDFS 的操作命令類似於lLinux 的shell 對文件的操作，如ls、mkdir、rm 等。
我們在執行HDFS的shell操作的時候，一定要確定hadoop 是正常運行的，我們可以使用使用jps 命令確保看到各個hadoop 進程。
我們可以執行命令hadoop fs，來查看HDFS的shell操作的所有命令如下。
[root@hadoop ~]# hadoop fs
Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

二、HDFS的shell操作命令選項

選項名稱	使用格式	含義
-ls	-ls <路徑>	查看指定路徑的當前目錄結構
-lsr	-lsr <路徑>	遞歸查看指定路徑的目錄結構
-du	-du <路徑>	統計目錄下各文件大小
-dus	-dus <路徑>	匯總統計目錄下文件(夾)大小
-count	-count [-q] <路徑>	統計文件(夾)數量
-mv	-mv <源路徑> <目的路徑>	移動
-cp	-cp <源路徑> <目的路徑>	復制
-rm	-rm [-skipTrash] <路徑>	刪除文件/空白文件夾
-rmr	-rmr [-skipTrash] <路徑>	遞歸刪除
-put	-put <多個linux上的文件> <hdfs 路徑>	上傳文件
-copyFromLocal	-copyFromLocal <多個linux 上的文件> <hdfs 路徑>	從本地復制
-moveFromLocal	-moveFromLocal <多個linux 上的文件> <hdfs 路徑>	從本地移動
-getmerge	-getmerge <源路徑> <linux 路徑>	合並到本地
-cat	-cat <hdfs 路徑>	查看文件內容
-text	-text <hdfs 路徑>	查看文件內容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路徑] [linux 目的路徑]	復制到本地
-moveToLocal	-moveToLocal [-crc] <hdfs 源路徑> <linux目的路徑>	移動到本地
-setrep	-setrep [-R] [-w] <副本數> <路徑>	修改副本數量
-mkdir	-mkdir <hdfs 路徑>	創建空白文件夾
-touchz	-touchz <文件路徑>	創建空白文件
-stat	-stat [format] <路徑>	顯示文件統計信息
-tail	-tail [-f] <文件>	查看文件尾部信息
-chmod	-chmod [-R] <權限模式> [路徑]	修改權限
-chown	-chown [-R] [屬主][:[屬組]]路徑	修改屬主
-chgrp	-chgrp [-R] 屬組名稱路徑	修改屬組
-help	-help -help [命令選項]	幫助

三、各命令選項的用法

1. ls 顯示當前目錄結構

(1) 該命令選項表示查看指定路徑的當前目錄結構，后面跟hdfs 路徑，如果下圖所示

我們解釋一下每一行的內容格式：

① 首字母表示文件夾(如果是“d”)還是文件（如果是“-”）；
② 后面的9 位字符表示權限；
③ 后面的數字或者“-”表示副本數。如果是文件，使用數字表示副本數；文件夾沒有副本；
④ 后面的“root”表示屬主；
⑤ 后面的“supergroup”表示屬組；
⑥ 后面的“0”、“ 84927175”表示文件大小，單位是字節；
⑦ 后面的時間表示修改時間，格式是年月日時分；
⑧ 最后一項表示文件路徑。
可見根目錄下面有1個文件夾、1個文件。

(2) 如果該命令選項后面沒有路徑，那么就會訪問/user/<當前用戶>目錄。我們使用root用戶登錄，因此會訪問hdfs 的/user/root 目錄，但是如果沒有這個目錄/user/root，會提示文件不存在的錯誤如圖3.1所示，添加該目錄后再次執行該命令如圖3.2,3.3所示。