1,-mkdir
創建目錄
Usage:hdfs dfs -mkdir [-p] < paths>
選項:-p
很像Unix mkdir -p,沿路徑創建父目錄。
2,-ls
查看目錄下內容,包括文件名,權限,所有者,大小和修改時間
Usage:hdfs dfs -ls [-R] < args>
選項:-R
遞歸地顯示子目錄下的內容
3,-put
將本地文件或目錄上傳到HDFS中的路徑
Usage:hdfs dfs -put < localsrc> … < dst>
4,-get
將文件或目錄從HDFS中的路徑拷貝到本地文件路徑
Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
選項:
-ignorecrc選項復制CRC校驗失敗的文件。
-crc選項復制文件和CRC。
5,-du
顯示給定目錄中包含的文件和目錄的大小或文件的長度,用字節大小表示,文件名用完整的HDFS協議前綴表示,以防它只是一個文件。
Usage:hdfs dfs -du [-s] [-h] URI [URI …]
選項:
-s選項將顯示文件長度的匯總摘要,而不是單個文件。
-h選項將以“人類可讀”的方式格式化文件大小(例如64.0m而不是67108864)
6,-dus
顯示文件長度的摘要。
Usage:hdfs dfs -dus < args>
注意:不推薦使用此命令。而是使用hdfs dfs -du -s。
7,-mv
在HDFS文件系統中,將文件或目錄從HDFS的源路徑移動到目標路徑。不允許跨文件系統移動文件。
Usage: hdfs dfs -mv URI [URI …] < dest>
8,-cp
在HDFS文件系統中,將文件或目錄復制到目標路徑下
Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
選項:
-f選項覆蓋已經存在的目標。
-p選項將保留文件屬性[topx](時間戳,所有權,權限,ACL,XAttr)。如果指定了-p且沒有arg,則保留時間戳,所有權和權限。如果指定了-pa,則還保留權限,因為ACL是一組超級權限。確定是否保留原始命名空間擴展屬性與-p標志無關。
9,-copyFromLocal
從本地復制文件到hdfs文件系統(與-put命令相似)
Usage: hdfs dfs -copyFromLocal < localsrc> URI
選項:
如果目標已存在,則-f選項將覆蓋目標。
10,-copyToLocal
復制hdfs文件系統中的文件到本地 (與-get命令相似)
Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>
11,-rm
刪除一個文件或目錄
Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
選項:
如果文件不存在,-f選項將不顯示診斷消息或修改退出狀態以反映錯誤。
-R選項以遞歸方式刪除目錄及其下的任何內容。
-r選項等效於-R。
-skipTrash選項將繞過垃圾桶(如果已啟用),並立即刪除指定的文件。當需要從超配額目錄中刪除文件時,這非常有用。
12,-cat
顯示文件內容到標准輸出上。
Usage:hdfs dfs -cat URI [URI …]
13,-text
Usage: hdfs dfs -text
獲取源文件並以文本格式輸出文件。允許的格式為zip和TextRecordInputStream。
14,-touchz
創建一個零長度的文件。
Usage:hdfs dfs -touchz URI [URI …]
15,-stat
顯示文件所占塊數(%b),文件名(%n),塊大小(%n),復制數(%r),修改時間(%y%Y)。
Usage:hdfs dfs -stat URI [URI …]
16,-tail
顯示文件的最后1kb內容到標准輸出
Usage:hdfs dfs -tail [-f] URI
選項:
-f選項將在文件增長時輸出附加數據,如在Unix中一樣。
17,-count
統計與指定文件模式匹配的路徑下的目錄,文件和字節數
Usage: hdfs dfs -count [-q] [-h] < paths>
18,-getmerge
將源目錄和目標文件作為輸入,並將src中的文件連接到目標本地文件(把兩個文件的內容合並起來)
Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
注:合並后的文件位於當前目錄,不在hdfs中,是本地文件
19,-grep
從hdfs上過濾包含某個字符的行內容
Usage:hdfs dfs -cat < srcpath> | grep 過濾字段