Hadoop之HDFS的Shell腳本命令總結

https://www.cppentry.com/bencandy.php?fid=115&id=223457

一、HDFS的Shell的基本概念

1.調用文件系統(FS)Shell命令應使用 bin/hadoop fs 命令或 bin/hdfs dfs 命令的形式。[為了簡便，一般將bin目錄添加到path中]
2.所有的FS shell命令使用URI路徑作為參數。
　 URI格式是scheme://authority/path。HDFS的scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。例如：hdfs://namenode:namenodePort/parent/child，可以表示成/parent/child（假設配置文件是namenode:namenodePort）
3.大多數FS Shell命令的行為和對應的LINUX Shell命令類似。

二、HDFS的Shell命令

 

-help [cmd] //顯示命令的幫助信息

-ls(r) <path> //顯示當前目錄下所有文件

-du(s) <path> //顯示目錄中所有文件大小

-count[-q] <path> //顯示目錄中文件數量

-mv <src> <dst> //移動多個文件到目標目錄

-cp <src> <dst> //復制多個文件到目標目錄

-rm(r) //刪除文件(夾)

-put <localsrc> <dst> //本地文件復制到hdfs

-copyFromLocal //同put

-moveFromLocal //從本地文件移動到hdfs

-get [-ignoreCrc] <src> <localdst> //復制文件到本地，可以忽略crc校驗

-getmerge <src> <localdst> //將源目錄中的所有文件排序合並到一個文件中

-cat <src> //在終端顯示文件內容

-text <src> //在終端顯示文件內容

-copyToLocal [-ignoreCrc] <src> <localdst> //復制到本地

-moveToLocal <src> <localdst>

-mkdir <path> //創建文件夾

-touchz <path> //創建一個空文件

 

三、HDFS的Shell命令(練習)

#hadoop fs -ls / 查看HDFS根目錄
#hadoop fs -mkdir /test 在根目錄創建一個目錄test
#hadoop fs -put ./test.txt /test 或 #hadoop fs -copyFromLocal /test.txt /test 上傳文件
#hadoop fs -get /test/test.txt 或 #hadoop fs -getToLocal /test/test.txt 下載文件
#hadoop fs -rm /test1/test.txt 刪除文件
#hadoop fs -rmr /test1 刪除文件夾
#hadoop fs -mv /test/test.txt /test1 移動文件