具體操作：
hadoop fs -ls file:/// 訪問是本地系統
hadoop fs -ls hdfs://node-1:8020/ 訪問是hdfs文件系統
hadoop fs -ls gfs://node-1:9999/ 訪問是谷歌文件系統
hadoop fs -ls / 如果不指定文件系統的協議 就會訪問默認文件系統 fs.defaultFS
1.1． Shell 命令選項
| 選項名稱 |
使用格式 |
含義 |
| -ls |
-ls <路徑> |
查看指定路徑的當前目錄結構 |
| -lsr |
-lsr <路徑> |
遞歸查看指定路徑的目錄結構 |
| -du |
-du <路徑> |
統計目錄下個文件大小 |
| -dus |
-dus <路徑> |
匯總統計目錄下文件(夾)大小 |
| -count |
-count [-q] <路徑> |
統計文件(夾)數量 |
| -mv |
-mv <源路徑> <目的路徑> |
移動 |
| -cp |
-cp <源路徑> <目的路徑> |
復制 |
| -rm |
-rm [-skipTrash] <路徑> |
刪除文件/空白文件夾 |
| -rmr |
-rmr [-skipTrash] <路徑> |
遞歸刪除 |
| -put |
-put <多個linux上的文件> <hdfs路徑> |
上傳文件 |
| -copyFromLocal |
-copyFromLocal <多個linux上的文件> <hdfs路徑> |
從本地復制 |
| -moveFromLocal |
-moveFromLocal <多個linux上的文件> <hdfs路徑> |
從本地移動 |
| -getmerge |
-getmerge <源路徑> <linux路徑> |
合並到本地 |
| -cat |
-cat <hdfs路徑> |
查看文件內容 |
| -text |
-text <hdfs路徑> |
查看文件內容 |
| -copyToLocal |
-copyToLocal [-ignoreCrc] [-crc] [hdfs源路徑] [linux目的路徑] |
從本地復制 |
| -moveToLocal |
-moveToLocal [-crc] <hdfs源路徑> <linux目的路徑> |
從本地移動 |
| -mkdir |
-mkdir <hdfs路徑> |
創建空白文件夾 |
| -setrep |
-setrep [-R] [-w] <副本數> <路徑> |
修改副本數量 |
| -touchz |
-touchz <文件路徑> |
創建空白文件 |
| -stat |
-stat [format] <路徑> |
顯示文件統計信息 |
| -tail |
-tail [-f] <文件> |
查看文件尾部信息 |
| -chmod |
-chmod [-R] <權限模式> [路徑] |
修改權限 |
| -chown |
-chown [-R] [屬主][:[屬組]] 路徑 |
修改屬主 |
| -chgrp |
-chgrp [-R] 屬組名稱路徑 |
修改屬組 |
| -help |
-help [命令選項] |
幫助 |
1.2． Shell常用命令介紹
-ls
使用方法：hadoop fs -ls [-h] [-R] <args>
功能：顯示文件、目錄信息。
示例：hadoop fs -ls /user/hadoop/file1
-mkdir
使用方法：hadoop fs -mkdir [-p] <paths>
功能：在hdfs上創建目錄，-p表示會創建路徑中的各級父目錄。
示例：hadoop fs -mkdir –p /user/hadoop/dir1
-put
使用方法：hadoop fs -put [-f] [-p] [ -|<localsrc1> .. ]. <dst>
功能：將單個src或多個srcs從本地文件系統復制到目標文件系統。
-p：保留訪問和修改時間，所有權和權限。
-f：覆蓋目的地（如果已經存在）
示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
-get
使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>
-ignorecrc：跳過對下載文件的CRC檢查。
-crc：為下載的文件寫CRC校驗和。
功能：將文件復制到本地文件系統。
示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile
-appendToFile
使用方法：hadoop fs -appendToFile <localsrc> ... <dst>
功能：追加一個文件到已經存在的文件末尾
示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile
-cat
使用方法：hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能：顯示文件內容到stdout
示例：hadoop fs -cat /hadoop/hadoopfile
-tail
使用方法：hadoop fs -tail [-f] URI
功能：將文件的最后一千字節內容顯示到stdout。
-f選項將在文件增長時輸出附加數據。
示例：hadoop fs -tail /hadoop/hadoopfile
-chgrp
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI ...]
功能：更改文件組的關聯。用戶必須是文件的所有者，否則是超級用戶。
-R將使改變在目錄結構下遞歸進行。
示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile
-chmod
功能：改變文件的權限。使用-R將使改變在目錄結構下遞歸進行。
示例：hadoop fs -chmod666 /hadoop/hadoopfile
-chown
功能：改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。
示例：hadoop fs -chownsomeuser:somegrp /hadoop/hadoopfile
-copyFromLocal
使用方法：hadoop fs -copyFromLocal <localsrc> URI
功能：從本地文件系統中拷貝文件到hdfs路徑去
示例：hadoop fs -copyFromLocal /root/1.txt/
-copyToLocal
功能：從hdfs拷貝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
-cp
功能：從hdfs的一個路徑拷貝hdfs的另一個路徑
示例： hadoop fs -cp/aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-mv
功能：在hdfs目錄中移動文件
示例： hadoop fs -mv/aaa/jdk.tar.gz /
-getmerge
功能：合並下載多個文件
示例：比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
-rm
功能：刪除指定的文件。只刪除非空目錄和文件。-r 遞歸刪除。
示例：hadoop fs -rm -r /aaa/bbb/
-df
功能：統計文件系統的可用空間信息
示例：hadoop fs -df-h /
-du
功能：顯示目錄中所有文件大小，當只指定一個文件時，顯示此文件的大小。
示例：hadoop fs -du /user/hadoop/dir1
-setrep
功能：改變一個文件的副本系數。-R選項用於遞歸改變目錄下所有文件的副本系數。
示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1
- 進行副本設置修改的操作 需要hdfs集群配合文件進行數據復制 降低對外提供正常服務能力
- 通常一批文件設置為幾個副本 在上傳前就需要決定好