hdfs的基本命令
hdfs dfs -help 查看幫助
在HDFS的文件系統中,HDFS只支持絕對路徑
1.-ls: 顯示目錄信息
hadoop fs -ls /
列出指定目錄下的內容
2.-lsr: 遞歸顯示文件信息
hadoop fs -lsr /
遞歸列出該路徑下所有子目錄信息
3.-mkdir:在hdfs上創建目錄
hadoop fs -mkdir -p /user/data
在指定位置創建目錄
4.-moveFromLocal從本地剪切粘貼到hdfs
hadoop fs -moveFromLocal /opt/test/xx.zip /user/data
從本地系統拷貝文件到dfs中,拷貝完刪除源文件
5.--appendToFile :追加一個文件到已經存在的文件末尾
touch note.txt
vi note.txt
hadoop fs -appendToFile note.txt /user/wcinput/wc.input
6.-cat :顯示文件內容
hadoop fs -cat /user/wcinput/wc.input
輸出文件內容
7.-tail:顯示一個文件的末尾
hadoop fs -tail /user/wcinput/wc.input
8.-chgrp 、-chmod、-chown:linux文件系統中的用法一樣,修改文件所屬權限
hadoop fs -chmod 777 /user/wcinput/wc.input
hadoop fs -chown root:root /user/wcinput/wc.input
9.-copyFromLocal:從本地文件系統中拷貝文件到hdfs路徑去
cd /opt/test
rz xiaowangzi.txt
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/小王子.txt
從dfs中拷貝文件到本地系統
10.-copyToLocal:從hdfs拷貝到本地
cd /opt
mkdir download
hadoop fs -copyToLocal /user/input/小王子.txt /opt/download/tonghua.txt
11.-cp :從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop fs -cp /user/input/xiaowangzi.txt /xiaowangzi.txt #拷貝到根路徑
12.-mv:在hdfs目錄中移動文件
hadoop fs -mkdir -p /user/output
hadoop fs -mv /xiaowangzi.txt /user/output/
13.-get:等同於copyToLocal,就是從hdfs下載文件到本地
cd /opt
mkdir download
hadoop fs -get /user/input/xiaowangzi.txt /opt/download/
14.-getmerge :合並下載多個文件,比如hdfs的目錄 /aaa/下有多個文件:log.1
hadoop fs -getmerge /user/input/* /all.txt
15.-put:等同於copyFromLocal
cd /opt
cd test
hadoop fs -put test.txt /user/input/test/
16.-rm:刪除文件或文件夾
hadoop fs -rm -r -f /user/input/xiaowangzi.txt
17.-rmdir:刪除空目錄
hadoop fs -mkdir /test
hadoop fs -mkdir /test
18.-df :統計文件系統的可用空間信息
hadoop fs -df -h /
19.-du統計文件夾的大小信息
hadoop fs -du -s -h /user
20.-touthz: 創建一個空文件
hadoop fs -touchz /kong.txt
21.-count: 查看某路徑下文件的數量
hadoop fs -count /user/
22.-setrep:設置hdfs中文件的副本數量
hadoop fs -setrep 2 /user/input/xiaowangzi.txt
23.fsck:查看某個文件的詳細信息
hadoop fsck /user/input/xiaowangzi.txt -files -blocks -locations -racks