Hadoop fs 使用方法


hdfs的基本命令

hdfs dfs -help    查看幫助

在HDFS的文件系統中,HDFS只支持絕對路徑

1.-ls: 顯示目錄信息

hadoop fs -ls /

列出指定目錄下的內容

2.-lsr: 遞歸顯示文件信息

hadoop fs  -lsr  /

遞歸列出該路徑下所有子目錄信息

3.-mkdir:在hdfs上創建目錄

hadoop fs -mkdir -p /user/data 

在指定位置創建目錄

4.-moveFromLocal從本地剪切粘貼到hdfs

hadoop fs -moveFromLocal /opt/test/xx.zip  /user/data

從本地系統拷貝文件到dfs中,拷貝完刪除源文件

5.--appendToFile :追加一個文件到已經存在的文件末尾

touch note.txt

vi note.txt

hadoop fs -appendToFile note.txt  /user/wcinput/wc.input

6.-cat :顯示文件內容

hadoop fs -cat  /user/wcinput/wc.input

輸出文件內容

7.-tail:顯示一個文件的末尾

hadoop fs -tail /user/wcinput/wc.input

8.-chgrp 、-chmod、-chown:linux文件系統中的用法一樣,修改文件所屬權限

hadoop fs -chmod 777 /user/wcinput/wc.input
hadoop fs -chown root:root /user/wcinput/wc.input

9.-copyFromLocal:從本地文件系統中拷貝文件到hdfs路徑去

cd /opt/test
rz xiaowangzi.txt
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/
hadoop fs -copyFromLocal /opt/test/xiaowangzi.txt /user/input/小王子.txt

 從dfs中拷貝文件到本地系統

10.-copyToLocal:從hdfs拷貝到本地

cd /opt
mkdir download
hadoop fs -copyToLocal /user/input/小王子.txt /opt/download/tonghua.txt

11.-cp :從hdfs的一個路徑拷貝到hdfs的另一個路徑

hadoop fs -cp /user/input/xiaowangzi.txt  /xiaowangzi.txt   #拷貝到根路徑

12.-mv:在hdfs目錄中移動文件

hadoop fs -mkdir -p /user/output
hadoop fs -mv /xiaowangzi.txt /user/output/

13.-get:等同於copyToLocal,就是從hdfs下載文件到本地

cd /opt
mkdir download
hadoop fs -get /user/input/xiaowangzi.txt /opt/download/

14.-getmerge :合並下載多個文件,比如hdfs的目錄 /aaa/下有多個文件:log.1

hadoop fs -getmerge /user/input/*  /all.txt

15.-put:等同於copyFromLocal

cd /opt
cd test

hadoop fs -put test.txt /user/input/test/

16.-rm:刪除文件或文件夾

hadoop fs -rm -r -f  /user/input/xiaowangzi.txt

17.-rmdir:刪除空目錄

hadoop fs -mkdir /test
hadoop fs -mkdir /test

18.-df :統計文件系統的可用空間信息

hadoop fs -df -h  /

19.-du統計文件夾的大小信息

hadoop fs -du -s -h /user

20.-touthz: 創建一個空文件

hadoop fs -touchz  /kong.txt

21.-count: 查看某路徑下文件的數量

hadoop fs -count  /user/

22.-setrep:設置hdfs中文件的副本數量

hadoop fs -setrep 2 /user/input/xiaowangzi.txt

23.fsck:查看某個文件的詳細信息

hadoop fsck  /user/input/xiaowangzi.txt -files -blocks -locations  -racks 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM