hadoop常用操作命令


 

1.列出根目錄下所有的目錄或文件

hadoop dfs -ls /

2.列出/user目錄下的所有目錄和文件

Hadoop  dfs  -ls  /user

3.列出/user目錄及其子目錄下的所有文件(謹慎使用)

hadoop dfs -ls -R /user

4.創建/soft目錄

hadoop dfs -mkdir /soft

5.創建多級目錄

hadoop dfs -mkdir -p /apps/windows/2017/01/01

6.將本地的wordcount.jar文件上傳到/wordcount目錄下

hadoop dfs -put wordcount.jar /wordcount

7.下載words.txt文件到本地

hadoop dfs -get /words.txt 

8.將/stu/students.txt文件拷貝到本地

hadoop dfs -copyToLocal /stu/students.txt

 

9.將word.txt文件拷貝到/wordcount/input/目錄

hadoop dfs -copyFromLocal word.txt /wordcount/input 

10.將word.txt文件從本地移動到/wordcount/input/目錄下

hadoop dfs -moveFromLocal word.txt /wordcount/input/

11.將/stu/students.txt拷貝一份為/stu/students.txt.bak

hadoop dfs -cp /stu/students.txt /stu/students.txt.bak 

12.將/flume/tailout/目錄下的子目錄或文件都拷貝到/logs目錄(如果此目錄不存在會創建)下

hadoop dfs -cp /flume/tailout/ /logs 

13.將/word.txt文件重命名為/words.txt

hadoop dfs -mv /word.txt /words.txt

14.將/words.txt文件移動到/wordcount/input/目錄下

hadoop dfs -mv /words.txt /wordcount/input/

15.將/ws目錄以及子目錄和文件都刪除(謹慎使用)

hadoop dfs -rm -r /ws 

16.刪除以"xbs-"開頭的目錄及其子目錄

hadoop dfs -rm -r /xbs-*

 

 

17.將/wordcount/output2/目錄下的a.txt文件刪除

hadoop dfs -rm /wordcount/output2/a.txt 

18.將/wordcount/input/目錄下面的所有文件都刪除

hadoop dfs -rm /wordcount/input/*

19.查看HDFS集群的磁盤空間使用情況

hadoop dfs -df -h 

20.查看/word.txt文件的內容

hadoop dfs -cat /word.txt 

21.將name.txt文件中的內容添加到/wordcount/input/words.txt文件中

hadoop dfs -appendToFile name.txt /wordcount/input/words.txt

22.動態查看/wordcount/input/words.txt文件的內容

hadoop dfs -tail -f /wordcount/input/words.txt

23.統計/flume目錄總大小

hadoop dfs -du -s -h /flume

 

24.分別統計/flume目錄下各個子目錄(或文件)大小

hadoop dfs -du -s -h /flume/*

25.運行jar包中的程序

//hadoop jar + 要執行的jar包 + 要運行的類 + 輸入目錄 + 輸出目錄
hadoop jar wordcount.jar com.xuebusi.hadoop.mr.WordCountDriver /wordcount/input /wordcount/out

 

26.查看hdfs集群狀態

hdfs dfsadmin -report

 View Code

27.查看hadoop fs命令使用幫助

 View Code

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM