Hadoop中的一些基本操作


先粗略說一下“hadoop fs”和“hadoop dfs”的區別:fs是各比較抽象的層面,在分布式環境中,fs就是dfs,但在本地環境中,fs是local file system,這個時候dfs不可用。

1、列出HDFS文件:

?
1
hadoop fs –ls

 

    a) –ls后面不跟任何內容的話是列出HDFS的"/user/用戶名/"目錄下的內容

    b) 如果要列出某個文件夾中的內容,則-ls后面跟該文件夾的路徑,例如列出input中的內容:

?
1
hadoop fs –ls input

 

2、在HDFS中創建文件夾:

?
1
hadoop fs –mkdir 文件夾的名字

 

    例如:

?
1
hadoop fs –mkdir input

3、刪除HDFS中的文件或文件夾

?
1
hadoop fs –rmr  文件夾名或者文件名

 

4、上傳文件到HDFS:

?
1
hadoop fs –put ~/file test

 

    將本機中的file文件上傳到HDFS上並重命名為test。

    如果要上傳到某個文件夾中,則將test改為文件夾的地址,此時,上傳的文件名稱不會改變,例如將本地文件

夾test中的文件test1.txt,test2.txt,test3.txt上傳到HDFS中的input中:

?
1
hadoop fs –put ~/test/test*.txt input

 

5、查看HDFS下的某個文件:

?
1
  hadoop fs –cat 文件路徑

 

    例如查看input中的test文件的內容:

?
1
hadoop fs –cat input/test

 

6、將HDFS中的文件復制到本地系統中:

?
1
hadoop fs –get HDFS中的文件名本地系統中的文件名 本地存放地址

 

    例如:將HDFS中的output文件復制到本地系統Documents文件夾中

?
1
hadoop fs –get output /home/kevin/Documents/

7、進入/退出安全模式

    有時,在hadoop啟動時不能對文件系統進行如創建文件,刪除文件之類的操作,此時,文件系統所處的狀 態叫做安全模式,用途大家可以到網上搜一搜,筆者不在這里贅述(由於筆者屬於初學者,HDFS上的東西還不多,節點也不多,所以筆者一般開啟Hadoop后,不管有沒有在安全模式,先輸退出安全模式的命令)。

?
1
2
hadoop dfsadmin –safemode enter
hadoop dfsadmin –safemode leave


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM