Hadoop學習筆記(2)-HDFS的基本操作(Shell命令)


在這里我給大家繼續分享一些關於HDFS分布式文件的經驗哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序設計。在前面我已經寫了關於如何去搭建hadoop這樣一個大數據平台,還沒搭好環境的童鞋可以轉到我寫的這篇文章Hadoop在Ubuntu的安裝,接下來就開始我們本次的經驗分享啦。

HDFS的Shell命令操作

HDFS的格式化與啟動

首次使用HDFS時,需要使用format 命令進行格式化

./bin/hdfs namenode -format

使用start-dfs.sh命令啟動HDFS,可 使用JPS命令查看是否成功啟動

./sbin/start-dfs.sh

下面的圖片是啟動失敗的截圖,那么怎么解決這個問題呢。

HDFS啟動失敗

首先需要停止hdfs,這也是操作完hdfs的必要步驟。

./sbin/stop-dfs.sh

刪除tmp/dfs目錄下的data文件夾

rm -r ./tmp/dfs/data

最后重新執行HDFS的格式化與啟動操作。

啟動成功包括出現NameNode、SecondDaryNameNode、以及DataNode。

HDFS支持的命令

查看hdfs支持的所有命令

./bin/hdfs dfs

Ps:查看hadoop下put的使用方法

./bin/hadoop fs -help put

HDFS文件系統中目錄創建操作

創建用戶目錄

Hadoop系統安裝好以后,第一次使用HDFS時,需要首先在HDFS中創建用戶目錄。

./bin/hdfs dfs -mkdir -p /user/hadoop

用查詢命令查看我們在路徑user下面創建的文件夾hadoop

./bin/hdfs dfs -ls /user

創建二級目錄

在hadoop目錄下再創建一個input文件夾

./bin/hdfs dfs -mkdir /user/hadoop/input

根目錄下創建目錄

在hadoop根目錄下創建一個input文件夾

./bin/hdfs dfs -mkdir /input

HDFS文件系統中目錄刪除操作

刪除在hadoop根目錄下面創建的input文件夾

./bin/hdfs dfs -rm -r /input

可以看到,hadoop根目錄下的input文件夾已經被我們成功刪除,現在只有存在user目錄。

Hadoop的文件操作

創建文件的方式

在當前環境目錄下創建hello.txt文件,這里介紹兩種方法。
number one

touch hello.txt

打開hello.txt文件,並寫入如下內容並保存。

hello world

gedit hello.txt

number t two
利用vim編輯創建hello.txt。

vim hello.txt

關於vim怎么建立簡單的文本文件我就不在這里解釋了,不會的童鞋可以找找度娘。

傳輸文件

利用put命令將創建的hello.txt文件上傳到user/hadoop/input的目錄

./bin/hdfs dfs -put ./hello.txt  /user/hadoop/input
/bin/hdfs dfs -ls /user/hadoop/input

在user/hadoop/input目錄下利用cat命令查看hello.txt文件內容

./bin/hdfs dfs  -cat /user/hadoop/input/hello.txt

HDFS中的文件下載到本地文件系統

使用-get命令將HDFS中的hello.txt文件下載到本地文件系統中的/home/hadoop/Desktop這個目錄下:

./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/Desktop


本次給大家分享的內容就到這里啦,覺得還不錯的點個贊支持一下小編,你的肯定就是小編前進的動力。另外如果想了解更多計算機專業的知識和技巧的,獻上我的個人博客北徯,另外需要各種資料的童鞋,可以關注我的微信公眾號北徯,免費的PPT模板,各種資料等你來領。
北徯


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM