【實驗目的】
1)熟練hdfs shell命令操作
2)理解hdfs shell和linux shell命令
【實驗原理】
安裝好hadoop環境之后,可以執行hdfs shell命令對hdfs 的空間進行操作。我們通過命令行和HDFS打交道,進一步增加對HDFS的認識,HDFS命令行接口是一種最直接,也比較簡單的一種方式。
調用文件系統(FS)Shell命令應使用bin/hadoop fs 的形式。也可以使用其他形式:
hadoop dfs {args}
hdfs dfs {args}
所有的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。HDFS的scheme是hdfs,對本地文件系統,scheme是file。其中scheme和authority參數都是可選的,如果未加指定,就會使用配置中指定的默認scheme。
【實驗環境】
本次環境是:centos6.5 + jdk1.7.0_79 + hadoop2.4.1
工具包在/simple/soft目錄下
【實驗步驟】
一、hdfs shell命令
1.1 在任意目錄下(需要配置hadoop環境變量),執行命令:start-dfs.sh 啟動hdfs服務。如圖1所示
圖1
1.2啟動hdfs之后,通過jps查看hdfs服務是否啟動,執行命令:jps 。如圖2所示
圖2
1.3 在任意目錄下執行如下命令(配置hadoop環境變量):hdfs dfs -help,查看到所有hdfs shell命令解釋。如圖3所示
圖3
1.4 在simple下執行touch words.txt新建words.txt文本,並對文本進行編譯(通過vim words.txt命令對文本進行編輯,之后按esc與:wq對文本進行保存)。上傳本地(/simple/words.txt)到hdfs文件命令。執行命令:hdfs dfs -put /simple/words.txt / 。如圖4所示
圖4
1.5 查看hdfs指定目錄下的文件內容命令。執行命令:hdfs dfs -cat /words.txt。如圖5所示
圖5
1.6 把hdfs根目錄下的words.txt文件下載到本地/simple目錄下。執行命令:hdfs dfs -get /words.txt /simple/word.txt。如圖6所示
圖6
1.7 把hdfs上指定的文件移動到指定的hdfs位置,執行命令:hdfs dfs -mv /words.txt /wordscp.txt。如圖7所示
圖7
1.8 查看hdfs上指定目錄下的文件,本示例時查看hdfs根目錄下所有文件和文件夾,執行命令:hdfs dfs -ls / 。如圖8所示
圖8
二、查看所有管理命令
2.1 在任意目錄下執行命令:hadoop dfsadmin -help,查看dfs管理命令注釋。如圖9所示
圖9