Linux實驗:hdfs shell基本命令操作(一)


【實驗目的】

    1)熟練hdfs shell命令操作

    2)理解hdfs shell和linux shell命令

【實驗原理】

    安裝好hadoop環境之后,可以執行hdfs shell命令對hdfs 的空間進行操作。我們通過命令行和HDFS打交道,進一步增加對HDFS的認識,HDFS命令行接口是一種最直接,也比較簡單的一種方式。

    調用文件系統(FS)Shell命令應使用bin/hadoop fs 的形式。也可以使用其他形式:

    hadoop dfs {args}

    hdfs dfs {args}

    所有的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。HDFS的scheme是hdfs,對本地文件系統,scheme是file。其中scheme和authority參數都是可選的,如果未加指定,就會使用配置中指定的默認scheme。

【實驗環境】

    本次環境是:centos6.5 + jdk1.7.0_79 + hadoop2.4.1

    工具包在/simple/soft目錄下

【實驗步驟】

    一、hdfs shell命令

        1.1 在任意目錄下(需要配置hadoop環境變量),執行命令:start-dfs.sh 啟動hdfs服務。如圖1所示

 

 

圖1

    1.2啟動hdfs之后,通過jps查看hdfs服務是否啟動,執行命令:jps 。如圖2所示

 

 

圖2

    1.3 在任意目錄下執行如下命令(配置hadoop環境變量):hdfs dfs -help,查看到所有hdfs shell命令解釋。如圖3所示

 

 

圖3

        1.4 在simple下執行touch words.txt新建words.txt文本,並對文本進行編譯(通過vim words.txt命令對文本進行編輯,之后按esc與:wq對文本進行保存)。上傳本地(/simple/words.txt)到hdfs文件命令。執行命令:hdfs dfs -put /simple/words.txt / 。如圖4所示

 

 

圖4

        1.5 查看hdfs指定目錄下的文件內容命令。執行命令:hdfs dfs -cat /words.txt。如圖5所示

 

 

圖5

        1.6 把hdfs根目錄下的words.txt文件下載到本地/simple目錄下。執行命令:hdfs dfs -get /words.txt /simple/word.txt。如圖6所示

 

 

圖6

        1.7 把hdfs上指定的文件移動到指定的hdfs位置,執行命令:hdfs dfs -mv /words.txt /wordscp.txt。如圖7所示

 

 

圖7

        1.8 查看hdfs上指定目錄下的文件,本示例時查看hdfs根目錄下所有文件和文件夾,執行命令:hdfs dfs -ls / 。如圖8所示

 

 

圖8

    二、查看所有管理命令

        2.1 在任意目錄下執行命令:hadoop dfsadmin -help,查看dfs管理命令注釋。如圖9所示

 

圖9


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM