hadoop---hdfs dfs常用命令


用法





    -mkdir
    創建目錄
    Usage:hdfs dfs -mkdir [-p] < paths>
    選項:-p
    很像Unix mkdir -p,沿路徑創建父目錄。

    -ls
    查看目錄下內容,包括文件名,權限,所有者,大小和修改時間
    Usage:hdfs dfs -ls [-R] < args>
    選項:-R
    遞歸地顯示子目錄下的內容
   

    -put
    將本地文件或目錄上傳到HDFS中的路徑
    Usage:hdfs dfs -put < localsrc> … < dst>




    -get
    將文件或目錄從HDFS中的路徑拷貝到本地文件路徑
    Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
    選項:
    -ignorecrc選項復制CRC校驗失敗的文件。
    -crc選項復制文件和CRC。


  

    -du
    顯示給定目錄中包含的文件和目錄的大小或文件的長度,用字節大小表示,文件名用完整的HDFS協議前綴表示,以防它只是一個文件。
    Usage:hdfs dfs -du [-s] [-h] URI [URI …]
    選項:
    -s選項將顯示文件長度的匯總摘要,而不是單個文件。
    -h選項將以“人類可讀”的方式格式化文件大小(例如64.0m而不是67108864)
   

    -dus
    顯示文件長度的摘要。
    Usage:hdfs dfs -dus < args>
    注意:不推薦使用此命令。而是使用hdfs dfs -du -s。
 

    -mv
    在HDFS文件系統中,將文件或目錄從HDFS的源路徑移動到目標路徑。不允許跨文件系統移動文件。
    Usage: hdfs dfs -mv URI [URI …] < dest>
   

    -cp
    在HDFS文件系統中,將文件或目錄復制到目標路徑下
    Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
    選項:
    -f選項覆蓋已經存在的目標。
    -p選項將保留文件屬性[topx](時間戳,所有權,權限,ACL,XAttr)。如果指定了-p且沒有arg,則保留時間戳,所有權和權限。如果指定了-pa,則還保留權限,因為ACL是一組超級權限。確定是否保留原始命名空間擴展屬性與-p標志無關。
   

    -copyFromLocal
    從本地復制文件到hdfs文件系統(與-put命令相似)
    Usage: hdfs dfs -copyFromLocal < localsrc> URI
    選項:
    如果目標已存在,則-f選項將覆蓋目標。

    -copyToLocal
    復制hdfs文件系統中的文件到本地 (與-get命令相似)
    Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

    -rm
    刪除一個文件或目錄
    Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
    選項:
    如果文件不存在,-f選項將不顯示診斷消息或修改退出狀態以反映錯誤。
    -R選項以遞歸方式刪除目錄及其下的任何內容。
    -r選項等效於-R。
    -skipTrash選項將繞過垃圾桶(如果已啟用),並立即刪除指定的文件。當需要從超配額目錄中刪除文件時,這非常有用。
   

    -cat
    顯示文件內容到標准輸出上。
    Usage:hdfs dfs -cat URI [URI …]
 

    -text
    Usage: hdfs dfs -text
    獲取源文件並以文本格式輸出文件。允許的格式為zip和TextRecordInputStream。

    -touchz
    創建一個零長度的文件。
    Usage:hdfs dfs -touchz URI [URI …]
  

    -stat
    顯示文件所占塊數(%b),文件名(%n),塊大小(%n),復制數(%r),修改時間(%y%Y)。
    Usage:hdfs dfs -stat URI [URI …]

    -tail
    顯示文件的最后1kb內容到標准輸出
    Usage:hdfs dfs -tail [-f] URI
    選項:
    -f選項將在文件增長時輸出附加數據,如在Unix中一樣。

    -count
    統計與指定文件模式匹配的路徑下的目錄,文件和字節數
    Usage: hdfs dfs -count [-q] [-h] < paths>

    -getmerge
    將源目錄和目標文件作為輸入,並將src中的文件連接到目標本地文件(把兩個文件的內容合並起來)
    Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
    注:合並后的文件位於當前目錄,不在hdfs中,是本地文件
   

    -grep
    從hdfs上過濾包含某個字符的行內容
    Usage:hdfs dfs -cat < srcpath> | grep 過濾字段
  

原文鏈接:https://blog.csdn.net/WQY992/article/details/89002269

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM