常用HDFS操作命令


 前一段時間頻繁使用HDFS,又收集到了一些命令,在這兒分享出來,大數據的框架及設計原理方面的理論文章暫時還沒有時間總結,后面有時間逐漸整理發出來。

  注:在使用命令時,可以使用 hadoop fs,如果配置了環境變量,可以使用 hdfs dfshadoop fs 這個兩個命令。

  #export HADOOP_USER_NAME=hdfs          --設置hadoop_user_name

  #hdfs dfs -help                    --查看hdfs幫助

  #hdfs dfs -ls /        #hadoop fs -ls /         --查看根目錄文件
  #hdfs dfs -put sourcepath savepath            --hdfs上傳文件,-f 覆蓋已有文件;-p 保留原文件屬性
  #hdfs dfs -get sourcepath savepath            --hdfs下載文件

  #hdfs dfs -mkdir -p /output/dirname              --創建文件夾dirname

  #hdfs dfs -mkdir -p /output/dirname            --創建多級目錄

  #hdfs dfs -touchz /input/filename             --創建文件filename
  #hdfs dfs -cat /input/filename                 --查看文件filename

  #hdfs dfs -du -s /input/                   --查看所有文件大小和字節大小
  #hdfs dfs -cp /sourcefile /targetfile              --復制文件
  #hdfs dfs -rm /directory/                 --刪除文件
  #hdfs dfs -rm -R /directory/                  --刪除文件夾,-R循環刪除文件夾里面的文件

  #hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename         --找回刪除文件

  #運行MapReduce: hadoop jar jarpath inputfilepath outputdir
  #hadoop jar /opt/test.jar /input/test/test.txt /output/test/
  #yarn jar /opt/test.jar /input/test/test.txt /output/test/

  #hdfs dfs -getmerge sourcepaths savefilename         --合並文件
  #hdfs dfsadmin -report                   --查看HDFS的基本統計信息

  #hdfs dfs -text /input/log.txt                 --將給定的文件以文本的格式輸出,zip、TextRecordInputStream、Avro

  #hdfs dfs -appendToFile /sourcefile /targetfile         --向目標文件中追加內容

  #hdfs dfs -count /input/test/                 --統計文件夾和文件個數

  #hdfs fsck /data/test.csv -files -racks -locations -blocks       --查看文件分區存儲情況

  #tail -f filename.log                      --動態查看log日志

1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是為配置hadoop的user環境變量

  #export HADOOP_USER_NAME=hdfs            --設置hadoop_user_name

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM