前一段時間頻繁使用HDFS,又收集到了一些命令,在這兒分享出來,大數據的框架及設計原理方面的理論文章暫時還沒有時間總結,后面有時間逐漸整理發出來。
注:在使用命令時,可以使用 hadoop fs,如果配置了環境變量,可以使用 hdfs dfs 和 hadoop fs 這個兩個命令。
#export HADOOP_USER_NAME=hdfs --設置hadoop_user_name
#hdfs dfs -help --查看hdfs幫助
#hdfs dfs -ls / #hadoop fs -ls / --查看根目錄文件
#hdfs dfs -put sourcepath savepath --hdfs上傳文件,-f 覆蓋已有文件;-p 保留原文件屬性
#hdfs dfs -get sourcepath savepath --hdfs下載文件
#hdfs dfs -mkdir -p /output/dirname --創建文件夾dirname
#hdfs dfs -mkdir -p /output/dirname --創建多級目錄
#hdfs dfs -touchz /input/filename --創建文件filename
#hdfs dfs -cat /input/filename --查看文件filename
#hdfs dfs -du -s /input/ --查看所有文件大小和字節大小
#hdfs dfs -cp /sourcefile /targetfile --復制文件
#hdfs dfs -rm /directory/ --刪除文件
#hdfs dfs -rm -R /directory/ --刪除文件夾,-R循環刪除文件夾里面的文件
#hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename --找回刪除文件
#運行MapReduce: hadoop jar jarpath inputfilepath outputdir
#hadoop jar /opt/test.jar /input/test/test.txt /output/test/
#yarn jar /opt/test.jar /input/test/test.txt /output/test/
#hdfs dfs -getmerge sourcepaths savefilename --合並文件
#hdfs dfsadmin -report --查看HDFS的基本統計信息
#hdfs dfs -text /input/log.txt --將給定的文件以文本的格式輸出,zip、TextRecordInputStream、Avro
#hdfs dfs -appendToFile /sourcefile /targetfile --向目標文件中追加內容
#hdfs dfs -count /input/test/ --統計文件夾和文件個數
#hdfs fsck /data/test.csv -files -racks -locations -blocks --查看文件分區存儲情況
#tail -f filename.log --動態查看log日志
1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是為配置hadoop的user環境變量
#export HADOOP_USER_NAME=hdfs --設置hadoop_user_name