hadoop命令分為2級,在linux命令行中輸入hadoop,會提示輸入規則
Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: namenode -format format the DFS filesystem
#這個命令用於格式化DFS系統:hadoop namenode -formate secondarynamenode run the DFS secondary namenode
#運行第二個namenode namenode run the DFS namenode
#運行DFS的namenode datanode run a DFS datanode
#運行DFS的datanode dfsadmin run a DFS admin client
#運行一個DFS的admin客戶端 mradmin run a Map-Reduce admin client #運行一個map-reduce文件系統的檢查工具
fsck run a DFS filesystem checking utility
#運行一個DFS文件系統的檢查工具 fs run a generic filesystem user client
#這個是daoop文件的系統的一級命令,這個非常常見!!!稍后詳細講解這個命令:例如hadoop fs -ls / balancer run a cluster balancing utility
#作用於讓各個datanode之間的數據平衡,例如:sh $HADOOP_HOME/bin/start-balancer.sh –t 15%
oiv apply the offline fsimage viewer to an fsimage
#將fsimage文件的內容轉儲到指定文件中以便於閱讀,oiv支持三種輸出處理器,分別為Ls、XML和FileDistribution,通過選項-p指定
fetchdt fetch a delegation token from the NameNode
#運行一個代理的namenode jobtracker run the MapReduce job Tracker node
#運行一個MapReduce的taskTracker節點 pipes run a Pipes job
#運行一個pipes作業 tasktracker run a MapReduce task Tracker node
#運行一個MapReduce的taskTracker節點 historyserver run job history servers as a standalone daemon
#運行歷史服務作為一個單獨的線程 job manipulate MapReduce jobs
#處理mapReduce作業,這個命令可以查看提交的mapreduce狀態,殺掉不需要的job queue get information regarding JobQueues
#隊列管理,在后續版本中這個命名取消了 version print the version
#打印haoop版本 jar <jar> run a jar file
#運行一個jar包,比如mapreduce可以通過hadoop-streaming-1.2.1.jar進行開發 distcp <srcurl> <desturl> copy file or directories recursively
#distcp一般用於在兩個HDFS集群中傳輸數據。如果集群在Hadoop的同一版本上運行,就適合使用hdfs方案:
hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
distcp2 <srcurl> <desturl> DistCp version
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive classpath prints the class path needed to get the Hadoop jar and the required libraries daemonlog get/set the log level for each daemon or CLASSNAME run the class named CLASSNAME Most commands print help when invoked w/o parameters.
2.隨時更新,用到一個更新一個:
格式化集群命令,這個命令一般在第一次啟動集群時使用,注意,再次啟動時候不能使用
hadoop namenode -formate
hdfs文件系統常見的命令:這些命令與linux系統命令非常類似:
[root@master /root]$ hadoop fs Usage: java FsShell [-ls <path>]#顯示某個目錄下的所有文件夾或者文件,與linux的ls命令類似
hadoop fs -ls / [-lsr <path>]#以全路徑的方式展示當前目錄下及當前目錄下所有子目錄的全部文件,與linux系統下tree命令類似
hadoop fs -lsr /
[-du <path>]#顯示目錄下所有子目錄或者文件所占空間(邏輯空間),與linux命令du類似(注意子目錄)
hadoop fs -du /
[-dus <path>]#顯示該目錄所占空間(邏輯空間),與linux的du命令類似(輸入目錄,)
Hadoop fs -dus / [-count[-q] <path>]#顯示某目錄占用的實際空間,其輸出結果對應含義如下:
hadoop fs -count -q /
2147483647 2147483623 none inf 16 8 811543 hdfs://192.168.121.10:9000/
[-mv <src> <dst>]#與linux命令mv類似,重命名一個目錄或者文件
hadoop fs -mv /mapreduce/out /mapreduce/Out2 [-cp <src> <dst>]#與linux命令cp復制,復制一個文件或者目錄
hadoop fs -cp /mapreduce/out / [-rm [-skipTrash] <path>]#刪除某個文件 -skipTrash避免進入回收站而直接刪除,在core-site.xml中可以配置啟動防止誤刪機制
hadoop fs -rm /lalalala/_logs/history/job_201804021019_0008_1522767221715_root_streamjob9109570129325496092.jar [-rmr [-skipTrash] <path>]遞歸刪除文件夾及其內部所有文件,-skipTrash避免進入回收站而直接刪除,在core-site.xml中可以配置啟動防止誤刪機制
hadoop fs -rmr /lalalala [-expunge]#清空回收站
hadoop fs -expunge [-put <localsrc> ... <dst>]#將文件上傳至HDFS的某個目錄中,
hadoop fs -put a.txt /mapreduce [-copyFromLocal <localsrc> ... <dst>]# [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst>] [-getmerge <src> <localdst> [addnl]] [-cat <src>] [-text <src>] [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal [-crc] <src> <localdst>] [-mkdir <path>] [-setrep [-R] [-w] <rep> <path/file>] [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] [-tail [-f] <file>] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-help [cmd]
]