1.$HADOOP_HOME/bin目錄下文件及作用
文件名稱 | 說明 |
hadoop | 用於執行hadoop腳本命令,被hadoop-daemon.sh調用執行,也可以單獨執行,一切命令的核心 |
2.$HADOOP_HOME/sbin目錄下文件及作用
文件名稱 | 說明 |
hadoop-daemon.sh | 通過執行hadoop命令來啟動/停止一個守護進程(daemon);該命令會被bin目錄下面所有以start或stop開頭的所有命令調用來執行命令, hadoop-daemons.sh也是通過調用hadoop-daemon.sh來執行命令的,而hadoop-daemon.sh本身就是通過調用hadoop命令來執行任務。 |
start-all.sh | 全部啟動,它會調用start-dfs.sh及start-mapred.sh |
start-dfs.sh | 啟動NameNode、DataNode以及SecondaryNameNode |
start-mapred.sh | 啟動MapReduce |
stop-all.sh | 全部停止,它會調用stop-dfs.sh及stop-mapred.sh |
stop-balancer.sh | 停止balancer |
stop-dfs.sh | 停止NameNode、DataNode及SecondaryNameNode |
stop-mapred.sh | 停止MapReduce |
3.$HADOOP_HOME/etc/hadoop目錄下文件及作用
文件名稱 | 說明 |
core-site.xml | Hadoop核心全局配置文件,可以其他配置文件中引用該文件中定義的屬性,如在hdfs-site.xml及mapred-site.xml中會引用該文件的屬性; 該文件的模板文件存在於$HADOOP_HOME/src/core/core-default.xml,可將模板文件復制到conf目錄,再進行修改。 |
hadoop-env.sh | Hadoop環境變量 |
hdfs-site.xml | HDFS配置文件,該模板的屬性繼承於core-site.xml;該文件的模板文件存於$HADOOP_HOME/src/hdfs/hdfs-default.xml,可將模板文件復制到conf目錄,再進行修改 |
mapred-site.xml | MapReduce的配置文件,該模板的屬性繼承於core-site.xml;該文件的模板文件存於$HADOOP_HOME/src/mapred/mapredd-default.xml, 可將模板文件復制到conf目錄,再進行修改 |
slaves | 用於設置所有的slave的名稱或IP,每行存放一個。如果是名稱,那么設置的slave名稱必須在/etc/hosts有IP映射配置 |
4.$HADOOP_HOME/lib目錄
該目錄下存放的是Hadoop運行時依賴的jar包,Hadoop在執行時會把lib目錄下面的jar全部加到classpath中。
5.$HADOOP_HOME/logs目錄
該目錄存放的是Hadoop運行的日志,查看日志對尋找Hadoop運行錯誤非常有幫助。
6.$HADOOP_HOME/include目錄
對外提供的編程庫頭文件(具體動態庫和靜態庫在lib目錄中),這些頭文件均是用C++定義的,通常用於C++程序訪問HDFS或者編寫MapReduce程序。
7.$HADOOP_HOME/libexec目錄
各個服務對用的shell配置文件所在的目錄,可用於配置日志輸出、啟動參數(比如JVM參數)等基本信息。
8.$HADOOP_HOME/share目錄
Hadoop各個模塊編譯后的jar包所在的目錄。