hadoop2.7的目錄結構


1.$HADOOP_HOME/bin目錄下文件及作用

文件名稱 說明
hadoop 用於執行hadoop腳本命令,被hadoop-daemon.sh調用執行,也可以單獨執行,一切命令的核心

2.$HADOOP_HOME/sbin目錄下文件及作用

文件名稱 說明
hadoop-daemon.sh

通過執行hadoop命令來啟動/停止一個守護進程(daemon);該命令會被bin目錄下面所有以start或stop開頭的所有命令調用來執行命令,

hadoop-daemons.sh也是通過調用hadoop-daemon.sh來執行命令的,而hadoop-daemon.sh本身就是通過調用hadoop命令來執行任務。

start-all.sh 全部啟動,它會調用start-dfs.sh及start-mapred.sh
start-dfs.sh 啟動NameNode、DataNode以及SecondaryNameNode
start-mapred.sh 啟動MapReduce
stop-all.sh 全部停止,它會調用stop-dfs.sh及stop-mapred.sh
stop-balancer.sh 停止balancer
stop-dfs.sh 停止NameNode、DataNode及SecondaryNameNode
stop-mapred.sh  停止MapReduce

3.$HADOOP_HOME/etc/hadoop目錄下文件及作用

文件名稱 說明
core-site.xml

Hadoop核心全局配置文件,可以其他配置文件中引用該文件中定義的屬性,如在hdfs-site.xml及mapred-site.xml中會引用該文件的屬性;

該文件的模板文件存在於$HADOOP_HOME/src/core/core-default.xml,可將模板文件復制到conf目錄,再進行修改。

hadoop-env.sh Hadoop環境變量
hdfs-site.xml HDFS配置文件,該模板的屬性繼承於core-site.xml;該文件的模板文件存於$HADOOP_HOME/src/hdfs/hdfs-default.xml,可將模板文件復制到conf目錄,再進行修改
mapred-site.xml

MapReduce的配置文件,該模板的屬性繼承於core-site.xml;該文件的模板文件存於$HADOOP_HOME/src/mapred/mapredd-default.xml,

可將模板文件復制到conf目錄,再進行修改

slaves 用於設置所有的slave的名稱或IP,每行存放一個。如果是名稱,那么設置的slave名稱必須在/etc/hosts有IP映射配置

4.$HADOOP_HOME/lib目錄

該目錄下存放的是Hadoop運行時依賴的jar包,Hadoop在執行時會把lib目錄下面的jar全部加到classpath中。

5.$HADOOP_HOME/logs目錄

該目錄存放的是Hadoop運行的日志,查看日志對尋找Hadoop運行錯誤非常有幫助。

6.$HADOOP_HOME/include目錄
對外提供的編程庫頭文件(具體動態庫和靜態庫在lib目錄中),這些頭文件均是用C++定義的,通常用於C++程序訪問HDFS或者編寫MapReduce程序。
7.$HADOOP_HOME/libexec目錄
各個服務對用的shell配置文件所在的目錄,可用於配置日志輸出、啟動參數(比如JVM參數)等基本信息。
8.$HADOOP_HOME/share目錄
Hadoop各個模塊編譯后的jar包所在的目錄。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM