Hadoop的運行模式分為3種:本地運行模式,偽分布運行模式,集群運行模式,相應概念如下:
1、獨立模式即本地運行模式(standalone或local mode)無需運行任何守護進程(daemon),所有程序都在單個JVM上執行。由於在本機模式下測試和調試MapReduce程序較為方便,因此,這種模式適宜用在開發階段。
單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時,Hadoop無法了解硬件安裝環境,便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時,Hadoop會完全運行在本地。因為不需要與其他節點交互,單機模式就不使用HDFS,也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。
2、偽分布運行模式
偽分布:如果Hadoop對應的Java進程都運行在一個物理機器上,稱為偽分布運行模式。
3、集群模式
如果Hadoop對應的Java進程運行在多台物理機器上,稱為集群模式.
Hadoop的配置文件:
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS節點名稱和地址
hdfs-site.xml 配置HDFS存儲目錄,復制數量
mapred-site.xml 配置mapreduce的jobtracker地址