簡單說明hadoop集群運行三種模式和配置文件


Hadoop的運行模式分為3種:本地運行模式,偽分布運行模式,集群運行模式,相應概念如下:
1、獨立模式即本地運行模式(standalone或local mode)無需運行任何守護進程(daemon),所有程序都在單個JVM上執行。由於在本機模式下測試和調試MapReduce程序較為方便,因此,這種模式適宜用在開發階段。

單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時,Hadoop無法了解硬件安裝環境,便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時,Hadoop會完全運行在本地。因為不需要與其他節點交互,單機模式就不使用HDFS,也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。

2、偽分布運行模式
偽分布:如果Hadoop對應的Java進程都運行在一個物理機器上,稱為偽分布運行模式。

3、集群模式
如果Hadoop對應的Java進程運行在多台物理機器上,稱為集群模式.

Hadoop的配置文件:
conf/hadoop-env.sh  配置JAVA_HOME
core-site.xml  配置HDFS節點名稱和地址
hdfs-site.xml  配置HDFS存儲目錄,復制數量
mapred-site.xml    配置mapreduce的jobtracker地址


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM