hadoop2配置文件詳解


在hadoop1中核心組成部分是HDFS、MapReduce,到了Hadoop2,核心變為HDFS、Yarn,而且新的HDFS中可以有多個NameNode,每個都有相同的職能。

以下內容是從http://www.superwu.cn/2014/02/12/1094/閱讀后自己總結了一下:

配置文件無非就這幾個文件:

1、hadoop-env.sh:

只需設置jdk的安裝路徑,如:export JAVA_HOME=/usr/local/jdk

2、core-site.xml:

(1)fs.defaultFS:hdfs://cluster1(域名),這里的值指的是默認的HDFS路徑

(2)hadoop.tmp.dir:/export/data/hadoop_tmp,這里的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。

(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,這里是ZooKeeper集群的地址和端口。注意,數量一定是奇數,且不少於三個節點

(4)hadoop.proxyuser.erpmerge.hosts、hadoop.proxyuser.erpmerge.groups主要用來設置oozie的代理用戶

3、hdfs-site.xml:

(1)dfs.replication:指定DataNode存儲block的副本數量,不大於DataNode的個數就行

(2)dfs.nameservices:cluster1,cluster2,使用federation(HDFS聯盟)時,如果使用了2個HDFS集群。這里抽象出兩個NameService實際上就是給這2個HDFS集群起了個別名。名字可以隨便起,相互不重復即可

(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102,指定NameService是cluster1時的namenode有哪些,這里的值也是邏輯名稱,名字隨便起,相互不重復即可

(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020,指定hadoop101的RPC地址

(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址

hadoop102設置同(4)、(5)

(6)dfs.namenode.shared.edits.dir:qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/cluster1,指定cluster1的兩個NameNode共享edits文件目錄時,使用的JournalNode集群信息

(7)dfs.ha.automatic-failover.enabled.cluster1:true,指定cluster1是否啟動自動故障恢復,即當NameNode出故障時,是否自動切換到另一台NameNode

(8)dfs.client.failover.proxy.provider.cluster1:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider,指定cluster1出故障時,哪個實現類負責執行故障切換

如果有cluster2集群,則設置如上

(9)dfs.journalnode.edits.dir:【指定JournalNode集群在對NameNode的目錄進行共享時,自己存儲數據的磁盤路徑】

(10)dfs.ha.fencing.methods:sshfence,【一旦需要NameNode切換,使用ssh方式進行操作】

(11)dfs.ha.fencing.ssh.private-key-files:/root/.ssh/id_rsa,【如果使用ssh進行故障切換,使用ssh通信時用的密鑰存儲的位置】

4、mapred-site.xml:

(1)mapreduce.framework.name:yarn【指定運行mapreduce的環境是yarn,與hadoop1截然不同的地方】

(2)mapreduce.jobhistory.address:hadoop1:10020

(3)mapreduce.jobhistory.webapp.address:hadoop1:19888

(4)mapreduce.map.output.compress:false

(5)mapreduce.map.output.compress.codec:org.apache.hadoop.io.compress.GzipCodec

(6)yarn.app.mapreduce.am.staging-dir:/user

5、yarn-site.xml:

(1)yarn.resourcemanager.hostname:【自定ResourceManager的地址,還是單點,這是隱患】

(2)yarn.nodemanager.aux-services:mapreduce_shuffle

(3)yarn.nodemanager.aux-services.mapreduce.shuffle.class:org.apache.hadoop.mapred.ShuffleHandler

(4)yarn.resourcemanager.address:hadoop1:8032

(5)....

6、slaves文件:

【指定所有的DataNode節點列表,每行一個節點名稱】


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM