Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建與所有參數解析

本文轉載自查看原文 2016-04-02 17:11 2440 Spark

廢話就不多說了，直接開始啦~

安裝環境變量:

使用linx下的解壓軟件,解壓找到里面的install 或者 ls 運行這個進行安裝

yum install gcc

yum install gcc-c++

安裝make，這個是自動編譯源碼的工具

yum install make

yum install autoconfautomake libtool cmake

封裝了底層的終端功能

yum install ncurses-devel

OpenSSL是一個軟件包，用於支持SSL傳輸協議的軟件包

yum install openssl-devel

git就不用多說了

yum install git git-svn git-email git-gui gitk

安裝protoc(需用root用戶), 作用是把某種數據結構的信息，以某種格式保存起來。主要用於數據存儲、傳輸協議格式等

1 tar -xvf protobuf-2.5.0.tar.bz2

2 cd protobuf-2.5.0

3 ./configure --prefix=/opt/protoc/

4 make && make install

安裝wget (以后備用~)

sudo yum -y install wget

二、增加用戶組

groupadd hadoop 添加一個組

useradd hadoop -g hadoop 添加用戶

三、編譯hadoop

mvn clean package -Pdist,native -DskipTests -Dtar

編譯完的hadoop在 /home/hadoop/ocdc/hadoop-2.6.0-src/hadoop-dist/target 路徑下

四、各節點配置hosts文件 vi/etc/hosts

10.1.245.244 master

10.1.245.243 slave1

10.1.245.242 slave2

命令行輸入 hostname master

ssh到其他主機相應輸入 hostName xxxx

五、各節點免密碼登錄：

各節點免密碼登錄

ssh-keygen -t rsa

cd /root/.ssh/

ssh-copy-id master

將生成的公鑰id_rsa.pub 內容追加到authorized_keys（執行命令：cat id_rsa.pub >> authorized_keys）

時間等效性同步

ssh master date; ssh slave1 date;ssh slave2 date;

六、hadoop路徑下創建相應目錄（namenode,datenode 等信息存放處）

Mkdir data

(在data路徑下創建目錄)

mkdir yarn

mkdir jn

mkdir current

(hadoop路徑下)

mkdir name

(jn目錄下)

mkdir streamcluster

七、Zookeeper集群配置:

解壓zookeeper

Tar zxvf zookeeper-3.4.6.tar.gz

修改temp文件為可用

Cp zoo_sample.cfg zoo.cfg

修改zoo.cfg文件:

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/home/hadoop/ocdc/zookeeper-3.4.6/data

dataLogDir=/home/hadoop/ocdc/zookeeper-3.4.6/logs

# the port at which the clients will connect

clientPort=2183

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

#寫入節點ip與端口

server.1=master:2898:3898

server.2=slave1:2898:3898

server.3=slave2:2898:3898

在zookeeper目錄下:

mkdir data

vi myid （寫入id為1,）

拷貝zookeeper到各個目錄下（將slave1中的myid改為2，slave2中的myid改為3....）

隨后在 bin目錄下逐個啟動zookeeper

./zkServer.sh start

./zkServer.sh status (查看狀態)

八、hadoop相關配置文件及參數說明

core-site.xml

默認文件系統的名稱,如果是HA模式，不加端口

<name>fs.defaultFS</name>

<value>hdfs:// streamcluster </value>

</property>

io.file.buffer.size都被用來設置緩存的大小,較大的緩存可以提供高效的數據傳輸，但太大也會造成更大的內存消耗和延遲

<name>io.file.buffer.size</name>

</property>

hadoop文件系統依賴的基本配置，很多配置路徑都依賴它，它的默認位置在/tmp/{$user}下面

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

<name>hadoop.proxyuser.spark.hosts</name>

</property>

<name>hadoop.proxyuser.spark.groups</name>

</property>

</configuration>

hdfs-site.xml

集群的邏輯名，要注意的是，如果為HA模式，需要與core-site.xml中的fs.defaultFS名一致

<name>dfs.nameservices</name>

<value>streamcluster</value>

</property>

datanode的端口，運行tcp/ip服務器以支持塊傳輸，默認為0.0.0.0:50010

<name>dfs.datanode.address</name>

</property>

datanode的http服務器地址和端口

<name>dfs.datanode.http.address</name>

</property>

datanode的rpc服務器的地址和端口, 提供進程間交互通信

<name>dfs.datanode.ipc.address</name>

</property>

dfs.ha.namenodes.[nameservice ID]在名稱服務中每一個nameNode的唯一標識符,streamcluster為之前配置的nameservice的名稱,這里配置高可用，所以配置兩個NN

<name>dfs.ha.namenodes.streamcluster</name>

</property>

由namenode存儲元數據的目錄地址

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/name</value>

</property>

由datanode存放數據塊的目錄列表

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/data</value>

</property>

由寫操作所需要創建的最小副本數目

<name>dfs.replication</name>

</property>

如果是 true，則打開權限系統

<name>dfs.permission</name>

</property>

設置成true, 通過知道每個block所在磁盤，可以在調度cpu資源時讓不同的cpu讀不同的磁盤，避免查詢內和查詢間的IO競爭

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

</property>

是否在HDFS中開啟權限檢查。

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

HA模式下該參數為streamcluster中namenode1節點對外服務的RPC地址

<name>dfs.namenode.rpc-address.streamcluster.nn1</name>

<value>master:8033</value>

</property>

HA模式下該參數為streamcluster中namenode1節點對外服務的RPC地址

<name>dfs.namenode.rpc-address.streamcluster.nn2</name>

<value>slave1:8033</value>

</property>

HA模式下該參數為streamcluster中namenode1節點對外服務的HTTP地址

<name>dfs.namenode.http-address.streamcluster.nn1</name>

<value>master:50083</value>

</property>

HA模式下該參數為streamcluster中namenode1節點對外服務的HTTP地址

<name>dfs.namenode.http-address.streamcluster.nn2</name>

<value>slave1:50083</value>

</property>

設置的為journalNode的地址，Activity狀態中的Namenode會將edits的Log寫入JournalNode，而standby狀態中的Namenode會讀取這些edits log.

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://master:8489;slave1:8489;slave2:8489/streamcluster</value>

</property>

JournalNode 所在節點上的一個目錄，用於存放 editlog 和其他狀態信息。

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/data/jn</value>

</property>

journalNode RPC服務地址和端口

<name>dfs.journalnode.rpc-address</name>

</property>

journalNode HTTP服務地址和端口

<name>dfs.journalnode.http-address</name>

</property>

此參數為客戶端與activity狀態下的Namenode進行交互的java實現類，DFS客戶端通過該類尋找當前activity的Namenode

<name>dfs.client.failover.proxy.provider.streamcluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

使HA模式下不會同時出現兩個master，不允許出現兩個activity狀態下的Namenode

<name>dfs.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

SSH的超時時間設置,倘若超過此時間，則認為執行失敗.

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

指定streamcluster的兩個NameNode共享edits文件目錄時，使用的JournalNode集群信息

<name>dfs.ha.automatic-failover.enabled</name>

</property>

每個datanode任一時刻可以打開的文件數量上限。

<name>dfs.datanode.max.xcievers</name>

</property>

DataNode傳送數據出入的最大線程數,等同於dfs.datanode.max.xcievers。

<name>dfs.datanode.max.transfer.threads</name>

</property>

塊的字節大小

<name>dfs.blocksize</name>

</property>

一般原則是將其設置為集群大小的自然對數乘以20，即20logN, NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。處理程序數量越多意味着要更大的池來處理來自不同DataNode的並發心跳以及客戶端並發的元數據操作。

<name>dfs.namenode.handler.count</name>

</property>

<name>ha.zookeeper.quorum</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

</configuration>

yarn-site.xml

NodeManager的心跳間隔

<name>yarn.resourcemanager.connect.retry-interval.ms</name>

</property>

是否啟用RM HA，默認為false（不啟用）。這里設置為啟用。

<name>yarn.resourcemanager.ha.enabled</name>

</property>

是否啟用自動故障轉移。默認情況下，在啟用HA時，啟用自動故障轉移。

<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

</property>

啟用內置的自動故障轉移。默認情況下，在啟用HA時，啟用內置的自動故障轉移。

<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

</property>

集群的ID，確保ResourceManager不會為成為其他集群的Activity活躍狀態。

<name>yarn.resourcemanager.cluster-id</name>

<value>yarn-rm-cluster</value>

</property>

HA下兩個ResourceManager的邏輯名稱

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

用於標識ResourceManager,這里要注意一點，HA備用的RM的服務器需要修改為rm2

<name>yarn.resourcemanager.ha.id</name>

</property>

啟用重啟ResourceManager的功能，默認為false

<name>yarn.resourcemanager.recovery.enabled</name>

</property>

用於狀態存儲的類,可以設置為

org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore，基於Hadoop文件系統的實現，這里的設置是基於ZooKeeper的實現

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

存儲RM狀態的ZooKeeper Znode全路徑。

<name>yarn.resourcemanager.zk.state-store.address</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

被RM用於狀態存儲的ZooKeeper服務器的主機:端口號

<name>yarn.resourcemanager.zk-address</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

Scheduler失聯等待的時間

<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

</property>

ResourceManager1的地址和端口

<name>yarn.resourcemanager.address.rm1</name>

<value>master:23140</value>

</property>

ResourceManager1調度器地址：端口

<name>yarn.resourcemanager.scheduler.address.rm1</name>

<value>master:23130</value>

</property>

ResourceManager 1對外web ui地址。可通過該地址在瀏覽器中查看集群各類信息。

<name>yarn.resourcemanager.webapp.address.rm1</name>

<value>master:23188</value>

</property>

NodeManager通過該地址向ResourceManager1匯報心跳，領取任務等的地址。

<name>yarn.resourcemanager.resource-tracker.address.rm1</name>

<value>master:23125</value>

</property>

ResourceManager 1對管理員暴露的訪問地址。管理員通過該地址向RM發送管理命令等。

<name>yarn.resourcemanager.admin.address.rm1</name>

<value>master:23141</value>

</property>

<name>yarn.resourcemanager.ha.admin.address.rm1</name>

<value>master:23142</value>

</property>