hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群詳細配置

集群	虛擬機節點
HadoopHA集群	hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
YarnHA集群	hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
ZooKeeper集群	hadoop3,hadoop4,hadoop5
Hbase集群	hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
Kafka集群	hadoop6,hadoop7,hadoop8
Storm集群	hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
SparkHA集群	hadooop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8

集群詳細規划：

虛擬機名稱	IP	安裝軟件	進程	功能
hadoop1	59.68.29.79	jdk,hadoop,mysql	NameNode,ResourceManeger,DFSZKFailoverController(zkfc),master(spark)	hadoop的NameNode節點,spark的master節點,yarn的ResourceManeger節點
hadoop2	10.230.203.11	jdk,hadoop,spark	NameNode,ResourceManeger,DFSZKFailoverController(zkfc),worker(spark)	hadoop(yarn)的容災節點，spark的容災節點
hadoop3	10.230.203.12	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HMaster,…(storm),worker(spark)	storm,hbase,zookeeper的主節點
hadoop4	10.230.203.13	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop5	10.230.203.14	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop6	10.230.203.15	jdk,hadoop,hbase,storm,kafka,spark	DataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)	kafka的主節點
hadoop7	10.230.203.16	jdk,hadoop,hbase,storm,kafka,spark	DataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)
hadoop8	10.230.203.17	jdk,hadoop,kafka,spark	DataNode,NodeManager,journalnode,kafka,worker(spark)

軟件版本介紹

JDK版本： jdk-8u65-linux-x64.tar.gz
hadoop版本： hadoop-2.7.6.tar.gz
zookeeper版本： zookeeper-3.4.12.tar.gz
hbase版本： hbase-1.2.6-bin.tar.gz
Storm版本： apache-storm-1.1.3.tar.gz
kafka版本： kafka_2.11-2.0.0.tgz
MySQL版本： mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz
hive版本： apache-hive-2.3.3-bin.tar.gz
Flume版本： apache-flume-1.8.0-bin.tar.gz
Spark版本： spark-2.3.1-bin-hadoop2.7.tgz

前期准備

ssh免密登錄

hadoop1 和 hadoop2 是容災節點(解決單點故障問題)，所以這兩個主機除了能互相訪問之外，還需要登錄其他主機節點，可以免密登錄

檢查是否安裝了ssh相關軟件包(openssh-server + openssh-clients + openssh)

[centos@hadoop1 /home/centos]$ yum list installed | grep ssh

檢查是否啟動了sshd進程

[centos@hadoop1 /home/centos]$ ps -Af | grep sshd

在hadoop1~hadoop8主機節點的 ~(/home/centos) 目錄下創建 .ssh 文件目錄，並修改權限

[centos@hadoop1 /home/centos]$ mkdir .ssh [centos@hadoop1 /home/centos]$ chmod 700 ~/.ssh

在hadoop1主機上生成秘鑰對，追加公鑰到~/.ssh/authorized_keys文件中，並修改authorized_keys文件的權限為644(centos系統)

//生成秘鑰對 [centos@hadoop1 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //進入 ~/.ssh 文件夾下 [centos@hadoop1 /home/centos]$ cd ~/.ssh //追加公鑰到~/.ssh/authorized_keys文件中 [centos@hadoop1 /home/centos/.ssh]$ cat id_rsa.pub >> authorized_keys // 修改authorized_keys文件的權限為644 [centos@hadoop1 /home/centos/.ssh]$ chmod 644 authorized_keys

將hadoop1的公鑰文件id_rsa.pub遠程復制給其他7台主機節點，並放置在/home/centos/.ssh/authorized_keys下

//重名名 [centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop1.pub [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop2:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop3:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop4:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop5:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop6:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop7:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop8:/home/centos/.ssh/authorized_keys

在hadoop2主機上生成秘鑰對。為了與hadoop1的公鑰區分，重命名為 id_rsa_hadoop2.pub。追加公鑰到~/.ssh/authorized_keys文件中，並分發給其他7台主機節點

//生成秘鑰對 [centos@hadoop2 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //重名名 [centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop2.pub //追加公鑰到~/.ssh/authorized_keys文件中 [centos@hadoop1 /home/centos/.ssh]$ cat id_rsa_hadoop2.pub >> authorized_keys //將authorized_keys分發給其他節點 [centos@hadoop1 /home/centos/.ssh]$ scp authorized_keys centos@hadoop:/home/centos/.ssh/ ... 分發給其他節點

關閉防火牆

為了保證集群正常啟動，先要關閉各台主機的防火牆，一些命令如下：

[cnetos 6.5之前的版本] $>sudo service firewalld stop //停止服務 $>sudo service firewalld start //啟動服務 $>sudo service firewalld status //查看狀態 [centos7] $>sudo systemctl enable firewalld.service //"開機啟動"啟用 $>sudo systemctl disable firewalld.service //"開機自啟"禁用 $>sudo systemctl start firewalld.service //啟動防火牆 $>sudo systemctl stop firewalld.service //停止防火牆 $>sudo systemctl status firewalld.service //查看防火牆狀態 [開機自啟] $>sudo chkconfig firewalld on //"開啟自啟"啟用 $>sudo chkconfig firewalld off //"開啟自啟"禁用

兩個批處理腳本

提示：為了全局可用，腳本都放在 /usr/local/bin 目錄下。只在hadoop1和hadoop2節點配置

//以本地用戶身份創建xcall.sh $>touch ~/xcall.sh //centos //將其復制到 /usr/local/bin 目錄下 $>sudo mv xcall.sh /usr/local/bin //修改權限 $>sudo chmod a+x xcall.sh //添加腳本 $>sudo nano xcall.sh

批分發指令腳本(xcall.sh)

#!/bin/bash params=$@ i=1 for (( i=1 ; i <= 8 ; i = $i + 1 )) ; do echo ============= s$i $params ============= ssh hadoop$i "$params" done

批同步腳本(xsync.sh)：類似於 scp 指令

#!/bin/bash if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi p=$1 #echo p=$p dir=`dirname $p` #echo dir=$dir filename=`basename $p` #echo filename=$filename cd $dir fullpath=`pwd -P .` #echo fullpath=$fullpath user=`whoami` for (( i = 1 ; i <= 8 ; i = $i + 1 )) ; do echo ======= hadoop$i ======= rsync -lr $p ${user}@hadoop$i:$fullpath done ;

集群環境搭建

安裝JDK

准備JDK：jdk-8u65-linux-x64.tar.gz，將其上傳到主機hadoop1的 /home/centos/localsoft 目錄下，該目錄用於存放所有需要安裝的軟件安裝包
在根目錄下(/)新建一個 soft 文件夾，並將該文件夾的用戶組權限和用戶權限改為 centos，該文件夾下為所有需要安裝的軟件

//創建soft文件夾 [centos@hadoop1 /home/centos]$ sudo mkdir /soft //修改權限(centosmin0是自己的本機用戶名) [centos@hadoop1 /home/centos]$ sudo chown centos:centos /soft

解壓 jdk-8u65-linux-x64.tar.gz 到 /soft 目錄下，並創建符號鏈接

// 從 /home/centos/localsoft 下解壓到 /soft [centos@hadoop1 /home/centos/localsoft]$ tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft // 創建符號鏈接 [centos@hadoop1 /soft]$ ln -s /soft/jdk1.8.0_65 jdk

在 /etc/profile 文件中配置環境變量，同時 source /etc/profile，使其立即生效

// 進入profile [centos@hadoop1 /home/centos]$ sudo nano /etc/profile // 環境變量 # jdk export JAVA_HOME=/soft/jdk export PATH=$PATH:$JAVA_HOME/bin // source 立即生效 [centos@hadoop1 /home/centos]$ source /etc/profile

檢驗是否安裝配置成功

[centos@hadoop1 /home/centos]$ java -version // 顯示如下 java version "1.8.0_65" Java(TM) SE Runtime Environment (build 1.8.0_65-b17) Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

按照以上步驟配置其他主句(hadoop2~hadoop8)：可以使用批分發指令(xsync.sh分發文件給其他7台主機節點)

Hadoop安裝配置(手動HA搭建)

1. hadoop安裝配置

准備hadoop：hadoop-2.7.6.tar.gz，解壓到 /soft 目錄下，創建符號鏈接

// 從 /home/centos/localsoft 下解壓到 /soft [centos@hadoop1 /home/centos/localsoft]$ tar -xzvf hadoop-2.7.6.tar.gz -C /soft // 創建符號鏈接 [centos@hadoop1 /soft]$ ln -s /soft/hadoop-2.7.6 hadoop

在 /etc/profile 下配置環境變量，source /etc/profile 立即生效，使用 hadoop version 檢測是否安裝成功

// 進入profile [centos@hadoop1 /home/centos]$ sudo nano /etc/profile // 環境變量 # hadoop export HADOOP_HOME=/soft/hadoop export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin // source 立即生效 [centos@hadoop1 /home/centos]$ source /etc/profilea // 檢測是否安裝成功 [centos@hadoop1 /home/centos]$ hadoop version 顯示如下： Hadoop 2.7.6 Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8 Compiled by kshvachk on 2018-04-18T01:33Z Compiled with protoc 2.5.0 From source with checksum 71e2695531cb3360ab74598755d036 This command was run using /soft/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

提示：現在的操作在hadoop1節點上，先不用在其他節點進行安裝配置，等后續配置結束后再一起將配置傳給其他節點，能大大節省工作量。

2. hadoop手動NameNode HA搭建

基於hadoop的原生NameNode HA搭建，后面會與zookeeper集群進行整合，實現自動容災(Yarn+NameNode)

進入 /soft/hadoop/etc 目錄，復制 hadoop 文件為：full，ha，pesudo，並創建指向ha的符號鏈接hadoop

[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop ha [centos@hadoop1 /soft/hadoop/etc]$ cp hadoop full [centos@hadoop1 /soft/hadoop/etc]$ cp hadoop pesudo // 創建符號鏈接 [centos@hadoop1 /soft/hadoop/etc]$ ln -s /soft/hadoop/etc/ha hadoop

進入 ha 目錄下配置4個文件：core-site.xml；hdfs-site.xml；mapred-site.xml；yarn-site.xml

[core-site.xml]

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!--- 配置新的本地目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/centos/hadoop</value> </property> <property> <name>ipc.client.connect.max.retries</name> <value>20</value> </property> <property> <name>ipc.client.connect.retry.interval</name> <value>5000</value> </property> </configuration>

[hdfs-site.xml]

<configuration> <!-- 配置nameservice --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- myucluster下的名稱節點兩個id --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <!-- 配置每個nn的rpc地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop2:8020</value> </property> <!-- 配置webui端口 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop2:50070</value> </property> <!-- 名稱節點共享編輯目錄 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485;hadoop6:8485;hadoop7:8485;hadoop8:8485/mycluster</value> </property> <!-- java類，client使用它判斷哪個節點是激活態 --> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 腳本列表或者java類，在容災情況下保護激活態的nn --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/centos/.ssh/id_rsa</value> </property> <!-- 配置JN存放edit的本地路徑 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/centos/hadoop/journal</value> </property> </configuration>

[mapred-site.xml]

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

[yarn-site.xml]

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

配置 slaves 文件和修改 hadoop-env.sh中的一個細節

// 配置 DataNode 從屬節點 [centos@hadoop1 /soft/hadoop/etc/ha]$ nano slaves 添加如下： hadoop3 hadoop4 hadoop5 hadoop6 hadoop7 hadoop8 // 修改hadoop-env.sh中的一個細節 [centos@hadoop1 /soft/hadoop/etc/ha]$ nano hadoop-env.sh 將 export JAVA_HOME={JAVA_HOME} 改為 export JAVA_HOME=/soft/jdk

將上面所有的配置都分發給其他7台主機節點

// 批分發 [centos@hadoop1 /soft]$ xsync hadoop-2.7.6 // 將符號鏈接也分發給其他主機節點 [centos@hadoop1 /soft]$ rsync -lr hadoop centos:/soft/

注意： /etc/profile 配置文件還需每台主機單獨配置，配置內容與hadoop1一樣

// 環境變量 # hadoop export HADOOP_HOME=/soft/hadoop export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

3. 啟動hadoop HA集群進行測試

在jn節點(每個數據節點就是一個jn節點)啟動jn進程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)

$>hadoop-daemon.sh start journalnode

分別在hadoop1和hadoop2節點上進行數據格式化(兩個節點都需要格式化，不然NameNode進程無法啟動)

// hadoop1 節點 [centos@hadoop1 /home/centos]$ hadoop namenode -format // hadoop2 節點 [centos@hadoop2 /home/centos]$ hadoop namenode -format

在一個NN上執行以下命令，完成edit日志到jn節點的傳輸

[centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits

啟動所有節點

[hadoop1] $>hadoop-daemon.sh start namenode //啟動名稱節點 $>hadoop-daemons.sh start datanode //啟動所有數據節點 [hadoop2] $>hadoop-daemon.sh start namenode //啟動名稱節點

HA 手動管理命令：

$>hdfs haadmin -transitionToActive nn1 //切成激活態 $>hdfs haadmin -transitionToStandby nn1 //切成待命態 $>hdfs haadmin -transitionToActive --forceactive nn2//強行激活 $>hdfs haadmin -failover nn1 nn2 //模擬容災演示,從nn1切換到nn2

在webui下查看狀態：hadoop1:50070；hadoop2:50070

注意！！！

在進行格式化之前一定要先啟動數據節點上的journalnode進程
兩台容災節點(NN1，NN2)都需要進行格式化

zookeeper安裝配置(Yarn+NameNode HA)

zookeeper集群節點為：hadoop3，hadoop4，hadoop5。先在hadoop3上進行安裝配置，然后分發給hadoop4和hadoop5節點。

1. zookeeper安裝配置

准備安裝包：zookeeper-3.4.12.tar.gz，解壓到 /soft 目錄下，添加符號鏈接

// 解壓 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf zookeeper-3.4.12.tar.gz -C /soft/ // 創建符號鏈接 [centos@hadoop3 /soft]$ln -s /soft/zookeeper-3.4.12 zk

在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$sudo nano /etc/profile //導入環境變量 export ZK_HOME=/soft/zk export PATH=$PATH:$ZK_HOME/bin

2. zookeeper完全分布式集群

進入 /soft/zk/conf 目錄下，配置zk

// 復制 [centos@hadoop3 /soft/zk/conf]$cp zoo_sample.cfg zoo.cfg // 配置 [centos@hadoop3 /soft/zk/conf]$nano zoo.cfg // 配置如下： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/centos/zookeeper //配置臨時文件路徑 clientPort=2181 server.1=hadoop3:2888:3888 server.2=hadoop4:2888:3888 server.3=hadoop5:2888:3888

分發上面所有的配置給另外兩個節點(從hadoop3分發到hadoop4和hadoop5)，分別配置兩個節點的 /etc/profile 環境

// 分發給hadoop4 [centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop4:/soft/ // 分發給hadoop5 [centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop5:/soft/ // 分發符號引用給hadoop4 [centos@hadoop3 /soft]$rsync -lr zk centos@hadoop4:/soft/ // 分發符號引用給hadoop5 [centos@hadoop3 /soft]$rsync -lr zk centos@hadoop5:/soft/ //導入環境變量 export ZK_HOME=/soft/zk export PATH=$PATH:$ZK_HOME/bin

在每台主機的/home/centos/zookeeper中添加myid,內容分別是1,2,3

[hadoop3] [centos@hadoop3 /home/centos]$ echo 1 > /home/centos/zookeeper/myid [hadoop4] [centos@hadoop4 /home/centos]$ echo 2 > /home/centos/zookeeper/myid [hadoop5] [centos@hadoop5 /home/centos]$ echo 3 > /home/centos/zookeeper/myid

啟動服務器集群，查看每台服務器的狀態

//啟動服務器 $> zkServer.sh start //關閉 $> zkServer.sh stop //查看狀態 $>zkServer.sh status

zookeeper基本命令：

$>zkCli.sh -server hadoop3:2181 //進入zk命令行 $zk]help //查看幫助 $zk]quit //退出 $zk]create /a tom // $zk]get /a //查看數據 $zk]ls / //列出節點 $zk]set /a tom //設置數據 $zk]delete /a //刪除一個節點 $zk]rmr /a //遞歸刪除所有節點。

3. hadoop+zk 高可用配置

1. 准備階段

停掉所有的hadoop進程(保證沒有任何進程在運行)

[centos@hadoop1 /home/centos]$

刪除所有節點的日志和本地數據

// 刪除所有節點的日志 [centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /soft/hadoop/logs/*" // 刪除所有節點的本地數據 [centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /home/centos/hadoop/*"

登錄每台JN節點主機，啟動JN進程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)

$> hadoop-daemon.sh start journalnode

登錄其中一個名稱節點(NN)，格式化文件系統(登錄hadoop1)

[centos@hadoop1 /home/centos]$ hadoop namenode -format

復制hadoop1主機 /home/centos/hadoop/* 的元數據到hadoop2主機

[centos@hadoop1 /home/centos]$ scp -r ~/hadoop/* centos@hadoop2:/home/centos/hadoop

在未格式化的NN(hadoop2)節點上做standby引導
- 啟動hadoop1主機的名稱節點
```
[centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode 
```
- 1
- 登錄到hadoop2節點，做standby引導(選擇：N)
```
[centos@hadoop2 /home/centos]$ hdfs namenode -bootstrapStandby 
```
- 1
- 登錄hadoop1，將hadoop1的edit日志初始化到JN節點(選擇：Y)
```
[centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits 
```
- 1
注意：假如出現被鎖住無法引導的情況，需要刪除 /home/centos/hadoop/dfs/name 下的 in_use.lock 文件
啟動所有數據節點

[centos@hadoop1 /home/centos]$ hadoop-daemons.sh start datanode

登錄到hadoop2主機，啟動名稱節點(NN)

[centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode

2. NameNode高可用配置

停止所有進程

[centos@hadoop1 /home/centos]$ stop-all.sh

配置hdfs-site.xml和core-site.xml，分發兩個文件給所有主機

//配置core-site.xml，指定zk的連接地址 [core-site.xml] <property> <name>ha.zookeeper.quorum</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property> //配置hdfs-site.xml，啟用自動容災 [hdfs-site.xml] <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> //分發文件到其他主機 [centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh hdfs-site.xml [centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh core-site.xml

開啟ZooKeeper集群(hadoop3, hadoop4, hadoop5)

$> zkServer.sh start

登錄其中的一台NN(hadoop1)，在ZK中初始化HA狀態，進入zk客戶端查看

[centos@hadoop1 /home/centos]$ hdfs zkfc -formatZK // 進入zk客戶端 [centos@hadoop3 /home/centos]$ zkCli.sh

啟動hdfs進程

[centos@hadoop1 /home/centos]$ start-dfs.sh

3. Yarn高可用配置

yarn的高可用配置相對簡單

配置 yarn-site.xml，分發給其他主機節點

<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster1</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop2</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>hadoop1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>hadoop2:8088</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property>

啟動yarn進程(hadoop1)。hadoop沒有啟動兩個resourcemanager，需要手動啟動另外一個。

[hadoop1] [centos@hadoop1 /home/centos]$ start-yarn.sh [hadoop2] [centos@hadoop2 /home/centos]$ yarn-daemon.sh start resourcemanager //管理命令 //查看狀態 $>yarn rmadmin -getServiceState rm1 //切換狀態到standby $>yarn rmadmin -transitionToStandby rm1

查看 hadoop1 和 hadoop2 的資源管理器

hadoop1:8088 hadoop2:8088

Hbase安裝配置(HA)

5台主機節點：hadoop3，hadoop4，hadoop5，hadoop6，hadoop7。hadoop3是master節點，其余節點為slave節點。

1. ssh配置

hbase是具有從屬關系的集群，所以hadoop3需要能夠免密登錄到其他四個節點主機，需要進行ssh免密登錄配置

在hadoop3上生成秘鑰對，重命名公鑰，並將公鑰添加到authorized_keys

// 生成秘鑰對 [centos@hadoop3 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa // 重命名 [centos@hadoop3 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop3.pub // 添加公鑰到authorized_keys [centos@hadoop3 /home/centos/.ssh]$ cat id_rsa_hadoop3.pub >> authorized_keys

將公鑰發給其他四個節點，並將公鑰添加到authorized_keys中

[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop4:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop5:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop6:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop7:~/.ssh/ // 添加公鑰到authorized_keys中 $> cat id_rsa_hadoop3.pub >> authorized_keys

2. hbase 安裝配置

准備hbase安裝包：hbase-1.2.6-bin.tar.gz，解壓到 /soft 目錄下，創建符號鏈接

[centos@hadoop3 /home/centos]$ tar -xzvf hbase-1.2.6-bin.tar.gz -C /soft/ // 創建符號鏈接 [centos@hadoop3 /soft]$ln -s /soft/hbase-1.2.6 hbase

在 /etc/profile 線配置環境變量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 導入環境變量： export HBASE_HOME=/soft/hbase export PATH=$PATH:$HBASE_HOME/bin // hadoop version HBase 1.2.6 Source code repository file:///home/busbey/projects/hbase/hbase-assembly/target/hbase-1.2.6 revision=Unknown Compiled by busbey on Mon May 29 02:25:32 CDT 2017 From source with checksum 7e8ce83a648e252758e9dae1fbe779c9

3. hbase高可用集群(整合zookeeper)

配置 /soft/hbase/conf/hbase-env.sh和 /soft/hbase/conf/regionservers

// 配置hbase-env.sh [centos@hadoop3 /soft/hbase/conf]$ nano hbase-env.sh //找到如下配置進行修改 export JAVA_HOME=/soft/jdk export HBASE_MANAGES_ZK=false export HBASE_PID_DIR=/home/centos/hbase/pids export HBASE_CLASSPATH=$HBASE_CLASSPATH:/soft/hadoop/etc/hadoop // 配置 regionservers [centos@hadoop3 /soft/hbase/conf]$ nano regionservers hadoop4 hadoop5 hadoop6 hadoop7

配置 /soft/hbase/conf/hbase-site.xml 文件

[centos@hadoop3 /soft/hbase/conf]$nano hbase-site.xml [hbase-site.xml] <!-- 使用完全分布式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定hbase數據在hdfs上的存放路徑 --> <property> <name>hbase.rootdir</name> <value>hdfs://mycluster/hbase</value> </property> <!-- 配置zk地址 --> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property> <!-- zk的本地目錄 --> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/centos/zookeeper</value> </property>

在 /soft/hbase/conf/ 目錄下創建到hadoop的hdfs-site.xml符號連接

[centos@hadoop3 /soft/hbase/conf]$ ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/hdfs-site.xml

將上面的所有配置都發給其他節點(hadoop4，hadoop5，hadoop6，hadoop7)

// 解壓文件 [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop4:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop5:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop6:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop7:/soft/ // 分發符號鏈接 [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop4:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop5:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop6:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop7:/soft/ // 在這4台主機節點的 /etc/profile 中配置環境變量，source /etc/profile 立即生效 export HBASE_HOME=/soft/hbase export PATH=$PATH:$HBASE_HOME/bin

啟動hbase集群

注意：在啟動hbase集群前，應該保證hadoop集群啟動，並且NameNode節點為激活狀態。否則會報異常：Operation category READ is not supported in state standby

[centos@hadoop3 /home/centos]$ start-hbase.sh

hbase基本命令

//啟動HBase集群： $> start-hbase.sh //單獨啟動一個HMaster進程： $> hbase-daemon.sh start master //單獨停止一個HMaster進程： $> hbase-daemon.sh stop master //單獨啟動一個HRegionServer進程： $> hbase-daemon.sh start regionserver //單獨停止一個HRegionServer進程： $> hbase-daemon.sh stop regionserver //進入hbase shell $> hbase shell

在webui中查看：hadoop3:16010

Kafka集群安裝配置

在hadoop6，hadoop7，hadoop8三台主機上構建kafka集群

准備kafka安裝包：kafka_2.11-2.0.0.tgz，解壓到 /soft 目錄下，並創建符號鏈接

// 解壓 [centos@hadoop6 /home/centos/localsoft]$tar -xzvf kafka_2.11-2.0.0.tgz -C /soft/ // 創建符號鏈接 [centos@hadoop6 /soft]$ln -s /soft/kafka_2.11-2.0.0 kafka

在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

[centos@hadoop6 /soft]$sudo nano /etc/profile 導入環境變量 export KAFKA_HOME=/soft/kafka export PATH=$PATH:$KAFKA_HOME/bin

配置kafka集群，主機：hadoop6，hadoop7，hadoop8。在 /soft/kafka/config/server.properties 文件中進行如下修改

[centos@hadoop6 /soft/kafka/config]$nano server.properties # The id of the broker. This must be set to a unique integer for each broker. broker.id=6 // hadoop6，hadoop7，hadoop8的broker_id分別為 6，7，8 listeners=PLAINTEXT://:9092 # A comma separated list of directories under which to store log files log.dirs=/home/centos/kafka/logs # Zookeeper connection string (see zookeeper docs for details). # This is a comma separated host:port pairs, each corresponding to a zk # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002". # You can also append an optional chroot string to the urls to specify the # root directory for all kafka znodes. zookeeper.connect=hadoop6:2181,hadoop7:2181,hadoop8:2181

把上面的配置分發其他兩台主機節點，修改 /soft/kafka/config/server.properties 中的 broker_id 號，在 /etc/profile 下配置環境變量，source /etc/profile 立即生效

// 發送解壓文件 [centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop7:/soft/ [centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop8:/soft/ // 發送符號鏈接 [centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop7:/soft/ [centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop8:/soft/ 導入環境變量 export KAFKA_HOME=/soft/kafka export PATH=$PATH:$KAFKA_HOME/bin 分別修改broker_id

啟動kafka服務器

先啟動ZooKeeper：zkServer.sh start
啟動kafka集群：hadoop3，hadoop4，hadoop5

// 守護進程 [centos@hadoop6 /home/centos]$ kafka-server-start.sh /soft/kafka/config/server.properties &

驗證kafka集群服務器是否啟動

[centos@hadoop6 /home/centos]$ netstat -anop | grep 9092

Storm集群安裝配置

在hadoop3，hadoop4，hadoop5，hadoop6，hadoop7 五台主機上構建storm集群

准備storm安裝包：apache-storm-1.1.3.tar.gz，解壓到 /soft 目錄下，並創建符號鏈接

// 解壓 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-storm-1.1.3.tar.gz -C /soft/ // 創建符號鏈接 [centos@hadoop3 /soft]$ ln -s /soft/apache-storm-1.1.3 storm

在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

[centos@hadoop3 /soft]$ sudo nano /etc/profile 導入環境變量 export STORM_HOME=/soft/storm export PATH=$PATH:$STORM_HOME/bin

進入 /soft/storm/conf 目錄下，對 storm.yaml 進行如下配置(主機：hadoop3)

[centos@hadoop3 /soft/storm/conf]$ nano storm.yaml storm.zookeeper.servers: - "hadoop3" - "hadoop4" - "hadoop5" nimbus.seeds: ["hadoop3"] storm.local.dir: "/home/centos/storm" storm.zookeeper.port: 2181 ui.host: 0.0.0.0 ui.port: 8080 supervisor.slots/ports: - 6700 - 6701 - 6702 - 6703

將上面的配置分發給其他節點(hadoop4，hadoop5，hadoop6，hadoop7)，在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

// 分發解壓文件 [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop4:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop5:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop6:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop7:/soft/ // 分發符號鏈接 [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop4:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop5:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop6:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop7:/soft/ 導入環境變量 export STORM_HOME=/soft/storm export PATH=$PATH:$STORM_HOME/bin

啟動集群
- 啟動ZooKeeper集群：zkServer.sh start(hadoop3，hadoop4，hadoop5)
- 啟動主機hadoop3的 nimbus 進程
```
[centos@hadoop3 /home/centos]$ storm nimbus &
```
- 1
- 啟動hadoop4 ~ hadoop7 的 supervisor 進程
```
[centos@hadoop3 /home/centos]$ storm supervisor &
```
- 1
- 啟動hadoop3的webui進程
```
[centos@hadoop3 /home/centos]$ storm ui &
```
- 1
在webui中查看：hadoop3:8080

Spark集群安裝配置

在8個節點上配置spark集群，其中hadoop1是master節點，hadoop2~ hadoop8是worker節點

1. spark安裝配置

准備spark安裝包：spark-2.3.1-bin-hadoop2.7.tgz，解壓到 /soft/ 目錄，並創建符號鏈接：

// 解壓 [centos@hadoop1 /home/centos/localsoft]$tar -xzvf spark-2.3.1-bin-hadoop2.7.tgz -C /soft/ // 創建符號鏈接 [centos@hadoop1 /soft]$ln -s /soft/spark-2.3.1-bin-hadoop2.7 spark

在 /etc/profile 下配置環境變量，source /etc/profile 立即生效

[centos@hadoop1 /home/centos]$sudo nano /etc/profile # spark export SPARK_HOME=/soft/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

驗證：spark-shell，看等否進入spark命令行

2. spark集群配置(StandAlone：獨立模式)

進入 /soft/spark/conf 目錄下，配置 slaves，spark-env.sh 文件

// 在slaves文件中寫入其他7台主機節點 hadoop3 hadoop4 hadoop5 hadoop6 hadoop7 hadoop8 // 在spark-env.sh中寫入 SPARK_MASTER_HOST=hadoop1 SPARK_MASTER_PORT=7077

配置 Job History Server，修改 /soft/spark/conf 目錄下的 spark-defaults.conf 和 spark-env.sh 文件

// 在 spark-env.sh 中添加如下配置 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://hadoop1:8020/directory" // 在spark-defaults.conf中修改 spark.master spark://hadoop1:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop1:8020/directory

分發上面所有的配置給其他節點(hadoop2 ~ hadoop8)，並在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

// 分發解壓文件 [centos@hadoop1 /soft]$xsync.sh spark-2.3.1-bin-hadoop2.7 // 分發符號鏈接 [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop2:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop3:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop4:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop5:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop6:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop7:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop8:/soft/ 環境變量 export SPARK_HOME=/soft/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

啟動集群

[centos@hadoop1 /soft/spark/sbin]$./start-all.sh

運行第一個spark程序(WordCount)


// 進入spark shell [centos@hadoop1 /soft/spark/sbin]$ ./spark-shell // 運行 scala> sc.textFile("hdfs://hadoop1:8020/wc.txt").flatMap(_.split(" ")) .map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop1:8020/out")

3. sparkHA搭建——基於zookeeper

停掉spark集群：./spark-stop.sh
修改 spark-env.sh 文件

// 添加如下配置 #ZK HA export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop3:2181,hadoop3:2181,hadoop4:2181 -Dspark.deploy.zookeeper.dir=/spark" MASTER=spark://hadoop1:7077,spark://hadoop2:7077 bin/spark-shell

分發修改后的spark-env.sh文件給其他節點。在hadoop1上啟動所有worker進程和master進程，在hadoop2上啟動另一個master進程

[centos@hadoop1 /soft/spark/sbin]$ ./start-all.sh [centos@hadoop2 /soft/spark/sbin]$./start-master.sh

大功告成！

其他組建安裝配置

mysql、hive、flume …

MySQL安裝配置

1. 安裝MySQL

在Linux上安裝MySQL一般有兩種方式。第一種就是使用yum命令進行安裝(比較輕量，安裝包較小，但依賴多，容易出錯)。第二種方式就是通過解壓MySQL包安裝(包比較大，但是不容易出錯)。本文采用第二種方式安裝配置MySQL。

下載mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz，並將其放在共享目錄下(/mnt/hgfs/bigdata/soft/…)。
切換到root，卸載自帶的 Mariadb

$> rpm -qa|grep mariadb // 查詢出來已安裝的mariadb $> rpm -e --nodeps 文件名 // 卸載mariadb，文件名為上述命令查詢出來的文件

$> rm /etc/my.cnf

創建名為mysql的用戶組，創建一個名為mysql的用戶，並將該用戶加入mysql用戶組

//創建mysql用戶組 $> groupadd mysql //創建一個用戶名為mysql的用戶並加入mysql用戶組 $> useradd -g mysql mysql

將 mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz 復制到 /usr/local 目錄下，並解壓在當前目錄下

$> cp /mnt/hgfs/bigdata/soft/mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz /usr/local //解壓該壓縮文件 $> tar -zxvf mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz

將解壓出來的文件夾重命名為mysql

$> mv 解壓出來的文件夾名 mysql

將 /usr/local/mysql/support-files 路徑下的 my-default.cnf 文件拷貝到 /etc 目錄下，重命名為 my.cnf

[root@s201 /usr/local/mysql]# cp my-default.cnf /etc/my.cnf

配置 my.cnf 文件

[root@s201 /usr/local/mysql]# nano /etc/my.cnf [mysql] # 設置mysql客戶端默認字符集 default-character-set=utf8 socket=/var/lib/mysql/mysql.sock [mysqld] skip-name-resolve #設置3306端口 port = 3306 socket=/var/lib/mysql/mysql.sock # 設置mysql的安裝目錄 basedir=/usr/local/mysql # 設置mysql數據庫的數據的存放目錄 datadir=/usr/local/mysql/data # 允許最大連接數 max_connections=200 # 服務端使用的字符集默認為8比特編碼的latin1字符集 18. character-set-server=utf8 # 創建新表時將使用的默認存儲引擎 default-storage-engine=INNODB lower_case_table_name=1 max_allowed_packet=16M user=mysql //設置用戶為mysql

如果是centos精簡版本，可能需要安裝Perl模塊

$> yum install -y perl $> yum install -y perl-Module-Install.noarch

如果是centos系統，修改 /etc/selinux/config，把SELINUX=enforcing改為SELINUX=disabled，保存退出后重啟機器
進入安裝 mysql 軟件目錄,安裝數據庫

[root@hadoop1 ~]# cd /usr/local/mysql [root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql ./ 修改當前目錄擁有着為mysql用戶 [root@hadoop1 /usr/local/mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/

修改當前 data目錄的擁有者為 mysql用戶

[root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql data

2. 配置MySQL

授予 my.cnf最大權限

[root@hadoop1 /usr/local/mysql]# chown 777 /etc/my.cnf

[root@hadoop1 /usr/local/mysql]# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld

增加 mysqld 服務控制腳本執行權限

[root@hadoop1 /usr/local/mysql]# chmod +x /etc/rc.d/init.d/mysqld

將 mysqld 服務加入到系統服務

[root@hadoop1 /usr/local/mysql]# chkconfig --add mysqld

檢查 mysqld 服務是否已經生效

[root@hadoop1 /usr/local/mysql]# chkconfig --list mysqld

在 /var/lib 下創建 mysql 文件夾，修改權限

[root@hadoop1 /usr/local/mysql]# mkdir /var/lib/mysql //設置權限 [root@hadoop1 /usr/local/mysql]# chmod 777 /var/lib/mysql

將 mysql 的 bin 目錄加入 PATH 環境變量，編輯 ~/.bash_profile 文件

[root@hadoop1 /usr/local/mysql]# nano ~/.bash_profile //在文件最后添加如下信息： 指定環境變量啟動程序位置 export PATH=$PATH:/usr/local/mysql/bin //執行下面的命令是修改的內容立即生效 : [root@hadoop1 /usr/local/mysql]# source ~/.bash_profile

啟動mysqld

//啟動mysql服務 [root@hadoop1 /usr/local/mysql]# service mysqld start //關閉mysql服務 [root@hadoop1 /usr/local/mysql]# service mysqld stop

以 root 賬戶登錄 mysql, 默認是沒有密碼的，要輸入密碼的時候直接回車即可

[root@hadoop1 /usr/local/mysql]# mysql -u root -p

注意： mysql -u root -p 命令可能會有異常：-bash: mysql: command not found。這是因為系統在默認的命令文件夾 /usr/bin 下沒有找到 mysql 命令，需要在此文件夾下建一個符號鏈接：

[root@hadoop1 /usr/local/mysql]# ln -s /usr/local/mysql/bin/mysql /usr/bin

設置 root 賬戶密碼為 root

mysql>use mysql mysql>update user set password=password('root') where user='root' and host='localhost'; mysql>flush privileges;

設置遠程主機登錄，使用下面命令查看和添加，注意下面的 your username 和 your password 改成你需要設置的用戶和密碼

查看用戶
select Host,User,Password from mysql.user; 創建用戶 create user test identified by '123456'; 分配權限 grant all privileges on *.* to 'test'@'%'identified by '123456' with grant option; //匹配整個數據庫權限 grant all privileges on *.* to 'root'@'%' identified by 'root'; 說明: 第一個’root’是用戶名,第二個’%’是所有的ip都可以遠程訪問,第三個’123456’表示用戶密碼 如果不常用就關閉掉。 刷新 flush privileges ; 修改指定用戶密碼 update mysql.user set password=password('新密碼') where User="test" and Host="localhost"; 刪除用戶 delete from user where User='test' and Host='localhost';

CentOS7 防火牆設置

重啟防火牆
firewall-cmd --reload 停止防火牆 systemctl stop firewalld.service 禁止防火牆開機啟動 systemctl disable firewalld.service 刪除 firewall-cmd --zone= public --remove-port=80/tcp --permanent 關閉防火牆 1） 永久性生效，重啟后不會復原 開啟： chkconfig iptables on 關閉： chkconfig iptables off 2） 即時生效，重啟后復原 開啟： service iptables start 關閉： service iptables stop

成功示例

3. 問題解決

MySQL提示：The server quit without updating PID file
參考：1. https://www.cnblogs.com/wangshaojun/p/5065298.html
2. http://blog.51cto.com/fengyunshan911/2070818
解決linux mysql命令 bash: mysql: command not found 的方法
參考：https://www.cnblogs.com/jr1260/p/6590860.html

4. 說明

本文詳細參考了 https://blog.csdn.net/u013421629/article/details/79638315 文檔，在此對原作者的辛苦整理表示感謝！！！

Hive安裝配置

1. hive安裝

hadoop3，hadoop4，hadoop5上安裝

准備hive安裝包：apache-hive-2.3.3-bin.tar.gz ，解壓到 /soft 目錄下，並創建符號鏈接

// 解壓 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-hive-2.3.3-bin.tar.gz -C /soft // 創建符號鏈接 [centos@hadoop3 /soft]$ ln -s /soft/apache-hive-2.3.3-bin hive

在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 導入環境變量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

2. hive配置

使用MySQL來存放hive的元數據

將mysql的驅動程序復制到 /soft/hive/lib 目錄下

[centos@hadoop3 /home/centos/localsoft]$cp mysql-connector-java-5.1.44.jar /soft/hive/lib/

將 /soft/hive/conf/hive-default.xml.template 文件復制為 hive-site.xml，並進行如下配置:

$> cp /soft/hive/conf/hive-default.xml.template /soft/hive/conf/hive-site.xml //配置如下屬性 <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://59.68.29.79:3306/hive</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> <property> <name>hive.exec.local.scratchdir</name> <value>/home/centos/hive</value> </property> <property> <name>hive.downloaded.resources.dir</name> <value>/home/centos/hive/downloads</value> </property> <property> <name>hive.querylog.location</name> <value>/home/centos/hive/querylog</value> </property> <property> <name>hive.server2.logging.operation.log.location</name> <value>/home/centos/hive/server2_logs</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>hive.server2.enable.doAs</name> <value>false</value> </property>

在mysql中創建存放hive元數據的數據庫 hive

mysql> create database hive;

初始化hive的元數據到mysql中

[centos@hadoop3 /soft/hive/bin]$schematool -dbType mysql -initSchema

向其他兩台主機發送所有配置，在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

// 分發解壓文件 [centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop4:/soft/ [centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop5:/soft/ // 分發符號鏈接 [centos@hadoop3 /soft]$rsync -lr hive centos@hadoop4:/soft/ [centos@hadoop3 /soft]$rsync -lr hive centos@hadoop5:/soft/ 導入環境變量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

hive的基本命令：

// 進入hive [centos@hadoop3 /home/centos]$ hive $hive>create database mydb2 ; //創建數據庫 mydb2 $hive>show databases ; $hive>use mydb2 ; $hive>create table mydb2.t(id int,name string,age int); $hive>drop table t ; $hive>drop table mydb2.t ; $hive>select * from mydb2.t ; //查看指定庫的表 $hive>exit ; //退出

Flume安裝配置

Flume是一個日志采集系統，在8台主機上都進行配置

准備安裝包：apache-flume-1.8.0-bin.tar.gz，解壓到 /soft 目錄下，並創建符號鏈接

// 解壓 [centos@hadoop1 /home/centos/localsoft]$tar -xzvf apache-flume-1.8.0-bin.tar.gz -C /soft/ // 創建符號鏈接 [centos@hadoop1 /soft]$ln -s /soft/apache-flume-1.8.0-bin flume

在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 導入環境變量 export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin

分發所有配置給其他主機節點，在 /etc/profile 中配置環境變量，source /etc/profile 立即生效

// 分發解壓文件 [centos@hadoop1 /soft]$xsync.sh apache-flume-1.8.0-bin // 分發符號鏈接 [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop2:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop3:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop4:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop5:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop6:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop7:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop8:/soft/ 導入環境變量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

驗證是否安裝成功：flume-ng version

本文轉與http://www.pianshen.com/article/849261746/

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）七、Hadoop3.3.1 HA 高可用集群QJM （基於Zookeeper，NameNode高可用+Yarn高可用）大牛博客！Spark / Hadoop / Kafka / HBase / Storm 大牛博客！Spark / Hadoop / Kafka / HBase / Storm 高可用Hadoop平台－HBase集群搭建 spark+zookeeper高可用集群搭建 hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安裝 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 Spark集群高可用HA配置 Hadoop Hive HBase Spark Storm概念解釋