hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置

集群	虚拟机节点
HadoopHA集群	hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
YarnHA集群	hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
ZooKeeper集群	hadoop3,hadoop4,hadoop5
Hbase集群	hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
Kafka集群	hadoop6,hadoop7,hadoop8
Storm集群	hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
SparkHA集群	hadooop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8

集群详细规划：

虚拟机名称	IP	安装软件	进程	功能
hadoop1	59.68.29.79	jdk,hadoop,mysql	NameNode,ResourceManeger,DFSZKFailoverController(zkfc),master(spark)	hadoop的NameNode节点,spark的master节点,yarn的ResourceManeger节点
hadoop2	10.230.203.11	jdk,hadoop,spark	NameNode,ResourceManeger,DFSZKFailoverController(zkfc),worker(spark)	hadoop(yarn)的容灾节点，spark的容灾节点
hadoop3	10.230.203.12	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HMaster,…(storm),worker(spark)	storm,hbase,zookeeper的主节点
hadoop4	10.230.203.13	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop5	10.230.203.14	jdk,hadoop,zookeeper,hbase,storm,spark	DataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop6	10.230.203.15	jdk,hadoop,hbase,storm,kafka,spark	DataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)	kafka的主节点
hadoop7	10.230.203.16	jdk,hadoop,hbase,storm,kafka,spark	DataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)
hadoop8	10.230.203.17	jdk,hadoop,kafka,spark	DataNode,NodeManager,journalnode,kafka,worker(spark)

软件版本介绍

JDK版本： jdk-8u65-linux-x64.tar.gz
hadoop版本： hadoop-2.7.6.tar.gz
zookeeper版本： zookeeper-3.4.12.tar.gz
hbase版本： hbase-1.2.6-bin.tar.gz
Storm版本： apache-storm-1.1.3.tar.gz
kafka版本： kafka_2.11-2.0.0.tgz
MySQL版本： mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz
hive版本： apache-hive-2.3.3-bin.tar.gz
Flume版本： apache-flume-1.8.0-bin.tar.gz
Spark版本： spark-2.3.1-bin-hadoop2.7.tgz

前期准备

ssh免密登录

hadoop1 和 hadoop2 是容灾节点(解决单点故障问题)，所以这两个主机除了能互相访问之外，还需要登录其他主机节点，可以免密登录

检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

[centos@hadoop1 /home/centos]$ yum list installed | grep ssh

检查是否启动了sshd进程

[centos@hadoop1 /home/centos]$ ps -Af | grep sshd

在hadoop1~hadoop8主机节点的 ~(/home/centos) 目录下创建 .ssh 文件目录，并修改权限

[centos@hadoop1 /home/centos]$ mkdir .ssh [centos@hadoop1 /home/centos]$ chmod 700 ~/.ssh

在hadoop1主机上生成秘钥对，追加公钥到~/.ssh/authorized_keys文件中，并修改authorized_keys文件的权限为644(centos系统)

//生成秘钥对 [centos@hadoop1 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //进入 ~/.ssh 文件夹下 [centos@hadoop1 /home/centos]$ cd ~/.ssh //追加公钥到~/.ssh/authorized_keys文件中 [centos@hadoop1 /home/centos/.ssh]$ cat id_rsa.pub >> authorized_keys // 修改authorized_keys文件的权限为644 [centos@hadoop1 /home/centos/.ssh]$ chmod 644 authorized_keys

将hadoop1的公钥文件id_rsa.pub远程复制给其他7台主机节点，并放置在/home/centos/.ssh/authorized_keys下

//重名名 [centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop1.pub [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop2:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop3:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop4:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop5:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop6:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop7:/home/centos/.ssh/authorized_keys [centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop8:/home/centos/.ssh/authorized_keys

在hadoop2主机上生成秘钥对。为了与hadoop1的公钥区分，重命名为 id_rsa_hadoop2.pub。追加公钥到~/.ssh/authorized_keys文件中，并分发给其他7台主机节点

//生成秘钥对 [centos@hadoop2 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //重名名 [centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop2.pub //追加公钥到~/.ssh/authorized_keys文件中 [centos@hadoop1 /home/centos/.ssh]$ cat id_rsa_hadoop2.pub >> authorized_keys //将authorized_keys分发给其他节点 [centos@hadoop1 /home/centos/.ssh]$ scp authorized_keys centos@hadoop:/home/centos/.ssh/ ... 分发给其他节点

关闭防火墙

为了保证集群正常启动，先要关闭各台主机的防火墙，一些命令如下：

[cnetos 6.5之前的版本] $>sudo service firewalld stop //停止服务 $>sudo service firewalld start //启动服务 $>sudo service firewalld status //查看状态 [centos7] $>sudo systemctl enable firewalld.service //"开机启动"启用 $>sudo systemctl disable firewalld.service //"开机自启"禁用 $>sudo systemctl start firewalld.service //启动防火墙 $>sudo systemctl stop firewalld.service //停止防火墙 $>sudo systemctl status firewalld.service //查看防火墙状态 [开机自启] $>sudo chkconfig firewalld on //"开启自启"启用 $>sudo chkconfig firewalld off //"开启自启"禁用

两个批处理脚本

提示：为了全局可用，脚本都放在 /usr/local/bin 目录下。只在hadoop1和hadoop2节点配置

//以本地用户身份创建xcall.sh $>touch ~/xcall.sh //centos //将其复制到 /usr/local/bin 目录下 $>sudo mv xcall.sh /usr/local/bin //修改权限 $>sudo chmod a+x xcall.sh //添加脚本 $>sudo nano xcall.sh

批分发指令脚本(xcall.sh)

#!/bin/bash params=$@ i=1 for (( i=1 ; i <= 8 ; i = $i + 1 )) ; do echo ============= s$i $params ============= ssh hadoop$i "$params" done

批同步脚本(xsync.sh)：类似于 scp 指令

#!/bin/bash if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi p=$1 #echo p=$p dir=`dirname $p` #echo dir=$dir filename=`basename $p` #echo filename=$filename cd $dir fullpath=`pwd -P .` #echo fullpath=$fullpath user=`whoami` for (( i = 1 ; i <= 8 ; i = $i + 1 )) ; do echo ======= hadoop$i ======= rsync -lr $p ${user}@hadoop$i:$fullpath done ;

集群环境搭建

安装JDK

准备JDK：jdk-8u65-linux-x64.tar.gz，将其上传到主机hadoop1的 /home/centos/localsoft 目录下，该目录用于存放所有需要安装的软件安装包
在根目录下(/)新建一个 soft 文件夹，并将该文件夹的用户组权限和用户权限改为 centos，该文件夹下为所有需要安装的软件

//创建soft文件夹 [centos@hadoop1 /home/centos]$ sudo mkdir /soft //修改权限(centosmin0是自己的本机用户名) [centos@hadoop1 /home/centos]$ sudo chown centos:centos /soft

解压 jdk-8u65-linux-x64.tar.gz 到 /soft 目录下，并创建符号链接

// 从 /home/centos/localsoft 下解压到 /soft [centos@hadoop1 /home/centos/localsoft]$ tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft // 创建符号链接 [centos@hadoop1 /soft]$ ln -s /soft/jdk1.8.0_65 jdk

在 /etc/profile 文件中配置环境变量，同时 source /etc/profile，使其立即生效

// 进入profile [centos@hadoop1 /home/centos]$ sudo nano /etc/profile // 环境变量 # jdk export JAVA_HOME=/soft/jdk export PATH=$PATH:$JAVA_HOME/bin // source 立即生效 [centos@hadoop1 /home/centos]$ source /etc/profile

检验是否安装配置成功

[centos@hadoop1 /home/centos]$ java -version // 显示如下 java version "1.8.0_65" Java(TM) SE Runtime Environment (build 1.8.0_65-b17) Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

按照以上步骤配置其他主句(hadoop2~hadoop8)：可以使用批分发指令(xsync.sh分发文件给其他7台主机节点)

Hadoop安装配置(手动HA搭建)

1. hadoop安装配置

准备hadoop：hadoop-2.7.6.tar.gz，解压到 /soft 目录下，创建符号链接

// 从 /home/centos/localsoft 下解压到 /soft [centos@hadoop1 /home/centos/localsoft]$ tar -xzvf hadoop-2.7.6.tar.gz -C /soft // 创建符号链接 [centos@hadoop1 /soft]$ ln -s /soft/hadoop-2.7.6 hadoop

在 /etc/profile 下配置环境变量，source /etc/profile 立即生效，使用 hadoop version 检测是否安装成功

// 进入profile [centos@hadoop1 /home/centos]$ sudo nano /etc/profile // 环境变量 # hadoop export HADOOP_HOME=/soft/hadoop export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin // source 立即生效 [centos@hadoop1 /home/centos]$ source /etc/profilea // 检测是否安装成功 [centos@hadoop1 /home/centos]$ hadoop version 显示如下： Hadoop 2.7.6 Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8 Compiled by kshvachk on 2018-04-18T01:33Z Compiled with protoc 2.5.0 From source with checksum 71e2695531cb3360ab74598755d036 This command was run using /soft/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

提示：现在的操作在hadoop1节点上，先不用在其他节点进行安装配置，等后续配置结束后再一起将配置传给其他节点，能大大节省工作量。

2. hadoop手动NameNode HA搭建

基于hadoop的原生NameNode HA搭建，后面会与zookeeper集群进行整合，实现自动容灾(Yarn+NameNode)

进入 /soft/hadoop/etc 目录，复制 hadoop 文件为：full，ha，pesudo，并创建指向ha的符号链接hadoop

[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop ha [centos@hadoop1 /soft/hadoop/etc]$ cp hadoop full [centos@hadoop1 /soft/hadoop/etc]$ cp hadoop pesudo // 创建符号链接 [centos@hadoop1 /soft/hadoop/etc]$ ln -s /soft/hadoop/etc/ha hadoop

进入 ha 目录下配置4个文件：core-site.xml；hdfs-site.xml；mapred-site.xml；yarn-site.xml

[core-site.xml]

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!--- 配置新的本地目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/centos/hadoop</value> </property> <property> <name>ipc.client.connect.max.retries</name> <value>20</value> </property> <property> <name>ipc.client.connect.retry.interval</name> <value>5000</value> </property> </configuration>

[hdfs-site.xml]

<configuration> <!-- 配置nameservice --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- myucluster下的名称节点两个id --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <!-- 配置每个nn的rpc地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop2:8020</value> </property> <!-- 配置webui端口 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop2:50070</value> </property> <!-- 名称节点共享编辑目录 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485;hadoop6:8485;hadoop7:8485;hadoop8:8485/mycluster</value> </property> <!-- java类，client使用它判断哪个节点是激活态 --> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 脚本列表或者java类，在容灾情况下保护激活态的nn --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/centos/.ssh/id_rsa</value> </property> <!-- 配置JN存放edit的本地路径 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/centos/hadoop/journal</value> </property> </configuration>

[mapred-site.xml]

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

[yarn-site.xml]

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

配置 slaves 文件和修改 hadoop-env.sh中的一个细节

// 配置 DataNode 从属节点 [centos@hadoop1 /soft/hadoop/etc/ha]$ nano slaves 添加如下： hadoop3 hadoop4 hadoop5 hadoop6 hadoop7 hadoop8 // 修改hadoop-env.sh中的一个细节 [centos@hadoop1 /soft/hadoop/etc/ha]$ nano hadoop-env.sh 将 export JAVA_HOME={JAVA_HOME} 改为 export JAVA_HOME=/soft/jdk

将上面所有的配置都分发给其他7台主机节点

// 批分发 [centos@hadoop1 /soft]$ xsync hadoop-2.7.6 // 将符号链接也分发给其他主机节点 [centos@hadoop1 /soft]$ rsync -lr hadoop centos:/soft/

注意： /etc/profile 配置文件还需每台主机单独配置，配置内容与hadoop1一样

// 环境变量 # hadoop export HADOOP_HOME=/soft/hadoop export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

3. 启动hadoop HA集群进行测试

在jn节点(每个数据节点就是一个jn节点)启动jn进程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)

$>hadoop-daemon.sh start journalnode

分别在hadoop1和hadoop2节点上进行数据格式化(两个节点都需要格式化，不然NameNode进程无法启动)

// hadoop1 节点 [centos@hadoop1 /home/centos]$ hadoop namenode -format // hadoop2 节点 [centos@hadoop2 /home/centos]$ hadoop namenode -format

在一个NN上执行以下命令，完成edit日志到jn节点的传输

[centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits

启动所有节点

[hadoop1] $>hadoop-daemon.sh start namenode //启动名称节点 $>hadoop-daemons.sh start datanode //启动所有数据节点 [hadoop2] $>hadoop-daemon.sh start namenode //启动名称节点

HA 手动管理命令：

$>hdfs haadmin -transitionToActive nn1 //切成激活态 $>hdfs haadmin -transitionToStandby nn1 //切成待命态 $>hdfs haadmin -transitionToActive --forceactive nn2//强行激活 $>hdfs haadmin -failover nn1 nn2 //模拟容灾演示,从nn1切换到nn2

在webui下查看状态：hadoop1:50070；hadoop2:50070

注意！！！

在进行格式化之前一定要先启动数据节点上的journalnode进程
两台容灾节点(NN1，NN2)都需要进行格式化

zookeeper安装配置(Yarn+NameNode HA)

zookeeper集群节点为：hadoop3，hadoop4，hadoop5。先在hadoop3上进行安装配置，然后分发给hadoop4和hadoop5节点。

1. zookeeper安装配置

准备安装包：zookeeper-3.4.12.tar.gz，解压到 /soft 目录下，添加符号链接

// 解压 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf zookeeper-3.4.12.tar.gz -C /soft/ // 创建符号链接 [centos@hadoop3 /soft]$ln -s /soft/zookeeper-3.4.12 zk

在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$sudo nano /etc/profile //导入环境变量 export ZK_HOME=/soft/zk export PATH=$PATH:$ZK_HOME/bin

2. zookeeper完全分布式集群

进入 /soft/zk/conf 目录下，配置zk

// 复制 [centos@hadoop3 /soft/zk/conf]$cp zoo_sample.cfg zoo.cfg // 配置 [centos@hadoop3 /soft/zk/conf]$nano zoo.cfg // 配置如下： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/centos/zookeeper //配置临时文件路径 clientPort=2181 server.1=hadoop3:2888:3888 server.2=hadoop4:2888:3888 server.3=hadoop5:2888:3888

分发上面所有的配置给另外两个节点(从hadoop3分发到hadoop4和hadoop5)，分别配置两个节点的 /etc/profile 环境

// 分发给hadoop4 [centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop4:/soft/ // 分发给hadoop5 [centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop5:/soft/ // 分发符号引用给hadoop4 [centos@hadoop3 /soft]$rsync -lr zk centos@hadoop4:/soft/ // 分发符号引用给hadoop5 [centos@hadoop3 /soft]$rsync -lr zk centos@hadoop5:/soft/ //导入环境变量 export ZK_HOME=/soft/zk export PATH=$PATH:$ZK_HOME/bin

在每台主机的/home/centos/zookeeper中添加myid,内容分别是1,2,3

[hadoop3] [centos@hadoop3 /home/centos]$ echo 1 > /home/centos/zookeeper/myid [hadoop4] [centos@hadoop4 /home/centos]$ echo 2 > /home/centos/zookeeper/myid [hadoop5] [centos@hadoop5 /home/centos]$ echo 3 > /home/centos/zookeeper/myid

启动服务器集群，查看每台服务器的状态

//启动服务器 $> zkServer.sh start //关闭 $> zkServer.sh stop //查看状态 $>zkServer.sh status

zookeeper基本命令：

$>zkCli.sh -server hadoop3:2181 //进入zk命令行 $zk]help //查看帮助 $zk]quit //退出 $zk]create /a tom // $zk]get /a //查看数据 $zk]ls / //列出节点 $zk]set /a tom //设置数据 $zk]delete /a //删除一个节点 $zk]rmr /a //递归删除所有节点。

3. hadoop+zk 高可用配置

1. 准备阶段

停掉所有的hadoop进程(保证没有任何进程在运行)

[centos@hadoop1 /home/centos]$

删除所有节点的日志和本地数据

// 删除所有节点的日志 [centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /soft/hadoop/logs/*" // 删除所有节点的本地数据 [centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /home/centos/hadoop/*"

登录每台JN节点主机，启动JN进程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)

$> hadoop-daemon.sh start journalnode

登录其中一个名称节点(NN)，格式化文件系统(登录hadoop1)

[centos@hadoop1 /home/centos]$ hadoop namenode -format

复制hadoop1主机 /home/centos/hadoop/* 的元数据到hadoop2主机

[centos@hadoop1 /home/centos]$ scp -r ~/hadoop/* centos@hadoop2:/home/centos/hadoop

在未格式化的NN(hadoop2)节点上做standby引导
- 启动hadoop1主机的名称节点
```
[centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode 
```
- 1
- 登录到hadoop2节点，做standby引导(选择：N)
```
[centos@hadoop2 /home/centos]$ hdfs namenode -bootstrapStandby 
```
- 1
- 登录hadoop1，将hadoop1的edit日志初始化到JN节点(选择：Y)
```
[centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits 
```
- 1
注意：假如出现被锁住无法引导的情况，需要删除 /home/centos/hadoop/dfs/name 下的 in_use.lock 文件
启动所有数据节点

[centos@hadoop1 /home/centos]$ hadoop-daemons.sh start datanode

登录到hadoop2主机，启动名称节点(NN)

[centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode

2. NameNode高可用配置

停止所有进程

[centos@hadoop1 /home/centos]$ stop-all.sh

配置hdfs-site.xml和core-site.xml，分发两个文件给所有主机

//配置core-site.xml，指定zk的连接地址 [core-site.xml] <property> <name>ha.zookeeper.quorum</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property> //配置hdfs-site.xml，启用自动容灾 [hdfs-site.xml] <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> //分发文件到其他主机 [centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh hdfs-site.xml [centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh core-site.xml

开启ZooKeeper集群(hadoop3, hadoop4, hadoop5)

$> zkServer.sh start

登录其中的一台NN(hadoop1)，在ZK中初始化HA状态，进入zk客户端查看

[centos@hadoop1 /home/centos]$ hdfs zkfc -formatZK // 进入zk客户端 [centos@hadoop3 /home/centos]$ zkCli.sh

启动hdfs进程

[centos@hadoop1 /home/centos]$ start-dfs.sh

3. Yarn高可用配置

yarn的高可用配置相对简单

配置 yarn-site.xml，分发给其他主机节点

<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster1</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop2</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>hadoop1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>hadoop2:8088</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property>

启动yarn进程(hadoop1)。hadoop没有启动两个resourcemanager，需要手动启动另外一个。

[hadoop1] [centos@hadoop1 /home/centos]$ start-yarn.sh [hadoop2] [centos@hadoop2 /home/centos]$ yarn-daemon.sh start resourcemanager //管理命令 //查看状态 $>yarn rmadmin -getServiceState rm1 //切换状态到standby $>yarn rmadmin -transitionToStandby rm1

查看 hadoop1 和 hadoop2 的资源管理器

hadoop1:8088 hadoop2:8088

Hbase安装配置(HA)

5台主机节点：hadoop3，hadoop4，hadoop5，hadoop6，hadoop7。hadoop3是master节点，其余节点为slave节点。

1. ssh配置

hbase是具有从属关系的集群，所以hadoop3需要能够免密登录到其他四个节点主机，需要进行ssh免密登录配置

在hadoop3上生成秘钥对，重命名公钥，并将公钥添加到authorized_keys

// 生成秘钥对 [centos@hadoop3 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa // 重命名 [centos@hadoop3 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop3.pub // 添加公钥到authorized_keys [centos@hadoop3 /home/centos/.ssh]$ cat id_rsa_hadoop3.pub >> authorized_keys

将公钥发给其他四个节点，并将公钥添加到authorized_keys中

[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop4:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop5:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop6:~/.ssh/ [centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop7:~/.ssh/ // 添加公钥到authorized_keys中 $> cat id_rsa_hadoop3.pub >> authorized_keys

2. hbase 安装配置

准备hbase安装包：hbase-1.2.6-bin.tar.gz，解压到 /soft 目录下，创建符号链接

[centos@hadoop3 /home/centos]$ tar -xzvf hbase-1.2.6-bin.tar.gz -C /soft/ // 创建符号链接 [centos@hadoop3 /soft]$ln -s /soft/hbase-1.2.6 hbase

在 /etc/profile 线配置环境变量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 导入环境变量： export HBASE_HOME=/soft/hbase export PATH=$PATH:$HBASE_HOME/bin // hadoop version HBase 1.2.6 Source code repository file:///home/busbey/projects/hbase/hbase-assembly/target/hbase-1.2.6 revision=Unknown Compiled by busbey on Mon May 29 02:25:32 CDT 2017 From source with checksum 7e8ce83a648e252758e9dae1fbe779c9

3. hbase高可用集群(整合zookeeper)

配置 /soft/hbase/conf/hbase-env.sh和 /soft/hbase/conf/regionservers

// 配置hbase-env.sh [centos@hadoop3 /soft/hbase/conf]$ nano hbase-env.sh //找到如下配置进行修改 export JAVA_HOME=/soft/jdk export HBASE_MANAGES_ZK=false export HBASE_PID_DIR=/home/centos/hbase/pids export HBASE_CLASSPATH=$HBASE_CLASSPATH:/soft/hadoop/etc/hadoop // 配置 regionservers [centos@hadoop3 /soft/hbase/conf]$ nano regionservers hadoop4 hadoop5 hadoop6 hadoop7

配置 /soft/hbase/conf/hbase-site.xml 文件

[centos@hadoop3 /soft/hbase/conf]$nano hbase-site.xml [hbase-site.xml] <!-- 使用完全分布式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定hbase数据在hdfs上的存放路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://mycluster/hbase</value> </property> <!-- 配置zk地址 --> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value> </property> <!-- zk的本地目录 --> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/centos/zookeeper</value> </property>

在 /soft/hbase/conf/ 目录下创建到hadoop的hdfs-site.xml符号连接

[centos@hadoop3 /soft/hbase/conf]$ ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/hdfs-site.xml

将上面的所有配置都发给其他节点(hadoop4，hadoop5，hadoop6，hadoop7)

// 解压文件 [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop4:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop5:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop6:/soft/ [centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop7:/soft/ // 分发符号链接 [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop4:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop5:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop6:/soft/ [centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop7:/soft/ // 在这4台主机节点的 /etc/profile 中配置环境变量，source /etc/profile 立即生效 export HBASE_HOME=/soft/hbase export PATH=$PATH:$HBASE_HOME/bin

启动hbase集群

注意：在启动hbase集群前，应该保证hadoop集群启动，并且NameNode节点为激活状态。否则会报异常：Operation category READ is not supported in state standby

[centos@hadoop3 /home/centos]$ start-hbase.sh

hbase基本命令

//启动HBase集群： $> start-hbase.sh //单独启动一个HMaster进程： $> hbase-daemon.sh start master //单独停止一个HMaster进程： $> hbase-daemon.sh stop master //单独启动一个HRegionServer进程： $> hbase-daemon.sh start regionserver //单独停止一个HRegionServer进程： $> hbase-daemon.sh stop regionserver //进入hbase shell $> hbase shell

在webui中查看：hadoop3:16010

Kafka集群安装配置

在hadoop6，hadoop7，hadoop8三台主机上构建kafka集群

准备kafka安装包：kafka_2.11-2.0.0.tgz，解压到 /soft 目录下，并创建符号链接

// 解压 [centos@hadoop6 /home/centos/localsoft]$tar -xzvf kafka_2.11-2.0.0.tgz -C /soft/ // 创建符号链接 [centos@hadoop6 /soft]$ln -s /soft/kafka_2.11-2.0.0 kafka

在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

[centos@hadoop6 /soft]$sudo nano /etc/profile 导入环境变量 export KAFKA_HOME=/soft/kafka export PATH=$PATH:$KAFKA_HOME/bin

配置kafka集群，主机：hadoop6，hadoop7，hadoop8。在 /soft/kafka/config/server.properties 文件中进行如下修改

[centos@hadoop6 /soft/kafka/config]$nano server.properties # The id of the broker. This must be set to a unique integer for each broker. broker.id=6 // hadoop6，hadoop7，hadoop8的broker_id分别为 6，7，8 listeners=PLAINTEXT://:9092 # A comma separated list of directories under which to store log files log.dirs=/home/centos/kafka/logs # Zookeeper connection string (see zookeeper docs for details). # This is a comma separated host:port pairs, each corresponding to a zk # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002". # You can also append an optional chroot string to the urls to specify the # root directory for all kafka znodes. zookeeper.connect=hadoop6:2181,hadoop7:2181,hadoop8:2181

把上面的配置分发其他两台主机节点，修改 /soft/kafka/config/server.properties 中的 broker_id 号，在 /etc/profile 下配置环境变量，source /etc/profile 立即生效

// 发送解压文件 [centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop7:/soft/ [centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop8:/soft/ // 发送符号链接 [centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop7:/soft/ [centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop8:/soft/ 导入环境变量 export KAFKA_HOME=/soft/kafka export PATH=$PATH:$KAFKA_HOME/bin 分别修改broker_id

启动kafka服务器

先启动ZooKeeper：zkServer.sh start
启动kafka集群：hadoop3，hadoop4，hadoop5

// 守护进程 [centos@hadoop6 /home/centos]$ kafka-server-start.sh /soft/kafka/config/server.properties &

验证kafka集群服务器是否启动

[centos@hadoop6 /home/centos]$ netstat -anop | grep 9092

Storm集群安装配置

在hadoop3，hadoop4，hadoop5，hadoop6，hadoop7 五台主机上构建storm集群

准备storm安装包：apache-storm-1.1.3.tar.gz，解压到 /soft 目录下，并创建符号链接

// 解压 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-storm-1.1.3.tar.gz -C /soft/ // 创建符号链接 [centos@hadoop3 /soft]$ ln -s /soft/apache-storm-1.1.3 storm

在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

[centos@hadoop3 /soft]$ sudo nano /etc/profile 导入环境变量 export STORM_HOME=/soft/storm export PATH=$PATH:$STORM_HOME/bin

进入 /soft/storm/conf 目录下，对 storm.yaml 进行如下配置(主机：hadoop3)

[centos@hadoop3 /soft/storm/conf]$ nano storm.yaml storm.zookeeper.servers: - "hadoop3" - "hadoop4" - "hadoop5" nimbus.seeds: ["hadoop3"] storm.local.dir: "/home/centos/storm" storm.zookeeper.port: 2181 ui.host: 0.0.0.0 ui.port: 8080 supervisor.slots/ports: - 6700 - 6701 - 6702 - 6703

将上面的配置分发给其他节点(hadoop4，hadoop5，hadoop6，hadoop7)，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

// 分发解压文件 [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop4:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop5:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop6:/soft/ [centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop7:/soft/ // 分发符号链接 [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop4:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop5:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop6:/soft/ [centos@hadoop3 /soft]$rsync -lr storm centos@hadoop7:/soft/ 导入环境变量 export STORM_HOME=/soft/storm export PATH=$PATH:$STORM_HOME/bin

启动集群
- 启动ZooKeeper集群：zkServer.sh start(hadoop3，hadoop4，hadoop5)
- 启动主机hadoop3的 nimbus 进程
```
[centos@hadoop3 /home/centos]$ storm nimbus &
```
- 1
- 启动hadoop4 ~ hadoop7 的 supervisor 进程
```
[centos@hadoop3 /home/centos]$ storm supervisor &
```
- 1
- 启动hadoop3的webui进程
```
[centos@hadoop3 /home/centos]$ storm ui &
```
- 1
在webui中查看：hadoop3:8080

Spark集群安装配置

在8个节点上配置spark集群，其中hadoop1是master节点，hadoop2~ hadoop8是worker节点

1. spark安装配置

准备spark安装包：spark-2.3.1-bin-hadoop2.7.tgz，解压到 /soft/ 目录，并创建符号链接：

// 解压 [centos@hadoop1 /home/centos/localsoft]$tar -xzvf spark-2.3.1-bin-hadoop2.7.tgz -C /soft/ // 创建符号链接 [centos@hadoop1 /soft]$ln -s /soft/spark-2.3.1-bin-hadoop2.7 spark

在 /etc/profile 下配置环境变量，source /etc/profile 立即生效

[centos@hadoop1 /home/centos]$sudo nano /etc/profile # spark export SPARK_HOME=/soft/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

验证：spark-shell，看等否进入spark命令行

2. spark集群配置(StandAlone：独立模式)

进入 /soft/spark/conf 目录下，配置 slaves，spark-env.sh 文件

// 在slaves文件中写入其他7台主机节点 hadoop3 hadoop4 hadoop5 hadoop6 hadoop7 hadoop8 // 在spark-env.sh中写入 SPARK_MASTER_HOST=hadoop1 SPARK_MASTER_PORT=7077

配置 Job History Server，修改 /soft/spark/conf 目录下的 spark-defaults.conf 和 spark-env.sh 文件

// 在 spark-env.sh 中添加如下配置 export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://hadoop1:8020/directory" // 在spark-defaults.conf中修改 spark.master spark://hadoop1:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop1:8020/directory

分发上面所有的配置给其他节点(hadoop2 ~ hadoop8)，并在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

// 分发解压文件 [centos@hadoop1 /soft]$xsync.sh spark-2.3.1-bin-hadoop2.7 // 分发符号链接 [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop2:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop3:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop4:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop5:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop6:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop7:/soft/ [centos@hadoop1 /soft]$rsync -lr spark centos@hadoop8:/soft/ 环境变量 export SPARK_HOME=/soft/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

启动集群

[centos@hadoop1 /soft/spark/sbin]$./start-all.sh

运行第一个spark程序(WordCount)


// 进入spark shell [centos@hadoop1 /soft/spark/sbin]$ ./spark-shell // 运行 scala> sc.textFile("hdfs://hadoop1:8020/wc.txt").flatMap(_.split(" ")) .map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop1:8020/out")

3. sparkHA搭建——基于zookeeper

停掉spark集群：./spark-stop.sh
修改 spark-env.sh 文件

// 添加如下配置 #ZK HA export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop3:2181,hadoop3:2181,hadoop4:2181 -Dspark.deploy.zookeeper.dir=/spark" MASTER=spark://hadoop1:7077,spark://hadoop2:7077 bin/spark-shell

分发修改后的spark-env.sh文件给其他节点。在hadoop1上启动所有worker进程和master进程，在hadoop2上启动另一个master进程

[centos@hadoop1 /soft/spark/sbin]$ ./start-all.sh [centos@hadoop2 /soft/spark/sbin]$./start-master.sh

大功告成！

其他组建安装配置

mysql、hive、flume …

MySQL安装配置

1. 安装MySQL

在Linux上安装MySQL一般有两种方式。第一种就是使用yum命令进行安装(比较轻量，安装包较小，但依赖多，容易出错)。第二种方式就是通过解压MySQL包安装(包比较大，但是不容易出错)。本文采用第二种方式安装配置MySQL。

下载mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz，并将其放在共享目录下(/mnt/hgfs/bigdata/soft/…)。
切换到root，卸载自带的 Mariadb

$> rpm -qa|grep mariadb // 查询出来已安装的mariadb $> rpm -e --nodeps 文件名 // 卸载mariadb，文件名为上述命令查询出来的文件

$> rm /etc/my.cnf

创建名为mysql的用户组，创建一个名为mysql的用户，并将该用户加入mysql用户组

//创建mysql用户组 $> groupadd mysql //创建一个用户名为mysql的用户并加入mysql用户组 $> useradd -g mysql mysql

将 mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz 复制到 /usr/local 目录下，并解压在当前目录下

$> cp /mnt/hgfs/bigdata/soft/mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz /usr/local //解压该压缩文件 $> tar -zxvf mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz

将解压出来的文件夹重命名为mysql

$> mv 解压出来的文件夹名 mysql

将 /usr/local/mysql/support-files 路径下的 my-default.cnf 文件拷贝到 /etc 目录下，重命名为 my.cnf

[root@s201 /usr/local/mysql]# cp my-default.cnf /etc/my.cnf

配置 my.cnf 文件

[root@s201 /usr/local/mysql]# nano /etc/my.cnf [mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 socket=/var/lib/mysql/mysql.sock [mysqld] skip-name-resolve #设置3306端口 port = 3306 socket=/var/lib/mysql/mysql.sock # 设置mysql的安装目录 basedir=/usr/local/mysql # 设置mysql数据库的数据的存放目录 datadir=/usr/local/mysql/data # 允许最大连接数 max_connections=200 # 服务端使用的字符集默认为8比特编码的latin1字符集 18. character-set-server=utf8 # 创建新表时将使用的默认存储引擎 default-storage-engine=INNODB lower_case_table_name=1 max_allowed_packet=16M user=mysql //设置用户为mysql

如果是centos精简版本，可能需要安装Perl模块

$> yum install -y perl $> yum install -y perl-Module-Install.noarch

如果是centos系统，修改 /etc/selinux/config，把SELINUX=enforcing改为SELINUX=disabled，保存退出后重启机器
进入安装 mysql 软件目录,安装数据库

[root@hadoop1 ~]# cd /usr/local/mysql [root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql ./ 修改当前目录拥有着为mysql用户 [root@hadoop1 /usr/local/mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/

修改当前 data目录的拥有者为 mysql用户

[root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql data

2. 配置MySQL

授予 my.cnf最大权限

[root@hadoop1 /usr/local/mysql]# chown 777 /etc/my.cnf

[root@hadoop1 /usr/local/mysql]# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld

增加 mysqld 服务控制脚本执行权限

[root@hadoop1 /usr/local/mysql]# chmod +x /etc/rc.d/init.d/mysqld

将 mysqld 服务加入到系统服务

[root@hadoop1 /usr/local/mysql]# chkconfig --add mysqld

检查 mysqld 服务是否已经生效

[root@hadoop1 /usr/local/mysql]# chkconfig --list mysqld

在 /var/lib 下创建 mysql 文件夹，修改权限

[root@hadoop1 /usr/local/mysql]# mkdir /var/lib/mysql //设置权限 [root@hadoop1 /usr/local/mysql]# chmod 777 /var/lib/mysql

将 mysql 的 bin 目录加入 PATH 环境变量，编辑 ~/.bash_profile 文件

[root@hadoop1 /usr/local/mysql]# nano ~/.bash_profile //在文件最后添加如下信息： 指定环境变量启动程序位置 export PATH=$PATH:/usr/local/mysql/bin //执行下面的命令是修改的内容立即生效 : [root@hadoop1 /usr/local/mysql]# source ~/.bash_profile

启动mysqld

//启动mysql服务 [root@hadoop1 /usr/local/mysql]# service mysqld start //关闭mysql服务 [root@hadoop1 /usr/local/mysql]# service mysqld stop

以 root 账户登录 mysql, 默认是没有密码的，要输入密码的时候直接回车即可

[root@hadoop1 /usr/local/mysql]# mysql -u root -p

注意： mysql -u root -p 命令可能会有异常：-bash: mysql: command not found。这是因为系统在默认的命令文件夹 /usr/bin 下没有找到 mysql 命令，需要在此文件夹下建一个符号链接：

[root@hadoop1 /usr/local/mysql]# ln -s /usr/local/mysql/bin/mysql /usr/bin

设置 root 账户密码为 root

mysql>use mysql mysql>update user set password=password('root') where user='root' and host='localhost'; mysql>flush privileges;

设置远程主机登录，使用下面命令查看和添加，注意下面的 your username 和 your password 改成你需要设置的用户和密码

查看用户
select Host,User,Password from mysql.user; 创建用户 create user test identified by '123456'; 分配权限 grant all privileges on *.* to 'test'@'%'identified by '123456' with grant option; //匹配整个数据库权限 grant all privileges on *.* to 'root'@'%' identified by 'root'; 说明: 第一个’root’是用户名,第二个’%’是所有的ip都可以远程访问,第三个’123456’表示用户密码 如果不常用就关闭掉。 刷新 flush privileges ; 修改指定用户密码 update mysql.user set password=password('新密码') where User="test" and Host="localhost"; 删除用户 delete from user where User='test' and Host='localhost';

CentOS7 防火墙设置

重启防火墙
firewall-cmd --reload 停止防火墙 systemctl stop firewalld.service 禁止防火墙开机启动 systemctl disable firewalld.service 删除 firewall-cmd --zone= public --remove-port=80/tcp --permanent 关闭防火墙 1） 永久性生效，重启后不会复原 开启： chkconfig iptables on 关闭： chkconfig iptables off 2） 即时生效，重启后复原 开启： service iptables start 关闭： service iptables stop

成功示例

3. 问题解决

MySQL提示：The server quit without updating PID file
参考：1. https://www.cnblogs.com/wangshaojun/p/5065298.html
2. http://blog.51cto.com/fengyunshan911/2070818
解决linux mysql命令 bash: mysql: command not found 的方法
参考：https://www.cnblogs.com/jr1260/p/6590860.html

4. 说明

本文详细参考了 https://blog.csdn.net/u013421629/article/details/79638315 文档，在此对原作者的辛苦整理表示感谢！！！

Hive安装配置

1. hive安装

hadoop3，hadoop4，hadoop5上安装

准备hive安装包：apache-hive-2.3.3-bin.tar.gz ，解压到 /soft 目录下，并创建符号链接

// 解压 [centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-hive-2.3.3-bin.tar.gz -C /soft // 创建符号链接 [centos@hadoop3 /soft]$ ln -s /soft/apache-hive-2.3.3-bin hive

在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 导入环境变量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

2. hive配置

使用MySQL来存放hive的元数据

将mysql的驱动程序复制到 /soft/hive/lib 目录下

[centos@hadoop3 /home/centos/localsoft]$cp mysql-connector-java-5.1.44.jar /soft/hive/lib/

将 /soft/hive/conf/hive-default.xml.template 文件复制为 hive-site.xml，并进行如下配置:

$> cp /soft/hive/conf/hive-default.xml.template /soft/hive/conf/hive-site.xml //配置如下属性 <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://59.68.29.79:3306/hive</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> <property> <name>hive.exec.local.scratchdir</name> <value>/home/centos/hive</value> </property> <property> <name>hive.downloaded.resources.dir</name> <value>/home/centos/hive/downloads</value> </property> <property> <name>hive.querylog.location</name> <value>/home/centos/hive/querylog</value> </property> <property> <name>hive.server2.logging.operation.log.location</name> <value>/home/centos/hive/server2_logs</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>hive.server2.enable.doAs</name> <value>false</value> </property>

在mysql中创建存放hive元数据的数据库 hive

mysql> create database hive;

初始化hive的元数据到mysql中

[centos@hadoop3 /soft/hive/bin]$schematool -dbType mysql -initSchema

向其他两台主机发送所有配置，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

// 分发解压文件 [centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop4:/soft/ [centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop5:/soft/ // 分发符号链接 [centos@hadoop3 /soft]$rsync -lr hive centos@hadoop4:/soft/ [centos@hadoop3 /soft]$rsync -lr hive centos@hadoop5:/soft/ 导入环境变量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

hive的基本命令：

// 进入hive [centos@hadoop3 /home/centos]$ hive $hive>create database mydb2 ; //创建数据库 mydb2 $hive>show databases ; $hive>use mydb2 ; $hive>create table mydb2.t(id int,name string,age int); $hive>drop table t ; $hive>drop table mydb2.t ; $hive>select * from mydb2.t ; //查看指定库的表 $hive>exit ; //退出

Flume安装配置

Flume是一个日志采集系统，在8台主机上都进行配置

准备安装包：apache-flume-1.8.0-bin.tar.gz，解压到 /soft 目录下，并创建符号链接

// 解压 [centos@hadoop1 /home/centos/localsoft]$tar -xzvf apache-flume-1.8.0-bin.tar.gz -C /soft/ // 创建符号链接 [centos@hadoop1 /soft]$ln -s /soft/apache-flume-1.8.0-bin flume

在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

[centos@hadoop3 /home/centos]$ sudo nano /etc/profile 导入环境变量 export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin

分发所有配置给其他主机节点，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效

// 分发解压文件 [centos@hadoop1 /soft]$xsync.sh apache-flume-1.8.0-bin // 分发符号链接 [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop2:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop3:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop4:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop5:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop6:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop7:/soft/ [centos@hadoop1 /soft]$rsync -lr flume centos@hadoop8:/soft/ 导入环境变量 export HIVE_HOME=/soft/hive export PATH=$PATH:$HIVE_HOME/bin

验证是否安装成功：flume-ng version

本文转与http://www.pianshen.com/article/849261746/

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）大牛博客！Spark / Hadoop / Kafka / HBase / Storm 大牛博客！Spark / Hadoop / Kafka / HBase / Storm 高可用Hadoop平台－HBase集群搭建 spark+zookeeper高可用集群搭建 hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 Spark集群高可用HA配置 Hadoop Hive HBase Spark Storm概念解释