CentOS7 安装MySQL及 部署 Hive

阅读链接：https://blog.csdn.net/u012369535/article/details/89226631

 

hive所需要的组件中只有一个外部组件是hadoop没有的，那就是metastore（元数据存储）组件。

元数据信息我们基本采用MySQL 进行存储

 

so 首先 安装 Mysql

1. 查看是否安装MySQL

rpm -qa|grep -i mysql
// 如果显示有内容 直接卸载
rpm -e ...
注：卸载时注意顺序
// 删除 其他 配置
rm -rf /usr/my.cnf
rm -rf /root/.mysql_sercret

2. 下载MySQL 的repo 源

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

// 使用上面的命令就直接下载了安装用的Yum Repository，大概25KB的样子，然后就可以直接yum安装了。

yum -y install mysql57-community-release-el7-10.noarch.rpm

3. 安装MySQL

yum -y install mysql-server mysql

4. 查看 安装后的包 （命令同 1）

5. 启动(停止/重启/查看状态) MySQL 服务

systemctl start(/stop/restart/status) mysqld

6. 首次root用户 登陆不需要密码

mysql -uroot [-p]

7. 登陆MySQL 初始化设置

// 设置密码 
mysql>  set password for 'root'@'localhost' =password('自定义密码');


mysql>  use mysql;
mysql>  update user set host = '%' where user = 'root';
// 把在所有数据库的所有表的所有权限赋值给位于所有IP地址的root用户
mysql>  grant all privileges on *.* to root@'%'identified by '自定义密码' with grant option;
mysql>  flush privileges; --刷新权限(必须的)
// 本地主机测试 navicat 连接 mysql

8. 为MySQL 的配置文件添加配置 (/etc/my.cnf)

[mysql]
default-character-set =utf8

 

mysql 安装完毕 ，安装Hive

1. 下载 hive到本地并解压

2. 配置环境变量

3. 修改配置文件

　　3-1. 修改hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
</property>
<property>
    <name>hive.exec.scratchdir</name>
    <value>/hive/tmp</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/hive/tmp</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/hive/resource</value>
</property>


<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>

// ${system:java.io.tmpdir}替换成/usr/local/hive/tmp
// ${system:user.name}替换成root

　　3-2. Hadoop 创建文件

hadoop dfs -mkdir -p /hive/tmp
hadoop dfs -mkdir -p /hive/warehouse
hadoop dfs -mkdir -p /hive/resource

hadoop dfs -chmod 777 /hive/tmp
hadoop dfs -chmod 777 /hive/warehouse
hadoop dfs -chmod 777 /hive/resource

　　3-3. 上传驱动包到hive 的lib 目录下（mysql-connector-java-5.1.32.jar）

　　3-4. 修改 hive-env.sh

cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HADOOP_HOME=/usr/bigdata/hadoop-2.6.5
export HIVE_CONF_DIR=/usr/bigdata/hive-2.3.6/con

　　3-5. 修改 hive-log4j2.properties

cp hive-log4j2.properties.template hive-log4j2.properties

vim hive-log4j2.properties
hive.log.dir=/usr/bigdata/hive-2.3.6/log

4. 启动及测试

　　4-1. 对MySQL 进行初始化

schematool -dbType mysql -initSchema

　　4.2 登陆MySQL 创建 hive 数据库

　　4.3 启动hive

cd .../hive/bin/

./hive