CentOS7 安裝MySQL及 部署 Hive

閱讀鏈接：https://blog.csdn.net/u012369535/article/details/89226631

 

hive所需要的組件中只有一個外部組件是hadoop沒有的，那就是metastore（元數據存儲）組件。

元數據信息我們基本采用MySQL 進行存儲

 

so 首先 安裝 Mysql

1. 查看是否安裝MySQL

rpm -qa|grep -i mysql
// 如果顯示有內容 直接卸載
rpm -e ...
注：卸載時注意順序
// 刪除 其他 配置
rm -rf /usr/my.cnf
rm -rf /root/.mysql_sercret

2. 下載MySQL 的repo 源

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

// 使用上面的命令就直接下載了安裝用的Yum Repository，大概25KB的樣子，然后就可以直接yum安裝了。

yum -y install mysql57-community-release-el7-10.noarch.rpm

3. 安裝MySQL

yum -y install mysql-server mysql

4. 查看 安裝后的包 （命令同 1）

5. 啟動(停止/重啟/查看狀態) MySQL 服務

systemctl start(/stop/restart/status) mysqld

6. 首次root用戶 登陸不需要密碼

mysql -uroot [-p]

7. 登陸MySQL 初始化設置

// 設置密碼 
mysql>  set password for 'root'@'localhost' =password('自定義密碼');


mysql>  use mysql;
mysql>  update user set host = '%' where user = 'root';
// 把在所有數據庫的所有表的所有權限賦值給位於所有IP地址的root用戶
mysql>  grant all privileges on *.* to root@'%'identified by '自定義密碼' with grant option;
mysql>  flush privileges; --刷新權限(必須的)
// 本地主機測試 navicat 連接 mysql

8. 為MySQL 的配置文件添加配置 (/etc/my.cnf)

[mysql]
default-character-set =utf8

 

mysql 安裝完畢 ，安裝Hive

1. 下載 hive到本地並解壓

2. 配置環境變量

3. 修改配置文件

　　3-1. 修改hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
</property>
<property>
    <name>hive.exec.scratchdir</name>
    <value>/hive/tmp</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/hive/tmp</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/hive/resource</value>
</property>


<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>

// ${system:java.io.tmpdir}替換成/usr/local/hive/tmp
// ${system:user.name}替換成root

　　3-2. Hadoop 創建文件

hadoop dfs -mkdir -p /hive/tmp
hadoop dfs -mkdir -p /hive/warehouse
hadoop dfs -mkdir -p /hive/resource

hadoop dfs -chmod 777 /hive/tmp
hadoop dfs -chmod 777 /hive/warehouse
hadoop dfs -chmod 777 /hive/resource

　　3-3. 上傳驅動包到hive 的lib 目錄下（mysql-connector-java-5.1.32.jar）

　　3-4. 修改 hive-env.sh

cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HADOOP_HOME=/usr/bigdata/hadoop-2.6.5
export HIVE_CONF_DIR=/usr/bigdata/hive-2.3.6/con

　　3-5. 修改 hive-log4j2.properties

cp hive-log4j2.properties.template hive-log4j2.properties

vim hive-log4j2.properties
hive.log.dir=/usr/bigdata/hive-2.3.6/log

4. 啟動及測試

　　4-1. 對MySQL 進行初始化

schematool -dbType mysql -initSchema

　　4.2 登陸MySQL 創建 hive 數據庫

　　4.3 啟動hive

cd .../hive/bin/

./hive