HIVE 2.3.4 本地安裝與部署 (Ubuntu)


配置環境總是令人頭大!
苦苦掙扎數日后,博主總算活過來了!
特分享成功配置HIVE的過程!

類似Hadoop,Hive也有三種也不同的部署模式(本文采用第二種):

  1. 內嵌模式:將元數據保存在Hive內嵌的Derby數據庫中,只允許一個會話連接
  2. 本地模式:(以MySQL為例)在本地安裝MySQL,將元數據保存在MySQL中,支持多個會話、多用戶連接
  3. 遠程模式:將元數據保存在遠端數據庫中

基本環境:

  • Ubuntu 18.04 (Ubuntu 16.04 同樣適用噢)
  • Hadoop 2.9.1

注:本文在已配置Hadoop的用戶(用戶名為hadoop)下執行操作。

1.下載安裝hive


  • 下載hive

  • 可以從Apache官方鏡像直接下載:
    https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

  • 也可以通過命令行命令:
    wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz

  • 解壓縮到路徑 /usr/local
    tar -zxvf ./apache-hive-2.3.4-bin.tar.gz -C /usr/local/

  • 重命名
    sudo mv apache-hive-2.3.4-bin hive

2.配置Hive


2.1 配置環境變量

vim ~/.bashrc
也可用gedit等其他編輯器打開並編輯
在 bashrc 中添加

# /usr/local/hadoop 為 Hadoop 安裝目錄
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/sbin:/usr/local/hive/bin
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

保存后,執行
source ~/.bashrc
使文件生效

2.2 修改配置文件 hive-site.xml

進入hive配置目錄:
cd /usr/local/hive/conf
將hive-default.xml.template重命名為hive-default.xml
sudo mv hive-default.xml.template hive-default.xml
新建一個配置文件hive-site.xml並編輯
sudo vim hive-site.xml
在hive-site.xml中寫入MySQL配置信息(雖然我們還沒有安裝MySQL):
注意,第三部分<value>hadoop</value>處hadoop為MySQL用戶名
同樣,第四部分<value>123456</value>處123456為MySQL密碼

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hadoop</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

2.3修改配置文件 hive-env.xml

將hive-env.xml.template重命名為hive-env.xml:
sudo mv hive-env.xml.template hive-env.xml
在hive-env.xml中增加:

# Hadoop的位置:
export HADOOP_HOME=/usr/local/hadoop
# hive的conf目錄位置:
export HIVE_CONF_DIR=/usr/local/hive/conf
# hive的lib目錄位置:
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

3. 下載安裝MySQL


3.1 安裝

更新軟件源: sudo apt-get update
安裝MySQL:sudo apt-get install mysql-server
安裝過程會設置root用戶密碼,設置完成后自動安裝即可

3.2 啟動MySQL

service mysql start

3.3 檢查是否啟動成功

sudo netstat -tap | grep mysql
有mysql信息即啟動成功,也說明安裝成功

3.4 配置驅動(mysql jdbc,本文使用5.1.46版本)

命令行下載:
sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
解壓:
sudo tar -zxvf mysql-connector-java-5.1.46.tar.gz
移動到hive/lib目錄下
sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib
友情提醒,這里有個坑... 如果使用其他版本connector,版本不宜過低

4.配置權限


4.1 配置MySQL接入權限

# root登陸MySQL:
sudo mysql -u root -p

# 進入mysql shell,注意 ";" 標識一條命令結束
# 授予權限給用戶hadoop,密碼123456:
mysql> GRANT ALL ON *.* TO 'hadoop'@'%' IDENTIFIED BY '123456'; 
# 配置成功,回顯:
Query OK, 0 rows affected, 1 warning (0.02 sec)
# 退出:
mysql> exit;
# 退出成功,回顯:
Bye

之后可以以hadoop用戶(非授權用戶需要 sudo 指令)
mysql -u hadoop -p
登陸 mysql shell

4.2 創建倉庫並配置權限

在hdfs上創建相關倉庫,並配置權限:
若未啟動hadoop,請先啟動hadoop

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -mkdir -p /user/hive/tmp
hadoop fs -mkdir -p /user/hive/log
hadoop fs -chmod -R 777 /user/hive/warehouse
hadoop fs -chmod -R 777 /user/hive/tmp
hadoop fs -chmod -R 777 /user/hive/log

注意,直接調用hadoop fs命令需要已配置相關環境變量

4.3 初始化

cd /usr/local/hive/bin
schematool -initSchema -dbType mysql
看到 schemaTool completed ,即初始化成功!

5.啟動hive及測試


請先確保 hadoop 已正常啟動!

# 啟動hive(由於已配置相關環境變量,直接使用):
hive
# 啟動成功,啟動過程提示信息結束后,回顯:
hive> 
# 說明已成功啟動。同樣,注意 ";" 標識一條命令結束!

5.1 測試 hive

# 顯示數據庫:
hive> show databases;
OK
default
Time taken: 14.107 seconds, Fetched: 1 row(s)

# 創建一個表:
hive> create table test1(tid int, tname string);
OK
Time taken: 5.021 seconds

# 顯示tables:
hive> show tables;
OK
test1
Time taken: 5.077 seconds, Fetched: 1 row(s)

# 刪除剛剛創建的表test1:
hive> drop table test1;
OK
Time taken: 5.223 seconds

# 重新創建表 test1(用於mysql測試):
hive> create table test1(tid int, tname string);
OK
Time taken: 1.322 seconds

# 退出 hive shell
hive> exit;

5.2 測試 mysql

# hadoop 用戶進入mysql
mysql -u hadoop -p
# 輸入密碼后,進入mysql shell
mysql>
# 顯示數據庫:
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.11 sec)

# 使用hive數據庫
mysql> use hive;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

# 顯示我們剛剛創建的表(記錄在table TBLS中)
mysql> select * from TBLS;
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
|      1 |  1543335170 |     1 |                0 | hadoop |         0 |     1 | test1    | MANAGED_TABLE | NULL               | NULL               |                    |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
1 row in set (0.00 sec)
# 在上面,我們可以看到OWNER:hadoop,TBL_NAME:test1,即我們剛剛創建的表
# 退出:
mysql> exit;
Bye

到此,我們的配置就大功告成了!
如果想使用遠程連接mysql,主要需要修改 hive-site.xml 文件中第一部分 ConnectionURL。
如果幫到了你,點個推薦啊~
如果遇到困難,也歡迎留言或者私信討論~



參考博客

感謝這些博主提供的基礎步驟和問題解決方案!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM