一、搭建環境的前提條件
環境:Linux系統
Hadoop-2.6.0
MySQL 5.6
apache-hive-2.3.7
這里的環境不一定需要和我一樣,基本版本差不多都ok的,所需安裝包和壓縮包自行下載即可。但是注意hive和hadoop都是2.x系列版本的。
這里提供一個我下載的hive版本的鏈接,讀者有需要可以自取:http://mirror.bit.edu.cn/apache/hive/hive-2.3.7/
這里需要提前搭建好hadoop環境和MySQL環境,具體可以看我的博客鏈接:Hadoop2.0偽分布式平台環境搭建和Linux環境下MySQL 5.6安裝與配置----親測有效----純離線安裝
二、搭建的詳細步驟
1.使用mysql來存儲hive元數據
將hive下載完成后解壓到指定目錄下,注意這里的3.1版本改成我們前面的2.3版本即可。
登錄mysql
建立hive用戶
賦予hive用戶足夠權限
刷新mysql的系統權限相關表
重啟mysql服務,注意:這里需要使用 service mysqld restart 這個命令
使用hive用戶登錄mysql
創建Hive專用元數據庫
2.配置hive
創建配置文件hive-site.xml
在xml輸入以下內容,這里面的password是剛才創建hive用戶的密碼,我這里是123456
把mysql的jdbc驅動包復制到hive的lib目錄下,下載網址https://dev.mysql.com/downloads/connector/j/,讀者如有需要可聯系我私發。
hive初始化
初始化的結果
配置PATH環境變量進入profile文件
輸入以下內容
修改配置文件hive-env.sh ,執行以下命令
在hive-env.sh添加以下內容,這里的jdk與hadoop版本視自己本身情況而定。
3.啟動hive
先開啟hadoop集群,使用jps查看是否開啟
啟動hive
在Hive中創建表student
關閉hive的話使用exit;即可
hive>exit;
使用mysql查看
顯示hive數據庫中的數據表
查看hive的元數據信息
三、總結
我這篇博文是基於MySQL和Hadoop偽分布式搭建的一個hive平台,在搭建的過程中也遇到了一些問題,也請教了一些同事,最終成功搭建出來了,希望這篇博文能夠對各位有所幫助。