基於偽分布式Hadoop搭建Hive平台詳細教程


一、搭建環境的前提條件

  環境:Linux系統

  Hadoop-2.6.0

  MySQL 5.6

  apache-hive-2.3.7

  這里的環境不一定需要和我一樣,基本版本差不多都ok的,所需安裝包和壓縮包自行下載即可。但是注意hive和hadoop都是2.x系列版本的。

  這里提供一個我下載的hive版本的鏈接,讀者有需要可以自取:http://mirror.bit.edu.cn/apache/hive/hive-2.3.7/

  這里需要提前搭建好hadoop環境和MySQL環境,具體可以看我的博客鏈接:Hadoop2.0偽分布式平台環境搭建Linux環境下MySQL 5.6安裝與配置----親測有效----純離線安裝

二、搭建的詳細步驟

1.使用mysql來存儲hive元數據

  將hive下載完成后解壓到指定目錄下,注意這里的3.1版本改成我們前面的2.3版本即可。  

  

  登錄mysql

  

  建立hive用戶

  

  賦予hive用戶足夠權限

  

  刷新mysql的系統權限相關表

  

  重啟mysql服務,注意:這里需要使用 service mysqld restart 這個命令

  

  使用hive用戶登錄mysql

  

  創建Hive專用元數據庫

  

2.配置hive

  創建配置文件hive-site.xml

  

  在xml輸入以下內容,這里面的password是剛才創建hive用戶的密碼,我這里是123456

   

  把mysql的jdbc驅動包復制到hive的lib目錄下,下載網址https://dev.mysql.com/downloads/connector/j/,讀者如有需要可聯系我私發。

  

  hive初始化

  

  初始化的結果

  

  配置PATH環境變量進入profile文件

   

  輸入以下內容

  

  修改配置文件hive-env.sh ,執行以下命令

   

  在hive-env.sh添加以下內容,這里的jdk與hadoop版本視自己本身情況而定。

  

3.啟動hive

  先開啟hadoop集群,使用jps查看是否開啟

   

  啟動hive

   

  在Hive中創建表student

   

  關閉hive的話使用exit;即可

hive>exit;

  使用mysql查看

   

  顯示hive數據庫中的數據表

   

  查看hive的元數據信息

  

     

三、總結

  我這篇博文是基於MySQL和Hadoop偽分布式搭建的一個hive平台,在搭建的過程中也遇到了一些問題,也請教了一些同事,最終成功搭建出來了,希望這篇博文能夠對各位有所幫助。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM