一、hive安裝(內置數據庫derby)


hive是一個數據倉庫工具,建立在hadoop之上,它的存在是為了讓大數據的查詢和分析更加的方便。hive提供簡單的sql查詢功能,並最終轉換為mapreduce任務執行。

一、環境

  • JDK1.8+官方推薦新版JDK,否則可能存在不同版本不兼容問題
  • hadoop采用2.0+版本,否則hive2.0+將不支持hadoop1.0+
  • Linux環境和window皆可作為生產環境,但是macos的話一般作為開發環境

本文采用centos7系統,JDk1.8,和hadoop2.9

JDK安裝參考:https://www.cnblogs.com/lay2017/p/7442217.html

hadoop單節點安裝參考:https://www.cnblogs.com/lay2017/p/9912381.html

hdfs單節點安裝配置:https://www.cnblogs.com/lay2017/p/9919905.html

以上,我們構建了JDK,hadoop以及配置了hadoop中的hdfs。hive將基於jdk和hadoop環境,將數據存儲在hdfs中。

同時,為了簡單,我們只進行單節點安裝配置,並只配置了hdfs,沒有mapreduce和yarn的配置。

以及,元數據存儲我們也不使用獨立的mysql或者derby,直接采用默認的內置數據庫derby,使用內置數據庫只會允許有一個connection,所以如果是生產環境通常是會使用獨立的數據庫mysql

這樣,我們就構建了hive的基本環境,接下來我們進行hive的安裝配置

 

二、hive安裝配置

我們先建立一個Hive目錄,然后進入該目錄

mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive

本文采用1.2.2版本的hive,下載該tar包,這里要等待一段時間

wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

然后解壓

tar apache-hive-1.2.2-bin.tar.gz

你可以看到解壓后的文件

接下來我們需要給hive配置環境變量

當然,請確保你之前安裝的hadoop和jdk是可用的配置

使用命令,使得配置生效

source /etc/profile

我們進入hive目錄

cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin

進入hive shell看看(請記得要先啟動hdfs:start-dfs.sh)

這樣就說明我們已經配置成功hive了,退出hive

我們看到該目錄下創建了metastore

這就意味着在apache-hive-1.2.2-bin目錄下存放着你的元數據,而下次你也得在這個目錄去啟動hive,如果在其他位置啟動Hive,你會找不到這些表而覺得奇怪。

以上,我們就簡單安裝配置了hive,並成功啟動hive shell同時自動創建了元數據數據庫(metastore_db);

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM