Mac上搭建Hadoop環境(3) — Hive下載及安裝

文章目錄

• 前言
• 主要步驟
• 安裝mysql
• 配置hive元數據庫
• Hive安裝
• 設置環境變量
• 設置配置文件
• 准備mysql-connector-java
• 初始化元數據
• 啟動metastore
• 測試

前言

之前已經完成了hadoop集群的安裝，測試了HDFS的使用，現在准備在此基礎上，繼續安裝Hive。

主要步驟

• 安裝mysql
• 安裝hive
• 配置hive

安裝mysql

brew install mysql;

配置hive元數據庫

mysql.server start 
mysql -uroot 
mysql> CREATE DATABASE hive;
mysql> USE hive;
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost';

Hive安裝

在Mac上我們可以利用Homebrew進行Hive的快速安裝

brew update;
brew install hive;

我選擇從官網下載壓縮包進行安裝，步驟如下

sudo tar -C /opt -xvf ~/Downloads/apache-hive-2.3.4-bin.tar.gz
mv apache-hive-2.3.4-bin hive
chown -R lestat:staff hive

設置環境變量

在 /etc/profile 中添加以下環境變量

#Hadoop Cluster
export HADOOP_HOME="/opt/hadoop"
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents/Home"
export HIVE_HOME="/opt/hive"
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib

設置配置文件

cd $HIVE_HOME/libexec/conf
cp hive-env.sh.template hive-env.sh;
cp hive-default.xml.template hive-site.xml;

修改 hive-env.sh

export HADOOP_HEAPSIZE=1024
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=$HADOOP_HOME
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/hive/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/opt/hive/lib

修改 hive-site.xml
首先在前面添加如下設置：

<property>
    <name>system:java.io.tmpdir</name>
    <value>/tmp/</value>
</property>
<property>
    <name>system:user.name</name>
    <value>${user.name}</value>
</property>

然后修改相應設置

<configuration>
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>mysql驅動>程序
        <value>com.mysql.jdbc.Driver</value>
    </property>
</configuration>

准備mysql-connector-java

cp ~/Downloads/mysql-connector-java-8.0.15.jar /opt/hive/lib/

初始化元數據

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

啟動metastore

$HIVE_HOME/bin/hive --service metastore &

測試

進入hive

show databases;