Hive的安裝和使用

1.Hive
1.1 在hadoop生態圈中屬於數據倉庫的角色。他能夠管理hadoop中的數據，同時可以查詢hadoop中的數據。
　　本質上講，hive是一個SQL解析引擎。Hive可以把SQL查詢轉換為MapReduce中的job來運行。
     hive有一套映射工具，可以把SQL轉換為MapReduce中的job，可以把SQL中的表、字段轉換為HDFS中的文件(夾)以及文件中的列。
     這套映射工具稱之為metastore，一般存放在derby、mysql中。
1.2 hive在hdfs中的默認位置是/user/hive/warehouse，是由配置文件hive-site.xml中屬性hive.metastore.warehouse.dir決定的（簡短點，可以修改為/hive）。

1.3 hive的系統架構

用戶接口主要有三個：CLI，JDBC/ODBC和 WebUI

　　CLI，即Shell命令行

　　JDBC/ODBC 是 Hive 的Java，與使用傳統數據庫JDBC的方式類似

　　WebGUI是通過瀏覽器訪問 Hive

Hive 將元數據存儲在數據庫中(metastore)，目前只支持 mysql、derby。Hive 中的元數據包括表的名字，表的列和分區及其屬性，表的屬性（是否為外部表等），表的數據所在目錄等

解釋器、編譯器、優化器完成 HQL 查詢語句從詞法分析、語法分析、編譯、優化以及查詢計划（plan）的生成。生成的查詢計划存儲在 HDFS 中，並在隨后有 MapReduce 調用執行

Hive 的數據存儲在 HDFS 中，大部分的查詢由 MapReduce 完成（包含 * 的查詢，比如 select * from table 不會生成 MapRedcue 任務）

 

2.hive的安裝（在hadoop0上）
(1)解壓縮、重命名、設置環境變量vi /etc/profile
　　export HIVE_HOME=/usr/local/hive
　　export PATH=....:$HIVE_HOME/bin...
　　設置好，執行source /etc/profile
(2)在目錄$HIVE_HOME/conf/下，執行命令mv hive-default.xml.template hive-site.xml重命名
　　在目錄$HIVE_HOME/conf/下，執行命令mv hive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh，修改內容如下：
　　打開修改 export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(4)在目錄$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下內容：
　　export JAVA_HOME=/usr/local/jdk
　　export HIVE_HOME=/usr/local/hive
　　export HADOOP_HOME=/usr/local/hadoop

在hadoop0上執行hive命令，就進入到了hive命令行模式下，在這個模式下一些數據庫操作跟MySQL的命令行下(cmd-->mysql -uroot -proot)的操作一樣！
如： show databases;
　　use default;
　　show tables;
　　create table t1(id string);
　　show tables;
　　select * from t1;

 

通過在瀏覽器中輸入hadoop0:50070，可以查看到hive在HDFS中的相關信息。

 

3.安裝mysql
(1)刪除linux上已經安裝的mysql相關庫信息。rpm -e mysql-libs-xxx --nodeps
　　執行命令rpm -qa |grep mysql 檢查是否刪除干凈
(2)執行命令 rpm -i mysql-server-******** 安裝mysql服務端
(3)啟動mysql 服務端，執行命令 mysqld_safe &
(4)執行命令 rpm -i mysql-client-******** 安裝mysql客戶端
(5)執行命令mysql_secure_installation設置root用戶密碼( Y admin n n n Y ) 登錄：mysql -uroot -padmin

 

4. 使用mysql作為hive的metastore

metastore是hive元數據的集中存放地。metastore默認使用內嵌的derby數據庫作為存儲引擎 Derby引擎的缺點：一次只能打開一個會話 使用Mysql作為外置存儲引擎，多用戶同時訪問

(1)把mysql的jdbc驅動放置到hive的lib目錄下cp mysql-connector-java-5.1.10.jar /usr/local/hive/lib/
(2)修改hive-site.xml文件，修改內容如下：
<property>
　　<name>javax.jdo.option.ConnectionURL</name>
　　<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
　　<name>javax.jdo.option.ConnectionDriverName</name>
　　<value>com.mysql.jdbc.Driver</value>
</property>
<property>
　　<name>javax.jdo.option.ConnectionUserName</name>
　　<value>root</value>
</property>
<property>
　　<name>javax.jdo.option.ConnectionPassword</name>
　　<value>admin</value>
</property>

要想用工具遠程連接MySQL數據庫，先要在MySQL命令行下授權：grant all on hive.* to 'root'@'%' identified by 'admin';

　　　　　　　　　　　　　　　　　　　　　　　　　　　刷新：flush privileges ;

 

5. 內部表
CREATE TABLE t1(id int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1; -----先新建一個id文件，cd /root/
vi id 輸入一些數據

　　1
　　2
　　3
　　4
　　5　　
注意：如果上面不加LOCAL，就會從HDFS中取找對應文件加載！
select * from t1;----可以查看到插入的數據，也可在瀏覽器中查看hadoop0:50070

 

注意：加載數據，用LOAD DATA..可以，也可以直接使用hadoop fs -put /root/id /hive/t1/id2，這樣加載數據的效果跟LOAD DATA一樣！

CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; -----列與列之間通過制表符來區分

cp id stu
vi stu 輸入數據

　　1 zhangsan
　　2 lisi
　　3 wangwu
　　4 zhaoliu
　　5 qian
上傳數據到表里面：hadoop fs -put stu /hive/t2

 

6. 分區表
CREATE TABLE t3(id int) PARTITIONED BY (day int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=22);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=23);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=24);
在瀏覽器中查看，在/hive/t3/目錄下，會有三個分區day=22,day=23,day=24

根據分區名來查詢：select * from t3 where day=22;

 

7. 桶表
create table t4(id int) clustered by(id) into 4 buckets;
set hive.enforce.bucketing = true; ----默認不使用桶，現在改為使用桶
insert into table t4 select id from t3;
可以在瀏覽器中觀察，/hive/t4表下有四個桶，分別都存儲了數據。（數據加載到桶表時，會對字段值取hash值，然后與桶的數量取模。把數據放到對應的文件中）

 

8. 外部表（外部表不同於上面的表，上面的表都是受控表MANAGED_TABLE）
create external table t5(id int) location '/external';
hadoop fs -put /root/id /external/id
select * from t5;

 

9.使用Java客戶端，查看Hive中表的數據

Hive遠程服務啟動#hive --service hiveserver >/dev/null 2>/dev/null &

JAVA客戶端相關代碼 （先導入hive中的Jar包）

package hive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

public class App {

    public static void main(String[] args) throws Exception {
        Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
        Connection con = DriverManager.getConnection("jdbc:hive://hadoop0:10000/default", "", "");
        Statement stmt = con.createStatement();
        String querySQL="SELECT * FROM default.t1";

        ResultSet res = stmt.executeQuery(querySQL);  

        while (res.next()) {
        System.out.println(res.getInt(1));
        }

    }

}