Hive 實現HBase 數據批量插入


HBase 數據的插入可以使用Java API 來寫Java 程序逐條倒入,但是不是很方便。利用Hive自帶的一個Jar包,可以建立Hive和HBase的映射關系 利用Hive 的insert可以將批量數
據導入到HBase中,還可以通過 Hql 語句進行查詢。

具體的配置方法如下:

1、把hive-hbase-handler-0.9.0-cdh4.1.2.jar (CDH5 默認在 /usr/lib/hive/lib下)  cp到hbase/lib 下 (CDH5 默認在 /usr/lib/hbase/lib下)

2、配置hive-site.xml (CDH5 默認在 /etc/hive/conf 下)

<property>
   <name>hive.aux.jars.path</name>
   <value>file:///usr/lib/hbase/lib/hive-hbase-handler-0.12.0-cdh5.0.0.jar,file:///usr/lib/hbase/hbase.jar,file:///usr/lib/hbase/lib/zookeeper.jar</value>
</property>

利用下面的語句,可以創建一個Hive表和一個HBase 表

CREATE TABLE employee_hbase
(key string,age int,sex string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES
("hbase.columns.mapping" = ":key,info:age,info:sex") TBLPROPERTIES ("hbase.table.name"="employee");

其中 Hive 表名:employee_hbase 有 key,age,sex 三列
HBase表名:employee_hbase 有 rowkey = key 列族 info 列 age sex
名稱一一對應

利用 insert into table employee_hbase select name as key,age,sex from employee;可以將已有Hive 數據導入到HBase中


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM