hive與hbase整合方式和優劣


分別安裝hive 和 hbase 

1、在hive中創建與hbase關聯的表

create table ganji_ranks (row string,num string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES
("hbase.columns.mapping" = ":key,info:num") TBLPROPERTIES ("hbase.table.name"="ganji_rankings");

2、可以在hive中使用hsql 來插入數據並同時在hbase中也可以scan到

insert into table ganji_ranks select a,b,c from tablename where and/or ;

3、可以在hbase中使用來插入數據,支持更新,插入同樣rowkey的數據,最新的數據會覆蓋前面一條

 put 'ganji_ranking',a,vb,c .....

4、如果需要清空表,在hbase中truncate 'tablename' 即可

5、如果需要刪除表,hbase也可,hive也可以,在hive之中刪除,hbase的表也會隨之刪除,在hbase中刪除之前 需要 :1)、disable 'tablename' 2)、 drop 'tablename'      

優勢:方便統計,查看,查詢核對   在hive中,因為如果有中文之類的,hbase看不懂,還需要自己寫方法翻譯,有時候通過hive計算的結果插入挺方便

劣勢:hbase創建表的時候很多自定義的東西實現不了,而且hive中的表不支持修改,hbase表名如果修改了,hive會查不到hbase數據

 

 

好了,就這樣!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM