第一種比較簡單,但是只適合小表進行count
1.count命令
最直接的方式是在hbase shell中執行count的命令可以統計行數。
[html] view plain copy
hbase> count ‘t1′
hbase> count ‘t1′, INTERVAL => 100000
hbase> count ‘t1′, CACHE => 1000
hbase> count ‘t1′, INTERVAL => 10, CACHE => 1000
其中,INTERVAL為統計的行數間隔,默認為1000,CACHE為統計的數據緩存。這種方式效率很低,如果表行數很大的話不建議采用這種方式。
下面兩種方法可以進行大表count
2. 調用Mapreduce
[plain] view plain copy
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’
這種方式效率比上一種要搞很多,調用的hbase jar中自帶的統計行數的類。
1000w耗時兩分鍾。
3.hive over hbase
如果已經見了hive和hbase的關聯表的話,可以直接在hive中執行sql語句統計hbase表的行數。
hive over hbase 表的建表語句為:
/*創建hive與hbase的關聯表*/
[sql] view plain copy
CREATE TABLE hive_hbase_1(key INT,value STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:val")
TBLPROPERTIES("hbase.table.name"="t_hive","hbase.table.default.storage.type"="binary");
/*hive關聯已經存在的hbase*/
[sql] view plain copy
CREATE EXTERNAL TABLE hive_hbase_1(key INT,value STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:val")
TBLPROPERTIES("hbase.table.name"="t_hive","hbase.table.default.storage.type"="binary");
————————————————
版權聲明:本文為CSDN博主「mtj66」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/mtj66/java/article/details/77163604