Hbase通过Scan获取记录


Hbase中查找数据一般包括两种方式:
1) Get方式,通过Rowkey进行查询。都是获取一条数据。
2)是通过Scan进行全表查询,可以设置一些过滤条件,返回一批数据。

Scan查询的方式

  1. scan 可以通过setCaching 与setBatch 方法提高速度(以空间换时间);
  2. scan 可以通过setStartRow 与setEndRow 来限定范围([start,end),start 是闭区间,end 是开区间)。范围越小,性能越高。
  3. scan 可以通过setFilter 方法添加过滤器,这也是分页、多条件查询的基础。

Scan方式查询的数据并不是一次全部返回的,是经过多次返回。在客户端中的Scan代码,使用for循环遍历ResultScanner对象获取数据,每一次都会调用一次next请求,如果在客户端中有未读取的数据就返回数据,如果客户端中没有数据,next将从服务器端获取数据,每次默认是100行数据(hbase 0.98)。

如果想要控制每次next请求获取的数据的量,可以使用以下的参数进行控制:

  • .setCaching => .setNumberOfRowsFetchSize (客户端每次 rpc fetch 的行数)
  • .setBatch => .setColumnsChunkSize (客户端每次获取的列数)
  • .setMaxResultSize => .setMaxResultByteSize (客户端缓存的最大字节数)

Scan的查询

1、通过Hbase shell中查询得知,可以使用的Scan中的命令有:

TIMERANGE, FILTER, LIMIT, STARTROW, STOPROW, ROWPREFIXFILTER, 
TIMESTAMP,MAXLENGTH, COLUMNS, CACHE, RAW, VERSIONS, 
ALL_METRICS, METRICS,REGION_REPLICA_ID, ISOLATION_LEVEL,
READ_TYPE, ALLOW_PARTIAL_RESULTS, BATCH or MAX_RESULT_SIZE

Scan中的有Filter过滤器,通过过滤器进行查询。


Java 查询

java查询可以通过HBase API 实现简单的增删查改等功能,但是这些api提供的功能过于简单,不能实现想MySQL数据库一样的按照条件进行查询。

HBase的Filter的过滤器提供了更加强大的功能,能够使得HBase能够根据条件进行过滤查询。

过滤器的参数

过滤器可以通过数据的行键、列组、列、版本号等,通过这些可以高效的完成查询任务。

使用过滤器的时候,至少需要两个参数:
1)第一个参数是对数据的比较,比如大于、等于、小于等等比较
2)第二个参数是指将数据以什么样的类型进行比较,例如说是以bit类型还是String类型进行比较。

过滤器至少需要两种参数:
1) 抽象的操作符,HBase中提供了枚举类型表示这种抽象符(CompareFilter.CompareOp包下的)。HBase的过滤器比较运算符:

LESS  <
LESS_OR_EQUAL <=
EQUAL =
NOT_EQUAL <>
GREATER_OR_EQUAL >=
GREATER >
NO_OP 排除所有
  1. HBase过滤的比较器(指定比价机制)
BinaryComparator  按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte[])
BinaryPrefixComparator 跟前面相同,只是比较左端的数据是否相同
NullComparator 判断给定的是否为空
BitComparator 按位比较
RegexStringComparator 提供一个正则的比较器,仅支持 EQUAL 和非EQUAL
SubstringComparator 判断提供的子串是否出现在value中。

过滤器的类型

1、rowKey过滤器RowFilter:根据rowkey进行查询数据
2、列族过滤器FamilyFilter:根据列族的名字进行查询符合条件列族下的所有数据
3、列过滤器QualifierFilter:根据条件查询所有符合的列族中所有数据
4、列值过滤器ValueFilter:根据数据的进行查询,返回所有符合查询条件的数据,不管是哪一个列的

// rowkey过滤器
RowFilter rowFilter = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes("0003")));

// 列族过滤器
FamilyFilter familyFilter = new FamilyFilter(CompareFilter.CompareOp.LESS, new SubstringComparator("f2"));

// 列过滤器
QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("name"));

// 列值过滤器
ValueFilter valueFilter = new ValueFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("8"));

专用过滤器:返回的都是整行数据
1、单列值过滤器 SingleColumnValueFilter:会返回符合条件的整列值的所有字段,也就是返回整个行
2、列值排除过滤器SingleColumnValueExcludeFilter:与SingleColumnValueFilter相反,会排除掉指定的列,返回剩下的列
3、rowkey前缀过滤器PrefixFilter:查询符合前缀条件的rowkey,也是返回的是整行数据
4、分页过滤器PageFilter:实现根据指定大的页数进行过滤

多过滤器综合查询FilterList
filterList 就是一个相当于一个list,所添加的过滤器可以是上面的所有过滤器,按照顺序添加到filterList中。当查询数据的时候,数据依次经历所有的过滤器。

// 单列值过滤器
SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("f1".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, "刘备".getBytes());

// 单列值排除过滤器
SingleColumnValueExcludeFilter singleColumnValueExcludeFilter= new SingleColumnValueExcludeFilter("f1".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, "刘备".getBytes());

// rowkey的前缀过滤器
PrefixFilter prefixFilter = new PrefixFilter("00".getBytes());

// 分页过滤器
PageFilter filter = new PageFilter(pageSize);

// 多过滤器综合查询
FilterList filterList = new FilterList();
SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("f1".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, "刘备".getBytes());
PrefixFilter prefixFilter = new PrefixFilter("00".getBytes());
filterList.addFilter(singleColumnValueFilter);
filterList.addFilter(prefixFilter);
scan.setFilter(filterList);


参考的博客:


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM