Phoenix整合Hbase,用SQL来操作Hbase

1.简介

Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。

Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。

Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。

 

*如果需要对HBase进行复杂的操作，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的API。

*Phoenix只能用在HBase上，其查询性能要远高于Hive。

 

2.Phoenix与HBase的关系

 

Phoenix与HBase中的表是独立的，两者之间没有必然的关系。

Phoenix与HBase集成后会创建8张系统表：SYSTEM.CATALOG、SYSTEM.CHILD_LINK、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.MUTEX、SYSTEM.SEQUENCE、SYSTEM.STATS、SYSTEM.TASK，其中SYSTEM.CATALOG表用于存放Phoenix创建表时的元数据。

Phoenix创建表时会自动调用HBase客户端创建相应的表，并且在SYSTEM.CATALOG系统表中记录Phoenix创建表时的元数据，其主键的值对应HBase的RowKey，非主键的列对应HBase的Column（列族不指定时为0，且列会进行编码）

如果是通过Phoenix创建的表，那么必须通过Phoenix客户端来对表进行操作，因为通过Phoenix创建的表其非主键的列会进行编码。

 

3.Phoenix语法

Phoenix的SQL中如果表名、字段名不使用双引号标注那么默认转换成大写。

Phoenix中的字符串使用单引号进行标注。 

在phoenix中，默认情况下，库名，表名，字段名等会自动转换为大写，若要小写，使用双引号，如"ns1"。
注意:特别注意引号，总之很变态

 

SCHEMA操作：

创建schema(就是hbase中的namespace),就是数据库
create schema IF NOT EXISTS "ns1";

*************使用schema，执行后再创建表，增加记录等，否则都建在default数据库中了****************
USE "ns1";

删除schema
drop schema "ns1";

　　

创建表：

CREATE  TABLE  IF  NOT  EXISTS  user  (

     id  varchar  PRIMARY  KEY ,

     name  varchar ,

     age  integer

);

 

查看：

!tables

 

 

插入/更新数据:

UPSERT  INTO  user  VALUES  ( '1001' ,  'zhangsan' , 18);

UPSERT  INTO  user (id, name ,age)  VALUES  ( '1002' ,  'lisi' , 20);

如果主键的值重复，那么进行更新操作，否则插入一条新的记录（在进行更新时，没有更新的列保持原值，在进行插入时，没有插入的列为null）

在使用UPSERT时，主键的列不能为空（包括联合主键）

 

查询数据:

SELECT  *  FROM  user ;

在进行查询时，支持ORDER BY、GROUP BY、LIMIT、JOIN等操作，同时Phoenix提供了一系列的函数，其中包括COUNT()、MAX()、MIN()、SUM()等，具体的函数列表可以查看：http://phoenix.apache.org/language/functions.html

不管条件中的列是否是联合主键中的，Phoenix一样可以支持。

 

删除表

DROP  TABLE  user ;

 

退出客户端

!q

hbase中也可以看到这个USER表和数据

 

4.Phoenix映射HBase 

直接通过HBase客户端创建的表，若想用Phoenix来进行增、删、改操作，那么必须要进行表的映射，因为SYSTEM.CATALOG表中并没有维护Phoenix创建表的元数据，如果只是进行查询操作，只要用phoenix

来创建映射表即可。

创建表来进行表的映射

CREATE  TABLE  IF  NOT  EXISTS 表名(

   列名 类型 主键,

   列簇.列名,

   列簇.列名

)

 

HBase中的RowKey映射Phoenix的主键，HBase中的Column映射Phoenix的列，且使用列簇名.列名进行映射。

相当于在SYSTEM.CATALOG表中录入相关的元数据，使Phoenix能够进行操作它。

创建视图来进行表的映射

CREATE  VIEW  视图名(

   列名 类型 主键,

   列簇.列名,

   列簇.列名

)

Phoenix中的视图只能进行查询，不能进行添加、更新、删除操作。

 

5.Phoenix优化

1.服务端配置优化

往HBase安装目录下的conf目录下的hbase-site.xml文件中添加配置。

 

2.对表中的数据进行分区

 

哈希取模

通过在创建表时指定SALE_BUCKETS来实现将表中的数据预分割到多个Region中，有利于提高读取数据的性能。

其原理是将RowKey进行散列，把得到的余数的byte值插入到RowKey的第一个字节中，并通过预定义每个Region的Start Key和End Key，将数据分散存储到不同的Region中。

CREATE  TABLE  IF  NOT  EXISTS us_population (

       state  CHAR (2)  NOT  NULL ,

       city  VARCHAR  NOT  NULL ,

       population  BIGINT

       CONSTRAINT  my_pk  PRIMARY  KEY  (state, city)

)SALT_BUCKETS=16;

通过SALE_BUCKETS设置哈希函数的除数P（除留余数法）

 

根据值来进行预分区

在创建表时，可以精确的指定RowKey根据什么值来进行预分区，不同的值存储在独立的Region中，有利于提高读取数据的性能。

CREATE  TABLE  IF  NOT  EXISTS us_population (

       state  CHAR (2)  NOT  NULL ,

       city  VARCHAR  NOT  NULL ,

       population  BIGINT

       CONSTRAINT  my_pk  PRIMARY  KEY  (state, city)

)SPLIT  ON ( 'CS' , 'EU' , 'NA' );

 

3.创建表时指定列簇

在HBase中每个列簇对应一个文件，如果要查询的列其列簇下只有它自己，那么将极大的提高读取数据的性能。

CREATE  TABLE  IF  NOT  EXISTS us_population (

       state  CHAR (2)  NOT  NULL ,

       city  VARCHAR  NOT  NULL ,

       C1.population  BIGINT

       CONSTRAINT  my_pk  PRIMARY  KEY  (state, city)

);

列族只能在非主键列中进行指定。

4.对表进行压缩

在创建表时可以指定表的压缩方式，能极大的提高数据的读写效率。

CREATE  TABLE  IF  NOT  EXISTS us_population (

       state  CHAR (2)  NOT  NULL ,

       city  VARCHAR  NOT  NULL ,

       population  BIGINT

       CONSTRAINT  my_pk  PRIMARY  KEY  (state, city)

)COMPRESSION= 'GZ' ;

可选的压缩方式包括GZip、Snappy、Lzo等。

 

5.使用二级索引

在HBase中会自动为RowKey添加索引，因此在通过RowKey查询数据时效率会很高，但是如果要根据其他列来进行组合查询，那么查询的性能就很低下，此时可以使用Phoenix提供的二级索引，能够极大的提高查询数据的性能。

创建普通索引

CREATE INDEX 索引名称 ON 表名(列名)

创建二级索引

CREATE  INDEX  索引名称  ON  表名(列名) INCLUDE(列名)

 

6.Phoenix的搭建

操作步骤,搭建用的是hadoop用户操作。

1.下载

phoenix与hbase版本对应:http://phoenix.apache.org/download.html
phoenix下载地址:http://www.apache.org/dist/phoenix/
phoenix安装文档:http://phoenix.apache.org/installation.html

安装phoenix(版本与hbase对应)

# 因为hbase版本为1.3.0，这里下载：apache-phoenix-4.15.0-HBase-1.3-bin.tar.gz 

 

cd  /home/hadoop

 

tar  -zxvf  apache -phoenix -4.15.0 -HBase -1.3 -bin .tar.gz

 

mv  apache -phoenix -4.15.0 -HBase -1.3 -bin   phoenix-4.15.0 -HBase -1.3

 

2.拷贝jar包和配置文件

cd  phoenix-4.15.0 -HBase -1.3

 

cp  phoenix-4.15.0 -HBase -1.3 -server .jar phoenix -core -4.15.0 -HBase -1.3.jar /home/hadoop/hbase-1.3.0/lib/

 

cd  /home/hadoop/hbase-1.3.0/conf/

 

cp  hbase -site .xml /home/hadoop/phoenix-4.15.0 -HBase -1.3/bin/

 

cd  /home/hadoop/hadoop-2.7.3/etc/hadoop/

 

cp  hdfs -site .xml core -site .xml /home/hadoop/phoenix-4.15.0 -HBase -1.3/bin/

 

3.重启hbase

bin/stop -hbase .sh

bin/start -hbase .sh

 

或者用：

bin/hbase -daemon .sh stop master

bin/hbase -daemon .sh stop regionsever

bin/hbase -daemon .sh start master

bin/hbase -daemon .sh start regionsever

 

4.phoenix客户端连接（java用户操作）

因为集群中访问hdfs和hbase需要kerberos认证，所以可以这样来连接phoenix。

kinit  -kt  /home/java/develop.keytab [e-mail]

bin/sqlline.py 10-100-31-41,10-100-31-48,10-100-31-49:2181

 

或者：

bin/sqlline.py 10-100-31-41,10-100-31-48,10-100-31-49:2181:[e-mail]:/home/java/develop.keytab

 

第一次连接上，phoenix会自动往hbase中生成八张系统表：

完成！

 

7.使用Java操作Phoenix

 

导入依赖

 

< dependency >

     < groupId >org.apache.phoenixgroupId>

     < artifactId >phoenix-coreartifactId>

     < version >4.15.0-HBase-1.3version>

dependency>

使用标准的JDBC来操作HBase

//加载驱动

Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");

//通过DriverManager获取连接

Connection conn = DriverManager.getConnection("jdbc:phoenix:zk1,zk2,zk3:2181);

//创建Statement实例

Statement statement = conn.prepareStatement(sql);

//执行增、删、改、查等操作

execute(sql)

executeUpdate(sql)

executeQuery(sql)

 

 

参考：

Phoenix整合Hbase,用SQL来操作Hbase 

Phoenix(SQL On HBase)