phoenix 二級索引使用實踐

一、參考的博客

phoenix的基本安裝和使用，功能介紹等

https://www.cnblogs.com/kekukekro/p/6339587.html

 

 phoenix全局索引和本地索引 的詳細對比和測試

https://blog.csdn.net/dante_003/article/details/76439021

 

 phoenix索引的詳細使用

http://www.cnblogs.com/haoxinyue/p/6724365.html

                        一致性、事物和索引調優

http://www.cnblogs.com/haoxinyue/p/6747948.html

 

phoenix索引使用，強制使用索引，查看執行計划

https://blog.csdn.net/liyong1115/article/details/70332102

 

 

 

 

 

二、phoenix需要python2.7環境，如果安裝之后少組件，請執行下面語句進行安裝。

yum install python-argparse

scan "logs:rad",{LIMIT=>15}

 

三、安裝位置（安裝請參見我之前的博客）

192.168.180.225
cd /usr/local/apps/phoenix/bin/
./sqlline.py 192.168.180.228:2181

 

 

四、特別注意事項：

1、用命令行建表時：表名、字段名如果不是默認大寫，一定要用""擴起來。
2、表名一定要大寫，否則會有各種組件不兼容小寫的bug。
3、hbase的原始表名一般是（logs:rad）,冒號前面是命名空間名。phoenix不支持表名當中有冒號。
雖然它也有命名空間的概念，但是需要客戶端、服務端一起設置之后才能使用。
4、本地索引和全局索引，都可以異步構建，且是同樣的操作。
5、表分可修改表和不可修改表（指的是表內的數據只能增加，不能修改），表的類型換了，表的全局索引和本地索引也跟着變為可修改或不可修改。
6、全局索引適合讀多寫少，本地索引適合寫多讀少的場景。不可修改索引優化更好，相對性能更高。

 

 

五、=========采坑紀實======================================================================

 

5.1、創建原始表
CREATE TABLE "logsrad" (
id VARCHAR NOT NULL PRIMARY KEY ,
"info"."receiveTime" VARCHAR ,
"info"."sourceIp" VARCHAR ,
"info"."destinationIp" VARCHAR ,
"info"."destinationPort" VARCHAR ,
"info"."natIp" VARCHAR ,
"info"."deviceIp" VARCHAR ,
"info"."alarmLevel" VARCHAR ,
"info"."startTime" VARCHAR ,
"info"."endTime" VARCHAR ,
"info"."interfaceIp" VARCHAR ,
"info"."protocol" VARCHAR ,
"info"."natType" VARCHAR ,
"info"."messageBytes" VARCHAR
)

 

5.2、可修改表、不可修改表

如果你有一個已經存在的表，想把不可變索引修改成可變索引的話，可以用如下語句實現：
alter table "logsrad" set IMMUTABLE_ROWS = false;

修改成不可變表
alter table "logsrad" set IMMUTABLE_ROWS = true;

#CREATE LOCAL INDEX MYINDEX ON "logsrad"("destinationIp");

 

5.3、異步創建索引例子

#首先在phoenix中建立索引表信息
create index car_index_datehphm on "car"("f1"."date","f1"."hphm") include ("f1"."coorid","f1"."cx","f1"."ys") async;
#這里的建立索引語句加了async，異步建立索引。另外f1是hbase中原始的列族名，這張表是原始hbase表轉過來的，為什么這么寫就不解釋了，"f1"."date"就代表一個字段。include是什么后面再解釋

#下面啟動批量建立索引的mr任務
${HBASE_HOME}/bin/hbase org.apache.phoenix.mapreduce.index.IndexTool \
--data-table "car" --index-table CAR_INDEX_DATEHPHM \
--output-path ASYNC_IDX_HFILES

 

5.4、本地索引

CREATE LOCAL INDEX INDEX_LOGSRAD_DESIP ON "logsrad"("info"."destinationIp") async;

cd /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hbase/bin/

#執行異步創建索引的mr任務
hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table "logsrad" --index-table INDEX_LOGSRAD_DESIP --output-path ASYNC_IDX_HFILES

DROP INDEX MYINDEX ON "logsrad" ;

DROP INDEX INDEX_LOGSRAD_DESIP ON "logsrad" ;

count 'INDEX_LOGSRAD_DESIP'

5.5、全局索引
CREATE INDEX INDEX_LOGSRAD_SOURCEIP ON "logsrad"("info"."sourceIp" DESC) include("info"."deviceIp","info"."natType") async;

cd /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hbase/bin/

#執行異步創建索引的mr任務

hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table "logsrad" --index-table INDEX_LOGSRAD_SOURCEIP --output-path ASYNC_IDX_HFILES

===================================================================================================================

 

 

六、========成功案例===｛（數據記錄）不可修改表、（數據記錄）不可修改索引｝========================================================================================================
報錯，可能是org.apache.phoenix.mapreduce.index.IndexTool這個工具，默認表名是大寫了。 我們這個表是小寫的表名，所以對應不上。
(下面的實踐證明，表名還是要大寫，否則上面這個工具會對應不上索引是哪張表的索引，報錯)

2、表名一定要大寫，否則會有各種組件不兼容小寫的bug。

 

 

6.1、--------修改原始hbase表名------------------------------------------------------------
請參見本人其他博客，或者搜索

 

6.2、創建phoenix里面的表（表名需要和hbase表名一致）

1、用命令行建表時：表名、字段名如果不是默認大寫，一定要用""擴起來。
3、hbase的原始表名一般是（logs:rad）,冒號前面是命名空間名。phoenix不支持表名當中有冒號。
雖然它也有命名空間的概念，但是需要客戶端、服務端一起設置之后才能使用。

CREATE TABLE LOGSRADL (
id VARCHAR NOT NULL PRIMARY KEY ,
"info"."receiveTime" VARCHAR ,
"info"."sourceIp" VARCHAR ,
"info"."destinationIp" VARCHAR ,
"info"."destinationPort" VARCHAR ,
"info"."natIp" VARCHAR ,
"info"."deviceIp" VARCHAR ,
"info"."alarmLevel" VARCHAR ,
"info"."startTime" VARCHAR ,
"info"."endTime" VARCHAR ,
"info"."interfaceIp" VARCHAR ,
"info"."protocol" VARCHAR ,
"info"."natType" VARCHAR ,
"info"."messageBytes" VARCHAR
);

 

6.3、-------全局索引------------------------------------------------------------------------
修改成不可變表
alter table LOGSRADL set IMMUTABLE_ROWS = true;
全局索引
CREATE INDEX INDEX_LOGSRADL_SOURCEIP ON LOGSRADL("info"."sourceIp" DESC) include("info"."deviceIp","info"."natType") async;

cd /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hbase/bin/
hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table LOGSRADL --index-table INDEX_LOGSRADL_SOURCEIP --output-path ASYNC_IDX_HFILES

測試：索引

select * from LOGSRADL limit 10;
select deviceIp,natType from LOGSRADL limit 10;

select "info"."deviceIp","info"."natType" from LOGSRADL where "info"."sourceIp"='46.234.125.89' limit 10;

scan "LOGSRADL",{LIMIT=>15}

#DROP INDEX INDEX_LOGSRADL_SOURCEIP ON "logsrad" ;

 

6.4、-------本地索引-------------------------------------------------------------
本地索引
CREATE LOCAL INDEX INDEX_LOGSRADL_DESIP ON LOGSRADL("info"."destinationIp") async;

 

cd /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hbase/bin/
hbase org.apache.phoenix.mapreduce.index.IndexTool --data-table LOGSRADL --index-table INDEX_LOGSRADL_DESIP --output-path ASYNC_IDX_HFILES

測試：索引

select "info"."deviceIp","info"."natType" from LOGSRADL where "info"."destinationIp"='210.29.144.128' limit 10;

select * from LOGSRADL where "info"."destinationIp"='210.29.144.128' limit 10;

 

七、========成功案例===｛（數據記錄）可修改表、（數據記錄）可修改索引｝========================================================================================================

 

7.1、首先修改hbase的配置

官網的說明：

You will need to add the following parameters to hbase-site.xml on each region server:

<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>

The above property enables custom WAL edits to be written, ensuring proper writing/replay of the index updates. This codec supports the usual host of WALEdit options, most notably WALEdit compression.

<property>
  <name>hbase.region.server.rpc.scheduler.factory.class</name>
  <value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value>
  <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description>
</property>
<property>
  <name>hbase.rpc.controllerfactory.class</name>
  <value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value>
  <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description>
</property>

The above properties prevent deadlocks from occurring during index maintenance for global indexes (HBase 0.98.4+ and Phoenix 4.3.1+ only) by ensuring index updates are processed with a higher priority than data updates. It also prevents deadlocks by ensuring metadata rpc calls are processed with a higher priority than data rpc calls.

cloudera manager上的設置

 

 

修改成可變表（5、表分可修改表和不可修改表（指的是表內的數據只能增加，不能修改），表的類型換了，表的全局索引和本地索引也跟着變為可修改或不可修改。）
alter table LOGSRADL set IMMUTABLE_ROWS = false;

 

7.2、-------全局索引------------------------------------------------------------------------

 

全局索引
建索引的方式同上面的不可修改索引

測試：索引

select * from LOGSRADL limit 10;
select deviceIp,natType from LOGSRADL limit 10;

select "info"."deviceIp","info"."natType" from LOGSRADL where "info"."sourceIp"='46.234.125.89' limit 10;

scan "LOGSRADL",{LIMIT=>15}

#DROP INDEX INDEX_LOGSRADL_SOURCEIP ON "logsrad" ;

select "info"."sourceIp",count(*) from LOGSRADL group by "info"."sourceIp";

select "info"."deviceIp",count(*) from LOGSRADL group by "info"."deviceIp";

 

7.3、-------本地索引-------------------------------------------------------------
本地索引
建索引的方式同上面的不可修改索引

 

測試：索引

select "info"."deviceIp","info"."natType" from LOGSRADL where "info"."destinationIp"='210.29.144.128' limit 10;

select * from LOGSRADL where "info"."destinationIp"='210.29.144.128' limit 10;

 

select count("info"."natType") from LOGSRADL where "info"."destinationIp"='210.29.144.128' group by "info"."deviceIp";

select "info"."destinationIp",count(*) from LOGSRADL group by "info"."destinationIp";