Apache NiFi之Kafka流數據到HBase

一.說明

在大數據平台的業務場景中，處理實時kafka數據流數據，以成為必要的能力；此篇將嘗試通過Apache NiFi來接入Kafka數據然后處理后存儲之HBase

二.開拔

Ⅰ).配置ConsumeKafka_0_10

測試使用了kafka0.10版本，所以NiFi中也選擇對於版本

　　

a).選擇ConsumeKafka_0_10

在Processor中搜索ConsumeKafka_0_10

　　

b).配置ConsumeKafka_0_10

1.Kafka Brokers: hostname1:9092,hostname2:9092:hostname3:9092
2.Topic Name(s): entry_index_nifi
3.Group ID: entry_index_nifi

　　

 

Ⅱ).配置PutHBaseJSON

a).選擇PutHBaseJSON

在Processor中搜索PutHBaseJSON

　　

 

b).配置PutHBaseJSON

1.HBase Client Service： 選擇匹配版本的HBaseClient
2.Table Name： 配置入庫HBase表名
3.Row Identifier Field Name： 配置RowKey值
4.Column Family: 配置列簇

　　

 

c).選擇HBase_1_1_2_ClientService

在Processor中搜索HBase_1_1_2_ClientService

　　

 

d).配置HBase_1_1_2_ClientService

1.Zookeeper Quorum: hostname1:2181,hostname2:2181,hostname3:2181
2.Zookeeper Client Port: 2181
3.Zookeeper ZNode Parent: /hbase

　　

 

e).激活HBase_1_1_2_ClientService

Ⅲ).啟動服務

可以點擊選擇單個Processor啟動，也可以在空白處點擊流程啟動

　　

 

Ⅳ).驗證結果

a).Kafka源數據

./bin/kafak-console-consumer.sh --zookeeper hostname1:2181,hostname2:2181,hostname3:2181 ---topic entry_index_nifi

　　

b).HBase入庫數據

scan 'kafka.entry_index_nifi',{LIMIT=>10}

　　

三.HBase命令

## 創建表空間
create_namespace 'kafka'

## 查看表空間
list_namespace_tables 'kafka'

## 創建表
create 'kafka.entry_index_nifi','cf1'

## 查看表數據
scan 'kafka.entry_index_nifi',{LIMIT=>10}