kettle整合kafka-consumer插件

Kettle安裝Kafka Consumer插件：

1. 下載軟件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5    或者　　pentaho-kafka-consumer-v1.5
2. 進入kettle安裝目錄：選中plugin中創建steps

　　　　

　　　3.　把pentaho-kafka-consumer-v1.5 解壓后放入到steps中

　　　　

 

　　　4.更新對應lib下的包，就是把》steps>pentaho-kafka-consumer>lib中的jar包放入到$KETTLE_HOME/lib中

　　　　

　　　5.重啟Spoon.sh即可。

　　　　在核心對象搜索輸入，就看看到  

　　　　

 

 

---

 

 測試：

　　　　創建一個轉換：

　　　　

---

這要求系統安裝kafka和zk，（單機環境下測試用）

　　　　1》zk的安裝　　　　　　》》》參考 　　zookeeper單機，偽分布式，集群安裝解析（轉載）

　　　　2》kafka的單機安裝　　  》》》參考　　kafka的單機安裝

　　　　假設上述安裝成功:

　　啟動測試：

　　　　注意，先啟動zk  ，再啟動kafka.我的啟動如下

　　　　

　　　　

　　　　

　　　啟動成功

 　　

---

 

簡單測試一下：　　　

　　打開2個終端，分別在Kafka目錄執行以下命令 
　　　　啟動producer

　　　　　　bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

　　　　啟動consumer

　　　　　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

 

　　　　在producer的命令行輸入任意字符，觀察consumer是否能正確接收。

　　　　

　　　　producer輸入：記得回車

　　　

　　　　consumer可以看到：