window下Kafka最佳實踐

Kafka的介紹和入門請看這里kafka入門：簡介、使用場景、設計原理、主要配置及集群搭建（轉）

當前文章從實踐的角度為大家規避window下使用的坑。

1.要求：

java 6+

2.下載kafka【注意，只用下載kafka】

http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

3.解壓，通過cmd進入kafka_2.11-0.9.0.1\bin\windows目錄

4.啟動zk

zookeeper-server-start ..\..\config\zookeeper.properties

測試連接一下

zookeeper-shell.bat 0.0.0.0:2181

5.啟動Kafka

kafka-server-start.bat ..\..\config\server.properties

6)創建topic

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic mytopic

參數的含義可以自查，當前無視

Created topic "mytopic".

 

7)查看topic

kafka-topics.bat --describe --zookeeper localhost:2181 --topic mytopic

----------------------------------------------------------

Topic:mytopic PartitionCount:3 ReplicationFactor:1 Configs:

Topic: mytopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0

Topic: mytopic Partition: 1 Leader: 0 Replicas: 0 Isr: 0

Topic: mytopic Partition: 2 Leader: 0 Replicas: 0 Isr: 0

8）發布/生產消息窗口

kafka-console-producer.bat --broker-list localhost:9092 --topic mytopic

 

9）消費消息窗口

kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic

 

10）在生產者producer窗口輸入，可以在consumer窗口看到輸出

bin\windows>kafka-console -producer.bat --broker-list localhost:9092 --topic mytopic

--------------------------------------------------------------------

你真堅決
niaho
heelo
我是中文啊

bin\windows>kafka-console -consumer.bat --zookeeper localhost:2181 --from-beginning --topic mytopic

--------------------------------------------------------------------

你真堅決
niaho
heelo
我是中文啊

--------------------------------------------------------------------

以上內容參考這里：http://kafka.apache.org/documentation.html#quickstart

ok,很完美.

出錯問題：Unrecognized VM option UseG1GC 這些優化參數其實都是新版的，所以要么用jdk1.7+，要么去掉。

解決辦法：打開conf\kafka-run-class.bat，找到102行，修改如下

IF ["%KAFKA_JVM_PERFORMANCE_OPTS%"] EQU [""] (
    rem set KAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true
    set KAFKA_JVM_PERFORMANCE_OPTS=-server -XX:+DisableExplicitGC -Djava.awt.headless=true
)

 

使用java調用kafka，參考http://blog.csdn.net/hxpjava1/article/details/19160665。

Kafka與spring集成，參考http://colobu.com/2014/11/19/kafka-spring-integration-in-practice/