go中簡單使用kafka

windows上kafka的安裝

1.安裝jdk

下載地址:https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

下載需要注冊oracle

添加環境變量JAVA_HOME=C:\Program Files\Java\jre1.8.0_211

2.安裝Zookeeper

下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

①進入zookeeper的相關設置所在的文件目錄，例如本文的：D:\zookeeper-3.4.14\conf

②將"zoo_sample.cfg"重命名為"zoo.cfg"

③打開zoo.cfg 找到並編輯：

dataDir=/tmp/zookeeper to D:/zookeeper-3.4.14/data或 D:/zookeeper-3.4.14/data(路徑僅為示例，具體可根據需要配置)

④與配置jre類似，在系統環境變量中添加：

a.系統變量中添加ZOOKEEPER_HOME=D:\zookeeper-3.4.14

b.編輯系統變量中的path變量，增加%ZOOKEEPER_HOME%\bin

⑤在zoo.cfg文件中修改默認的Zookeeper端口(默認端口2181)

⑥打開cmd窗口，輸入zkserver，運行Zookeeper

3.安裝kafka

下載地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.11-2.2.0.tgz

①進入kafka配置文件所在目錄，D:\kafka_2.11-2.2.0\config

②編輯文件"server.properties"，找到並編輯：

log.dirs=/tmp/kafka-logs to log.dirs=D:/kafka_2.11-2.2.0/kafka-logs

③在server.properties文件中，zookeeper.connect=localhost:2181代表kafka所連接的zookeeper所在的服務器IP以及端口，可根據需要更改

修改advertised.host.name=服務器ip

④進入kafka安裝目錄D:\kafka_2.11-2.2.0,打開cmd啟動

.\bin\windows\kafka-server-start.bat .\config\server.properties

補充知識點

topic

topic是存儲消息的邏輯概念，不同的topic下的數據是分開存儲的。不同的 topic 的消息是分開存儲的， 每個 topic 可以有多個生產者向它發送消息，也可以有多 個消費者去消費其中的消息。

partition

一個 topic 可以划分多個分區partition（每個 Topic至少有一個分區partition），同一topic下的不同分區包含的消息是不同的。第i個分區分配在第 i mod n 個broker上。

每個消息在被添加到分區時，都會被分配一個offset（稱之為偏移量），它是消息在此分區中的唯一編號，kafka通過offset 保證消息在分區內的順序，offset的順序不跨分區，即kafka 只保證在同一個分區內的消息是有序的。

offset

每個消息在被添加到分區時，都會被分配一個 offset（稱之為偏移量），它是消息在此分區中的唯一編號，kafka 通過 offset 保證消息在分區內的順序。offset 的順序不跨分區，即 kafka 只保證在同一個分區內的消息是有序的； 對於應用層的消費來說，每次消費一個消息並且提交以后，會保存當前消費到的最近的一個 offset。

docker安裝

1、下載鏡像
這里使用了wurstmeister/kafka和wurstmeister/zookeeper這兩個版本的鏡像

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

2、啟動

啟動zookeeper容器
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

啟動kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.168:2181,192.168.0.169:2181,192.168.0.170:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.170:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

這里面主要設置了4個參數

KAFKA_BROKER_ID=0 
KAFKA_ZOOKEEPER_CONNECT=192.168.0.168:2181,192.168.0.169:2181,192.168.0.170:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.170:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

KAFKA_ZOOKEEPER_CONNECT  配置的是zookeeper的地址，可以單節點配置，也可以配置zookeeper集群多節點，用逗號隔開

中間兩個參數的192.168.0.170改為宿主機器的IP地址，如果不這么設置，可能會導致在別的機器上訪問不到kafka。

3、進入kafka容器

docker exec -it ${CONTAINER ID} /bin/bash

進入kafka默認目錄 /opt/kafka_2.11-0.10.1.0

 

go運行代碼

producer

package main

import (
    "fmt"
    "time"
    "github.com/Shopify/sarama"
)

func main() {

    config := sarama.NewConfig()
    config.Producer.RequiredAcks = sarama.WaitForAll
    config.Producer.Partitioner = sarama.NewRandomPartitioner
    config.Producer.Return.Successes = true

    client, err := sarama.NewSyncProducer([]string{"192.168.3.118:9092"}, config)
    if err != nil {
        fmt.Println("producer close, err:", err)
        return
    }

    defer client.Close()
    for {
        msg := &sarama.ProducerMessage{}
        msg.Topic = "nginx_log"
        msg.Value = sarama.StringEncoder("this is a good test, my message is good")

        pid, offset, err := client.SendMessage(msg)
        if err != nil {
            fmt.Println("send message failed,", err)
            return
        }

        fmt.Printf("pid:%v offset:%v\n", pid, offset)
        time.Sleep(10 * time.Second)
    }
}

 consumer

package main

import (
    "fmt"
    "strings"
    "sync"
    "github.com/Shopify/sarama"
    "time"
)

var (
    wg sync.WaitGroup
)

func main() {

    consumer, err := sarama.NewConsumer(strings.Split("127.0.0.1:9092", ","), nil)
    if err != nil {
        fmt.Println("Failed to start consumer: %s", err)
        return
    }
    partitionList, err := consumer.Partitions("nginx_log")
    if err != nil {
        fmt.Println("Failed to get the list of partitions: ", err)
        return
    }
    fmt.Println(partitionList)
    for partition := range partitionList {
        pc, err := consumer.ConsumePartition("nginx_log", int32(partition), sarama.OffsetNewest)
        if err != nil {
            fmt.Printf("Failed to start consumer for partition %d: %s\n", partition, err)
            return
        }
        defer pc.AsyncClose()
        go func(pc sarama.PartitionConsumer) {
            wg.Add(1)
            for msg := range pc.Messages() {
                fmt.Printf("Partition:%d, Offset:%d, Key:%s, Value:%s", msg.Partition, msg.Offset, string(msg.Key), string(msg.Value))
                fmt.Println()
            }
            wg.Done()
        }(pc)
    }
    time.Sleep(10*time.Second)
    wg.Wait()
    consumer.Close()
}