kafka集群五、__consumer_offsets副本數修改

系列導航

一、kafka搭建-單機版

二、kafka搭建-集群搭建

三、kafka集群增加密碼驗證

四、kafka集群權限增加ACL

五、kafka集群__consumer_offsets副本數修改

六、java操作kafka(沒有密碼驗證)

七、java操作kafka(有密碼驗證)

　　kafka集群搭建好了，但當一個節點掛機后整個集群還是不能使用並沒有起到集群的作用，這是為什么？

在新版本Kafka中，__consumer_offsets這個topic是存放消費者偏移量的，但是該主題默認配置副本數量只有1，容易造成單點故障

     注：上一篇博客地址https://www.cnblogs.com/yclh/p/14894764.html

 

(1)，我們可以動態修改（無需重啟服務）副本因子，提高kafka的可靠性
     編輯 replication.json 文件告訴__consumer_offsets topic上50個分區分副本都在哪些節點上
     將replication.json 放到/opt/kafka/kafka_2.11-2.1.1/bin 目錄下

(2)之后執行 cd /opt/kafka/kafka_2.11-2.1.1/bin
    ./kafka-reassign-partitions.sh --zookeeper 192.168.0.105:12181 --reassignment-json-file  replication.json  --execute

注：自己搭建的集群里還修改了如下配置，然后重啟
       配置文件里  vi /opt/kafka/kafka_2.11-2.1.1/config/server.properties
      增加如下兩行
      auto.create.topics.enable=true
      default.replication.factor=3

 

replication.json的內容如下：注：中間省略號的地方自己補全即可

{
    "version": 1,
    "partitions": [
        {
            "topic": "__consumer_offsets",
            "partition": 0,
            "replicas": [
                104,
                105,
                106
            ]
        },
        {
            "topic": "__consumer_offsets",
            "partition": 1,
            "replicas": [
                104,
                105,
                106
            ]
        },
        ........
        {
            "topic": "__consumer_offsets",
            "partition": 48,
            "replicas": [
                104,
                105,
                106
            ]
        },
        {
            "topic": "__consumer_offsets",
            "partition": 49,
            "replicas": [
                104,
                105,
                106
            ]
        }
    ]
}