1 ------------------------------------------- 系統 相關 -------------------------------------------
2 ##每一個broker在集群中的唯一標示，要求是正數。在改變IP地址，不改變broker.id的話不會影響consumers
3 broker.id =1
4
5 ##kafka數據的存放地址，多個地址的話用逗號分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2
6 log.dirs = /tmp/kafka-logs
7
8 ##提供給客戶端響應的端口
9 port =6667
10
11 ##消息體的最大大小，單位是字節
12 message.max.bytes =1000000
13
14 ## broker 處理消息的最大線程數，一般情況下不需要去修改
15 num.network.threads =3
16
17 ## broker處理磁盤IO 的線程數 ，數值應該大於你的硬盤數
18 num.io.threads =8
19
20 ## 一些后台任務處理的線程數，例如過期消息文件的刪除等，一般情況下不需要去做修改
21 background.threads =4
22
23 ## 等待IO線程處理的請求隊列最大數，若是等待IO的請求超過這個數值，那么會停止接受外部消息，算是一種自我保護機制
24 queued.max.requests =500
25
26 ##broker的主機地址，若是設置了，那么會綁定到這個地址上，若是沒有，會綁定到所有的接口上，並將其中之一發送到ZK，一般不設置
27 host.name
28
29 ## 打廣告的地址，若是設置的話，會提供給producers, consumers,其他broker連接，具體如何使用還未深究
30 advertised.host.name
31
32 ## 廣告地址端口，必須不同於port中的設置
33 advertised.port
34
35 ## socket的發送緩沖區，socket的調優參數SO_SNDBUFF
36 socket.send.buffer.bytes =100*1024
37
38 ## socket的接受緩沖區，socket的調優參數SO_RCVBUFF
39 socket.receive.buffer.bytes =100*1024
40
41 ## socket請求的最大數值，防止serverOOM，message.max.bytes必然要小於socket.request.max.bytes，會被topic創建時的指定參數覆蓋
42 socket.request.max.bytes =100*1024*1024
43
44 ------------------------------------------- LOG 相關 -------------------------------------------
45 ## topic的分區是以一堆segment文件存儲的，這個控制每個segment的大小，會被topic創建時的指定參數覆蓋
46 log.segment.bytes =1024*1024*1024
47
48 ## 這個參數會在日志segment沒有達到log.segment.bytes設置的大小，也會強制新建一個segment 會被 topic創建時的指定參數覆蓋
49 log.roll.hours =24*7
50
51 ## 日志清理策略 選擇有：delete和compact 主要針對過期數據的處理，或是日志文件達到限制的額度，會被 topic創建時的指定參數覆蓋
52 log.cleanup.policy = delete
53
54 ## 數據存儲的最大時間 超過這個時間 會根據log.cleanup.policy設置的策略處理數據，也就是消費端能夠多久去消費數據
55 ## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋
56 log.retention.minutes=7days
57
58 指定日志每隔多久檢查看是否可以被刪除，默認1分鍾
59 log.cleanup.interval.mins=1
60
61
62 ## topic每個分區的最大文件大小，一個topic的大小限制 = 分區數*log.retention.bytes 。-1沒有大小限制
63 ## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋
64 log.retention.bytes=-1
65
66 ## 文件大小檢查的周期時間，是否處罰 log.cleanup.policy中設置的策略
67 log.retention.check.interval.ms=5minutes
68
69 ## 是否開啟日志壓縮
70 log.cleaner.enable=false
71
72 ## 日志壓縮運行的線程數
73 log.cleaner.threads =1
74
75 ## 日志壓縮時候處理的最大大小
76 log.cleaner.io.max.bytes.per.second=None
77
78 ## 日志壓縮去重時候的緩存空間 ，在空間允許的情況下，越大越好
79 log.cleaner.dedupe.buffer.size=500*1024*1024
80
81 ## 日志清理時候用到的IO塊大小 一般不需要修改
82 log.cleaner.io.buffer.size=512*1024
83
84 ## 日志清理中hash表的擴大因子 一般不需要修改
85 log.cleaner.io.buffer.load.factor =0.9
86
87 ## 檢查是否處罰日志清理的間隔
88 log.cleaner.backoff.ms =15000
89
90 ## 日志清理的頻率控制，越大意味着更高效的清理，同時會存在一些空間上的浪費，會被topic創建時的指定參數覆蓋
91 log.cleaner.min.cleanable.ratio=0.5
92
93 ## 對於壓縮的日志保留的最長時間，也是客戶端消費消息的最長時間，同log.retention.minutes的區別在於一個控制未壓縮數據，一個控制壓縮后的數據。會被topic創建時的指定參數覆蓋
94 log.cleaner.delete.retention.ms =1day
95
96 ## 對於segment日志的索引文件大小限制，會被topic創建時的指定參數覆蓋
97 log.index.size.max.bytes =10*1024*1024
98
99 ## 當執行一個fetch操作后，需要一定的空間來掃描最近的offset大小，設置越大，代表掃描速度越快，但是也更好內存，一般情況下不需要搭理這個參數
100 log.index.interval.bytes =4096
101
102 ## log文件"sync"到磁盤之前累積的消息條數
103 ## 因為磁盤IO操作是一個慢操作,但又是一個"數據可靠性"的必要手段
104 ## 所以此參數的設置,需要在"數據可靠性"與"性能"之間做必要的權衡.
105 ## 如果此值過大,將會導致每次"fsync"的時間較長(IO阻塞)
106 ## 如果此值過小,將會導致"fsync"的次數較多,這也意味着整體的client請求有一定的延遲.
107 ## 物理server故障,將會導致沒有fsync的消息丟失.
108 log.flush.interval.messages=None
109
110 ## 檢查是否需要固化到硬盤的時間間隔
111 log.flush.scheduler.interval.ms =3000
112
113 ## 僅僅通過interval來控制消息的磁盤寫入時機,是不足的.
114 ## 此參數用於控制"fsync"的時間間隔,如果消息量始終沒有達到閥值,但是離上一次磁盤同步的時間間隔
115 ## 達到閥值,也將觸發.
116 log.flush.interval.ms = None
117
118 ## 文件在索引中清除后保留的時間 一般不需要去修改
119 log.delete.delay.ms =60000
120
121 ## 控制上次固化硬盤的時間點，以便於數據恢復 一般不需要去修改
122 log.flush.offset.checkpoint.interval.ms =60000
123
124 ------------------------------------------- TOPIC 相關 -------------------------------------------
125 ## 是否允許自動創建topic ，若是false，就需要通過命令創建topic
126 auto.create.topics.enable =true
127
128 ## 一個topic ，默認分區的replication個數 ，不得大於集群中broker的個數
129 default.replication.factor =1
130
131 ## 每個topic的分區個數，若是在topic創建時候沒有指定的話 會被topic創建時的指定參數覆蓋
132 num.partitions =1
133
134 實例 --replication-factor3--partitions1--topic replicated-topic ：名稱replicated-topic有一個分區，分區被復制到三個broker上。
135
136 ----------------------------------復制(Leader、replicas) 相關 ----------------------------------
137 ## partition leader與replicas之間通訊時,socket的超時時間
138 controller.socket.timeout.ms =30000
139
140 ## partition leader與replicas數據同步時,消息的隊列尺寸
141 controller.message.queue.size=10
142
143 ## replicas響應partition leader的最長等待時間，若是超過這個時間，就將replicas列入ISR(in-sync replicas)，並認為它是死的，不會再加入管理中
144 replica.lag.time.max.ms =10000
145
146 ## 如果follower落后與leader太多,將會認為此follower[或者說partition relicas]已經失效
147 ## 通常,在follower與leader通訊時,因為網絡延遲或者鏈接斷開,總會導致replicas中消息同步滯后
148 ## 如果消息之后太多,leader將認為此follower網絡延遲較大或者消息吞吐能力有限,將會把此replicas遷移
149 ## 到其他follower中.
150 ## 在broker數量較少,或者網絡不足的環境中,建議提高此值.
151 replica.lag.max.messages =4000
152
153 ##follower與leader之間的socket超時時間
154 replica.socket.timeout.ms=30*1000
155
156 ## leader復制時候的socket緩存大小
157 replica.socket.receive.buffer.bytes=64*1024
158
159 ## replicas每次獲取數據的最大大小
160 replica.fetch.max.bytes =1024*1024
161
162 ## replicas同leader之間通信的最大等待時間，失敗了會重試
163 replica.fetch.wait.max.ms =500
164
165 ## fetch的最小數據尺寸,如果leader中尚未同步的數據不足此值,將會阻塞,直到滿足條件
166 replica.fetch.min.bytes =1
167
168 ## leader 進行復制的線程數，增大這個數值會增加follower的IO
169 num.replica.fetchers=1
170
171 ## 每個replica檢查是否將最高水位進行固化的頻率
172 replica.high.watermark.checkpoint.interval.ms =5000
173
174 ## 是否允許控制器關閉broker ,若是設置為true,會關閉所有在這個broker上的leader，並轉移到其他broker
175 controlled.shutdown.enable =false
176
177 ## 控制器關閉的嘗試次數
178 controlled.shutdown.max.retries =3
179
180 ## 每次關閉嘗試的時間間隔
181 controlled.shutdown.retry.backoff.ms =5000
182
183 ## 是否自動平衡broker之間的分配策略
184 auto.leader.rebalance.enable =false
185
186 ## leader的不平衡比例，若是超過這個數值，會對分區進行重新的平衡
187 leader.imbalance.per.broker.percentage =10
188
189 ## 檢查leader是否不平衡的時間間隔
190 leader.imbalance.check.interval.seconds =300
191
192 ## 客戶端保留offset信息的最大空間大小
193 offset.metadata.max.bytes
194
195 ----------------------------------ZooKeeper 相關----------------------------------
196 ##zookeeper集群的地址，可以是多個，多個之間用逗號分割 hostname1:port1,hostname2:port2,hostname3:port3
197 zookeeper.connect = localhost:2181
198
199 ## ZooKeeper的最大超時時間，就是心跳的間隔，若是沒有反映，那么認為已經死了，不易過大
200 zookeeper.session.timeout.ms=6000
201
202 ## ZooKeeper的連接超時時間
203 zookeeper.connection.timeout.ms =6000
204
205 ## ZooKeeper集群中leader和follower之間的同步實際那
206 zookeeper.sync.time.ms =2000
207 配置的修改
208 其中一部分配置是可以被每個topic自身的配置所代替，例如
209 新增配置
210 bin/kafka-topics.sh --zookeeper localhost:2181--create --topic my-topic --partitions1--replication-factor1--config max.message.bytes=64000--config flush.messages=1
211
212 修改配置
213 bin/kafka-topics.sh --zookeeper localhost:2181--alter --topic my-topic --config max.message.bytes=128000
214
215 刪除配置 ：
216 bin/kafka-topics.sh --zookeeper localhost:2181--alter --topic my-topic --deleteConfig max.message.bytes
