kafka配置文件如下:
broker.id=1
port=9092
host.name=ssy-kafka1
num.network.threads=4
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/data/apps/log/kafka
num.partitions=20
log.retention.hours=72 #定義日志保留時間
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=true
zookeeper.connect=ssy-zk1:2181,ssy-zk2:2181,ssy-zk3:2181
zookeeper.connection.timeout.ms=1000000
auto.create.topics.enable=true
controlled.shutdown.enable=true
auto.leader.rebalance.enable=true
很多情況下,kafka會占用大量的磁盤空間來存放日志文件,我們默認保存三天,如果磁盤已經不允許我們繼續寫日志可以執行以下命令在不必停止kafka服務的情況下執行以下命令。
./kafka-topics.sh --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=86400
將此Topic的日志保存時間設置為1天。