0x00 概述
本文主要講Kafka自身操作日志的清理方法(非Topic數據)，Topic數據自己有對應的刪除策略，請看這里。
Kafka長時間運行過程中，在kafka/logs目錄下產生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和時間，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03，這些文件對磁盤空間的消耗非常大，需要定期備份或者清理。目前沒有發現kafka自身提供了這些操作日志備份或者清理的方法，需要用戶自己實現。
0x01 更改日志輸出級別
在Kafka安裝目錄，config/log4j.properties中日志的級別設置的是TRACE，在長時間運行過程中產生的日志大小嚇人，所以如果沒有特殊需求，強烈建議將其更改成INFO級別。具體修改方法如下所示，將config/log4j.properties文件中最后的幾行中的TRACE改成INFO，修改前如下所示：
log4j.logger.kafka.network.RequestChannel$=TRACE, requestAppender log4j.additivity.kafka.network.RequestChannel$=false #log4j.logger.kafka.network.Processor=TRACE, requestAppender #log4j.logger.kafka.server.KafkaApis=TRACE, requestAppender #log4j.additivity.kafka.server.KafkaApis=false log4j.logger.kafka.request.logger=TRACE, requestAppender log4j.additivity.kafka.request.logger=false
log4j.logger.kafka.controller=TRACE, controllerAppender log4j.additivity.kafka.controller=false log4j.logger.state.change.logger=TRACE, stateChangeAppender log4j.additivity.state.change.logger=false
修改后如下所示：
log4j.logger.kafka.network.RequestChannel$=INFO, requestAppender log4j.additivity.kafka.network.RequestChannel$=false #log4j.logger.kafka.network.Processor=INFO, requestAppender #log4j.logger.kafka.server.KafkaApis=INFO, requestAppender #log4j.additivity.kafka.server.KafkaApis=false log4j.logger.kafka.request.logger=INFO, requestAppender log4j.additivity.kafka.request.logger=false log4j.logger.kafka.controller=INFO, controllerAppender log4j.additivity.kafka.controller=false log4j.logger.state.change.logger=INFO, stateChangeAppender log4j.additivity.state.change.logger=false
0x02 定期任務備份刪除日志
備份操作日志的方式是定期拷貝操作日志到指定大容量存儲設備，然后將其刪除。我在項目中采取的方式是直接清理過期操作日志，方法非常簡單，利用linux操作系統提供的crontab功能，定期清理操作日志，方法如下：
在/etc/crontab文件中添加刪除操作日志的語句，然后執行crontab -f /etc/crontab命令即可，我的/etc/crontab文件如下所示，語句的含義是每4天在23:59執行清理操作：
[root@h10p11 logs]# vim /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day of month (1 - 31) # | | | .------- month (1 - 12) OR jan,feb,mar,apr ... # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat # | | | | | # * * * * * user-name command to be executed 59 23 */4 * * rm -fr /root/kafka/kafka_2.8.0-0.8.0/logs/*-*-*
直接修改/etc/crontab文件重啟機器不用重復設置。
或者采用如下的定時任務：
3.1 .刪除文件命令
find 對應目錄 -mtime +天數 -name "文件名" -exec rm -rf {} \;
實例命令：
find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;
說明：
將/opt/soft/log/目錄下所有30天前帶".log"的文件刪除。
具體參數說明如下：
find：linux的查找命令，用戶查找指定條件的文件； /opt/soft/log/：想要進行清理的任意目錄； -mtime：標准語句寫法； +30：查找30天前的文件，這里用數字代表天數； "*.log"：希望查找的數據類型，"*.jpg"表示查找擴展名為jpg的所有文件，"*"表示查找所有文件，這個可以靈活運用，舉一反三； -exec：固定寫法； rm -rf：強制刪除文件，包括目錄； {} \; ：固定寫法，一對大括號+空格+\+;
3.2 添加計划任務
若嫌每次手動執行語句太麻煩，可以將這小語句寫到一個可執行shell腳本文件中，再設置cron調度執行，那就可以讓系統自動去清理相關文件。
3.2.1 創建shell：
touch /opt/soft/bin/auto-del-30-days-ago-log.sh chmod +x auto-del-30-days-ago-log.sh
新建一個可執行文件auto-del-30-days-ago-log.sh，並分配可運行權限
3.2.2 編輯shell腳本
vi auto-del-30-days-ago-log.sh
編輯auto-del-30-days-ago-log.sh文件如下：
#!/bin/sh find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;
ok，保存退出(:wq)。
3.2.3 計划任務
# crontab -e
將auto-del-30-days-ago-log.sh執行腳本加入到系統計划任務，到點自動執行
輸入：
10 0 * * * /opt/soft/log/auto-del-7-days-ago-log.sh
這里的設置是每天凌晨0點10分執行auto-del-7-days-ago-log.sh文件進行數據清理任務了