python logging 日志輪轉文件不刪除問題

前言

最近在維護項目的python項目代碼，項目使用了 python 的日志模塊 logging， 設定了保存的日志數目， 不過沒有生效，還要通過contab定時清理數據。

分析

項目使用了 logging 的 TimedRotatingFileHandler ：

#!/user/bin/env python
# -*- coding: utf-8 -*-

import logging
from logging.handlers import TimedRotatingFileHandler
log = logging.getLogger()
file_name = "./test.log"
logformatter = logging.Formatter('%(asctime)s [%(levelname)s]|%(message)s')
loghandle = TimedRotatingFileHandler(file_name, 'midnight', 1, 2)
loghandle.setFormatter(logformatter)
loghandle.suffix = '%Y%m%d'
log.addHandler(loghandle)
log.setLevel(logging.DEBUG)

log.debug("init successful")

參考 python logging 的官方文檔：

https://docs.python.org/2/library/logging.html

查看其 入門 實例，可以看到使用按時間輪轉的相關內容：

import logging

# create logger
logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)

# create console handler and set level to debug
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# create formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# add formatter to ch
ch.setFormatter(formatter)

# add ch to logger
logger.addHandler(ch)

# 'application' code
logger.debug('debug message')

粗看下，也看不出有什么不對的地方。

那就看下logging的代碼，找到TimedRotatingFileHandler 相關的內容，其中刪除過期日志的內容：

logging/handlers.py

    def getFilesToDelete(self):
        """
        Determine the files to delete when rolling over.

        More specific than the earlier method, which just used glob.glob().
        """
        dirName, baseName = os.path.split(self.baseFilename)
        fileNames = os.listdir(dirName)
        result = []
        prefix = baseName + "."
        plen = len(prefix)
        for fileName in fileNames:
            if fileName[:plen] == prefix:
                suffix = fileName[plen:]
                if self.extMatch.match(suffix):
                    result.append(os.path.join(dirName, fileName))
        result.sort()
        if len(result) < self.backupCount:
            result = []
        else:
            result = result[:len(result) - self.backupCount]
        return result

輪轉刪除的原理，是查找到日志目錄下，匹配suffix后綴的文件，加入到刪除列表，如果超過了指定的數目就加入到要刪除的列表中，再看下匹配的原理：

        elif self.when == 'D' or self.when == 'MIDNIGHT':
            self.interval = 60 * 60 * 24 # one day
            self.suffix = "%Y-%m-%d"
            self.extMatch = r"^\d{4}-\d{2}-\d{2}$"

exMatch 是一個正則的匹配，格式是 - 分隔的時間，而我們自己設置了新的suffix沒有 - 分隔：

loghandle.suffix = '%Y%m%d'

這樣就找不到要刪除的文件，不會刪除相關的日志。

總結

1. 封裝好的庫，盡量使用公開的接口，不要隨便修改內部變量； 

2. 代碼有問題地，實在找不到原因，可以看下代碼。