0x04 Python logger 支持多進程日志按大小分割

支持多進程日志按大小分割

目錄

• 支持多進程日志按大小分割
  • 多進程日志大小分割handler配置實例

由於python內置模塊logging.handlers.RotatingFileHandler是不支持多進程下日志分割的，存在進程間競爭同一文件。在網上找到了支持多進程的日志分割方案。
參考 中文博客
參考 英文mrfh

多進程日志大小分割handler配置實例

1. 安裝mrfh模塊
   pip install mrfh
2. 由於mrfh用到了fcntl模塊，只有linux才有所以在win下是不可用的
3. 下面是一個日志配置的實例，在file_size_rotate_hd中就用到了mrfh提供的handler。

 LOGGER_CONFIG_DICT = {
        'version': 1,
        'disable_existing_loggers': False,
        'formatters': {
            'detailed_fmt': {
                'class': 'logging.Formatter',
                'format': '%(asctime)s %(created)s %(levelname)-6s %(name)-15s %(processName)s:%(threadName)s %(message)s'
                #  human-readable  timestamp levelname logger_name  processname threadname  message
            },
            'simple_fmt': {
                'class': 'logging.Formatter',
                'format': '%(asctime)s %(levelname)-8s %(name)-15s %(message)s'
                #  human-readable  levelname logger_name message
            },
            'portal_fmt': {
                'class': 'logging.Formatter',
                # 'datefmt': '%Y-%m-%d %H:%M:%S,uuu',  # 實際默認格式就是這個
                'format': '%(asctime)s %(levelname)-8s %(name)-15s  %(processName)-10s %(message)s'
            },
            'system_fmt': {
                'class': 'logging.Formatter',
                'format': '%(asctime)s %(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
            },
        },
        'handlers': {
            'file_size_rotate_hd': {
                #'class': 'logging.handlers.RotatingFileHandler',
                'class': 'mrfh.MultiprocessRotatingFileHandler',  # 這里就是用到mrfh了。
                'filename': './logs/portal.log',
                'mode': 'a',
                'maxBytes': 1024 * 1024 * 500,
                'backupCount': 50,
                'formatter': 'portal_fmt'
            },
            'errors_hd': {
                'class': 'logging.FileHandler',
                'filename': './logs/errors.log',
                'formatter': 'detailed_fmt',
                'level': 'ERROR'  # 只會錯誤40及以上的日志
            },
            'system_hd': {
                'class': 'logging.FileHandler',
                'filename': './logs/system.log',
                'formatter': 'simple_fmt'
            }
        },
        'loggers': {
            'selfservices': {
                'level': 'INFO',
                'propagate': False,
                'handlers': ['file_size_rotate_hd', 'errors_hd']
                # 'handlers': ['time_rotate_file_hd', 'file_size_rotate_hd', 'errors_hd']
            },
        },
        'root': {
            'level': 'DEBUG',
            'handlers': ['system_hd', 'errors_hd']
        },
    }