Python3之logging模塊淺析

本文轉載自查看原文 2018-06-24 14:26 3418

Python3之logging模塊淺析

Python3之logging模塊淺析

很多程序都有記錄日志的需求，並且日志中包含的信息即有正常的程序訪問日志，還可能有錯誤、警告等信息輸出，python的logging模塊提供了標准的日志接口，你可以通過它存儲各種格式的日志，logging的日志可以分為 debug(), info(), warning(), error() and critical()5個級別，下面我們看一下怎么用。

簡單用法

在控制台進行顯示 logging.info('xxxxx') 有以下五個級別：debug、info、warning、error、critical

import logging

logging.warning("warning:user/passwd is invalid")
logging.critical("critical:server is down")

在日志中輸出 logging.basicConfig()，日志級別同樣是有五個

import logging

logging.basicConfig(filename='access.log',level=logging.INFO,format='%(asctime)s %(message)s',
 datefmt='%m/%d/%Y %I:%M:%S %p')

 #basicConfig 方法對日志進本信息進行配置，文件名、日志級別、輸出格式等，但必須以key-value形式使用
logging.debug('This message should go to the log file?') # 由於上面已經將日志級別設置為INFO，故低於INFO的不會被打印
logging.info('So should this')
logging.warning('And this, too')

format自定義格式，下表中均支持

%(name)s	Logger的名字
%(levelno)s	數字形式的日志級別
%(levelname)s	文本形式的日志級別
%(pathname)s	調用日志輸出函數的模塊的完整路徑名，可能沒有
%(filename)s	調用日志輸出函數的模塊的文件名
%(module)s	調用日志輸出函數的模塊名
%(funcName)s	調用日志輸出函數的函數名
%(lineno)d	調用日志輸出函數的語句所在的代碼行
%(created)f	當前時間，用UNIX標准的表示時間的浮點數表示
%(relativeCreated)d	輸出日志信息時的，自Logger創建以來的毫秒數
%(asctime)s	字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒
%(thread)d	線程ID。可能沒有
%(threadName)s	線程名。可能沒有
%(process)d	進程ID。可能沒有
%(message)s	用戶輸出的消息

日志與控制台同時輸出

Python 使用logging模塊記錄日志涉及四個主要類，使用官方文檔中的概括最為合適：

logger提供了應用程序可以直接使用的接口；
handler將(logger創建的)日志記錄發送到合適的目的輸出；
filter提供了細度設備來決定輸出哪條日志記錄；
formatter決定日志記錄的最終輸出格式

一個同時輸出到屏幕、文件的完成例子

可按以下步驟進行創建

生成logger對象
生成handler 對象
把handler 對象綁定到logger對象
生成formatter 對象
將formatter對象綁定到handler對象

實現代碼如下：

# -*- coding:utf-8 -*-

import logging


def logger(log_obj):

    logger = logging.getLogger(log_obj)
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()

    log_file = "access.log"
    file_handle = logging.FileHandler(log_file)
    file_handle.setLevel(logging.WARNING)

    formatter = logging.Formatter(
        '%(asctime)s - %(name)s - %(levelname)s - %(message)s')

    console_handle.setFormatter(formatter)
    file_handle.setFormatter(formatter)

    logger.addHandler(console_handle)
    logger.addHandler(file_handle)

    return logger

日志文件截取

按照大小截取
logging.handlers.RotatingFileHandler()
當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的函數是：

RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。

maxBytes用於指定日志文件的最大文件大小。如果maxBytes為0，意味着日志文件可以無限大，這時上面描述的重命名過程就不會發生。

backupCount用於指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2並不會被更名，而是被刪除。

按照時間截取
logging.handlers.TimedRotatingFileHandler()
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的函數是：

TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。

interval是時間間隔。

when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：

S 秒
M 分
H 小時
D 天
W 每星期（interval==0時代表星期一）
midnight 每天凌晨

代碼實現如下:


# -*- coding:utf-8 -*-

import logging
from logging import handlers


logger = logging.getLogger(__name__)

log_file_size = "sizelog.log"
log_file_time = "timelog.log"
file_handler_size = logging.handlers.RotatingFileHandler(filename=log_file_size,maxBytes=10,backupCount=3)

file_handler_time = logging.handlers.TimedRotatingFileHandler(filename=log_file_time,when="S",interval=5,backupCount=3)


formatter = logging.Formatter('%(asctime)s %(module)s:%(lineno)d %(message)s')

file_handler_size.setFormatter(formatter)
file_handler_time.setFormatter(formatter)

logger.addHandler(file_handler_size)
logger.addHandler(file_handler_time)

logger.warning("test1")
logger.warning("test12")
logger.warning("test13")
logger.warning("test14")

日志重復打印問題解決

以下內容根據同學分享內容進行整理

在python中函數編程可以大大的減少重復代碼量，在打印日志時，為避免重復造輪子，可使用創建log函數進行調用。

# -*- coding:utf-8 -*-

import logging


def my_logger(log_obj):
    print(logging._handlerList)
    logger = logging.getLogger(log_obj)
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()
    formatter = logging.Formatter(
        '%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
    console_handle.setFormatter(formatter)

    logger.addHandler(console_handle)

    return logger


if __name__ == '__main__':
    my_logger('access').error('say 1 ')
    my_logger('access').error('say 2 ')
    my_logger('access').error('say 3 ')

恩就這樣定義好了一個log 函數，那我們來執行一下：

2018-06-24 13:25:54,411 - access.log - ERROR - say 1  
2018-06-24 13:25:54,412 - access.log - ERROR - say 2  
2018-06-24 13:25:54,412 - access.log - ERROR - say 2  
2018-06-24 13:25:54,412 - access.log - ERROR - say 3  
2018-06-24 13:25:54,412 - access.log - ERROR - say 3  
2018-06-24 13:25:54,412 - access.log - ERROR - say 3

What's the fuck！為什么日志輸出依次遞增!

問題分析

實際上logger = logging.getLogger(log_obj)在執行時，沒有每次生成一個新的logger，而是先檢查內存中是否存在一個叫做‘log_obj’的logger對象，存在則取出，不存在則新建。

實例化的logger對象具有‘handlers’這樣一個屬性來存儲,我們打印看看存儲的是什么信息

# -*- coding:utf-8 -*-

import logging

def my_logger(log_obj):
    
    logger = logging.getLogger(log_obj)
    print(logger.handlers) 
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()
    formatter = logging.Formatter(
        '%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
    console_handle.setFormatter(formatter)

    logger.addHandler(console_handle)

    return logger


if __name__ == '__main__':
    my_logger('access').error('say 1 ')
    my_logger('access').error('say 2 ')
    my_logger('access').error('say 3 ')

[]
2018-06-24 13:44:47,239 - access.log - ERROR - say 1  
[<StreamHandler <stderr> (NOTSET)>]
2018-06-24 13:45:22,597 - access.log - ERROR - say 2  
2018-06-24 13:45:22,597 - access.log - ERROR - say 2  
[<StreamHandler <stderr> (NOTSET)>, <StreamHandler <stderr> (NOTSET)>]
2018-06-24 13:45:32,877 - access.log - ERROR - say 3  
2018-06-24 13:45:32,877 - access.log - ERROR - say 3  
2018-06-24 13:45:32,877 - access.log - ERROR - say 3

從結果中可以看出：

logger.handlers最初是一個空列表，執行logger.addHandler(console_handle)添加一個StreamHandler，輸出一條日志
在第二次被調用時，logger.handlers已經存在一個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個StreamHandler，此時的logger有兩個個StreamHandler，輸出兩條重復的日志
在第三次被調用時，logger.handlers已經存在兩個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個，此時的logger有三個StreamHandler，輸出三條重復的日志

解決方案

1.使用不同的日志對象

# -*- coding:utf-8 -*-

import logging

def my_logger(log_obj):
    
    logger = logging.getLogger(log_obj)
    print(logger.handlers) 
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()
    formatter = logging.Formatter(
        '%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
    console_handle.setFormatter(formatter)

    logger.addHandler(console_handle)

    return logger


if __name__ == '__main__':
    my_logger('access1').error('say 1 ')
    my_logger('access2').error('say 2 ')
    my_logger('access3').error('say 3 ')

運行結果：

2018-06-24 13:51:33,084 - access1 - ERROR - say 1  
2018-06-24 13:51:33,084 - access2 - ERROR - say 2  
2018-06-24 13:51:33,085 - access3 - ERROR - say 3

2.及時清理（logger.handlers.clear）

# -*- coding:utf-8 -*-

import logging

def my_logger(log_obj):

    logger = logging.getLogger(log_obj)
    
    logger.handlers.clear()
    #print(logger.handlers)
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
    console_handle.setFormatter(formatter)

    logger.addHandler(console_handle)

    return logger


if __name__ == '__main__':
    my_logger('access').error('say 1 ')
    my_logger('access').error('say 2 ')
    my_logger('access').error('say 3 ')

運行結果如下:

2018-06-24 13:56:38,357 - access - ERROR - say 1  
2018-06-24 13:56:38,358 - access - ERROR - say 2  
2018-06-24 13:56:38,358 - access - ERROR - say 3

還有一種通過清理handler的方法但是兼容性較差

# 這種寫法下的可以使用removeHandler方法或logger.handlers.pop()(logger.handlers.clear也可以使用在這種寫法的函數內)
# -*- coding:utf-8 -*-

import logging

def my_logger(log_obj, msg):

    logger = logging.getLogger(log_obj)
    #print(logger.handlers)
    logger.setLevel(logging.INFO)

    console_handle = logging.StreamHandler()
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
    console_handle.setFormatter(formatter)

    logger.addHandler(console_handle)
    logger.error(msg)
    logger.removeHandler(console_handle)
    return logger


if __name__ == '__main__':
    my_logger('access', 'say 1')
    my_logger('access', 'say 2')
    my_logger('access', 'say 3')

運行結果：

2018-06-24 14:02:08,390 - access - ERROR - say 1 
2018-06-24 14:02:08,390 - access - ERROR - say 2 
2018-06-24 14:02:08,390 - access - ERROR - say 3

3.使用前先判斷是否有相同的handler對象

# -*- coding:utf-8 -*-

import logging


def my_logger(log_obj):

    logger = logging.getLogger(log_obj)
    logger.setLevel(logging.INFO)
    # 判斷logger是否已經添加過handler，是則直接返回logger對象，否則執行handler設定以及addHandler(console_handle)
    if not logger.handlers:

        console_handle = logging.StreamHandler()
        formatter = logging.Formatter(
            '%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
        console_handle.setFormatter(formatter)
        logger.addHandler(console_handle)

    return logger


if __name__ == '__main__':
    my_logger('access').error('say 1')
    my_logger('access').error('say 2')
    my_logger('access').error('say 3')

總結：

第一次遇到這個問題的時候，沒有找到原因，使用了創建多個日志對象的方法解決了問題，現在通過同學的分享已經搞清楚日志重復的原因：多次增加了相同的handler對象。
以后定要多積累，多請教。

參考內容：

luffycity

The Python Standard Library

不老頑童蕭龍

http://www.cnblogs.com/mojiexiaolong/p/6828616.html

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 python3 logging 日志記錄模塊 python模塊之Logging python logging模塊使用 Python:logging模塊 python logging模塊詳解 python logging模塊，升級print調試到logging。多個模塊使用python logging python模塊分析之logging日志（四） python logging模塊使用流程 python logging模塊使用總結