python接口自動化（四十）- logger 日志 - 下（超詳解）

簡介

　　按照上一篇的計划，這一篇給小伙伴們講解一下：（1）多模塊使用logging，（2）通過文件配置logging模塊，（3）自己封裝一個日志（logging）類。可能有的小伙伴在這里會有個疑問一個logging為什么分兩篇的篇幅來介紹她呢？？？那是因為日志是非常重要的，用於記錄系統、軟件操作事件的記錄文件或文件集合，可分為事件日志和消息日志。具有處理歷史數據、診斷問題的追蹤以及理解系統、軟件的活動等重要作用，在開發或者測試軟系統過程中出現了問題，我們首先想到的就是她——logging。她可不像泰戈爾說的：“天空沒有留下翅膀的痕跡,但我已經飛過”；這個90后的小姑娘，她可是一個愛炫耀，愛顯擺的人已經達到了人過留名、雁過留聲的境界。好了逗大家一樂，下面開始進入今天的正題。

多模塊使用logging

1、父模塊fatherModule.py：

2、子模塊sonModule.py：

 

3、運行結果，在控制和日志文件log.txt中輸出：

　　首先在父模塊定義了logger'fatherModule'，並對它進行了配置，就可以在解釋器進程里面的其他地方通過getLogger('fatherModule')得到的對象都是一樣的，不需要重新配置，可以直接使用。定義的該logger的子logger，

都可以共享父logger的定義和配置，所謂的父子logger是通過命名來識別，任意以'fatherModule'開頭的logger都是它的子logger，例如'fatherModule.son'。

　　實際開發一個application，首先可以通過logging配置文件編寫好這個application所對應的配置，可以生成一個根logger，如'PythonAPP'，然后在主函數中通過fileConfig加載logging配置，接着在application的其他地方、不同的模塊中，可以使用根logger的子logger，

如'PythonAPP.Core'，'PythonAPP.Web'來進行log，而不需要反復的定義和配置各個模塊的logger。

4、參考代碼

fatherModule.py文件：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-多模塊使用logging
'''
# 3.導入模塊
import logging
import sonModule
logger = logging.getLogger("fatherModule")
logger.setLevel(level = logging.INFO)
handler = logging.FileHandler("log.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(handler)
logger.addHandler(console)


logger.info("creating an instance of sonModule.sonModuleClass")
a = sonModule.SonModuleClass()
logger.info("calling sonModule.sonModuleClass.doSomething")
a.doSomething()
logger.info("done with  sonModule.sonModuleClass.doSomething")
logger.info("calling sonModule.some_function")
sonModule.som_function()
logger.info("done with sonModule.some_function")

sonModule.py文件：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-多模塊使用logging
'''
# 3.導入模塊
import logging

module_logger = logging.getLogger("fatherModule.son")
class SonModuleClass(object):
    def __init__(self):
        self.logger = logging.getLogger("fatherModule.son.module")
        self.logger.info("creating an instance in SonModuleClass")
    def doSomething(self):
        self.logger.info("do something in SonModule")
        a = []
        a.append(1)
        self.logger.debug("list a = " + str(a))
        self.logger.info("finish something in SonModuleClass")

def som_function():
    module_logger.info("call function some_function")

文件配置logging模塊

1、通過logging.config模塊配置日志構造信息

logger.conf文件：

[loggers]
keys = root, example01, example02
[logger_root]
level = DEBUG
handlers = hand01, hand02
[logger_example01]
handlers = hand01, hand02
qualname = example01
propagate = 0
[logger_example02]
handlers = hand01, hand03
qualname = example02
propagate = 0
[handlers]
keys = hand01, hand02, hand03
[handler_hand01]
class = StreamHandler
level = INFO
formatter = form01
args=(sys.stdout, )
[handler_hand02]
class = FileHandler
level = DEBUG
formatter = form01
args = ('log/test_case_log.log', 'a')
[handler_hand03]
class = handlers.RotatingFileHandler
level = INFO
formatter = form01
args = ('log/test_case_log.log', 'a', 10*1024*1024,3)
[formatters]
keys = form01, form02
[formatter_form01]
format = %(asctime)s-%(filename)s-[line:%(lineno)d]-%(levelname)s-[LogInfoMessage]: %(message)s
datefmt = %a, %d %b %Y %H:%M:%S
[formatter_form02]
format = %(name)-12s: %(levelname)-8s-[日志信息]: %(message)s
datefmt = %a, %d %b %Y %H:%M:%S

一、實例：

1、實例代碼

2、運行結果：

3、參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-27
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-多模塊使用logging
'''
# 3.導入模塊
import logging
import logging.config

logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example01")

logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')

二、實例

1、實例代碼

2、運行結果

3、參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-多模塊使用logging
'''
# 3.導入模塊
import logging
import logging.config

logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example02")

logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')

2、通過JSON文件配置

json配置文件：

{
    "version":1,
    "disable_existing_loggers":false,
    "formatters":{
        "simple":{
            "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
        }
    },
    "handlers":{
        "console":{
            "class":"logging.StreamHandler",
            "level":"DEBUG",
            "formatter":"simple",
            "stream":"ext://sys.stdout"
        },
        "info_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"INFO",
            "formatter":"simple",
            "filename":"info.log",
            "maxBytes":"10485760",
            "backupCount":20,
            "encoding":"utf8"
        },
        "error_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"ERROR",
            "formatter":"simple",
            "filename":"errors.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        }
    },
    "loggers":{
        "my_module":{
            "level":"ERROR",
            "handlers":["info_file_handler"],
            "propagate":"no"
        }
    },
    "root":{
        "level":"INFO",
        "handlers":["console","info_file_handler","error_file_handler"]
    }
}

1、通過JSON加載配置文件，然后通過logging.dictConfig配置logging：

 

2、運行結果：

 

3、參考代碼：

 1 import json  
 2 import logging.config 3 import os 4 5 def setup_logging(default_path = "logging.json",default_level = logging.INFO,env_key = "LOG_CFG"): 6 path = default_path 7 value = os.getenv(env_key,None) 8 if value: 9 path = value 10 if os.path.exists(path): 11 with open(path,"r") as f: 12 config = json.load(f) 13  logging.config.dictConfig(config) 14 else: 15 logging.basicConfig(level = default_level) 16 17 def func(): 18 logging.info("start func") 19 20 logging.info("exec func") 21 22 logging.info("end func") 23 24 if __name__ == "__main__": 25 setup_logging(default_path = "logging.json") 26 func()

3、通過YAML文件配置

1、首先要導入yaml模塊，輸入命令  python2： pip install yaml          python3：pip install pyyaml

2、通過YAML文件進行配置，比JSON看起來更加簡介明了：

logging.yaml文件：

version: 1
disable_existing_loggers: False
formatters:
        simple:
            format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
    console:
            class: logging.StreamHandler
            level: DEBUG
            formatter: simple
            stream: ext://sys.stdout
    info_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: INFO
            formatter: simple
            filename: info.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
    error_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: ERROR
            formatter: simple
            filename: errors.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
loggers:
    my_module:
            level: ERROR
            handlers: [info_file_handler]
            propagate: no
root:
    level: INFO
    handlers: [console,info_file_handler,error_file_handler]

3、通過YAML加載配置文件，然后通過logging.dictConfig配置logging：

4、運行結果：

5、參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-yaml文件配置logging
'''
# 3.導入模塊
import yaml
import logging.config
import os

def setup_logging(default_path = "logging.yaml",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = yaml.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)

def func():
    logging.info("start func")

    logging.info("exec func")

    logging.info("end func")

if __name__ == "__main__":
    setup_logging(default_path = "logging.yaml")
    func()

注意：配置文件中“disable_existing_loggers” 參數設置為 False；如果不設置為False，創建了 logger，然后你又在加載日志配置文件之前就導入了模塊。logging.fileConfig 與 logging.dictConfig 默認情況下會使得已經存在的 logger 失效。那么，這些配置信息就不會應用到你的 Logger 上。“disable_existing_loggers” = False解決了這個問題

自己封裝一個logging類

1、實例代碼：

2、運行結果：

3、參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-27
@author: 北京-宏哥
Project:學習和使用python的logging日志模塊-自己封裝logging
'''
# 3.導入模塊
import logging
class Log(object):
    def __init__(self, name=__name__, path='mylog.log', level='DEBUG'):
        self.__name = name
        self.__path = path
        self.__level = level
        self.__logger = logging.getLogger(self.__name)
        self.__logger.setLevel(self.__level)

    def __ini_handler(self):
        """初始化handler"""
        stream_handler = logging.StreamHandler()
        file_handler = logging.FileHandler(self.__path, encoding='utf-8')
        return stream_handler, file_handler

    def __set_handler(self, stream_handler, file_handler, level='DEBUG'):
        """設置handler級別並添加到logger收集器"""
        stream_handler.setLevel(level)
        file_handler.setLevel(level)
        self.__logger.addHandler(stream_handler)
        self.__logger.addHandler(file_handler)

    def __set_formatter(self, stream_handler, file_handler):
        """設置日志輸出格式"""
        formatter = logging.Formatter('%(asctime)s-%(name)s-%(filename)s-[line:%(lineno)d]'
                                      '-%(levelname)s-[日志信息]: %(message)s',
                                      datefmt='%a, %d %b %Y %H:%M:%S')
        stream_handler.setFormatter(formatter)
        file_handler.setFormatter(formatter)

    def __close_handler(self, stream_handler, file_handler):
        """關閉handler"""
        stream_handler.close()
        file_handler.close()

    @property
    def Logger(self):
        """構造收集器，返回looger"""
        stream_handler, file_handler = self.__ini_handler()
        self.__set_handler(stream_handler, file_handler)
        self.__set_formatter(stream_handler, file_handler)
        self.__close_handler(stream_handler, file_handler)
        return self.__logger


if __name__ == '__main__':
    log = Log(__name__, 'file.log')
    logger = log.Logger
    logger.debug('I am a debug message')
    logger.info('I am a info message')
    logger.warning('I am a warning message')
    logger.error('I am a error message')
    logger.critical('I am a critical message')

小結

 1、在yaml文件配置logging的時候，會有個報警信息。有代碼潔癖的人，可以處理一下

2、是什么原因造成上面的告警呢？？？是因為：YAML 5.1版本后棄用了yaml.load(file)這個用法，因為覺得很不安全，5.1版本之后就修改了需要指定Loader，通過默認加載​​器（FullLoader）禁止執行任意函數，該load函數也變得更加安全。

3、解決辦法：

   不用改很多代碼 加一句就行了 在yaml.load(f, Loader=yaml.FullLoader) 加上 Loader=yaml.FullLoader 就行了。這里要注意的是L要大寫的，否則會報錯的。

4、加上以后，看一下運行結果：

 

  最后給大家留個彩蛋：文章中有一處bug，會影響運行結果而報錯，聰明的你，可以找到嗎？？？嘿嘿！！！歡迎互動和留言