Python:logging模塊

 

---

本文內容：

 

• logging模塊的介紹
• logging模塊的基礎使用
• logging模塊的擴展使用
• logging中的Filter
• 使用配置文件配置logging和logger
• 小技巧
• 想要了解更多？不如看看官方文檔。

 

首發日期：2018-07-05

 

---

logging模塊的介紹：

 

• 它是一個python標准庫，所以它的通用性很高，所有的python模塊都可以與它合作參與日志記錄。

 

日志級別：

基本	中文意義	觸發情況
DEBUG	調試	調試時期
INFO	提示	正常運行時
WARINING	警告	現在可運行，但未來可能發生錯誤時（例如未來存儲空間可能不足）
ERROR	錯誤	當程序發生錯誤，無法執行某些功能時
CRITICAL	嚴重的、致命的	當程序發生嚴重錯誤，無法繼續運行時

默認是WARNING。

 

基本類：

• Loggers ：日志器，負責開放接口來調用功能，比如它負責添加Handlers和Filters 。有默認的Loggers 對象
• Handlers  ：負責日志記錄的傳輸目的地，比如有FileHandler(寫入目標為文件)和StreamHandler（寫入目標為流，默認為標准輸出流）
• Filters ：負責過濾哪些日志是要輸出的 。
• Formatters ：負責對日志輸出格式的格式化。

---

logging模塊的基礎使用：

• 基礎使用使用就是使用默認logger對象的使用。

 

1. 設置logging，調用logging.basicConfig()來配置日志信息。 【由這個來看就知道，它是“通用型的，只能設置一次的”，如果不同部分想使用不同的日志記錄，需要使用logger對象（下面的擴展使用）】
   • 可設置的參數：filename日志文件名，filemode打開文件的方式，format日志的輸出格式，datefmt日期輸出格式，style設置format的類型，level日志記錄的最低級別,stream輸出流（不與filename並存，filename優先）,handlers日志處理對象（默認是根處理對象）,
   • 一般使用的參數：filename日志文件名，format日志的輸出格式，level日志記錄的最低級別，stream設置輸出流
     • filename是日志文件名，就是一個普通文件名
     • format是日志的輸出格式，設置方法下面講
     • level的設置值為debug等值，使用方法為logging.DEBUG,logging.INFO,logging.WARNING,logging.ERROR,logging.CRITICAL
     • style影響format的類型，它的值有'%','{','$'，默認是'%',不同的style可以識別以下不同的message標識符：%(message)s、{message}、$message
2. 輸出日志信息：
   • 調試級別日志信息：logging.debug(信息)
   • 提示級別信息：logging.info(信息)
   • 警告基本信息：loggin.warning(信息)
   • 錯誤級別信息：logging.error(信息)
   • 嚴重級別信息:logging.critical(信息)

 

 

信息輸出的格式化（指的是logging.info等函數里面的信息）：

這個表述可能不是很清晰，但意義類似程序報錯信息，（假如）普通的異常信息只有一個報錯原因，（那么為了方便觀看）可能還需要一些如錯誤地點，錯誤事件等信息，而這些附加的統一的時間不應該由生產錯誤信息的部分來添加（可能有很多個模塊），而應該將這個信息給專門做這事的部分來處理(交個formatter來處理)。

1.支持普通字符串%格式化，例如：

logging.info('Started %s'%tag)

2.支持普通字符串format格式化，例如:

logging.info('{} started '.format(tag))

3.logging自帶的，例如：

logging.info('%s start in' , tag) logging.info('%s start in %s',tag,address)

 

 

format設置方法：

• 常用特殊字符：
  • message是日志信息
  • levelname日志信息等級
  • asctime是字符串形式的日期時間
  • name是logger的名字
  • levelno是數字形式的日志信息等級
  • module是調用日志輸出函數的模塊名
  • funcName是調用日志輸出函數的函數名
  • lineno是調用日志輸出函數的代碼行數

 

根據不同的style，可以使用%(message)s或{message}或$message類似的格式來標注指定位置使用指定信息來取代。

• 默認格式：
  • asctime 使用%(asctime)s
  • funcName使用%(funcName)s
  • levelname使用%(levelname)s
  • message使用%(message)s
  • lineno使用%(lineno)d
  • module使用%(module)s
  • name使用%(name)s

官方文檔：

https://docs.python.org/3.6/library/logging.html#logrecord-attributes

 

 

datefmt日期輸出格式的設置方法：

設置format中特殊字符asctime（日期時間）的輸出格式

• 特殊字符：
  • %y 兩位數的年份表示（00-99）
  • %Y 四位數的年份表示（000-9999）
  • %m 月份（01-12）
  • %d 月內中的一天（0-31）
  • %H 24小時制小時數（0-23）
  • %I 12小時制小時數（01-12）
  • %M 分鍾數（00=59）
  • %S 秒（00-59）

使用自己想要的分隔符和順序來定義日期時間的格式，例如：

datefmt='%m/%d/%Y %I:%M:%S %p'

 

使用小例子：

不使用format的：

import

logging def show(): print("wechat running..." ) return "wechat" def main(): logging.basicConfig(filename='myapp.log', level= logging.INFO) tag= show() logging.info('Started %s'% tag) logging.info('Finished %s'% tag) if __name__ == '__main__'

: main()

使用format和datefmt的：

import

logging def show(): print("wechat running..." ) return "wechat" def main(): logging.basicConfig(filename='myapp.log', format='%(asctime)s %(message)s' , datefmt='%m/%d/%Y %I:%M:%S %p',level= logging.INFO) tag= show() logging.info('%s start in' , tag) logging.info('%s Finished' ,tag) if __name__ == '__main__'

: main()

 

 

 

PS：雖然上面沒有說到logger對象，handler對象（默認方向是標准輸出流），formatter對象，但實際上，它是有默認的。不要因為默認值而搞錯。所以不建議混雜基礎版的和擴展版的使用。

---

logging模塊的擴展使用：

 

 

1.導入模塊：

import logging

 

2.獲取logger對象：

logger = logging.getLogger("AppName")【這里根據不同的名字定義不同的logger對象,默認為root。】

 

在模塊中使用時，官方文檔中有一個這樣的代碼，有點意思：

logger = logging.getLogger(__name__)

 

3.設置最低日志輸出級別：

logger.setlevel()

例如：

logger.setLevel(logging.INFO)

 

 

4.創建並綁定handler：

handler用於處理日志信息的輸出方向,可以添加多個handler，代表同時向多個方向輸出信息

• 創建handler：

輸出方向為文件，使用FileHandler，例如：

logging.FileHandler("test.log")

輸出方向為流，使用StreamHandler,例如：

logging.StreamHandler(sys.stdout)

PS：想了解更多Handler，可以自己查看官方文檔https://docs.python.org/3.6/howto/logging.html#useful-handlers

 

• 綁定handler，使用addHandler():

例如：

 

logger.addHandler(handler)

 

• 綁定后如果想解綁handler，使用removeHandler():

例如：

 

logger.removeHandler(handler)

 

 

 

 

5.定義handler的輸出格式formatter並綁定到handler上，formatter的設置方法類似上面基礎使用中的format：

• 創建：

例如：

formatter = logging.Formatter('%(asctime)s %(levelname)s: %(message)s')

 

• 綁定：

handler.setFormatter(formatter) 或handler.formatter=formatter

 

 

6.將handle綁定到logger對象上。

logger.addHandler(file_handler)

logger.addHandler(console_handler)

 

 

7.輸出日志：

調試級別： logger.debug(信息)

提示級別： logger.info(信息)

警告級別： logger.warn(信息)

錯誤級別：

logger.error(信息)

logger.exception(信息)【與error不同的是，還附帶堆棧信息，一般用在發生異常時】

嚴重級別：

logger.fatal(信息) 【fatal是critical的別名】

logger.critical(信息)

 

 

使用示例：

import

logging def demo(): #獲取logger對象 logger=logging.getLogger("WeChat" ) #設置日志等級 logger.setLevel(logging.DEBUG) #創建綁定handler handler=logging.FileHandler('wechat.log' ) logger.addHandler(handler) # 創建綁定formatter formatter = logging.Formatter('%(asctime)s %(levelname)s: %(message)s' ) formatter.datefmt = '%m/%d/%Y %I:%M:%S %p' #可選的 handler.setFormatter(formatter) #嘗試輸出錯誤信息 logger.debug("debug message" ) logger.info("info message" ) logger.warning("warining message" ) logger.error("error message" ) logger.critical("critical message" ) if __name__=="__main__"

: demo()

 

補充：

• 如果你不想新建handler和formatter，可以使用basicConfig方式（可以使用basicConfig來配置所有的logger對象的handler和formatter），當要注意混雜風險。【basicConfig和handler必須至少存在一個，因為默認的logger對象也是需要初始化的】
• logging模塊中還有一個filter，由於它涉及的內容較多，單獨列在下面講。

 

 

---

logging中的Filter:

• Filter用來過濾日志信息，例如你想輸出A類信息，但不想輸出C類信息，就可以進行過濾
• 而由於所有的信息都有經過過濾器，也可以使用過濾器來增加一些信息。

 

 

使用方法1：建立子類

下面的例子可能不是很符合應用，僅用於舉例：

過濾非允許用戶的日志信息：

import

logging import sys class ContextFilter(logging.Filter): def filter(self, record): if record.role=="admin" : return True else : return False if __name__ == '__main__' : logger=logging.getLogger("Wechat" ) logger.setLevel(logging.DEBUG) handler= logging.StreamHandler(sys.stdout) formatter=logging.Formatter('%(asctime)s %(levelname)s: %(message)s Role: %(role)s' ) handler.setFormatter(formatter) logger.addHandler(handler) #創建綁定fiter f = ContextFilter() logger.addFilter(f) logger.info('An info message with %s', 'some parameters',extra={"role":"admin" }) logger.info('An info message with %s', 'some parameters',extra={"role":"hacker"})#hacker的被過濾掉了

 

官網版的加信息版本：

import

logging from random import choice class ContextFilter(logging.Filter): """

 This is a filter which injects contextual information into the log. Rather than use actual contextual information, we just use random data in this demo. """

 USERS 

= ['jim', 'fred', 'sheila' ] IPS = ['123.231.231.123', '127.0.0.1', '192.168.0.1' ] def filter(self, record): record.ip = choice(ContextFilter.IPS) record.user = choice(ContextFilter.USERS) return True if __name__ == '__main__' : levels = (logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR, logging.CRITICAL) logging.basicConfig(level= logging.DEBUG, format='%(asctime)-15s %(name)-5s %(levelname)-8s IP: %(ip)-15s User: %(user)-8s %(message)s' ) a1 = logging.getLogger('a.b.c' ) a2 = logging.getLogger('d.e.f' ) f = ContextFilter() a1.addFilter(f) a2.addFilter(f) a1.debug('A debug message' ) a1.info('An info message with %s', 'some parameters' ) for x in range(10 ): lvl = choice(levels) lvlname = logging.getLevelName(lvl) a2.log(lvl, 'A message at %s level with %d %s', lvlname, 2, 'parameters')

 

使用方法2：使用filter函數

python3.2后，可以使用filter函數來做到上面方法1的效果

例子1：

import

logging import sys def myfilter(record): if record.role == "admin" : return True else : return False if __name__ == '__main__' : logger=logging.getLogger("Wechat" ) logger.setLevel(logging.DEBUG) handler= logging.StreamHandler(sys.stdout) formatter=logging.Formatter('%(asctime)s %(levelname)s: %(message)s Role: %(role)s' ) handler.setFormatter(formatter) logger.addHandler(handler) #創建綁定fiter f = logging.Filter() f.filter= myfilter logger.addFilter(f) logger.info('An info message with %s', 'some parameters',extra={"role":"admin" }) logger.info('An info message with %s', 'some parameters',extra={"role":"hacker"})#hacker的被過濾掉了

例子2，利用lambda：

logger=logging.getLogger("Wechat" ) logger.setLevel(logging.DEBUG) handler= logging.StreamHandler(sys.stdout) formatter=logging.Formatter('%(asctime)s %(levelname)s: %(message)s Role: %(role)s' ) handler.setFormatter(formatter) logger.addHandler(handler) #創建綁定fiter

#

f = ContextFilter() f = logging.Filter() f.filter=lambda record: record.role=="admin"

logger.addFilter(f) logger.info(

'An info message with %s', 'some parameters',extra={"role":"admin" }) logger.info('An info message with %s', 'some parameters',extra={"role":"hacker"})#hacker的被過濾掉了

 

 

 

---

使用配置文件配置logger對象:

 注意：logging默認使用的logger對象叫做root  

config文件配置方式：

import

logging import logging.config logging.config.fileConfig('logging.conf' ) # create logger logger = logging.getLogger('simpleExample' ) # 'application' code logger.debug('debug message' ) logger.info('info message' ) logger.warn('warn message' ) logger.error('error message' ) logger.critical('critical message')

文件內容：

[loggers] keys= root,simpleExample [handlers] keys= consoleHandler [formatters] keys= simpleFormatter [logger_root] level= DEBUG handlers= consoleHandler [logger_simpleExample] level= DEBUG handlers= consoleHandler qualname= simpleExample propagate= 0 [handler_consoleHandler] class= StreamHandler level= DEBUG formatter= simpleFormatter args= (sys.stdout,) [formatter_simpleFormatter] format=%(asctime)s - %(name)s - %(levelname)s - % (message)s datefmt=

 

 

PS：也支持YAML方式，這里不講述

---

小技巧：

 

如果留意到過濾器例子的話，你可以發現

在formatter內可以附加參數：

輸出信息時，附加一個參數extra，附加的參數可以被formatter使用

import

logging import sys class ContextFilter(logging.Filter): def filter(self, record): if record.role=="admin" : return True else : return False if __name__ == '__main__' : logger=logging.getLogger("Wechat" ) logger.setLevel(logging.DEBUG) handler= logging.StreamHandler(sys.stdout) formatter=logging.Formatter('%(asctime)s %(levelname)s: %(message)s Role: %(role)s' ) handler.setFormatter(formatter) logger.addHandler(handler) #創建綁定fiter f = ContextFilter() logger.addFilter(f) logger.info('An info message with %s', 'some parameters',extra={"role":"admin" }) logger.info('An info message with %s', 'some parameters',extra={"role":"hacker"})#hacker的被過濾掉了

 

 

 

---

想要了解更多？不如看看官方文檔。

https://docs.python.org/3.6/library/logging.html

 

 

 

 

---