簡介
Python的logging模塊提供了通用的日志系統,可以方便第三方模塊或者是應用使用。這個模塊提供不同的日志級別,並可以采用不同的方式記錄日志,比如文件,HTTP GET/POST,SMTP,Socket等,甚至可以自己實現具體的日志記錄方式。
logging模塊與log4j的機制是一樣的,只是具體的實現細節不同。模塊提供logger,handler,filter,formatter。
-
logger
提供日志接口,供應用代碼使用。logger最長用的操作有兩類:配置和發送日志消息。可以通過logging.getLogger(name)獲取logger對象,如果不指定name則返回root對象,多次使用相同的name調用getLogger方法返回同一個logger對象。 -
handler
將日志記錄(log record)發送到合適的目的地(destination),比如文件,socket等。一個logger對象可以通過addHandler方法添加0到多個handler,每個handler又可以定義不同日志級別,以實現日志分級過濾顯示。 -
filter
提供一種優雅的方式決定一個日志記錄是否發送到handler。 -
formatter
指定日志記錄輸出的具體格式。formatter的構造方法需要兩個參數:消息的格式字符串和日期字符串,這兩個參數都是可選的。
與log4j類似,logger,handler和日志消息的調用可以有具體的日志級別(Level),只有在日志消息的級別大於logger和handler的級別。
logging模塊是Python內置的標准模塊,主要用於輸出運行日志,可以設置輸出日志的等級、日志保存路徑、日志文件回滾等;相比print,具備如下優點:
- 可以通過設置不同的日志等級,在release版本中只輸出重要信息,而不必顯示大量的調試信息;
- print將所有信息都輸出到標准輸出中,嚴重影響開發者從標准輸出中查看其它數據;logging則可以由開發者決定將信息輸出到什么地方,以及怎么輸出
logging模塊使用
1 基本使用
配置logging基本的設置,然后在控制台輸出日志:
運行時,控制台輸出:
logging中可以選擇很多消息級別,如debug、info、warning、error以及critical。通過賦予logger或者handler不同的級別,開發者就可以只輸出錯誤信息到特定的記錄文件,或者在調試時只記錄調試信息。
例如,我們將logger的級別改為DEBUG,再觀察一下輸出結果:
控制台輸出,可以發現,輸出了debug的信息:
logging.basicConfig函數各參數:
filename:指定日志文件名;
filemode:和file函數意義相同,指定日志文件的打開模式,'w'或者'a';
format:指定輸出的格式和內容,format可以輸出很多有用的信息,
參數:作用 %(levelno)s:打印日志級別的數值 %(levelname)s:打印日志級別的名稱 %(pathname)s:打印當前執行程序的路徑,其實就是sys.argv[0] %(filename)s:打印當前執行程序名 %(funcName)s:打印日志的當前函數 %(lineno)d:打印日志的當前行號 %(asctime)s:打印日志的時間 %(thread)d:打印線程ID %(threadName)s:打印線程名稱 %(process)d:打印進程ID %(message)s:打印日志信息
datefmt:指定時間格式,同time.strftime();
level:設置日志級別,默認為logging.WARNNING;
stream:指定將日志的輸出流,可以指定輸出到sys.stderr,sys.stdout或者文件,默認輸出到sys.stderr,當stream和filename同時指定時,stream被忽略;
2 將日志寫入到文件
2.1 將日志寫入到文件
設置logging,創建一個FileHandler,並對輸出消息的格式進行設置,將其添加到logger,然后將日志寫入到指定的文件中:
log.txt中日志數據為:
2.2 將日志同時輸出到屏幕和日志文件
logger中添加StreamHandler,可以將日志輸出到屏幕上:
可以在log.txt文件和控制台中看到:
可以發現,logging有一個日志處理的主對象,其他處理方式都是通過addHandler添加進去,logging中包含的handler主要有如下幾種:
handler名稱:位置;作用 StreamHandler:logging.StreamHandler;日志輸出到流,可以是sys.stderr,sys.stdout或者文件 FileHandler:logging.FileHandler;日志輸出到文件 BaseRotatingHandler:logging.handlers.BaseRotatingHandler;基本的日志回滾方式 RotatingHandler:logging.handlers.RotatingHandler;日志回滾方式,支持日志文件最大數量和日志文件回滾 TimeRotatingHandler:logging.handlers.TimeRotatingHandler;日志回滾方式,在一定時間區域內回滾日志文件 SocketHandler:logging.handlers.SocketHandler;遠程輸出日志到TCP/IP sockets DatagramHandler:logging.handlers.DatagramHandler;遠程輸出日志到UDP sockets SMTPHandler:logging.handlers.SMTPHandler;遠程輸出日志到郵件地址 SysLogHandler:logging.handlers.SysLogHandler;日志輸出到syslog NTEventLogHandler:logging.handlers.NTEventLogHandler;遠程輸出日志到Windows NT/2000/XP的事件日志 MemoryHandler:logging.handlers.MemoryHandler;日志輸出到內存中的指定buffer HTTPHandler:logging.handlers.HTTPHandler;通過"GET"或者"POST"遠程輸出到HTTP服務器
2.3 日志回滾
其實意思就是log會寫在一個文件,這個文件定義成1K大小,日志太多寫不下的話,它會自動備份成log.txt.1,log.txt.2 ......,然后再創建一個log.txt開始寫log。使用RotatingFileHandler,可以實現日志回滾:
可以在工程目錄中看到,備份的日志文件:
3 設置消息的等級
可以設置不同的日志等級,用於控制日志的輸出:
日志等級:使用范圍
FATAL:致命錯誤
CRITICAL:特別糟糕的事情,如內存耗盡、磁盤空間為空,一般很少使用
ERROR:發生錯誤時,如IO操作失敗或者連接問題
WARNING:發生很重要的事件,但是並不是錯誤時,如用戶登錄密碼錯誤
INFO:處理請求或者狀態變化等日常事務
DEBUG:調試過程中使用DEBUG等級,如算法中每個循環的中間狀態
4 捕獲traceback
Python中的traceback模塊被用於跟蹤異常返回信息,可以在logging中記錄下traceback。
代碼如下:
控制台和日志文件log.txt中輸出:
也可以使用logger.exception(msg,_args),它等價於logger.error(msg,exc_info = True,_args),所以你可以將
1 logger.error("Faild to open sklearn.txt from logger.error",exc_info = True)
替換為:
logger.exception("Failed to open sklearn.txt from logger.exception")
控制台和日志文件log.txt中輸出:
小結
嘿嘿,又完成了一篇,下一篇給小伙伴們介紹一下,有關通過JSON或者YAML文件配置logging模塊、多模塊使用logging和自己封裝一個日志類!!!