python標准日志模塊logging及日志系統設計

　　最近寫一個爬蟲系統，需要用到python的日志記錄模塊，於是便學習了一下。

　　python的標准庫里的日志系統從Python2.3開始支持。只要import logging這個模塊即可使用。如果你想開發一個日志系統， 既要把日志輸出到控制台， 還要寫入日志文件，只要這樣使用：

import logging

# 創建一個logger
logger = logging.getLogger('mylogger')
logger.setLevel(logging.DEBUG)

# 創建一個handler，用於寫入日志文件
fh = logging.FileHandler('test.log')
fh.setLevel(logging.DEBUG)

# 再創建一個handler，用於輸出到控制台
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# 定義handler的輸出格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
ch.setFormatter(formatter)

# 給logger添加handler
logger.addHandler(fh)
logger.addHandler(ch)

# 記錄一條日志
logger.info('foorbar')

　　結合上面的例子，我們說下幾個最常使用的API：

　　logging.getLogger([name])

　　返回一個logger實例，如果沒有指定name，返回root logger。只要name相同，返回的logger實例都是同一個而且只有一個，即name和logger實例是一一對應的。這意味着，無需把logger實例在各個模塊中傳遞。只要知道name，就能得到同一個logger實例。

　　Logger.setLevel(lvl)

　　設置logger的level， level有以下幾個級別：

　　　　

　　級別高低順序：NOTSET < DEBUG < INFO < WARNING < ERROR < CRITICAL

　　如果把looger的級別設置為INFO， 那么小於INFO級別的日志都不輸出， 大於等於INFO級別的日志都輸出　　

    logger.debug("foobar")    # 不輸出   
    logger.info("foobar")        # 輸出  
    logger.warning("foobar")  # 輸出  
    logger.error("foobar")      # 輸出  
    logger.critical("foobar")    # 輸出  

　　Logger.addHandler(hdlr)

　　通過handler對象可以把日志內容寫到不同的地方。比如簡單的StreamHandler就是把日志寫到類似文件的地方。python提供了十幾種實用handler，比較常用有：

StreamHandler: 輸出到控制台
FileHandler:   輸出到文件
BaseRotatingHandler 可以按時間寫入到不同的日志中。比如將日志按天寫入不同的日期結尾的文件文件。
SocketHandler 用TCP網絡連接寫LOG
DatagramHandler 用UDP網絡連接寫LOG
SMTPHandler 把LOG寫成EMAIL郵寄出去

　　logging.basicConfig([**kwargs])* 這個函數用來配置root logger， 為root logger創建一個StreamHandler，設置默認的格式。* 這些函數： logging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical() 如果調用的時候發現root logger沒有任何handler，會自動調用basicConfig添加一個handler* 如果root logger已有handler，這個函數不做任何事情使用basicConfig來配置root logger的輸出格式和level：

import logging
logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.DEBUG)
logging.debug('This message should appear on the console')

 

　　logger對象直接提供日志接口。formatter描述日志的格式。handler把日志寫到不同的地方，你可以把日志保存成本地文件，也可以每個小時寫一個日志文件，還可以把日志通過socket傳到別的機器上。

　　從最簡單的formatter對象來看。formatter指定的是每一條日志記錄的抬頭信息，也就是你可以指定日志記錄的時間格式、進程號、文件名、函數名等信息。可以用這個方法來創建一個formatter對象：

logging.Formatter.__init__( fmt=None, datefmt=None)

　　fmt參數指定進程號、文件名、函數名等信息是否出現以及格式， datefmt為日期時間格式，默認的日期格式精確到微秒，例如‘2003-07-08 16:49:45,896’。fmt中可以指定多個字段，每個字段的格式為“%(<dictionary key>)s”， 例如你想打印時間、日志級別、日志信息可以用下面的format:

'%(asctime)s - %(levelname)s - %(message)s'

　　所有的可以使用的字段如下表：

　　在記錄爬蟲系統日志的時候需要定義記錄日志的級別，級別越高表示打出來的日志越詳細。我們可以用一個字典來設置不同級別對應的不同日志信息：

#用字典保存日志級別
format_dict = {
   1 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
   2 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
   3 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
   4 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
   5 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
}

　　將本文開始的代碼封裝在一個類中

#開發一個日志系統， 既要把日志輸出到控制台， 還要寫入日志文件   
class Logger():
    def __init__(self, logname, loglevel, logger):
        '''
           指定保存日志的文件路徑，日志級別，以及調用文件
           將日志存入到指定的文件中
        '''
        
        # 創建一個logger
        self.logger = logging.getLogger(logger)
        self.logger.setLevel(logging.DEBUG)
        
        # 創建一個handler，用於寫入日志文件
        fh = logging.FileHandler(logname)
        fh.setLevel(logging.DEBUG)
        
        # 再創建一個handler，用於輸出到控制台
        ch = logging.StreamHandler()
        ch.setLevel(logging.DEBUG)
        
        # 定義handler的輸出格式
        #formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
        formatter = format_dict[int(loglevel)]
        fh.setFormatter(formatter)
        ch.setFormatter(formatter)
        
        # 給logger添加handler
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)
        
    
    def getlog(self):
        return self.logger

再通過以下方式調用，便是一個簡單的日志系統了

logger = Logger(logname='log.txt', loglevel=1, logger="fox").getlog()