1、在settings中設置log級別,在settings.py中添加一行:
LOG_LEVEL = 'WARNING'
Scrapy提供5層logging級別:
CRITICAL - 嚴重錯誤
ERROR - 一般錯誤
WARNING - 警告信息
INFO - 一般信息
DEBUG - 調試信息
scrapy默認顯示DEBUG級別的log信息
2、將輸出結果保存為log日志,在settings.py中添加路徑:
LOG_FILE = './log.log'
通過在setting.py中進行以下設置可以被用來配置logging:
LOG_ENABLED 默認: True,啟用logging
LOG_ENCODING 默認: ‘utf-8’,logging使用的編碼
LOG_FILE 默認: None,在當前目錄里創建logging輸出文件的文件名
LOG_LEVEL 默認: ‘DEBUG’,log的最低級別
3、顯示log位置,在pipelines.py中:
import logging
logger = logging.getLogger(__name__)
def process_item(self, item, spider):
logger.warning(item)
....