scrapy爬蟲，cmd中執行日志中顯示了爬取的內容，但是運行時隱藏日志后（運行命令后添加--nolog），就沒有輸出結果了

cmd下執行scrapy爬蟲程序,不報錯也沒有輸出,解決方案

 

想要執行parse能夠在cmd看到parse函數的執行結果：

解決方法：

settings.py 中設置  ROBOTSTXT_OBEY = False  

 

案例：

   day96\day96\spiders\chouti.py

# -*- coding: utf-8 -*-
import scrapy
import sys
import io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response):
        # print(response.url)
        # print(response.text)
        content=str(response.body,encoding='utf-8')
        print(content)

day96\day96\settings.py

?

1	ROBOTSTXT_OBEY = False

　　

 參考鏈接：https://bbs.csdn.net/topics/392316454?page=1