scrapy一開始嘗試發現問題
抓包的結果
發現這個默認的應該不是utf-8
寫demo測試一下看看是什么編碼格式
得到的結果為
gbk
編碼
於是從網上找了一些scrapy的解決方案
在setting文件中設置:
FEED_EXPORT_ENCODING = 'utf-8'
嘗試了一下,發現還是不行
又找了一些資料然后用scrapy shell執行測試
發現用
reponse.body.decode('gbk')
可以用,但是需要注意這個是直接返回的結果,需要一個參數來接收