解决scrapy中文乱码的案例


 

scrapy一开始尝试发现问题

{18EFD93A-A035-4D62-B8B5-BEA093E9EF99}_20200630172602.jpg

抓包的结果

{5618B7D0-ACE0-40A9-9CAD-31EB44144F73}_20200630172349.jpg发现这个默认的应该不是utf-8

写demo测试一下看看是什么编码格式

{1E467B95-237B-4AD4-96E4-CAF7988A2F83}_20200630172441.jpg得到的结果为gbk编码

于是从网上找了一些scrapy的解决方案

在setting文件中设置:FEED_EXPORT_ENCODING = 'utf-8' 尝试了一下,发现还是不行

又找了一些资料然后用scrapy shell执行测试

发现用reponse.body.decode('gbk')可以用,但是需要注意这个是直接返回的结果,需要一个参数来接收

最终成功是这样的

{11BE5259-00E4-4F7A-8ED1-CA102E218282}_20200630172640.jpg


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM