解决scrapy中文乱码的案例

• • scrapy一开始尝试发现问题
  • 抓包的结果
  • 写demo测试一下看看是什么编码格式
  • 于是从网上找了一些scrapy的解决方案
  • 又找了一些资料然后用scrapy shell执行测试
  • 最终成功是这样的

scrapy一开始尝试发现问题

抓包的结果

发现这个默认的应该不是utf-8

写demo测试一下看看是什么编码格式

得到的结果为gbk编码

于是从网上找了一些scrapy的解决方案

在setting文件中设置：FEED_EXPORT_ENCODING = 'utf-8' 尝试了一下，发现还是不行

又找了一些资料然后用scrapy shell执行测试

发现用reponse.body.decode('gbk')可以用，但是需要注意这个是直接返回的结果，需要一个参数来接收

最终成功是这样的