爬虫带着headers获取response出现的错误解决

以爬取狮城BBS为例

当出现这种错误,并确定编码格式为utf-8的时候,把headers中的如下注释掉就OK

普通浏览器访问网页,之所以添加:

"Accept-Encoding" = "gzip,deflate"

那是因为,浏览器对于从服务器中返回的对应的gzip压缩的网页,会自动解压缩,所以,其request的时候,添加对应的头,表明自己接受压缩后的数据。

而此代码中,如果也添加此头信息,结果就是,返回的压缩后的数据,没有解码,而将压缩后的数据当做普通的html文本来处理,当前显示出来的内容,是乱码了。

原文地址:https://www.cnblogs.com/QimiSun/p/10404664.html