当使用Requests请求网页时，出现下面图片中的一些乱码，我就一脸蒙逼。
程序是这样的。
def getLinks(articleUrl): headers = { "Uset-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.1.0.14126" } wb_data = requests.get(articleUrl,headers=headers) bsObj = BeautifulSoup(wb_data.text,"lxml") return bsObj
程序的中出现的乱码图片是这样的。
怎么解决呢?好在有google大神，让我找到了一些前辈写的博客，拿去看吧，^_^。
http://blog.chinaunix.net/uid-13869856-id-5747417.html
http://blog.csdn.net/a491057947/article/details/47292923#t1
还有官网链接。两个地方都有讲到。(偷偷告诉你有chinese版本的，自己去找吧)
http://docs.python-requests.org/en/latest/user/quickstart/#response-content
http://docs.python-requests.org/en/master/user/advanced/#compliance
英文不好，我们来看看中文版的说的是什么，见下图。
好了，资料看完了，总结一下吧。
解决思路：
1.见到有乱码，不用怕，首先我们来看看编码方式是什么？怎么看？把编码方式打印出来看看。
def getLinks(articleUrl): headers = { "Uset-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.1.0.14126" } wb_data = requests.get(articleUrl,headers=headers) bsObj = BeautifulSoup(wb_data.text,"lxml") hrefs = bsObj.find("div",{"class":"booklist clearfix"}) print(wb_data.headers['content-type']) print(wb_data.encoding) # response的内容编码 print(wb_data.apparent_encoding) #response headers 里设置的编码 print(requests.utils.get_encodings_from_content(wb_data.text)) #response返回的html header标签里设置的编码 return bsObj
返回的是这些个鬼东西。
text/html ISO-8859-1 # response的内容编码 UTF-8-SIG #response headers 里设置的编码 ['utf-8'] #response返回的html header标签里设置的编码
这下知道为啥乱码了，原来是response的内容编码和response headers 里设置的编码不一样啊。
2.怎么办呢？不一样，那我们就改成一样的。改变response的内容编码格式。
有两种方法：
(1)使用.encoding属性改变response的内容编码,在代码里加上下面一行代码。
wb_data.encoding = 'utf-8' #手动指定编码方式
def getLinks(articleUrl): headers = { "Uset-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.1.0.14126" } wb_data = requests.get(articleUrl,headers=headers) wb_data.encoding = 'utf-8' #手动指定编码方式 bsObj = BeautifulSoup(wb_data.text,"lxml") return bsObj
(2)使用原始的Response.content
bsObj = BeautifulSoup(wb_data.text,"lxml") #将wb_data.text改为wb_data.content bsObj = BeautifulSoup(wb_data.content,"lxml")
3.从前面链接里就可以看到，一位前辈写出了下面代码。解决这类问题，一劳永逸的方法。
我给应用到我的代码里，看看可行不？^_^。
原理是这样的，当response内容的编码是'ISO-8859-1',首先查找返回的Html的header标签里设置的编码；如果此编码不存在，查看response header设置的编码
def getLinks(articleUrl): headers = { "Uset-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.1.0.14126" } wb_data = requests.get(articleUrl,headers=headers) if wb_data.encoding == 'ISO-8859-1': encodings = requests.utils.get_encodings_from_content(wb_data.text) if encodings: encoding = encodings[0] else: encoding = wb_data.apparent_encoding encode_content = wb_data.content.decode(encoding,'replace').encode('utf-8','replace') bsObj = BeautifulSoup(encode_content,"lxml") return bsObj
好了，这下就能解决这个问题了。哎，这个小鬼挺能折腾的。