关于python爬虫的编码错误

 现在才发现很多错误只有自己一点点的去尝试才能发现。不管之前别人怎么和你说,总是不可能面面俱到,所以提升自己的方法就是亲手实践,自己一点点的去发现问题,并一个个的解决。慢慢享受其中无言的快感。

今天就发现了一个:

运行爬虫时出现了这个错误:

UnicodeEncodeError: 'ascii' codec can't encode character u'xa0' in position 10: ordinal not in range(128)

上网一查才知道原来这个错误很普遍。当将列表转为字符串的时候一般出现这种错误。

python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错,python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式。

虽然已经在文件开头加入了 utf-8 ,但还是不行。这时我们需要在python文件头部加入以下代码

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

原文地址:https://www.cnblogs.com/qsyll0916/p/7679372.html