UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence
今天练习通过读取英文版的Walden.txt的文本信息，统计文本中的英文单词词频的时候出现了这样的错误提示。
错误的意思是：Unicode的解码（Decode）出现错误了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can't decode）.''illegal multibyte sequence"的意思是非法的多字节序列，也就是说无法解码了。
出现这样的错误，可能是要处理的字符串本身不是gbk编码，却是以gbk编码去解码。比如，字符串本身是utf-8的，但用gbk去解码，必然出错。
针对以上的这个问题，查阅网上资料，可以按照如下的步骤进行尝试：
（1）在打开文本时候，可以指明打开方式：
file = open(path, encoding='gbk')
（2）如果上一步还不能解决，可能是文本中出现的一些特殊符号超出了gbk的编码范围，可以选择编码范围更广的‘gb18030’，如：
file = open(path, encoding='gb18030'）
（3）如果（2）还不能解决，说明文中出现了连‘gb18030'也无法编码的字符，可以使用‘ignore’属性忽略非法字符，如：
file = open(path, encoding='gb18030', errors='ignore')
或者：
file=open(path).read().decode(‘gb18030’,’ignore’)
通过尝试，基本解决问题，源代码如下：
path = 'E://Python/Walden.txt'
file = open(path,encoding = 'gb18030',errors = 'ignore')
file2 = open('E://Python/Walden2.txt','w')
file2.write(file.read())
file.close()
file2.close()
with open('E://Python/Walden2.txt','r') as text:
words = text.read().split()
print(words)
for word in words:
print('{}-{} times'.format(word,words.count(word)))
结果如图：
虽然已经能够区分各个单词，但还有一定的问题，如大小写重复统计，字符-的统计，还需要进一步改进。
总结：
Python文件读写的几种模式：
r, rb ,w ,wb 那么在读写文件时，有无b标识的主要区别在哪里呢？
1.文件使用方式标识
‘r’: 默认值，表示从文件读取数据。
‘w’: 表示要向文件写入数据，并截断从前的内容
‘a’：表示要向文件写入数据，添加到当前内容尾部
‘r+’ ：表示对文件进行可读写操作（删除以前的所有数据）
‘r+a’：表示对文件可进行读写操作（添加到当前文件尾部）
‘b’：表示要读写二进制数据
2.读文件
进行读文件操作时，直到读到文档结束符（EOF）才算读取到文件最后，Python会认为字节x1A（26）转换成的字符为文档结束符（EOF），故使用‘r’进行读取二进制文件时，可能会出现文档读取不全的现象。
例如：二进制文件中存在如下从低位向高位排列的数据：7F 32 1A 2F 3D 2C 12 2E 76
如果使用‘r’进行读取，则读到第三个字节，即认为文件结束。
如果使用‘rb’按照二进制位进行读取的，不会将读取的字节转换成字符，从而避免了上面的错误。
解决方案： 二进制文件就用二进制方法读取‘rb’
总结：
使用‘r’的时候，如果碰到‘0x1A’，就视为文件结束，就是EOF。使用‘rb’则不存在这个问题，即：如果你用二进制写入再用文件读出的话，如果其中存在‘0x1A’，就只会读出文件的一部分，使用‘rb’会一直读取文件末尾。
3.写文件
对于字符串x='abc def'，我们可用len(x)得到它的长度为7， 我们称之为换行符，实际上就是0x0A。当我们用‘w’即文本方式写的时候，在windows平台上会自动将‘0x0A’变成两个字符‘0x0D’,'0x0A',即文件长度实际上变成8。当用‘r’文本方式读取时，又自动的转换成原来的换行符。如果换成‘wb’二进制方式来写的话，则会保持一个字符不变，读取的时候也是原样读取。所以如果用文本方式写入，用二进制方式读取的话，就要考虑这多出的一个字节了。‘0x0D’也称回车符。Linux下不会变，因为Linux只使用‘0x0A’来表示换行。