python2和python3编码问题【encode和decode】

https://www.cnblogs.com/liaohuiqiang/p/7247393.html

  1. 概述
# 1
# coding:utf-8   # 开头的encoding是对于文件内容的编码


# 2
import sys
reload(sys)
sys.setdefaultencoding('utf8')   # python方法中默认使用的编码

s = '字节串str'
s.encode('utf8')
#等价于
s.decode(系统编码).encode('utf8')
  1. python2.7中的字符串一般有两种类型,unicode和str。
    str为字节码,会根据某种编码把字符串转成一个个字节,这个时候字符和字节没有所谓固定的一一对应的关系。
    unicode则是用unicode编码的字符串,这个时候一个字符是对应两个字节的,一一对应。直接赋值字符串,类型为str,str为字节串,会按照开头的encoding来编码成一个个的字节。
    赋值的时候在字符串前面加个u,类型则为unicode,直接按照unicode来编码。
s1 = '字节串'
print type(s1) #输出 <type 'str'>,按照开头的encoding来编码成相应的字节。
print len(s1) #输出9,因为按utf8编码,一个汉字占3个字节,3个字就占9个字节。

s2 = u'统一码'
print type(s2) #输出 <type 'unicode'>,用unicode编码,2个字节1个字符。
print len(s2) #输出3,unicode用字符个数来算长度,从这个角度上看,unicode才是真正意义上的字符串类型


s = '机器学习'
s[-2:] == '学习‘ 
# 返回false,平时写程序可能会以为相等。
# 这里的”学习是用开头的encoding声明解释的,我开头用的是utf8,汉字占3个字节,所以“学习”占了6个字节),而s[-2:]取的是最后两个”双字节“,所以不相同。

s = u'机器学习'
s[-2:] == u'学习’ 
# 返回true,这也是为什么说unicode是真正意义上的字符串类型。因为使用的是unicode,”学习“占的是两个”双字节“,一个"双字节“一个字

  1. python2.7中的【encode和decode】
    encode的正常使用:对unicode类型进行encode,得到字节串str类型。也即是unicode -> encode(根据指定编码) -> str【encode结果】。
    decode的正常使用:对str类型进行decode,得到unicode类型。 也即是str -> decode(根据指定编码) -> unicode【decode结果】。
s3 = u'统一码'.encode('utf8')
print type(s3) # 输出 <type 'str'>

s4 = '字节串'.decode('utf8')
print type(s4) #输出 <type 'unicode'>

  1. encode和decode的不正常使用
    encode的不正常使用:对str类型进行encode,因为encode需要的是unicode类型,这个时候python会用默认的系统编码decode成unicode类型,再用你给出编码进行encode。
    decode的不正常使用:对unicode类型进行decode,python会用默认的系统编码encode成str类型,再用你给出的编码进行decode。
    所以改好对应的系统默认编码,就算不正常使用,也不会报错。

修改系统默认编码

系统默认使用ascii编码,需要进行相应的修改。这个编码和开头的encoding不同之处在于,开头的encoding是对于文件内容的编码。
这里的编码是一些python方法中默认使用的编码,比如对str进行encode的时候默认先decode的编码,比如文件写操作write的encode的编码


import sys
reload(sys)
sys.setdefaultencoding('utf8')

s = '字节串str'

s.encode('utf8')
#等价于
s.decode(系统编码).encode('utf8')



import sys
print sys.getdefaultencoding()  # 输出ascii

s = u'华南理工大学'
print type('大学')  # str
print type(s[-2:]) # unicode
print s[-2:] == '大学'   # 返回False,并有warning提醒 # python在用==比较时,如果第一个操作符是unicode而第二个不是的话,会自动用系统默认编码帮第二个操作符decode


reload(sys)
sys.setdefaultencoding('utf8')

print type('大学')  # str
print type(s[-2:]) # unicode
print s[-2:] == '大学'  # 返回True   # python在用==比较时,如果第一个操作符是unicode而第二个不是的话,会自动用系统默认编码帮第二个操作符decode
print '大学'.decode('utf8')
  1. 总结

python在用==比较时,如果第一个操作符是unicode而第二个不是的话,会自动用系统默认编码帮第二个操作符decode。
reload是用于重新加载之前import的模块。这里需要重新加载sys的原因是:python在加载模块时候删除了sys中的setdefaultencoding方法(可能是出于安全起见),所以需要reload这个sys模块。

python中内置的默认open在读取文件的时候以字节串str的形式,读出一个个字节。读取后要用正确的编码才能decode成正确的unicode,所以要知道原来在文件中的编码。
写文件的时候也是一个道理,用str类型,以字节的形式写入,这个str是以某种编码方式编码的,要注意用正确的编码方式编码,一般是按utf8编码后写文件。
如果你用unicode类型写入,python会根据系统默认编码来把unicode编码成str再写入文件。因为写入文件需要的是str,是str就写,不是我就把你转成str再写。
简单原则,尽量用str写入,避免使用默认编码,这样也不用在开头修改默认编码。

原文地址:https://www.cnblogs.com/amize/p/14615905.html