encode()、decode()字符编码问题


python3中,更改了默认的编码方式,更改为了unicode

前提知识:

  1. utf-8与Unicode的关系:https://baike.baidu.com/item/UTF-8/481798?fr=aladdin
  2. x表示是十六进制的数据。
  3. encode默认是utf-8,右图中x对应的是Unicode转成UTF-8编码的数据:image
  4. UTF-8: 使用1、2、3、4个字节表示所有字符;优先使用1个字符、无法满足则使增加一个字节,最多4个字节。英文占1个字节、欧洲语系占2个、东亚占3个,其它及特殊字符占4个
  5. Unicode的容量极大,其他的编码几乎都有在上面有映射,比如中文编码方式gbk
  6. imageimage,所以‘中’在Unicode中的编码为20013

Python3里str是unicode的,对于二进制,十六进制等格式的使用bytes

decode就是告诉Unicode你是什么编码的:

image

image

image

encode的结果是个bytes对象:是对应字符各种编码方式的十六进制表示

下面是按gbk格式encode的结果:

imageimage

所以decode和encode的实际上是:

image

原文地址:https://www.cnblogs.com/progor/p/8413071.html