python unicode字符串

  程序开发中,不同语言文字的显示,不同字符集之间的转换非常麻烦,在python的unicode的使用中,对这点感触颇深。所以,以下总结了python中对unicode字符处理的一些理解。

  程序存储、传输、操作字符串时,对代码中写好的字符串或者手动输入的字符串,程序会自动将这些字符串按照某种字符集编码(一般为本地系统字符编码)将字符串转换为字节码,这是字符的“解码”,将显示的字符转化为字节码;

程序中显示文字时,计算机读取一串字节,选择合适的字符集(一般为本地系统字符集)将字节码翻译为字符集中对应的字符,这些字符一般为本地存储的字符图片,然后调用系统的显示接口将这些“图片”打印在屏幕上。这是字符的“编码”,将字节码转化为可显示的字符。  如果字符的解码和编码采用的是相同的字符集,则将显示出来原始给定的字符,结果正常;如果不是同一种字符集,则有可能会出现乱码(因为相同的字节码在不同的字符集中可能对应不同的字符,一种字符集的某字符解码后的字节码在另一种字符集中编码之后可能是不同的字符)。

  为了方便的处理不同字符集编码的字符之间的相互转化,定义了unicode标准,即将世界上所有的字符统一起来,每个字符都分配一个唯一的id,作为该字符的unicode码值。在代码中写定字符或者程序输入字符后,可以先将字符转化为unicode"字符",这是“解码”过程;进行一系列操作之后,如果需要显示出原来的字符,则将unicode"字符"转化为对应的字符集中该字符所对应的字节码,然后找到对应的字符,进而显示。

  这样,不同字符集编码就通过unicode"字符"联系了起来。

#直接定义unicode字符串,通过在字符串前加 u 的方式
unicodestring = u"Hello world"  

utf8string = '好人'  #可以这样直接写,是因为在py文件的开头写了 #encoding=utf-8, 这样在整个py
# 文件中,所有的字符串的编码编码方式都设置为了utf-8

#将某种字符集编码的字符串转化为unicode字符串, 即“解码”
ustring = unicode(utf8string, "utf-8")

ustring # 输出 u'u597du4eba'
print type(ustring) # 输出 <type 'unicode'>


#将unicode字符串转化为某种字符集编码的字符串,即“编码”
unicodestring.encode("utf-8")
ustring.encode('utf-8')

print ustring.encode('utf-8') # 输出 好人, 解码到unicode和从unicode编码的字符集相同
print ustring.encode('gbk') #输出乱码 濂戒汉, 解码到unicode和从unicode编码的字符集不同

以上部分为参考网络+自己yy,如果有错误,欢迎指正~

原文地址:https://www.cnblogs.com/gtarcoder/p/5053284.html