搜狐微博的解码方式及常用字符集一些知识.

开通了一个月,还没发一篇文章,今天将最近学到的知识做个总结,发表一下,如有错误请各路大神指正,不喜勿喷!!!

搜狐微博
msg走的流程(全中文,中英文混合):
1、将unicode形式的内容转化成GB18030形式的内容
2、将GB18030形式的内容进行utf-8解码

msg走的流程(纯英文):
直接进行url解码

普通微博
msg走的流程(所有类型):
直接进行urldecode解码即可


URLEncode是这样编码的
1。数字和字母不变。
2。空格变为"+"号。
3。其他被编码成"%"加上他们的ascii的十六进制。

escape编码:
所有的空格符、标点符号、特殊字符以及其他非ASCII字符都将被转化成%uxx格式的字符编码(xx等于该字符在字符集表里面的编码的16进制数字)。
采用的字符集是ISO Latin-1。
ISO Latin-1字符集是Unicode字符集的一个子集,对应于IE4+中Unicode字符指令表的前256个条目。
其中Unicode字符为双字节16位,
可以表示任何一种语言符号;而Latin-1字符集是单字节8位,只能够表示英文和西欧字符。

汉字字节问题:
unicode
最初的unicode编码是固定长度的,16位,也就是2两个字节代表一个字符。
Unicode只是一个编码规范,目前实际实现的unicode编码只要有三种:UTF-8,UCS-2和UTF-16,
三种unicode字符集之间可以按照规范进行转换。

utf-8
3字节
汉字在GB家族中是双字节,但在UTF-8中却是3字节,所以其编码方式是1110xxxx 10xxxxxx 10xxxxxx。

GB2312
2字节
编码字符集中的汉字的机内码长度一个汉字用两个字节表示。


GB18030
2字节
两个字节表示一个汉字,汉字在GB家族中是双字节。


再加上英文字节数,汇总如下:
英文字母和中文汉字在不同字符集编码下的字节数

英文字母:

字节数 : 1;编码:GB2312

字节数 : 1;编码:GBK

字节数 : 1;编码:GB18030

字节数 : 1;编码:ISO-8859-1

字节数 : 1;编码:UTF-8

字节数 : 4;编码:UTF-16

字节数 : 2;编码:UTF-16BE

字节数 : 2;编码:UTF-16LE

中文汉字:

字节数 : 2;编码:GB2312

字节数 : 2;编码:GBK

字节数 : 2;编码:GB18030

字节数 : 1;编码:ISO-8859-1

字节数 : 3;编码:UTF-8

字节数 : 4;编码:UTF-16

字节数 : 2;编码:UTF-16BE

字节数 : 2;编码:UTF-16LE

原文地址:https://www.cnblogs.com/maye/p/3978623.html