如何判断一个字符串是否是UTF8编码

UTF8是以8bits即1Bytes为编码的最基本单位,当然也可以有基于16bits和32bits的形式,分别称为UTF16和UTF32,但目前用得不多,而UTF8则被广泛应用在文件储存和网络传输中。
  编码原理
  先看这个模板:
  UCS-4 range (hex.) UTF-8 octet sequence (binary)
  0000 0000-0000 007F 0xxxxxxx
  0000 0080-0000 07FF 110xxxxx 10xxxxxx
  0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
  0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
  0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx
  编码步骤:
  1) 首先确定需要多少个8bits(octets)
  2) 按照上述模板填充每个octets的高位bits
  3) 把字符的bits填充至x中,字符顺序:低位→高位,UTF8顺序:最后一个octet的最末位x→第一个octet最高位x

  根据UTF8编码,最多可由6个字节组成,所以UTF8是1-6字节编码组成

 1     BOOL IsTextUTF8(char* str,ULONGLONG length)  
 2     {  
 3         DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节  
 4         UCHAR chr;  
 5         BOOL bAllAscii=TRUE; //如果全部都是ASCII, 说明不是UTF-8  
 6         for(int i=0; i<length; ++i)  
 7         {  
 8             chr= *(str+i);  
 9             if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx  
10                 bAllAscii= FALSE;  
11             if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数  
12             {  
13                 if(chr>=0x80)  
14                 {  
15                     if(chr>=0xFC&&chr<=0xFD)  
16                         nBytes=6;  
17                     else if(chr>=0xF8)  
18                         nBytes=5;  
19                     else if(chr>=0xF0)  
20                         nBytes=4;  
21                     else if(chr>=0xE0)  
22                         nBytes=3;  
23                     else if(chr>=0xC0)  
24                         nBytes=2;  
25                     else  
26                         return FALSE;  
27       
28                     nBytes--;  
29                 }  
30             }  
31             else //多字节符的非首字节,应为 10xxxxxx  
32             {  
33                 if( (chr&0xC0) != 0x80 )  
34                     return FALSE;  
35       
36                 nBytes--;  
37             }  
38         }  
39         if( nBytes > 0 ) //违返规则  
40             return FALSE;  
41         if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8  
42             return FALSE;  
43       
44         return TRUE;  
45     }   

注:这里的bAllAscii,要看不同场景是否需要。我项目代码里,是不需要这家伙的。

原文地址:https://www.cnblogs.com/jiu0821/p/6371544.html