woaidongmao

文章均收录自他人博客,但不喜标题前加-[转贴],因其丑陋,见谅!~
随笔 - 1469, 文章 - 0, 评论 - 661, 引用 - 0
数据加载中……

判断字符串是否UTF8编码

UTF8是以8bits1Bytes为编码的最基本单位,当然也可以有基于16bits32bits的形式,分别称为UTF16UTF32,但目前用得不多,而UTF8则被广泛应用在文件储存和网络传输中。
  编码原理
  先看这个模板:
  UCS-4 range (hex.) UTF-8 octet sequence (binary)
  0000 0000-0000 007F 0xxxxxxx
  0000 0080-0000 07FF 110xxxxx 10xxxxxx
  0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
  0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
  0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
  0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx
  编码步骤:
  1) 首先确定需要多少个8bits(octets)
  2) 按照上述模板填充每个octets的高位bits
  3) 把字符的bits填充至x中,字符顺序:低位高位,UTF8顺序:最后一个octet的最末位x→第一个octet最高位x
  根据UTF8编码,最多可由6个字节组成,所以UTF81-6字节编码组成
  C++代码如下:
  int IsTextUTF8(char* str,ULONGLONG length)
  {
  int i;
  DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节
  UCHAR chr;
  BOOL bAllAscii=TRUE; //如果全部都是ASCII, 说明不是UTF-8
  for(i=0;i<length;i++)
  {
  chr= *(str+i);
  if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx
  bAllAscii= FALSE;
  if(nBytes==0) //如果不是ASCII,应该是多字节符,计算字节数
  {
  if(chr>=0x80)
  {
  if(chr>=0xFC&&chr<=0xFD)
  nBytes=6;
  else if(chr>=0xF8)
  nBytes=5;
  else if(chr>=0xF0)
  nBytes=4;
  else if(chr>=0xE0)
  nBytes=3;
  else if(chr>=0xC0)
  nBytes=2;
  else
  {
  return FALSE;
  }
  nBytes--;
  }
  }
  else //多字节符的非首字节,应为 10xxxxxx
  {
  if( (chr&0xC0) != 0x80 )
  {
  return FALSE;
  }
  nBytes--;
  }
  }
  if( nBytes > 0 ) //违返规则
  {
  return FALSE;
  }
  if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8
  {
  return FALSE;
  }
  return TRUE;
  }

 

posted on 2011-08-27 15:20 肥仔 阅读(4201) 评论(3)  编辑 收藏 引用 所属分类: 字符编码

评论

# re: 判断字符串是否UTF8编码  回复  更多评论   

这个很有用
2011-08-28 08:25 | 天下

# re: 判断字符串是否UTF8编码  回复  更多评论   

试一下输入gbk码的“联通”二字,发现判断的结果是utf-8编码,所以该判断函数存在问题
2015-11-02 16:52 | liuyuananfang

# re: 判断字符串是否UTF8编码  回复  更多评论   

有问题,输入 GBK的 “蓝色” ,判断的结果是utf-8编码。
2016-01-09 14:55 | ddd

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理