[ZZ]Unicode字符编码规范 实例详细介绍各种字符集..
时间：2009-03-30 来源：linewer
本人在编程时需要匹配字符串，由此想到了如果文件是各种字符编码的话，匹配结果有可能不正确，那么，如何判断不同的字符集？如何在不同字符集之 间做转换？对于UNICODE编码逐渐通用的情况下，我们软件人员如何从容应对？ 本文首先对常用字符集进行总结，然后在字符集的显示及转换上以实例介绍，最后总结了编程中遇到的编码问题。
本文目的：
对字符集编码做详细介绍，关键配以实例讲解，降低问题的复杂度。
本文内容：
1. 常用字符集分类
1.1简介
·ASCII及其扩展字符集
作用：表语英语及西欧语言。
位数：ASCII是用7位表示的，能表示128个字符；其扩展使用8位表示，表示256个字符。
范围：ASCII从00到7F，扩展从00到FF。
·ISO-8859-1字符集
作用：扩展ASCII，表示西欧、希腊语等。
位数：8位，
范围：从00到FF，兼容ASCII字符集。
·GB2312字符集
作用：国家简体中文字符集，兼容ASCII。
位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，几乎覆盖所有高频率汉字。
范围：高字节从A1到F7, 低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。
·BIG5字符集
作用：统一繁体字编码。
位数：使用2个字节表示，表示13053个汉字。
范围：高字节从A1到F9，低字节从40到7E，A1到FE。
·GBK字符集
作用：它是GB2312的扩展，加入对繁体字的支持，兼容GB2312。
位数：使用2个字节表示，可表示21886个字符。
范围：高字节从81到FE，低字节从40到FE。
·GB18030字符集
作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。
位数：它采用变字节表示(1 ASCII，2，4字节)。可表示27484个文字。
范围：1字节从00到7F; 2字节高字节从81到FE，低字节从40到7E和80到FE；4字节第一三字节从81到FE，第二四字节从30到39。
·UCS字符集
作用：国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织，UCS-2和UNICODE兼容。
位数：它有UCS-2和UCS-4两种格式，分别是2字节和4字节。
范围：目前，UCS-4只是在UCS-2前面加了0x0000。
· UNICODE字符集
作用：为世界650种语言进行统一编码，兼容ISO-8859-1。
位数：UNICODE字符集有多个编码方式，分别是UTF-8，UTF-16和UTF-32。
UTF-8：采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示，网络传输, 即使错了一个字节，不影响其他字节，而双字节只要一个错了，其他也错了，具体如下：
如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。UTF-8最多可用到6个字节。
UTF-16：采用2字节，Unicode中不同部分的字符都同样基于 现有的标准。这是为了便于转换。从 0x0000到0x007F是ASCII字符，从0x0080到0x00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0x0370到 0x03FF 的代码，斯拉夫语使用从0x0400到0x04FF的代码，美国使用从0x0530到0x058F的代码，希伯来语使用从0x0590到0x05FF的代 码。中国、日本和韩国的象形文字（总称为CJK）占用了从0x3000到0x9FFF的代码；
由于0x00在c语言及操作系统文件名等中有特殊意义，故很多情况下需要UTF-8编码保存文本，去掉这个0x00。举例如下：
UTF-16: 0x0080 = 0000 0000 1000 0000
UTF-8: 0xC280 = 1100 0010 1000 0000
UTF-32：采用4字节。
优缺点：
· UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。
· 使用UTF-8编码时ASCII字符只占1个字节，存储效率比较高，适用于拉丁字符较多的场合以节省空间。
·对于大多数非拉丁字符（如中文和日文）来说，UTF-16所需存储空间最小，每个字符只占2个字节。
·Windows NT内核是Unicode（UTF-16），采用UTF-16编码在调用系统API时无需转换，处理速度也比较快。
· 采用UTF-16和UTF-32会有Big Endian和Little Endian之分，而UTF-8则没有字节顺序问题，所以UTF-8适合传输和通信。
·UTF-32采用4字节编码，一方面处理速度比较快，但另一方面也浪费了大量空间，影响传输速度，因而很少使用。
1.2按所表示的文字分类
2. 如何判断字符集 2.1字节序 首先说一下字节序对编码的影响，字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以，传输时需要告诉处理器当时的编码字节序。对于前者而言，高位字节存在低地址，低字节存于高地址；后者相反。例如，0X03AB, Big Endian字节序是 0000: 0 3 0001: AB Little Endian字节序是 0000: AB 0001: 0 3 2.2编码识别 ·UNICODE 根据前几个字节可以判断UNICODE字符集的各种编码，叫做Byte Order Mask方法BOM： UTF-8: EFBBBF (符合UTF-8格式，请看上面。但没有含义在UCS即UNICODE中) UTF-16 Big Endian：FEFF (没有含义在UCS-2中) UTF-16 Little Endian：FFFE (没有含义在UCS-2中) UTF-32 Big Endian：0000FEFF (没有含义在UCS-4中) UTF-32 Little Endian：FFFE0000 (没有含义在UCS-4中) ·GB2312 高字节和低字节的第1位都是1。 ·BIG5，GBK&GB18030 高字节的第1位为1。操作系统有默认的编码，常为GBK，可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。 3.编程：各字符集编码的读取 注意，下面的例子都会用到这个文件，读取这个文件。在Encodeing 选项中可以选择ASCII编码、UTF-8、UNICODE Big Endian、UNICODE Little Endian。其中，ASCII编码包括：ASCII、ISO-8859-1、GB2312、BIG5、GBK等在ASCII基础上扩展的编码。当选用 ASCII编码保存时，系统会调用默认的一种ASCII编码方式，一般的中文系统使用GB2312或GBK。可以通过更改控制面板中的语言选项更改。 3.1读取ASCII编码 选择ASCII编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",a); 结果输出： 字节数=13 16进制值=c4 fa ba c3 2c 59 65 20 4d 69 6e 67 21 字符串输出=您好，Ye Ming！ 您=c4fa, 好=bac3，其它只占一个字节。printf函数发现字节的第1位是1时，会继续联合下一个字节按照默认的ASCII编码如GB2312显示汉字。 为了测试一下系统能否显示繁体中文字，将文本更改为：案與產品 保存为ASCII编码，然后运行程序。结果可以显示出来，说明系统用GBK或BIG5解码了。在控制面板把BIG5去掉，还能正常显示，说明系统默认的是GBK解码。 注解1：文本是按字节读，二进制是按逻辑单位读；这个例子用二进制读和用文本读的结果是一样的，因为逻辑单位char是1个字节的。 3.2读取UTF-8编码 选择UTF-8编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",&a[3]); 结果输出： 字节数=18 16进制值=ef bb bfe6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21 字符串输出=乱码，Beijing！ 其中，ef bb bf 是UTF-8的头标识；您=e6 82 a8，好=e5 a5 bd。 其他是单字节的ASCII码。 输出字符串时要去掉前三个字节。但是，还是出现了乱码! 之所以出现乱码，是因为系统按默认的GB2312去解UTF-8的码，所以在库里找不到或找不对对应的汉字，所以出现3个乱码，因为按两两组合所以有3个乱码。 3.3读取UTF-16 Big Endian 选择UTF-8编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",&a[2]); 结果输出： 字节数=6 16进制值=fe ff60 a8 59 7d 字符串输出=三个符号 其中，fe ff 是UTF-16 Big Endian的头标识；60是可以输出的，a859输出乱码，7d是可以输出的。输出字符串时要去掉前两个字节。 理论上字节数应该是2+11*2=24。可是，输出为什么只有6呢？在UTF-16中，每个字符都用两个字节表示，而ASCII符号只用一个字节，高位用0表示，所以，当遇到0后，strlen认为串结束了。这就是UTF-16的缺点，前面提到过。 将程序的一句更改后： for(int i=0;i<24;i++) 16进制值= fe ff 60 a8 59 7d 0 2c 0 59…… 同样，字符串仍然无法显示。 3.4读取UTF-16 Little Endian 文本文件用UTF-16 Little Endian编码时，其输出结果是： 16进制值= ff fe a8 60 7d 59 2c 0 59 0 …… 4. 编程：各字符集编码的显示 4.1直接显示 由于中文系统默认的编码是中文编码，一般是GBK。所以，ASCII编码的显示没有问题。但是，遇到UNICODE编码就会有问题了，如上面的例子，显示会出现乱码。 接下来本文介绍一种读取UNICODE文件并正确显示中文的方法。 4.1.1文件编码为UNICODE Big Endian 本件保存为UNICODE Big Endian，文本=您好, Ye Ming! · 错误：按文本方式读 读文本程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rt"); fseek(myfile,0,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); //设置本地化信息，.936是简体中文的Code Page。wcout需要依靠它决定将宽字符按什么编码显示 setlocale(LC_ALL, ".936"); printf("\n字符串输出="); wcout<<buffw+1<<endl; 结果如下： 字节数=6 16进制值=fe ff60 a8 59 7d 字符串输出=’”Y} 文本是按UNICODE编码的，每个字符是两字节，ASCII字符高位用0代替。按文本方式打开文件读时，是按字节的读写，一个字节就存进了两个字节大小的结构wchar_t中。遇到0时，它认为文件已经结束，停止操作。 · 正确：按二进制方式读 读文本程序如下： 将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb"); 结果如下： 字节数=12 16进制值=fffea860 7d59 2c00 5900…. 字符串输出=乱码 这一次二进制结果是对的，但是，为什么还是乱码呢？问题出在wcout函数上，x86是按照Little Endian字节序处理数据的，它将2c00处理了而不是002c。我们看一下如果文本保存为UNICODE Little Endian, 会怎么样? 4.1.2文件编码为UNICODE Little Endian 本件保存为UNICODE Little Endian，文本=您好, Ye Ming! · 错误：按文本方式读 基本同上，故略。 · 正确：按二进制方式读 将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb"); 结果如下： 字节数=12 16进制值=feff60a8 597d 2c 59…. 字符串输出=您好, Ye Ming! 输出正确，^_^。 4.1.3文件编码为UTF-8 对于UTF-8而言，UTF-8的编码其实不属于宽字符，它还是MBCS。wcout函数只能显示宽字符，不能够正确显示它的编码，所以输出为乱码或空。 4.2 编码转换后显示 4.2.1文件编码为UNICODE Big Endian 由于字节序的问题，需要转换成Little Endian 才能正确显示，因为x86系列用的是Little Endian。转换后，请用下面小节的方法显示。 4.2.2文件编码为UNICODE Little Endian 读文件程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,0,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); //宽字符转换成多字节，第一个参数是Code Page，windows定义了若干Code Page，用来处理不同语言编码的。CP_ACP是ASCII编码，这里主要是求出转换后的字节数。Buffw+1主要是去掉头标记feff。 UNICODEàASCII编码 int len = WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), NULL, NULL, NULL, NULL ); LPSTR lpsz = new CHAR[len+1]; //下面才是真正的转换。 WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), lpsz, len, NULL,NULL ); printf("%d",len); lpsz[len]='\0'; printf("\n%s\n",lpsz); 结果如下： 字节数=12 16进制值=feff 60a8 597d 2c 59…. 字符串输出=您好, Ye Ming! 转换完后，系统函数printf会按照系统默认编码显示出来。 4.2.3文件编码为UTF-8 文件保存为UTF-8，有两种情况： · 错误：按宽字符存取 程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,3,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); ……………. 结果如下： 字节数=7 16进制值=82e6 e5a8 bda5 592c 2065 694d 676e 可以看出，16进制值缺了21，这就是感叹号的ASCII值。当以fgetws读取文件时，21落单了，所以不能读进wchar_t。 · 正确：按字节存取 程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,3,0); char buff[100]; //取得所有UTF-8字节 fgets(buff,100,myfile); printf("字节数=%d\n",strlen(buff)); printf("16进制值="); for(int i=0;i<strlen(buff);i++) printf("%hhx\t",buff[i]); 第一步，UTF-8àUNICODE 由于从UTF-8不能直接转换为ASCII编码，必须以UNICODE为跳板；这里用到参数CP_UTF8，因为我们是将UTF-8转换为UNICODE，注意：WideChar在本函数中指的肯定是UNICODE。 int num=MultiByteToWideChar(CP_UTF8,NULL,buff,-1,NULL,NULL); wchar_t *buffw2=new wchar_t[num]; MultiByteToWideChar(CP_UTF8,NULL,buff,-1,buffw2,num); 第二步，UNICODEàASCII编码 这个函数跟之前用过了。 int len = WideCharToMultiByte( CP_ACP, 0, buffw2, num, NULL, NULL, NULL, NULL ); LPSTR lpsz = new CHAR[len+1]; WideCharToMultiByte( CP_ACP, 0, buffw2, num, lpsz, len, NULL, NULL ); lpsz[len]='\0'; printf("\n字符串输出="); printf("%s\n",lpsz); 结果如下： 字节数=15 16进制值=e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21 字符串输出=您好, Ye Ming! 结果正确，*_*。 4.3转换编码的另外一种方法 · mbstowcs char *ccname="我们"; wchar_t * wwname=new wchar_t[2]; //依赖于Locale而不是Code Page setlocale(LC_CTYPE,"chs"); mbstowcs(wwname,ccname,2); wcout<<wwname<<endl; ·wcstombs wchar_t *wname=L"叶明"; char * cname=new char[4]; setlocale(LC_TIME,"chs"); wcout<<wname<<endl; wcstombs(cname,wname,4); printf("%s\n",cname); 5. 思考字符集编码对软件的影响 请参考本人另外一篇文章：UNICODE编码对软件编程的影响。 6. 常用参数 · ASCII码参照表
From:
http://blog.chinaunix.net/u2/70049/showart_1220273.html
http://blog.chinaunix.net/u2/70049/showart_1762215.html
http://hongqn.livejournal.com/4021.html
| 语言 | 字符集 | 正式名称 |
| 英语、西欧语 | ASCII，ISO-8859-1 | MBCS 多字节 |
| 简体中文 | GB2312 | MBCS 多字节 |
| 繁体中文 | BIG5 | MBCS 多字节 |
| 简繁中文 | GBK | MBCS 多字节 |
| 中文、日文及朝鲜语 | GB18030 | MBCS 多字节 |
| 各国语言 | UNICODE，UCS | DBCS 宽字节 |
2. 如何判断字符集 2.1字节序 首先说一下字节序对编码的影响，字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以，传输时需要告诉处理器当时的编码字节序。对于前者而言，高位字节存在低地址，低字节存于高地址；后者相反。例如，0X03AB, Big Endian字节序是 0000: 0 3 0001: AB Little Endian字节序是 0000: AB 0001: 0 3 2.2编码识别 ·UNICODE 根据前几个字节可以判断UNICODE字符集的各种编码，叫做Byte Order Mask方法BOM： UTF-8: EFBBBF (符合UTF-8格式，请看上面。但没有含义在UCS即UNICODE中) UTF-16 Big Endian：FEFF (没有含义在UCS-2中) UTF-16 Little Endian：FFFE (没有含义在UCS-2中) UTF-32 Big Endian：0000FEFF (没有含义在UCS-4中) UTF-32 Little Endian：FFFE0000 (没有含义在UCS-4中) ·GB2312 高字节和低字节的第1位都是1。 ·BIG5，GBK&GB18030 高字节的第1位为1。操作系统有默认的编码，常为GBK，可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。 3.编程：各字符集编码的读取 注意，下面的例子都会用到这个文件，读取这个文件。在Encodeing 选项中可以选择ASCII编码、UTF-8、UNICODE Big Endian、UNICODE Little Endian。其中，ASCII编码包括：ASCII、ISO-8859-1、GB2312、BIG5、GBK等在ASCII基础上扩展的编码。当选用 ASCII编码保存时，系统会调用默认的一种ASCII编码方式，一般的中文系统使用GB2312或GBK。可以通过更改控制面板中的语言选项更改。 3.1读取ASCII编码 选择ASCII编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",a); 结果输出： 字节数=13 16进制值=c4 fa ba c3 2c 59 65 20 4d 69 6e 67 21 字符串输出=您好，Ye Ming！ 您=c4fa, 好=bac3，其它只占一个字节。printf函数发现字节的第1位是1时，会继续联合下一个字节按照默认的ASCII编码如GB2312显示汉字。 为了测试一下系统能否显示繁体中文字，将文本更改为：案與產品 保存为ASCII编码，然后运行程序。结果可以显示出来，说明系统用GBK或BIG5解码了。在控制面板把BIG5去掉，还能正常显示，说明系统默认的是GBK解码。 注解1：文本是按字节读，二进制是按逻辑单位读；这个例子用二进制读和用文本读的结果是一样的，因为逻辑单位char是1个字节的。 3.2读取UTF-8编码 选择UTF-8编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",&a[3]); 结果输出： 字节数=18 16进制值=ef bb bfe6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21 字符串输出=乱码，Beijing！ 其中，ef bb bf 是UTF-8的头标识；您=e6 82 a8，好=e5 a5 bd。 其他是单字节的ASCII码。 输出字符串时要去掉前三个字节。但是，还是出现了乱码! 之所以出现乱码，是因为系统按默认的GB2312去解UTF-8的码，所以在库里找不到或找不对对应的汉字，所以出现3个乱码，因为按两两组合所以有3个乱码。 3.3读取UTF-16 Big Endian 选择UTF-8编码保存文件，文件内容是：您好, Ye Ming! C++程序读取并显示如下： FILE *myfile=fopen("CharsetExample.txt","rb"); char a[100]; fgets(a,100,myfile); printf("字节数=%d\n",strlen(a)); printf("16进制值="); for(int i=0;i<strlen(a);i++) printf("%hhx\t",a[i]); printf("\n字符串输出=%s\n",&a[2]); 结果输出： 字节数=6 16进制值=fe ff60 a8 59 7d 字符串输出=三个符号 其中，fe ff 是UTF-16 Big Endian的头标识；60是可以输出的，a859输出乱码，7d是可以输出的。输出字符串时要去掉前两个字节。 理论上字节数应该是2+11*2=24。可是，输出为什么只有6呢？在UTF-16中，每个字符都用两个字节表示，而ASCII符号只用一个字节，高位用0表示，所以，当遇到0后，strlen认为串结束了。这就是UTF-16的缺点，前面提到过。 将程序的一句更改后： for(int i=0;i<24;i++) 16进制值= fe ff 60 a8 59 7d 0 2c 0 59…… 同样，字符串仍然无法显示。 3.4读取UTF-16 Little Endian 文本文件用UTF-16 Little Endian编码时，其输出结果是： 16进制值= ff fe a8 60 7d 59 2c 0 59 0 …… 4. 编程：各字符集编码的显示 4.1直接显示 由于中文系统默认的编码是中文编码，一般是GBK。所以，ASCII编码的显示没有问题。但是，遇到UNICODE编码就会有问题了，如上面的例子，显示会出现乱码。 接下来本文介绍一种读取UNICODE文件并正确显示中文的方法。 4.1.1文件编码为UNICODE Big Endian 本件保存为UNICODE Big Endian，文本=您好, Ye Ming! · 错误：按文本方式读 读文本程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rt"); fseek(myfile,0,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); //设置本地化信息，.936是简体中文的Code Page。wcout需要依靠它决定将宽字符按什么编码显示 setlocale(LC_ALL, ".936"); printf("\n字符串输出="); wcout<<buffw+1<<endl; 结果如下： 字节数=6 16进制值=fe ff60 a8 59 7d 字符串输出=’”Y} 文本是按UNICODE编码的，每个字符是两字节，ASCII字符高位用0代替。按文本方式打开文件读时，是按字节的读写，一个字节就存进了两个字节大小的结构wchar_t中。遇到0时，它认为文件已经结束，停止操作。 · 正确：按二进制方式读 读文本程序如下： 将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb"); 结果如下： 字节数=12 16进制值=fffea860 7d59 2c00 5900…. 字符串输出=乱码 这一次二进制结果是对的，但是，为什么还是乱码呢？问题出在wcout函数上，x86是按照Little Endian字节序处理数据的，它将2c00处理了而不是002c。我们看一下如果文本保存为UNICODE Little Endian, 会怎么样? 4.1.2文件编码为UNICODE Little Endian 本件保存为UNICODE Little Endian，文本=您好, Ye Ming! · 错误：按文本方式读 基本同上，故略。 · 正确：按二进制方式读 将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb"); 结果如下： 字节数=12 16进制值=feff60a8 597d 2c 59…. 字符串输出=您好, Ye Ming! 输出正确，^_^。 4.1.3文件编码为UTF-8 对于UTF-8而言，UTF-8的编码其实不属于宽字符，它还是MBCS。wcout函数只能显示宽字符，不能够正确显示它的编码，所以输出为乱码或空。 4.2 编码转换后显示 4.2.1文件编码为UNICODE Big Endian 由于字节序的问题，需要转换成Little Endian 才能正确显示，因为x86系列用的是Little Endian。转换后，请用下面小节的方法显示。 4.2.2文件编码为UNICODE Little Endian 读文件程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,0,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); //宽字符转换成多字节，第一个参数是Code Page，windows定义了若干Code Page，用来处理不同语言编码的。CP_ACP是ASCII编码，这里主要是求出转换后的字节数。Buffw+1主要是去掉头标记feff。 UNICODEàASCII编码 int len = WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), NULL, NULL, NULL, NULL ); LPSTR lpsz = new CHAR[len+1]; //下面才是真正的转换。 WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), lpsz, len, NULL,NULL ); printf("%d",len); lpsz[len]='\0'; printf("\n%s\n",lpsz); 结果如下： 字节数=12 16进制值=feff 60a8 597d 2c 59…. 字符串输出=您好, Ye Ming! 转换完后，系统函数printf会按照系统默认编码显示出来。 4.2.3文件编码为UTF-8 文件保存为UTF-8，有两种情况： · 错误：按宽字符存取 程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,3,0); wchar_t buffw[100]; fgetws(buffw,100,myfile); printf("字节数=%d\n",wcslen(buffw)); printf("16进制值="); for(int i=0;i<wcslen(buffw);i++) printf("%hhx\t",buffw[i]); ……………. 结果如下： 字节数=7 16进制值=82e6 e5a8 bda5 592c 2065 694d 676e 可以看出，16进制值缺了21，这就是感叹号的ASCII值。当以fgetws读取文件时，21落单了，所以不能读进wchar_t。 · 正确：按字节存取 程序如下： FILE *myfile; wchar_t *name=L"CharsetExample.txt"; myfile=_wfopen(name,L"rb"); fseek(myfile,3,0); char buff[100]; //取得所有UTF-8字节 fgets(buff,100,myfile); printf("字节数=%d\n",strlen(buff)); printf("16进制值="); for(int i=0;i<strlen(buff);i++) printf("%hhx\t",buff[i]); 第一步，UTF-8àUNICODE 由于从UTF-8不能直接转换为ASCII编码，必须以UNICODE为跳板；这里用到参数CP_UTF8，因为我们是将UTF-8转换为UNICODE，注意：WideChar在本函数中指的肯定是UNICODE。 int num=MultiByteToWideChar(CP_UTF8,NULL,buff,-1,NULL,NULL); wchar_t *buffw2=new wchar_t[num]; MultiByteToWideChar(CP_UTF8,NULL,buff,-1,buffw2,num); 第二步，UNICODEàASCII编码 这个函数跟之前用过了。 int len = WideCharToMultiByte( CP_ACP, 0, buffw2, num, NULL, NULL, NULL, NULL ); LPSTR lpsz = new CHAR[len+1]; WideCharToMultiByte( CP_ACP, 0, buffw2, num, lpsz, len, NULL, NULL ); lpsz[len]='\0'; printf("\n字符串输出="); printf("%s\n",lpsz); 结果如下： 字节数=15 16进制值=e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21 字符串输出=您好, Ye Ming! 结果正确，*_*。 4.3转换编码的另外一种方法 · mbstowcs char *ccname="我们"; wchar_t * wwname=new wchar_t[2]; //依赖于Locale而不是Code Page setlocale(LC_CTYPE,"chs"); mbstowcs(wwname,ccname,2); wcout<<wwname<<endl; ·wcstombs wchar_t *wname=L"叶明"; char * cname=new char[4]; setlocale(LC_TIME,"chs"); wcout<<wname<<endl; wcstombs(cname,wname,4); printf("%s\n",cname); 5. 思考字符集编码对软件的影响 请参考本人另外一篇文章：UNICODE编码对软件编程的影响。 6. 常用参数 · ASCII码参照表
- Code Page 参数
- Locale 参数
From:
http://blog.chinaunix.net/u2/70049/showart_1220273.html
http://blog.chinaunix.net/u2/70049/showart_1762215.html
http://hongqn.livejournal.com/4021.html
相关阅读 更多 +
