[转]字符集编码
上一篇 / 下一篇 2007-10-25 13:16:48 / 天气: 阴雨 / 心情: 郁闷 / 个人分类:工作积累
C8De*Y7eW0这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级。整理这篇文章的动机是两个问题:
2tD(zk0m0
问题一:
使用Windows记事本的“另存为”,可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件,Windows是怎样识别编码方式的呢?51Testing软件测试网9R5?B7|$I%`:A/ee51Testing软件测试网K@kl AT2x/K
我很早前就发现Unicode、Unicode big
endian和UTF-8编码的txt文件的开头会多出几个字节,分别是FF、FE(Unicode),FE、FF(Unicode big
endian),EF、BB、BF(UTF-8)。但这些标记是基于什么标准呢?51Testing软件测试网\0oU K+VsoA4[
51Testing软件测试网 ?
Z!O
K n`"c9u
问题二:
最近在网上看到一个ConvertUTF.c,实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互 转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式,我原来就了解。但这个程序让我有些糊涂,想不起来UTF-16和UCS2有什么 关系。51Testing软件测试网6Z0b?7jR51Testing软件测试网 G/oY j R ]0N/A
查了查相关资料,总算将这些问题弄清楚了,顺带也了解了一些Unicode的细节。作者写成一篇文章,送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂,但要求读者知道什么是字节,什么是十六进制。
T4EHW?;{051Testing软件测试网 CH"BeT&O;lZ
0、big endian和little endian
big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时,究竟是将6C写在前面,还是将49写在前 面?如果将6C写在前面,就是big endian。如果将49写在前面,就是little endian。51Testing软件测试网4iG$E,MX1IExkw@G+M @S0“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开,由此曾发生过六次叛乱,一个皇帝送了命,另一个丢了王位。51Testing软件测试网,L1c%GE5Z(oc.]1Hq
~]EZ3suXF0我们一般将endian翻译成“字节序”,将big endian和little endian称作“大尾”和“小尾”。
(A/y'[Ri051Testing软件测试网{m'bfM[
1、字符编码、内码,顺带介绍汉字编码
51Testing软件测试网N;p|(X(l{{字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码,为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5。51Testing软件测试网m\O$p4@4r
GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。51Testing软件测试网'M*N(w9H} q6tl
GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括
21003个字符。2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主
要的少数民族文字。现在的PC平台必须支持GB18030,对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。51Testing软件测试网}~u4PS
x5F
51Testing软件测试网&h,YH+R:Xo$nA"ur
'j6m2T[7U
c6Q7r3sH0从ASCII、GB2312、GBK到GB18030,这些编码方法是向下兼容的,即同一个字符在这些方案中总是有相同的编码,后面的标准
支持更多的字符。在这些编码中,英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼,GB2312、GBK到
GB18030都属于双字节字符集 (DBCS)。
)n}
n9[C051Testing软件测试网 }:x,l:c4eth1N
有的中文Windows的缺省内码还是GBK,可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符,普通人是很难用到的,通常我们还是用GBK指代中文Windows内码。51Testing软件测试网;Ufs;Fl!U7tg9V
这里还有一些细节:51Testing软件测试网o&_#|K7}&k
V!E
51Testing软件测试网Z;gR c9cQt
GB2312的原文还是区位码,从区位码到内码,需要在高字节和低字节上分别加上A0。
1bt%I7S/{
~a,O051Testing软件测试网&{.zE Upl
在DBCS中,GB内码的存储格式始终是big endian,即高位在前。51Testing软件测试网(_K \
O6N$^1I
GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高
位都可能不是1。不过这不影响DBCS字符流的解析:在读取DBCS字符流时,只要遇到高位为1的字节,就可以将下两个字节作为一个双字节编码,而不用管
低字节的高位是什么。51Testing软件测试网.OQ^ t)X+ZK%h OL
51Testing软件测试网g7Ky5tL(W
2、Unicode、UCS和UTF
前面提到从ASCII、GB2312、GBK到GB18030的编码方法是向下兼容的。而Unicode只与ASCII兼容(更准确地说,是与ISO-8859-1兼容),与GB码不兼容。例如“汉”字的Unicode编码是6C49,而GB码是BABA。51Testing软件测试网7D/TuK(deqW51Testing软件测试网H-fk)scD
Unicode也是一种字符编码方法,不过它是由国际组织设计,可以容纳全世界所有语言文字的编码方案。Unicode的学名是
"Universal Multiple-Octet Coded Character Set",简称为UCS。UCS可以看作是"Unicode
Character Set"的缩写。
G+s,}oI
h0
根据维基百科全书(http://zh.wikipedia.org/wiki/)的记载:历史上存在两个试图独立设计Unicode的组织,即国际标准化组织(ISO)和一个软件制造商的协会(unicode.org)。ISO开发了ISO 10646项目,Unicode协会开发了Unicode项目。51Testing软件测试网;n&c