unicode_training.pptVIP

* * * * 目 录 Unicode 定义 Unicode 分配 ANSI 与 Unicode 关系 “Pure” Unicode 字符 Code 转换不一致 Surrogate 定义 Surrogate 测试数据 GB18030 标准定义 GB18030 标准总体结构 GB18030 的优点(1-2) GB18030 的字符显示 关于 UCS UNICODE与UCS的关系 UTF-8 定义 UTF-8 优点及缺点 UTF-8 特性 什么是?UCS?实现级别 UTF-16 UTF-32 Unicode 定义 历史上有两个独立的，创立单一字符集的尝试，一个是国际标准化组织(ISO)的 ISO 10646 项目，另一个是由(一开始大多是美国的)多语言软件制造商组成的协会组织的 Unicode 项目，幸运的是， 1991年前后，两个项目的参与者都认识到，世界不需要两个不同的单一字符集，它们合并双方的工作成果，并为创立一个单一编码表而协同工作，两个项目仍都存在并独立地公布各自的标准，但 Unicode 协会和 ISO/IEC JTC1/SC2 都同意保持 Unicode 和 ISO 10646 标准的码表兼容，并紧密地共同调整任何未来的扩展， 目前Unicode 是唯一的全球化的字符集标准， Unicode 是统一的，长度相对固定的编码标准， Unicode 是 code page，而且不受语言的约束， Unicode 包括所有的 ANSI 字符范围， Unicode 也包括必威体育精装版定义的字符范围， Unicode 统一了不同语言的脚本上的重复的字符， 普通 Unicode 长度是 16 bits，可以定义65,536个不同字符， Unicode 范围是 U+0000 至 U+FFFF， 一百万以上( 1,112,064 ) 的附加的字符有 surrogate 扩展机制(UTF-16) - 32 bits 长度， Unicode 范围是 U+10000 to U+10FFFF， 每个字符均由唯一的代码来表示。 ANSI codepage Encoding Unicode 台 0xA578 U+53F0 　 ? 0xB0A1 U+AC00 　 あ 0x82A0 U+3042 Unicode 分配 0000 - 1FFF: General Script Area 2000 - 28FF: Symbols Area 2E80 - 33FF: CJK Phonetics and Symbols Area 3400 - 9FFF: CJK Unified Ideographs Area A000 - A4FF: Yi Syllables Area AC00 - D7FF: Hangul Syllables Area D800 - DFFF: Surrogates Area E000 - F8FF: Private Use Area F900 - FAFF: CJK Compatibility Ideographs Area FB00 - FFFD: Forms Area Unicode 分配 (Unicode 3.0) 更详细请参考附件： ANSI 与 Unicode 关系 ANSI 英文名称：American National Standards Institute。 ANSI 中文名称：美国国家标准协会。 ANSI 和UNICODE 是两种不同的编码方式标准，ANSI 中的字符采用8Bit，而UNICODE 中的字符一般采用16Bit。 8Bit的ANSI 编码只能表示256种字符，表示26个英文字母是绰绰有余的，但是表示汉字，韩国语，日语等有着成千上万个字符的非西方字符肯定就不够了，正是如此才引入了UNICODE 标准。 为使计算机支持更多语言，通常使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。比如：汉字 ‘中’ 在中文操作系统中，使用 [0xD6,0xD0] 这两个字节存储。 不同的国家和地区制定了不同的标准，由此产生了 GB2312，BIG5，JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的延伸编码方式，称为 ANSI 编码。在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。 不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字存储在同一段 ANSI 编码的文本中。 “Pure” Unicode 字符 有些字符是在Unicode 编码中定义，但ANSI code page 中没有定义。 “鷗” – U+9DD7 Not in CP932 (Shift_