JavaScript的内部字符编码是UCS.docx

JavaScript的内部字符编码是UCS-2还是UTF-16动力节点java对于 JavaScript 使用的是 UCS-2 还是 UTF-16 这个问题，java老师也进行了小小的研究却没有发现一个权威的回答，以下仅供参考。一、著名的 BMP(Basic Multilingual Plane)Unicode 标识符通过一个明确的名字和一个整数来作为它的码位(code point).比如，“” 字符的码位可以用“版权标志”和U+00A9(0xA9，也可以写作十进制 169)来表示。Unicode 字符分为 17 组平面，每个平面拥有 216 (65,536)个码位.有一些码位没有分配字符，也有一些码位被保留，成为私有的，也有一些码位是永远被保留的，作为无字符的标志。每一个码位都可以用 16 进制 xy0000 到 xyFFFF 来表示，这里的 xy 是表示一个 16 进制的值，从 00 到 10。这第一个位置(当 xy 是 00 的时候)被称为 BMP (基本多文种平面, Basic Multilingual Plane)。它包含了最常用的码位从 U+0000 到 U+FFFF。这里需要补充一点额外的平面知识，以及术语的表格。引用自：wikipedia其余 16号平面(U+100000 到 U+10FFFF)称为补充的平面。这里我将不讨论它;只需要记住两个概念：BMP 字符和非 BMP 字符，后者也被称为补充字符。二、UCS-2 和 UTF-16 之间的不同UCS-2 和 UTF-16 都是 Unicode 的字符编码方式。UCS-2(2个字节的通用字符集)是一种固定长度的编码格式，只需要使用编码为 16 字节编码单元来表示码位。这样的表示结果将和 UTF-16 在 0 到 0xFFFF (BMP)范围内大多数的结果一样。UTF-16(16 位 Unicode 转换格式)是对 UCS-2 的一个扩展，它允许表示比 BMP 范围内更多的字符。它是一种可变长度格式，它的每个码位能够使用 1 位或者 2 位 16字节编码单元来表示。这种方式能够编码的码位在 0 到 0x10FFFF 之间。比如，在 UCS-2 和 UTF-16 中，对于 BMP 字符 U+00A9 版权标志()都能被编码为：0x00A9。这里补充一下 UCS-2、UCS-4、BMPCPU 处理多字节数的方式分为：“大尾”(big endian)和“小尾”(little endian)，简单的理解就是一个 Unicode 编码，比如6C49，写到文件里面 6C 49 或者 49 6C，两种方式，前者就叫“大尾”，后者就叫“小尾”。UCS 可以分为两种格式：UCS-2 和 UCS-4。UCS-2 使用两个字节编码，UCS-4 使用4个字节(实际只有 31 位，最高位必须是 0)编码。转换关系：UCS-4 中高两个字节为 0 的码位称为 BMP;UCS-4 的 BMP 去掉前面两个零字节就得到 UCS-2;UCS-2 加上两个零字节就得到 UCS-4 中的 BMP。三、代理对(Surrogate pairs)对于 BMP 之外的字符，比如 U+1D306 四条线居中(其实不好翻译：tetragram for centre，?)，只能使用 UTF-16 中两个 16 字节来编码：0xD834 0XDF06。这种就被称为代理对。值得注意的是一个代理对只代表一个单字符。补充一下代理对的概念实际上就是指上面的一个 UTF-16 编码，使用 2 个 16 字节来编码。那是因为一个 UTF-16 编码不够，然后就应该使用 2 个 UTF-16 编码来表示更多的字符。然后这样就会出现：之前 2 个字节的空间表示一个字符，就会变成 4 个字节的空间。所以就规定只有一定范围内使用 2 个 UTF-16 编码来表示一个字符，这样的方式就叫代理对，其余的依然使用 2 个字节来表示。代理对中的第一个字符单元总是在 0xD800 到 0xDBFF 之间，称为高位代理或者顶部代理(high surrogate or lead surrogate，暂时这样，查到专业术语再翻译)。第二个字符单元总是处于 0xDC00 到 0xDFFF 之间，称为低位代理或者尾部代理(low surrogate or trail surrogate)。UCS-2 是缺乏对代理对的支持的，所以要表示之前的字符需要使用 2 个分隔的字符。四、码位(code points)和代理对(surrogate pairs)之间的转换Section 3.7 of The Unicode Standard 3.0(pdf)中定义了一个转换算法。假设：一个码位 C 大于 0xFFFF 的编码使用代理对 来表示的公式为：1. H=Math.floor(C-0x10000)/0x400)+0xD8002. L=(C-0x10000)%0x400+0xDC00转换公式变换后，比如从代理对 转换成一个 Unicode 码位 C，可以使用公式：1. C=(H-0xD800)*0x400+L-0xDC00+0x10000五、Ok，那么关于 JavaScript 的编码问题呢?在 ECMAScript 中定义来怎样解释字符的问题.在 level 3 或者更高等级的实现中，遵循国际标准，与 Unicode 3.0 标准或者更新的标准，以及 ISO/IEC 10646-1，和 UCS-2 或者 UTF-16 作为编码格式。如果采用的 ISO/IEC 10646-1 自己未被指定，它被认定为 BMP 的自己，集合 300(这里没懂)。如果没有采用其它的编码格式，那么将按照 UTF-16 进行编码。换句话说，JavaScript 引擎是允许使用 UCS-2 或者 UTF-16 进行编码的。然后按照 specific parts 规定，认为引擎里面的编码需要一些 UTF-16 的知识。当然，内部引擎对于大多数 JavaScript 开发者来说没有实际影响。对于更多有趣的发现JavaScript 是如何考虑字符的 中，有一段：尽管在本文档的其它部分中，表示字符单元和文字字符将使用 16 位的无符号值，用来表示单个 16 位文本单元。Unicode 字符将使用抽象的语言或印刷单元(可超过16位，因此可以由多个代码单元)来表示。码位可以用 Unicode 标准值来表示。一个组合字符序列的成分可以有个别“Unicode 字符”，即使一个用户可能会认为整个序列是单个字符。JavaScript 使用单独字符来处理字符单元，然后人们通常认为是一组 Unicode 字符。当使用 BMP 范围外 Unicode 字符的时候，这样会有一些不好的结果。比如代理对使用 2 个字符单元组成：?.length = 2，即使这里是只有一个 Unicode 字符。如果是字符，代理对将暴露一部分：? = uD834uDF06。在这里你想到了什么呢?对于这种方式，至少是 UCS-2 的替代方式(不同的地方是，UCS-2 不允许有代理字符，然后 JavaScript 字符串是这样做的)。你可以认为它像 UTF-16 一样在工作，特别是分成两部分的方式是被允许的，代理的这种错误排序是被允许的，代理被暴露成了分离的字符。类似 UCS-2 的行为对整个语言更有影响，比如 补充字符范围的正则表达式 比那些支持 UTF-16 的语言要更难写。代理对只是为了显示在浏览器中(layout 的时候)，对单个 Unicode 字符的重新组合。这发生在 JavaScript 引擎的影响范围之外。为了证明这个，你能在 document.write() 的时候分开写一个高位代理和地位代理