解析Unicode编码和Java char

  Java的字符类型采用的是UTF-16编码方式对Unicode编码表进行表示。其中一个char类型固定2Bytes（16bits）。首先先介绍一下Unicode编码表和UTF-16编码算法：

       Unicode编码表的专业术语：

       代码点 (code point): 指在Unicode编码表中一个字符所对应的代码值。如汉字“一”的代码点是U+4E00，英文字母“A”的代码点是U+0041。

       代码单元( code unit): 规定16bits的存储容量就是一个代码单元。

   

      Unicode编码表 分为17个代码级别 (code plane)，其中代码点\-\?为第一级别 ——基本多语言级别 (basic multiling l plane),可以用一个代码单元存储一个代码点。其余16个附加级别 从0x10000-0x10FFFF（需要两个代码单元）。其中需要指出的是在多语言级别中，U+D800-U+DFFF这2048值没有表示任何字符，被称为Unicode的替代区域(surrogate area)。UTF-16正是的运用了这一区域，用2个代码单元(2*16bits)巧妙的表示出20bits代码点的Unicode附加级别。

   

       UTF-16编码算法
       假设U是一个代码点，也就是Unicode编码表中一个字符所对应的Unicode值。

       1) 如果U<U+10000，也就是处于Unicode的基本多语言级别中。这样16bits(一个代码单元)就足够表示出字符的Unicode值。

       2) 如果U+10FFFF>U>=U+10000，也就是处于附加级别中。UTF-16用2个16位来表示出了，并且正好将每个16位都控制在替代区域U+D800-U+DFFF 中了,具体操作如下：

           分别初始化2个16位无符号的整数 —— W1和W2。其中W1=110110yyyyyyyyyy（0xD800-0xDBFF）,W2 = 110111xxxxxxxxxx(0xDC00-OxDFFF)。然后，将U的高10位分配给W1的低10位，将U的低10位分配给W2的低10位。这样就可以将20bits的代码点U拆成两个16bits的代码单元。而且这两个代码点正好落在替代区域U+D800-U+DFFF中。

       具体举个例子：代码点U+1D56B（一个整数集的算术符号Z）

       0x1D56B= 0001 1101 0101 0110 1011

       将0x1D56B的高10位0001 1101 01分配给W1的低10位组合成110110 0001 1101 01=0xD875

       将0x1D56B的低10位01 0110 1011分配给W2的低10位组合成110111 01 0110 1011=0xDD6B

       这样代码点U+1D56B采用UTF-16编码方式，用2个连续的代码单元U+D875和U+DD68表示出了。

       Java的char类型是固定16bits的。代码点在U+0000 — U+FFFF之内到是可以用一个char完整的表示出一个字符。但代码点在U+FFFF之外的，一个char无论如何无法表示一个完整字符。这样用 char类型来获取字符串中的每一个字符就有问题了（针对那些含有代码点在U+FFFF之外的字符串）。我们还用U+1D56B举个例子：

       假设程序中有一个字符串String str = new String(Character.toChars(0x1D56B))，str只有一个字符。注意我们不能用转义字符'\?'来表示，' \uXXXX'只能表示四位16进制数，也就是只能表示基本多语言级别的Unicode代码点。对于附加级别的代码点，我们只能用上面那种形式表示。

       此时，char ch=str.charAt(0); 这个时候我们返回的结果是第一个代码单元，也就是代码点0xD875（上面已经讲过了U+1D56B采用UTF-16编码方式分成了U+D875和 U+DD6B，这样就需要两个char的容量来存储这个字符）。这种方法我们永远无法得到字符串中的这个附加级别字符。

       我们可以这样来精确表示整个字符串中的每一个字符

       int cp=str.codePointAt(0);

       if(Charcter.isSupplementaryCodePoint(cp)) //判断Unicode 代码点是否在附加级别字符范围内。

       i+=2;

       else i++;

       另外，String类中的length()方法也是对字符串进行char统计，也就是计算代码单元数量（代码单元有可能大于正真的字符数量）。如果要计算代码点数量，必须用str.codePointCount(0,str.length())方法。

       由此可见，用char类型来处理字符串在有些情况下是不准确的，我们最好使用字符串类型中处理代码点的方法，不要使用处理char类型(一个代码单元)的方法。 

   

       我顺便提一下，虽然我们的很多系统支持Unicode编码表，但是这并不意味这我们能显示一些字符。比如要显示上面那个字符串 System.out.println(str);显示的就是一个'?'，这主要是因为字符的显示需要有显示字库的支持，否则还是屏幕上什么都看不到。 

 

附：有这样一个问题

      char c='编';  // 我们都知道c占用2个字节，这毫无疑问。

      String str=“遍”;  

      byte[] bytes=str.getBytes(); //这个打印出来，在不同的操作系统上可能有不同的长度。为什么呢？

 

      我们可以去看看API, String 的getBytes()方法使用平台的默认字符集将此 String 编码为 byte 序列 。关于默认的字符集可以看看这篇文章《Java字符串与字符集的基本概念 》。

      也就是说，你当前的OS默认支持的字符集使用的是UTF-8，则是3个字节。如果是gb2312/gbk，则2个字节。如果使用unicode/UTF- 16则4个字节(开头的两个字节是一个mark)。

      千万不要认为char的占用字节数变了，注意Java标榜自己的一个重要性能就是平台无关性。固定长度的基本数据类型在Java中是永远占固定长度的，这一点和C有很大区别。