字符编码（四）ASCII,Unicode,UCS,UTF,字符&&字符编码集

1、理解                                                                                                 
       byte是唯一实现，真实的存在                                                                    

       char,int,short,是各种语义抽象（人，计算机对byte的语义分析，借用编译原理的概念）               

       String，Java由char组成，但最终还是以Bytes形式存在                                                 

                                                                                                        
2、ASCII字符集编码                                                                                      
    7位编码（最高位忽略无效），编码范围是0x00-0x7F。共128个字符（4位二进制==一位16进制）                
              0A  LF (NL line feed, new line) 换行键                                                    
              0D  CR (carriage return)  回车键（运输返回）                                              
              30 0                                                                                      
              41 A                                                                                      
              61  a                                                                                     
              <CR><LF>源自电传打字机Teletype，<CR>打字机把打印头定位在左边界, <LF>打字机把纸向下移一行。
              Unix 每行结尾"\n", Windows每行结尾"\r\n",分歧。                                           
                                                                                                        
3、Unicode(Universal code)                                                                              
       任何文字(char)在中都对应一个值(code point),代码值格式：U+ABCD                                    
       unicode 3.0: ISO/IEC 10646-1, support 49,259 chars, Basic Multilingual Plane(基本多文种平面)     
       Unicode 3.1：ISO/IEC 10646-2, support 94,205 chars, Supplementary Planes(定义的辅助平面)         
       UTF-8(1-4个字节)仅支持unicode3.0, 表示unicode3.0+,需要更多个字节？                               
       中日韩编码范围：4E00-9FBF：CJK 统一表意符号 (CJK Unified Ideographs)                             
                                                                                                        
3.1、UCS(Universal Character Set)                                                                       
       文字(char)和代码点之间的对应关系(抽象)，没有规定如何存储(实现)                                   
       UCS-2(UCS coded in 2 octets)代码值范围U+0000～U+FFFF                                             
       UCS-4(UCS coded in 4 octets)代码值范围U+00000000～U+7FFFFFFF                                     
              U+7FFFFFFF = 2^7(最高位为0,group) * 2^8(plane面) * 2^8(row) * 2^8(cell码元)               
              BMP(Basic Multilingual多语言 Plane): group0,plane0 , BMP前2个字节全0，后两个字节对应UCS-2 
                                                                                                        
3.2、UTF(Unicode Transformation Format)                                                                 
       规定code point在计算机中如何存储                                                                 
       BOM: Byte Order Mark, 值：FEFF                                                                   
                                                                                                        
3.3、UFT-8, 用8bit作为最小单元，没有字节序问题，但仍然可以有BOM: EFBBBF                                 
       变长(1-4字节),兼容ASCII                                                                          
                                                                                                        
3.4、UTF-8映射unicode                                                                                   
       Unicode编码(16进制)　║　UTF-8 字节流(二进制) 　　有效bit数                                      
       000000 - 00007F　║　0xxxxxxx 　　7bit//ASCII字母继续使用1字节储存                               
       000080 - 0007FF　║　110xxxxx 10xxxxxx 　　11bits//希腊字母                                      
       000800 - 00FFFF　║　1110xxxx 10xxxxxx 10xxxxxx 　　16bits//汉字等                               
       010000 - 10FFFF　║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 22bits//辅助平面字符                    
       BOM: EFBBBF 推导                                                                                 
              FEFF(11111110,11111111)                                                                   
              转换规则: 1110xxxx 10xxxxxx 10xxxxxx                                                      
              EF,BB,BF(11101111, 10111011, 10111111)                                                    
                                                                                                        
3.5、UTF-16，用16bit作为最小单元，2个字节，必然有字节序问题                                             
       对 UCS-2 用2B直接保存。                                                                          
       对UCS-4 用4B直接保存                                                                             
       不兼容ASCII,固定长度，浪费资源，但速度快                                                         
       UTF-16LE-BOM: FF FE (windows默认)                                                                
       UTF-16BE-BOM: FE FF                                                                              
                                                                                                        
3.6、UTF-32 对应UCS-4 用4B直接保存，固定长度，浪费资源                                                  
                                                                                                        
3.7、实例："汉字a\r\n"(unicode: U+6C49,U+5B57,U+0061,U+000D,U+000A),windows7下对应的各种编码。          
       ASCII                                                                                            
              BABAD7D6 610D0A                                                                           
       UTF-8(deflaut: 带BOM)                                                                            
              EFBBBF E6B189E5AD97 610D0A                                                                
       UTF-16                                                                                           
              FFFE 496C575B 61000D000A00                                                                
       UTF-16-big edn                                                                                   
              FEFF 6C495B57 0061000D000A                                                                
       Unicode-ascii escaped                                                                            
              \uFEFF\u6C49\u5B57a