Python的ASCII, GB2312, Unicode , UTF-8

ASCII 是一种字符集，包括大小写的英文字母、数字、控制字符等，它用一个字节表示，范围是 0-127。Unicode分为UTF-8和UTF-16，UTF-8是可变长度的，最多 6 个字节，小于 127 的字符用一个字节表示，与 ASCII 字符集的结果一样，ASCII 编码下的英语文本不需要修改就可以当作 UTF-8 编码进行处理。

Python 从 2.2 开始支持 Unicode ，函数decode(char_set)可以实现其它编码到 Unicode 的转换，称之为解码；函数encode(char_set)实现 Unicode 到其它编码方式的转换，称之为编码。例如：

("你好").decode( "GB2312")

将得到

u'/u4f60/u597d'，

即 "你"和“好"的 Unicode 码分别是 0x4f60
和 0x597d

再用

(u'/u4f60/u597d').encode("UTF-8")

将得到

'/xe4/xbd/xa0/xe5/xa5/xbd'

它是 “你好”的UTF-8编码结果。

Python中使用 unicode的关键：unicode是一个类，函数unicode(str, "utf8")是将utf8编码（当然也可以是别的编码）的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的对象unc转换为（编码为）utf8编码（当然也可以是别的编码）的字符串。

于是，编写unicode相关程序，需要做的事情是获取数据（字符串）时，用unicode(str, "utf8")生成unicode对象，在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写，输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")。例如：

$ bpython
>>> unicode("你好",  "utf8")
u'/u4f60/u597d'

>>> x = _
>>> type(x)
<type 'unicode'>

>>> type("你好")
<type 'str'>

>>> x.encode("utf8")
'/xe4/xbd/xa0/xe5/xa5/xbd'

>>> x.encode("gbk")
'/xc4/xe3/xba/xc3'

>>> x.encode("gb2312")
'/xc4/xe3/xba/xc3'

>>> print x
你好

>>> print x.encode("utf8")
你好

>>> print x.encode("gbk")
???

以上是测试结果（Ubuntu 6.06，locale为utf8），注意type(x)和type("你好")的区别。从编码上可以看出utf8编码与gbk不同。在utf8的 locale设置下，打印x按该环境变量编码，而打印x.encode("gbk")则是乱码。