Python2 字符串编码

python2 中默认是ascii编码，对程序外读取的汉字需要解码为Unicode字符串进行处理。

python2中从程序外读取字符，通过decode解码为Unicode字符，使用encode将Unicode字符转化为指定的编码输出。

>>> s = '你好呀'
# 解码为Unicode字符， 编码格式不一定为utf-8，要看读入字符具体的格式
>>> s1 = s.decode('utf-8')
# 将Unicode字符编码为gbk格式的字符
>>> s2 = s1.encode('gbk')
>>> s1
u'\u4f60\u597d\u5440'
>>> s2
'\xc4\xe3\xba\xc3\xd1\xbd'

使用chartdet获取字符的编码

有时我们不一定知道已有字符的编码格式，可以使用chardet模块来获取字符的编码。chardet不是Python自带的模块，需要安装。

>>> import chardet
>>> s = '你好呀'
>>> en_type = chardet.detect(s)['encoding']
>>> s.decode(en_type)
u'\u4f60\u597d\u5440'
>>> chardet.detect(s)
{'confidence': 0.87625, 'encoding': 'utf-8'}