Python2 中文编码处理

今天写了几个脚本，都遇到了中英文混编的情况。需求要将其中的中文标点符号切换为英文符号。
举个例子:

tags = '你好，good, 国语'

要将其中的中文半角逗号替换为英文逗号，为了方便后续的处理

如下处理:

tags = tags.replace('，', ',')

会抛出如下异常：
UnicodeDecodeError: 'ascii' codec can't decode byte ...

python中字串分成两种，byte string 和unicode string

一般来说，设定好#coding=utf-8后，所有带中文的参数都会声明成utf-8编码的byte string

但是在函数中产生的字串则是unicode string

byte string 和 unicode string不能混用，所以就会抛出UnicodeDecodeError异常

byte_str = 'hello, this is byte string'
unicode_str = u'hello, this is unicode string'

所以有三种解决方案：

1. 全都转为byte string

2. 全都转为unicode string

3. 设置系统编码

1. 全都转为byte string

'你好' + request.forms.tags.encode('utf-8')

2. 全都转unicode.string

u'你好' + request.forms.tags

byte string 和unicode string相互转换

b_s = 'test'
u_s = unicode(b_si, 'utf-8')
back_to_b_s = u_s.encode('utf-8')

3. 设置系统默认编码

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

这样就可以任意的使用了

所以上面的问题就有解了：

tags = tags.replace(unicode('，','utf-8'), ',')

或者

tags = tags.encode('utf-8').replace('，', ',')

或者
调用setdefaultencoding设置系统encoding了

此外，还有读取UTF-8文件

可以使用codecs模块

import codecs
handler = codecs.open('test', 'r', 'utf-8')
u = handler.read()  # returns a unicode string from the UTF-8 bytes in the file

codesc还能将传给write的unicode string转换为任何编码

在编写代码过程中，变量必须是ascii编码的，为了可以在文件中写中文，python需要知道文件不是ASCII编码

在

#!/usr/bin/env python

下添加

# -*- coding: utf-8 -*-

以上在python2中有效，在python3中已经区分了unicode string 和byte string,并且默认编码不再是ASCII

参考资料
http://www.evanjones.ca/python-utf8.html