python中文输出问题

今天准备将某SQLite数据库的内容导出到文本文档(*.txt)中，设计的Python程序如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# -*- coding: UTF-8 -*- import sqlite3 def gsel(cur): cur.execute("SELECT * FROM collection") def main(): conn = sqlite3.connect("build.db3") cur = conn.cursor() gsel(cur) # conn.commit() rs = cur.fetchall() fp = open("output.txt", "w") for row in rs: fp.write(row[1]) # 读取并写入第2列数据 if __name__ == '__main__': main()

代码上面应该没有什么问题，Python使用的是版本2.7，但是在运行的时候出现了异常错误UnicodeEncodeError：

Traceback (most recent call last):
File "makedb.py", line 33, in
main()
File "makedb.py", line 30, in main
fp.write(row[1])
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-78: ordinal not in range(128)

本来以为数据读取错误，我特将fp.write改成print，结果数据全部读取并显示在命令控制台上了，证明代码是没有问题的，仔细看了下异常信息，貌似是因为编码问题：Unicode编码与ASCII编码的不兼容，其实这个Python脚本文件是由utf-8编码的，同时SQlite3数据库存取的也是UTF-8格式，Python默认环境编码通过下面的方法可以获取：

import sys print sys.getdefaultencoding() # 'ascii'

基本上是ascii编码方式，由此Python自然调用ascii编码解码程序去处理字符流，当字符流不属于ascii范围内，就会抛出异常（ordinal not in range(128)）。

解决的方案很简单，修改默认的编码模式，很多朋友会想到setdefaultencoding，是的，我们可以通过sys.setdefaultencoding(‘utf-8′)来将当前的字符处理模式修改为utf-8编码模式，值得注意的是，如果单纯这么调用的话，Python会抛出一个AttributeError异常：

Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'setdefaultencoding'

竟然说sys没有setdefaultencoding的方法，其实sys是有这个方法的，但是要请出她老人家需要调用一次reload(sys)，很奇怪，是么？如果有谁知道原因的话，还望不吝赐教。

import sys reload(sys) sys.setdefaultencoding('utf-8')

好了，通过上面短短的三行，我们算是很好的解决了这个问题了，同样的方式也可以应用到UnicodeDecodeError上。当然这个技巧来自于网络，我还找到其他特别的办法，但是感觉还是这个比较靠谱，有童鞋说：我们将Python
2.x系列升级到Python 3.x系列就可以了，小小的问题犯不着升级吧，毕竟2到3还是要有个过渡的。

最后，我将文章一开始的代码更改如下：

# -*- coding: UTF-8 -*- import sys # 1 import sqlite3 def gsel(cur): cur.execute("SELECT * FROM collection") def main(): reload(sys) # 2 sys.setdefaultencoding('utf-8') # 3 conn = sqlite3.connect("build.db3") cur = conn.cursor() gsel(cur) # conn.commit() rs = cur.fetchall() fp = open("output.txt", "w") for row in rs: fp.write(row[1]) if __name__ == '__main__': main()

在 python 源代码文件中，如果你有用到非ASCII字符，则需要在文件头部进行字符编码的声明，声明如下：

# code: UTF-8

因为python 只检查 #、coding 和编码字符串，所以你可能回见到下面的声明方式，这是有些人为了美观等原因才这样写的：

#-*- coding: UTF-8 -*-

常见编码介绍：

GB2312编码：适用于汉字处理、汉字通信等系统之间的信息交换

GBK编码：是汉字编码标准之一，是在 GB2312-80 标准基础上的内码扩展规范，使用了双字节编码

ASCII编码：是对英语字符和二进制之间的关系做的统一规定

Unicode编码：这是一种世界上所有字符的编码。当然了它没有规定的存储方式。

UTF-8编码：是 Unicode Transformation Format - 8 bit 的缩写， UTF-8
是 Unicode 的一种实现方式。它是可变长的编码方式，可以使用 1~4 个字节表示一个字符，可根据不同的符号而变化字节长度。

编码转换：

Python内部的字符串一般都是 Unicode编码。代码中字符串的默认编码与代码文件本身的编码是一致的。所以要做一些编码转换通常是要以Unicode作为中间编码进行转换的，即先将其他编码的字符串解码（decode）成 Unicode，再从 Unicode编码（encode）成另一种编码。

decode 的作用是将其他编码的字符串转换成 Unicode 编码，eg name.decode(“GB2312”)，表示将GB2312编码的字符串name转换成Unicode编码

encode 的作用是将Unicode编码转换成其他编码的字符串，eg name.encode(”GB2312“)，表示将GB2312编码的字符串name转换成GB2312编码

所以在进行编码转换的时候必须先知道 name 是那种编码，然后 decode 成 Unicode 编码，最后载 encode 成需要编码的编码。当然了，如果 name 已经就是 Unicode 编码了，那么就不需要进行 decode 进行解码转换了，直接用 encode 就可以编码成你所需要的编码。值得注意的是：对 Unicode
进行编码和对 str 进行编码都是错误的。

具体的说就是：如果在UTF-8文件中，则这个字符串就是 UTF-8编码的。它的编码取决于当前的文本编码。当然了，GB2312文本的编码就是GB2312。要在同一个文本中进行两种编码的输出等操作就必须进行编码的转换，先用decode将文本原来的编码转换成Unicode，再用encode将编码转换成需要转换成的编码。

eg：

由于内置函数 open() 打开文件时，read() 读取的是 str，读取后需要使用正确的编码格式进行 decode()。write() 写入时，如果参数是 Unicode，则需要使用你希望写入的编码进行 encode()，如果是其他编码格式的 str，则需要先用该 str 的编码进行 decode()，转成 Unicode 后再使用写入的编码进行 encode()。如果直接将 Unicode 作为参数传入 write() ，python
将先使用源代码文件声明的字符编码进行编码然后写入。

# coding: UTF-8

fp1 = open('test.txt', 'r')

info1 = fp1.read()

# 已知是 GBK 编码，解码成 Unicode

tmp = info1.decode('GBK')

fp2 = open('test.txt', 'w')

# 编码成 UTF-8 编码的 str

info2 = tmp.encode('UTF-8')

fp2.write(info2)

fp2.close()

获取编码的方式：

判断是 s 字符串否为Unicode，如果是返回True，不是返回False ：

isinstance(s, unicode)

下面代码可以获取系统默认编码：

#!/usr/bin/env
python

#coding=utf-8

import sys

print sys.getdefaultencoding()