python中文编码问题

为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。

字符串在Python内部的表示是unicode 编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致 。

如：s='中文'

如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需 要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默 认编码创建的代码文件。

如果字符串是这样定义：s=u'中文'

则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。因此，对于这种情况做编码转换，只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：

isinstance(s, unicode) #用来判断是否为unicode

用非unicode编码形式的str来encode会报错

如何获得系统的默认编码 ？

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

该段程序在英文WindowsXP 上输出为：ascii

在某些IDE中，字符串的输出总是出现乱码，甚至错误，其实是由于IDE的结果输出控制台自身不能显示字符串的编码，而不是程序本身的问题。

如在UliPad中运行如下代码：

s=u"中文"
print s

会提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。这是因为UliPad在英文WindowsXP 上的控制台信息输出窗口是按照ascii编码输出的（英文系统的默认编码是ascii），而上面代码中的字符串是Unicode编码的，所以输出时产生了错误。

将最后一句改为：print s.encode('gb2312')

则能正确输出“中文”两个字。

若最后一句改为：print s.encode('utf8')

则输出：\xe4\xb8\xad\xe6\x96\x87，这是控制台信息输出窗口按照ascii编码输出utf8编码的字符串的结果。

unicode(str,'gb2312')与str.decode('gb2312')是一样的，都是将gb2312编码的str转为unicode编码

使用str.__class__可以查看str的编码形式

原理说了半天，最后来个包治百病的吧：）

复制代码 代码如下:

#!/usr/bin/env python
#coding=utf-8
s="中文"
if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')

感谢wolfmaster的分享：http://wolfmaster.iteye.com/blog/638029

Python中文乱码

转载：http://quickbest.com.cn/discuz/thread-38962-1-1.html

估计入门时都会遇到的。我是在windows下用的Python25自带的IDLE编辑运行的，发现运行脚本得出的结果有一些中文显示是乱码，但有一些是正常的。百思不得其解。首先查看了一下源文件的编码格式，是UTF-8。经过搜索再搜索，调试再调试，也换了几个编译器，发现比IDLE还糟糕（可能需要进行encode设置）。问题终于解决了，一共花了俺将近5个小时，写在这里，希望遇到问题的人能搜索到这里，不再重犯。

乱码原因：

因为你的文件声明为utf-8，并且也应该是用utf-8的编码保存的源文件。但是windows的本地默认编码是cp936，也就是gbk编码，所以在控制台

直接打印utf-8的字符串当然是乱码了。

解决方法：

在控制台打印的地方用一个转码就ok了，打印的时候这么写：

print myname.decode('UTF-8').encode('GBK')

比较通用的方法应该是：

import sys

type = sys.getfilesystemencoding()

print myname.decode('UTF-8').encode(type)

Django网页中文乱码问题的解决 2008-04-04

来源：点击进入

2008年04月04日 星期五 22:30

问题的提出：

写了一个py文件，含有中文，文件的开头写有#coding=utf-8。

写了一个对应处理的template，都含有中文。

最后显示网页时，用utf-8编码查看却为乱码，再用GBK编码查看，则显示正常。

问题的解决：

这是一个小小的低级错误。我是用ultraedit写html文件的，保存时估计默认保存为GBK编码了。换成记事本去写，保存时选择utf-8编码就可以了。

又是中文编码问题 2008-07-16

来源：点击进入

2008年07月16日 星期三 14:28

"UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)"

看了半天html模板，都是unicode编码，没有编码问题。但是输入中文的时候就出现这样的错误了。

解决办法，在该python文件的前面加上如下几句，问题得到解决。

import sys

default_encoding = 'utf-8'

if sys.getdefaultencoding() != default_encoding:

reload(sys)

sys.setdefaultencoding(default_encoding)

Django调试小结 2008-04-16

来源：点击进入

2008年04月16日 星期三 10:28

1、 遇到中文编码，统一用utf-8编码处理

所有的调试、编辑器都要默认使用utf-8格式存文件。

所有含有中文的py文件，第一行要写上#coding=utf-8

如果引进了别人的非utf-8文件，例如teset.html，可以使用记事本打开，另存为utf-8格式。

2、 每加入一个新的app，只要有model.py，一律要重建数据库，执行命令manage.py syncd

MySQLdb中文乱码问题的解决(Python) 2008-05-28

来源：点击进入

2008年05月28日 星期三 23:22

写了一个简单的脚本，将我的数据整理到Mysql中去。遇到了乱码问题，改了一下，很快就解决了。连接mysql时要注意注明是utf-8字符集，所有中文都要是utf-8，如果有GBK也要先转换成utf-8，把握这个原则，中文乱码问题是不会有的。

转换脚本如下：

#-*- coding: utf-8 -*-，

#coding = utf-8

import MySQLdb,os

def wgdata2DB():

print "Convert weg game data to mysql"

db=MySQLdb.connect(host='localhost', #连接数据库

user='root',

passwd='123456',

db='testdb',

charset="utf8") ＃这里要注明是utf8字符集，文件开头最好也加上utf-8的声明

cursor=db.cursor()



if os.path.exists('test.dat'):

rFile = open('test.dat', 'r')

lines = rFile.readlines()

rFile.close()



loop = 0

for line in lines:

print "handle line:%d" % (loop)

myset = line.split(' ')



sqlstr = "INSERT INTO wg_Content (type,title,url,speed,des,size) VALUES('%s','%s','%s','%s','%s','%s')" \

%(myset[0],myset[1],myset[2],myset[3],myset[4],myset[5])

cursor.execute(sqlstr)

loop += 1

db.commit()

cursor.close()

db.close()

Python字符集编码和文件读写 2008-04-18

来源：点击进入

2008年04月18日 星期五 11:18

字符串编码



python中默认编码是ASCII，可以通过以下方式设置和获取：

import sys

print sys.getdefaultencoding()

sys.setdefaultencoding('gbk')
但直到python重新启动后新的默认编码才会生效，我试了一下，setdefaultencoding总是会出错，没有这个属性。用dir看，确实没有，python版本是2.5，不知道是否被取消了。

使用print来输出时，python将内容传递给系统处理，windows会按照系统默认编码来输出。如果包含了中文，就要注意几点。

1 python代码文件的编码

py文件默认是ASCII编码，中文在显示时会做一个ASCII到系统默认编码的转换，这时就会出错：SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示：

1 # coding=gbk

2 print
'中文'

2 字符串的编码

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

1 s1 = u'中文'

2 s2
= unicode('中文','gbk')

3 s3
= s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。

decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。

encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

3 系统的默认编码

对于中文系统来说，默认的是gbk，gb2312也可以，因为它是gbk的字集。使用print输出时，字符串会被转换成此格式，隐式转换时，是从代码文件编码格式转换成gbk，默认是ASCII->GBK。考虑上面第二点，如果字符串编码不是ASCII，则隐式转换会出错，需要显式转换，使用 encode方法。如果指定了代码文件格式为gbk，则隐式转换不存在问题。

1 # coding=gbk

2

3 s = u'中文'

4 print s.encode('gbk')

文件读写

只是ASCII或者gbk编码格式的的文件读写，比较简单，读写如下：

1 # coding=gbk

2

3 f = open('c:/intimate.txt','r')
# r 指示文件打开模式，即只读

4 s1
= f.read()

5 s2
= f.readline()

6 s3
= f.readlines()
#读出所有内容

7

8 f.close()

9

10 f
= open('c:/intimate.txt','w')
# w 写文件

11 f.write(s1)

12 f.writelines(s2)
# 没有writeline

13 f.close()

f.writelines不会输出换行符。

unicode文件读写：

1 # coding=gbk

2 import codecs

3

4 f = codecs.open('c:/intimate.txt','a','utf-8')

5 f.write(u'中文')

6 s =
'中文'

7 f.write(s.decode('gbk'))

8 f.close()

9

10 f
= codecs.open('c:/intimate.txt','r','utf-8')

11 s
= f.readlines()

12 f.close()

13 for line
in s:

14 print line.encode('gbk')