Mysql数据库操作字符集编码乱码错误 UnicodeEncodeError 'latin-1' - C/C++转Python疑难杂症(一)

在使用数据库时

# 错误内容
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 86-91: ordinal not in range(256)

头部加入

#coding=utf-8

设置默认字符集

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

设置数据库字符集

db.set_character_set('utf8')
dbcour.execute('SET NAMES utf8;')
dbcour.execute('SET CHARACTER SET utf8;')
dbcour.execute('SET character_set_connection=utf8;')

进入数据库查询数据库表及列的字符集是否属于utf8

我使用已经写好的 INSERT 插入语句 结果正常

使用 _info 就会提示 UnicodeEncodeError: 'latin-1' codec can't encode characters in position 87-92: ordinal not in range(256)

最后我利用修改数据库字符集的方式解决了这个问题

我遇到这个问题的代码如下

#coding=utf-8

import os
import MySQLdb
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

# 插入数据库
# 参数 _info : 列表 [部门、姓名、工号、时间、签到机型、比对方式]
# 例如 ["星际控股集团", "徐翼", 11, "2016/12/1 08:29:29", 1, "指纹"]
def insertAttendTable(_info):
# 连接到数据库
db = MySQLdb.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
dbcour = db.cursor()
############################################## 下方未注释部分 方法1
insert_attend_sql = "INSERT INTO `attendance_all` (`department`, `name`,`id`,`attend_time`, `mac`) VALUES ('%s', '%s', '%s', '%s', '%s');" \
% (_info["department"], _info["name"], _info["id"], _info["time"], _info["mac"])
# insert_attend_sql = "INSERT INTO `test`.`attendance_all` (`name`, `id`, `department`, `mac`, `attend_time`, `create_time`, `mark`) VALUES ('徐翼', '11', '星际控股集团', '1', '2016-12-01 08:29:29', '2017-01-07 23:44:00', NULL);"
################################ 上方注释部分  方法2
dbcour.execute(insert_attend_sql)
db.commit()
return

# 分析行数据
def analysisLine(_lineInfo):
# print _lineInfo
attend_department = u"星际控股集团"
attend_name = u"徐翼"
attend_id = 11
attend_time = u"2016/12/1 08:29:29"
attend_mac = 1
attend_analysis = u"指纹"

info = {"department":attend_department,
"name":attend_name,
"id":attend_id,
"time":attend_time,
"mac":attend_mac,
"analysis":attend_analysis}

return info

# 分析文件
def readFile(_fileName):
print "begin"

file = open(_fileName)
# 判断打开
if not file:
print "error file open failed!"
return

while 1:
lines = file.readlines(100000)
if not lines:
break

for line in lines:
info = analysisLine(line)
insertAttendTable(info)

file.close()
print "end"

readFile("1212.txt")

1212.txt

企管部   黄金成    14715 2016/12/26 12:44:33      1          指纹
企管部   黄金成    14715 2016/12/26 13:23:26      1          指纹
企管部   黄金成    14715 2016/12/26 17:39:38      1          指纹
企管部   黄金成    14715 2016/12/27 08:17:58      1          指纹
企管部   黄金成    14715 2016/12/27 13:05:01      1          指纹
企管部   黄金成    14715 2016/12/27 13:05:05      1          指纹
企管部   黄金成    14715 2016/12/27 18:47:25      1          指纹
企管部   黄金成    14715 2016/12/28 08:22:55      1          指纹
企管部   黄金成    14715 2016/12/28 13:06:48      1          指纹
企管部   黄金成    14715 2016/12/28 13:06:51      1          指纹
企管部   黄金成    14715 2016/12/28 18:08:37      1          指纹
企管部   黄金成    14715 2016/12/29 08:24:14      1          指纹
企管部   黄金成    14715 2016/12/29 13:12:33      1          指纹
企管部   黄金成    14715 2016/12/29 13:12:37      1          指纹
企管部   黄金成    14715 2016/12/29 17:39:05      1          指纹
企管部   黄金成    14715 2016/12/30 08:24:40      1          指纹
企管部   黄金成    14715 2016/12/30 12:30:40      1          指纹
企管部   黄金成    14715 2016/12/30 12:30:45      1          指纹
企管部   黄金成    14715 2016/12/30 17:33:53      1          指纹

总结

整体问题，非常明了，就是字符集问题。

从这个问题出发，我们应该能够检查的无非这几个地方

本地编码、数据库编码

在C++中，我们在初始化数据库时就会使用charset来设置调用接口的处理字符集。

在python中也是如此。