Python2.7UTF-8导致中文乱码问题
2017-07-29 00:00
106 查看
Python2.7UTF-8导致中文乱码问题解决办法
运行后
这是因为在UTF-16,每个字符占用两个字节。*如果你的字符都是ASCII码,这意味着UTF-16编码看起来像编码一个额外的“\\设备后,每个字符的ASCII码。
要解决这个问题,只需解码数据:
或者用IO或编解码器模块在文件级执行相同的操作:
这是一种简单化:每个BMP字符占用两个字节;每个非BMP字符变成代理项对,每两个代理人以两字节。
参考:https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format
file = open('data.txt','r') lines = file.readlines() for line in lines[0:1]: print line, print line.split()
运行后
0.0200197 1.97691e-005 ['0\x00.\x000\x002\x000\x000\x001\x009\x007\x00', '\x001\x00.\x009\x007\x006\x009\x00
这是因为在UTF-16,每个字符占用两个字节。*如果你的字符都是ASCII码,这意味着UTF-16编码看起来像编码一个额外的“\\设备后,每个字符的ASCII码。
要解决这个问题,只需解码数据:
print line.decode('utf-16-le').split()
或者用IO或编解码器模块在文件级执行相同的操作:
file = io.open('data.txt','r', encoding='utf-16-le')
这是一种简单化:每个BMP字符占用两个字节;每个非BMP字符变成代理项对,每两个代理人以两字节。
参考:https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format
相关文章推荐
- python连接数据库中文乱码问题分析
- 处理Python2.7读写文件中的中文乱码问题
- python第一个爬虫小程序以及遇到问题解决(中文乱码)+批量爬取网页并保存至本地
- python中文乱码问题
- Python使用SQLAlchemy,并且解决了插入中文乱码问题
- python中文乱码的编码问题深入(推…
- Python2.x中文乱码问题解决方法
- Python pandas plot输出图形中显示中文乱码问题
- python 中文乱码问题
- python查询mysql中文乱码问题
- Python输出中文乱码问题
- 解决mac平台的mysql+python的中文乱码问题
- python测试报告中文乱码问题
- Python操作中出现中文乱码等问题
- 解决在Unity3D中通过Post向服务器提交请求,表单中带有中文导致的乱码问题!
- python 中文乱码问题深入分析
- python 控制台输出中文乱码问题
- 解决python中用zipfile解压缩文件时中文文件名乱码的问题
- 关于Python获取SQLSERVER数据库中文显示乱码问题
- python json.dumps() 中文乱码问题