编码常见问题及解决方式
2015-10-23 10:48
218 查看
1、问题:UnicodeEncodeError:
'ascii' codec can't encode characters in position
方法:字符集的问题,在文件前加两句话
reload(sys)
sys.setdefaultencoding(
"utf-8" )
2、中文常见编码问题:
python中正则表达式string = re.sub(ur"[^\u4e00-\u9fa5]", " ",string),前面的u不能去掉(python3解释器可能不受影响)encode就是把参数编码转换成二进制编码,如:word=word.encode("utf8"),就是把utf8转成了二进制编码。
unicode(sen, "utf8")就是把sen转成utf8编码
decode就是按照参数转码成unicode如message.decode('utf8'),所以若参数是utf-8,则功能与上句话相同。
有个讲得比较清楚的网站
3 、'utf8' codec can't decode bytes in position 0-1: invalid continuation byte
解决方法:1、确实是输入编码和读的编码不一致;2、重启试试; 3文件里面还有非法字符.decode("utf-8","ignore")
补充:1/《python自然语言理解》这本书上有讲decode与encode之间的关系,大概意思就是各种各样的编码格式(“GBK”,“UTF-8”)——>(decode("GBK"))成unicode——>(encode("GBK"))成各种各样的编码格式。
2/codecs指定编码打开就已经转成unicode了,与line=line.decode("utf-8")的效果一样
3/try语句的使用。有时会遇到乱码问题,这时应该用try语句。try: word=word.decode("utf-8") except:continue
相关文章推荐
- 微软算法100题10 翻转句子中单词的顺序
- windows Android 开发环境
- Jquery中$.ajax()方法参数详解
- Flash中启动Linux的方法
- 打开MySQL数据库远程访问的权限
- MySql 5.6.20,安装后无法登陆的解决办法
- UVa 11900 - Boiled Eggs
- LeetCode 077 Combinations
- android 一个TextView设置多种颜色
- php获取浏览器内核版本
- 下拉列表框Spinner
- 如何将一个uiview推送到窗口的前面与背后
- PHP 性能分析第三篇: 性能调优实战
- mysql 导入导出整个库
- spring-org.springframework.beans.factory.BeanDefinitionStoreException及相关介绍
- Java 多维数组遍历
- Spring--quartz中cronExpression配置说明 (注意?说明)
- android发布时的签名过程
- 【原创】Github团队协作之Pull请求
- ORACLE的任务DBMS_JOB.SUBMIT的使用------JOB