关于NLP的编码问题的思索
2018-03-30 15:34
288 查看
前几天,在尝试通过nltk工具包对唐诗进行一些处理分析的时候,遇到了编码解码方面的错误。错误如下,就是UnicodeDecodeError: 'gbk' codec can't decode bytes in position 738868-738869: illegal multibyte s。很明显,这是编码解码上的错误,于是去度娘那里仔细了解了一下编码解码方面的知识,得到了一个算是一劳永逸的解决思路:由于Python处理的字符都是Unicode编码,不管输入的文本是什么编码,把输入的文本解码为Unicode编码,然后输出时再编码为所需编码。
所以我在解决我的这个中文编码问题中,首先将输入的文本另存为utf-8格式之后,然后使用python处理解码为unicode,处理完后的结果写入文本时再编码为utf-8就可以了。其中读取文本的代码片段为:
写入文本的代码片段为:
所以我在解决我的这个中文编码问题中,首先将输入的文本另存为utf-8格式之后,然后使用python处理解码为unicode,处理完后的结果写入文本时再编码为utf-8就可以了。其中读取文本的代码片段为:
import codecs lines = codecs.open(filename1,'r',encoding='utf-8') for line in lines: print(line.encode('utf-8'))
写入文本的代码片段为:
with open(filename2, 'w') as lines: for line in list_s: lines.write(line.encode('utf-8')+'\n')这样就完美解决了这个UnicodeDecode问题。
相关文章推荐
- 关于PHP内部编码与mysql字符差异问题的研究
- mysql中关于数据的编码问题
- mysql中关于数据的编码问题
- 关于byte 进制 float String 编码 16进制字符串转16进制byte的问题
- 关于Java编码问题
- 关于编码问题
- 关于利用 iconv 跨平台转编码问题
- 关于Java EE项目GET,POST中文编码问题
- 关于服务器响应,浏览器请求的理解以及javaWeb项目的编码问题
- 关于ASP.NET中用GB2312编码后Request的乱码问题
- 关于编程过程中的编码问题
- 深入体验JavaWeb开发内幕——关于JEE中的response、resquest应答、请求头的编码问题的解决
- 关于网站编码显示问题 效果是 访问 带有中文注释的sass文件出现编码报错。
- 关于MySQL如何修改character_set_client的编码问题
- 关于 MySQL UTF8 编码下生僻字符插入失败/假死问题的分析
- ie6下面关于html编码问题导致的js出错,css不被应用
- 关于.JS文件保存编码格式的问题-兼容各种语言版本
- 关于request编码的问题
- 关于python2.7中Windows下默认编码的问题
- 关于python3,numpy-loadtxt的编码问题