python中文处理——编码问题
2017-07-11 10:27
501 查看
常见的字符编码方式有:Unicode、ASCII、GBK、GB2312、UTF-8。
在计算机内部,所有的信息都被表示为一个二进制的字符串。每一个二进制位有0和1两种状态,一个字节一共可以用来表示256种不同的状态。
ASCII编码就是用来规定英语字符与二进制位之间的对应关系的编码格式,ASCII编码规定了128个字符。英语用128个符号编码就够了,但是其他语言用128个符号表示是不够的。不同语言的字母不同,而像汉语等亚洲国家的文字数目达到数万级别,单字节编码方式没办法表示所有的汉字,因此产生了很多种编码格式,例如简体中文使用的编码方式是GB2312。
为了方便跨语言信息交流,国际组织制定了Unicode字符集,它包含了世界上所有的字符,每种语言任何的一个字符都可以在这个字符集中找到。随着互联网的普及,产生了一种新的编码方式——UTF-8。它是一种变长的编码方式,一个字符可以用1~4个字节表示,不同的符号存储的字节长度不同。
需要注意的是:字符的编码与字符在的存储形式并不等同,Unicode是一个符号集,它只包括了字符的二进制代码,没有规定如何存储字符的二进制代码。虽然utf-8和gb系列的编码都支持中文,但是直接转换会导致乱码,只能通过Unicode作为媒介进行转换。
由于Python2不支持Unicode的处理,在函数调用字符串参数时,要先将中文字符串转化成Unicode对象,在存储数据时采用utf-8编码格式,按照这样的原则可以避免因为编码不统一导致的乱码现象。
结巴分词:由于python默认编码是unicode,而jieba分词输出的是utf-8编码格式,因此需要将字符串进行解码编码操作。读取的语料是GBK编码格式,先用decode方法将文本解码成unicode,去除停用词后用encode方法编码为utf-8格式,jieba分词工具包里面的cut函数会自动把文本分割成一个个词语存储成list结构。
在计算机内部,所有的信息都被表示为一个二进制的字符串。每一个二进制位有0和1两种状态,一个字节一共可以用来表示256种不同的状态。
ASCII编码就是用来规定英语字符与二进制位之间的对应关系的编码格式,ASCII编码规定了128个字符。英语用128个符号编码就够了,但是其他语言用128个符号表示是不够的。不同语言的字母不同,而像汉语等亚洲国家的文字数目达到数万级别,单字节编码方式没办法表示所有的汉字,因此产生了很多种编码格式,例如简体中文使用的编码方式是GB2312。
为了方便跨语言信息交流,国际组织制定了Unicode字符集,它包含了世界上所有的字符,每种语言任何的一个字符都可以在这个字符集中找到。随着互联网的普及,产生了一种新的编码方式——UTF-8。它是一种变长的编码方式,一个字符可以用1~4个字节表示,不同的符号存储的字节长度不同。
需要注意的是:字符的编码与字符在的存储形式并不等同,Unicode是一个符号集,它只包括了字符的二进制代码,没有规定如何存储字符的二进制代码。虽然utf-8和gb系列的编码都支持中文,但是直接转换会导致乱码,只能通过Unicode作为媒介进行转换。
由于Python2不支持Unicode的处理,在函数调用字符串参数时,要先将中文字符串转化成Unicode对象,在存储数据时采用utf-8编码格式,按照这样的原则可以避免因为编码不统一导致的乱码现象。
结巴分词:由于python默认编码是unicode,而jieba分词输出的是utf-8编码格式,因此需要将字符串进行解码编码操作。读取的语料是GBK编码格式,先用decode方法将文本解码成unicode,去除停用词后用encode方法编码为utf-8格式,jieba分词工具包里面的cut函数会自动把文本分割成一个个词语存储成list结构。
相关文章推荐
- python 处理中文需要注意的编码问题
- python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断
- 通过读写文本文件小结“关于python处理中文编码的问题”
- 利用python处理xml -- 中文编码问题
- python中处理中文编码问题
- SyntaxError:Non-ASCII character ,……no encoding declared. --python 中文处理的编码问题
- python2.7 的中文编码处理,解决UnicodeEncodeError: 'ascii' codec can't encode character 问题
- 在Python中关于中文编码问题的处理建议
- Python处理unicode编码的txt文件(Python中文处理)——解决to_excel()和to_csv()导出文件内容为空的问题
- python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断
- python处理url中的中文编码,以及其他编码问题
- 通过读写文本文件小结“关于python处理中文编码的问题”
- 【中文编码】使用Python处理中文时的文字编码问题
- python 处理中文文件时的编码问题,尤其是utf-8和gbk
- python与sqlite处理中文字符时出现的编码错误问题解决
- python tornado框架中的中文编码问题
- 【转】Python中中文处理的问题
- Python处理MLDonkey 下载中文文件乱码问题 (2)
- javascript 处理返回json中的\u中文乱码问题(也不是乱码了,就是\u编码)
- Python 中文 编码问题