python 编码,decode() ,encode() 用法区别
2016-06-19 10:55
309 查看
python 编码
ASCII码 表示127个英文字符
每个中文需要使用两个字节来编码,中文编码的规则 —— GB2312
由于不同国家有不同的编码规则,如日本,韩国都使用各自国家的编码规则,在多语言混用的场合会出现混乱。
Unicode 用来把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode 通常用两个字节编码(有的也用四个字节),而ASCII码通常用一个字节字节
ASCII码转换成Unicode在前面一个字节补0
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间
UTF-8的一个好处在于,原有的ASCII的编码可以在UTF-8下继续工作。
搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:
在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:
rw-file-utf-8
浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:
web-utf-8
所以你看到很多网页的源码上会有类似的信息,表示该网页正是用的UTF-8编码。
首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串转换成gb2312编码。
ASCII码 表示127个英文字符
每个中文需要使用两个字节来编码,中文编码的规则 —— GB2312
由于不同国家有不同的编码规则,如日本,韩国都使用各自国家的编码规则,在多语言混用的场合会出现混乱。
Unicode 用来把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode 通常用两个字节编码(有的也用四个字节),而ASCII码通常用一个字节字节
ASCII码转换成Unicode在前面一个字节补0
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间
UTF-8的一个好处在于,原有的ASCII的编码可以在UTF-8下继续工作。
搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:
在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:
rw-file-utf-8
浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:
web-utf-8
所以你看到很多网页的源码上会有类似的信息,表示该网页正是用的UTF-8编码。
首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串转换成gb2312编码。
相关文章推荐
- Python动态类型的学习---引用的理解
- Python3写爬虫(四)多线程实现数据爬取
- 垃圾邮件过滤器 python简单实现
- 下载并遍历 names.txt 文件,输出长度最长的回文人名。
- Linux 与 Windows 对UNICODE 的处理方式
- install and upgrade scrapy
- Scrapy的架构介绍
- Centos6 编译安装Python
- 使用Python生成Excel格式的图片
- 让Python文件也可以当bat文件运行
- [Python]推算数独
- Python中zip()函数用法举例
- Python中map()函数浅析
- Python将excel导入到mysql中
- Python在CAM软件Genesis2000中的应用
- 使用Shiboken为C++和Qt库创建Python绑定
- FREEBASIC 编译可被python调用的dll函数示例