您的位置:首页 > 编程语言 > Python开发

一图看懂 Python 2 \/ Python 3 编码 | CSDN 博文精选

2019-10-31 18:48 1316 查看


者 | 天元浪子

责编 | 刘静
出品 | CSDN博客
无论是PY2还是PY3,都使用Unicode作为内存编码,简称内码。保存在Python解释器内存中的文本,输出到屏幕、编辑器,或者保存成文件的时候,都要将内码转换成UTF8或者GBK等编码格式;同样,Python解释器从输入设备接收文本,或者从文件读取文本的时候,都要将UTF8或者GBK等编码转换成Unicode编码格式。因此,无论是PY2还是PY3,想要在Unicode、UTF8GBK等编码格式之间转换的话,下图是通用的:

我们之所以会产生困惑,是因为PY2和PY3给这些编码格式指定了令人困惑的名字。PY2的字符串有两种类型:Unicode类型和str类型。PY2的Unicode类型就是Unicode编码,PY2的str类型泛指除Unicode编码之外的所有编码,包括ASCII编码、UTF8编码、GBK编码、cp936编码等。PY3的字符串也有两种类型:bytes类型和str类型。PY3的str类型就是Unicode编码,PY3的bytes类型泛指除unicode编码之外的所有编码,包括ASCII编码、UTF8编码、GBK编码、CP936编码等。同样是str类型,在PY2和PY3中完全颠倒了!下图稍微补充了一点内容,更有助于理解编码问题。

接下来,我们实战演练一下。

>>> s = 'abc天圆地方'
>>> type(s)
<class 'str'>
>>> len(s)
7
>>> s
'abc天圆地方'
>>> print(s)
abc天圆地方
>>> s.encode('unicode-escape')
b'abc\\u5929\\u5706\\u5730\\u65b9'
不管是否在字符串前面加了u,只要不在字符串前面使用b,在IDLE中定义的字符串都是Unicode编码,也就是PY3的<class ‘str’>,其长度就是字符数量,不是字节数。我们把Unicode字符串’abc天圆地方’转成UTF8编码:
>>> s_utf8 = s.encode('utf8')
>>> type(s_utf8)
<class 'bytes'>
>>> len(s_utf8)
15
>>> s_utf8
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> print(s_utf8)
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> s_utf8.decode('utf8')
'abc天圆地方'

UTF8编码就是bytes类型(字节码),长度就是字节数量。我们把Unicode字符串’abc天圆地方’转成GBK编码:

>>> s_gbk= s.encode('gbk')
>>> type(s_gbk)
<class 'bytes'>
>>> len(s_gbk)
11
>>> s_gbk
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> print(s_gbk)
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> s_gbk.decode('s_gbk')
'abc天圆地方'

GBK编码也是bytes类型(字节码),长度也是字节数量。我们再来看看,不同编码的字节码能否连接:

>>> ss = s_utf8 + s_gbk
>>> ss
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> ss.decode('utf8')
Traceback (most recent call last):
  File "<pyshell#64>", line 1in <module>
    ss.decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 18: invalid continuation byte
>>> ss.decode('
gbk')
'
abc澶╁渾鍦版柟abc天圆地方'
>>> ss.decode('
utf8', 'ignore')
'
abc天圆地方abcԲط'
>>> ss.decode('
gbk', 'ignore')
'
abc澶╁渾鍦版柟abc天圆地方'

看以看出,不同编码的字节码可以连接,但一般不能解码成Unicode(字符串),除非使用ignore参数。

版权声明:本文为CSDN博主「天元浪子」的原创文章。
想为博主点赞?
想要请教博主?
扫描下方二维码,快速获取与博主直面沟通的方式吧!

【END】

 热 文 推 荐 

5G 比 4G 快,不只是因为......

抖音回应视频泄露:草稿不会上传后台;苹果开卖5000元印度版iPhone XR;Jboot 2.2.5发布|极客头条

“Jupyter的杀手”:Netflix发布新开发工具Polynote

被曝自研 5G 关键芯片 PA?华为未回应

最近程序员频繁被抓,如何避免面向监狱编程?!

Wi-Fi 6到底有什么特别?

20 行 Python 代码说清量子霸权!

点击阅读原文参与问卷,好礼送不停!

你点的每个“在看”,我都认真当成了喜欢
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: