Python3中urllib的UnicodeDecodeError错误
2015-12-12 23:47
996 查看
在用Python3抓取最简单的网页内容时,出现了这个错误:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
源代码如下:
fp = urllib.request.urlopen(url)
mybytes = fp.read()
text = mybytes.decode('utf8')
fp.close()
print(text)(1)一开始以为是编码不对,不是utf-8,但试了gb2312和gbk都不行,而且对抓取的网页抓包可以看到确实是utf-8编码,所以排除编码问题
(2)那么可能是代码问题?第一次用urllib这个库,难免出错,但是换了一个同样是utf-8编码的网页url抓取,可以正常运行!所以也排除代码问题。
接下来百度了半天,没有一个找到有用的线索。于是转向不经常用的Google,还是Google大神好,第一条就出现了答案:
原来是抓到的数据被压缩了,并不是字符集编码的问题,使用zlib库进行解压缩即可,做如下修改:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
源代码如下:
fp = urllib.request.urlopen(url)
mybytes = fp.read()
text = mybytes.decode('utf8')
fp.close()
print(text)(1)一开始以为是编码不对,不是utf-8,但试了gb2312和gbk都不行,而且对抓取的网页抓包可以看到确实是utf-8编码,所以排除编码问题
(2)那么可能是代码问题?第一次用urllib这个库,难免出错,但是换了一个同样是utf-8编码的网页url抓取,可以正常运行!所以也排除代码问题。
接下来百度了半天,没有一个找到有用的线索。于是转向不经常用的Google,还是Google大神好,第一条就出现了答案:
Change python byte type to string
原来是抓到的数据被压缩了,并不是字符集编码的问题,使用zlib库进行解压缩即可,做如下修改:import zlib fp = urllib.request.urlopen(url) mybytes = fp.read() decompressed_data = zlib.decompress(mybytes ,16+zlib.MAX_WBITS) text = decompressed_data.decode('utf8') fp.close() print(text)
相关文章推荐
- Python学习笔记-5(Socket、SQLite)
- python 编码与解码 decode解码 encode 编码
- [Python标准库]re——正则表达式[二]
- python字典循环小点
- Python模块学习系列(5)----numy(矩阵部分)
- Python——模块(2)
- 《python爬虫实战》:模拟登陆
- 数论及Python实践
- Python学习(一)变量
- Python中常见的数据类型小结
- Python访问sqlite3数据库取得dictionary的正路!
- python的文件操作
- 第一个python 小程序
- python-threading
- Python Split函数的用法总结
- 《用Python玩转数据》Week5, Part 2
- Python中数字以及算数运算符的相关使用
- windows安装python出现A program run as part of the setup did not finish as expected 的解决办法
- 2015/12/12 考了PAT,又回来玩Python了。
- Python 的import机制