爬虫之urllib2库的基本使用

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在python中有很多库可以用来抓取网页。

urllib2是python2.7自带的模块（不需要下载，导入即可使用）

urllib2官方文档：https://docs.python.org/2/library/urllib2.html

urllib2源码：https://hg.python.org/cpython/file/2.7/Lib/urllib2.py

注意：urllib2在python3..x中被改为urllib.request

urlopen

python自带的模块：/usr/lib/python2.7/urllib2.py

python第三方模块：use/local/lib/python2.7/user

用urllib爬取网页。

方法一：

以下代码使用的是python 3.6版本。

方法二：

用浏览器看控制台方法：

右键选择“检查”，然后选择“network”，再刷新页面，看name和headers.

爬取页面必须写User-Agent。