Python爬虫入门(3):Urllib库的基本使用
2017-08-17 09:28
639 查看
1.分分钟扒一个网页下来
怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它 是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我 们就写个例子来扒一个网页下来。Python
1234 | import urllib2 response = urllib2.urlopen("http://www.baidu.com")print response.read() |
1 | python demo.py |
看,这个网页的已经被我们扒下来了,是不是很酸爽?
2.分析扒网页的方法
那么我们来分析这两行代码,第一行Python
1 | response = urllib2.urlopen("http://www.baidu.com") |
1 | urlopen(url, data, timeout) |
第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面。
Python
1 | print response.read() |
1 | <addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>> |
3.构造Requset
其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写Python
12345 | import urllib2 request = urllib2.Request("http://www.baidu.com")response = urllib2.urlopen(request)print response.read() |
4.POST和GET数据传送
上面的程序演示了最基本的网页抓取,不过,现在大多数网站都是动态网页,需要你动态地传递参数给它,它做出对应的响应。所以,在访问时,我们需要传递数据给它。最常见的情况是什么?对了,就是登录注册的时候呀。把数据用户名和密码传送到一个URL,然后你得到服务器处理之后的响应,这个该怎么办?下面让我来为小伙伴们揭晓吧!数据传送分为POST和GET两种方式,两种方式有什么区别呢?最重要的区别是GET方式是直接以链接形式访问,链接中包含了所有的参数,当然如果包含了密码的话是一种不安全的选择,不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数,不过如果你想直接查看提交了什么就不太方便了,大家可以酌情选择。POST方式:
上面我们说了data参数是干嘛的?对了,它就是用在这里的,我们传送的数据就是这个参数data,下面一下POST方式。Python1 2 3 4 5 6 7 8 9 | import urllib import urllib2 values = {"username":"1016903103@qq.com","password":"XXXX"} data = urllib.urlencode(values) url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request = urllib2.Request(url,data) response = urllib2.urlopen(request) response.read() |
注意上面字典的定义方式还有一种,下面的写法是等价的
Python
1234567891011 | import urllibimport urllib2 values = {}values['username'] = "1016903103@qq.com"values['password'] = "XXXX"data = urllib.urlencode(values) url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request = urllib2.Request(url,data)response = urllib2.urlopen(request)print response.read() |
GET方式:
至于GET方式我们可以直接把参数写到网址上面,直接构建一个带参数的URL出来即可。Python1 2 3 4 5 6 7 8 9 10 11 12 | import urllib import urllib2 values={} values['username'] = "1016903103@qq.com" values['password']="XXXX" data = urllib.urlencode(values) url = "http://passport.csdn.net/account/login" geturl = url + "?"+data request = urllib2.Request(geturl) response = urllib2.urlopen(request) response.read() |
Python
1 | http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX |
相关文章推荐
- Python爬虫入门(3):Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- python爬虫从入门到放弃(三)之 Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- [转载]Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门 Urllib库的基本使用
- Python爬虫入门(3):Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- python爬虫从入门到放弃(三)之 Urllib库的基本使用
- Python爬虫入门:Urllib库的基本使用
- 转 Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门(3):Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- python 网络爬虫入门-Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫教程——入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用