Python网络数据采集Urllib库的基本使用
2017-03-02 08:20
686 查看
作为一个数据科学家,从网络获取数据是必备的手段之一。今天来说一下使用Python来采集数据,虽然很多人更想叫它爬虫,但是本人更愿意叫网络数据采集。
下面说一下Python中Urllib库的基本使用。
在Python2.7中还有urllib2库,但是在Python3中,已经没有urllib2了,它们被整合到了一起成为urllib库。
先看一个简单的小栗子:
然后我们看一下GET和POST数据传送:
注意:上面的xxxx和*****请替换成自己的用户名和密码。
希望通过上面的操作能帮助大家获取一些想要的数据。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。
如果想快速联系我,欢迎关注微信公众号:AiryData。
欢迎访问原文链接,查看更多内容。
下面说一下Python中Urllib库的基本使用。
在Python2.7中还有urllib2库,但是在Python3中,已经没有urllib2了,它们被整合到了一起成为urllib库。
先看一个简单的小栗子:
#coding:utf-8 import urllib2 # 构造Request request = urllib2.Request("http://www.baidu.com") response = urllib2.urlopen(request) # read方法,可以返回获取到的网页内容 print response.read()
然后我们看一下GET和POST数据传送:
#coding:utf-8 import urllib import urllib2 #GET数据传送, values = {} values['username'] = "xxxxx@163.com" values['password'] = "********" data = urllib.urlencode(values) # 模拟登陆CSDN url = "https://passport.csdn.net/account/login" geturl = url + "?" + data request = urllib2.Request(geturl) response = urllib2.urlopen(request) print response.read() #下面是POST数据传输 #coding:utf-8 import urllib import urllib2 # POST数据传送 # values = {} # values['username'] = "xxxxxx@163.com" # values['password'] = "********" values = {"username":"xxxxxx@163.com","password":"********"} data = urllib.urlencode(values) # 模拟登陆CSDN url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request = urllib2.Request(url, data) response = urllib2.urlopen(request) print response.read()
注意:上面的xxxx和*****请替换成自己的用户名和密码。
希望通过上面的操作能帮助大家获取一些想要的数据。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。
如果想快速联系我,欢迎关注微信公众号:AiryData。
欢迎访问原文链接,查看更多内容。
Python网络数据采集Urllib库的基本使用
相关文章推荐
- python使用threading.Thread和Queue通过urllib2.urlopen抓取数据
- python数据持久存储:pickle模块的基本使用
- 在python3中使用urllib.request编写简单的网络爬虫
- Python网络数据采集学习笔记1
- Python的Urllib库的基本使用教程
- python数据持久存储:pickle模块的基本使用 分类: python python基础学习 python 小练习 2013-06-17 14:41 209人阅读 评论(0) 收藏
- python数据持久存储:pickle模块的基本使用
- 在python3中使用urllib.request编写简单的网络爬虫
- python数据持久存储:pickle模块的基本使用
- python数据持久存储:pickle模块的基本使用
- python数据持久存储:pickle模块的基本使用
- python数据持久存储:pickle模块的基本使用
- python数据持久存储:pickle模块的基本使用
- python的urllib2包基本使用方法
- Python的Urllib库的基本使用教程
- 使用Python开发的定向数据采集框架
- python 基本数据类型的使用
- Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
- python数据持久存储:pickle模块的基本使用
- python数据持久存储:pickle模块的基本使用