Python网页抓取、模拟登录
2012-02-07 12:47
561 查看
From: http://www.cnblogs.com/bboy/archive/2010/10/29/1864537.html
用python抓取网页是非常简单的事,简单的几行代码就可以解决。。。这里稍微记录一下
需要引用的包有主要是 urllib2,urllib也可以引入,具体 看代码
#-------------------------------------------------------------------------------
# Name: 模拟登录web
# Purpose:
#
# Author: huwei
#
# Created: 26/10/2010
# Copyright: (c) huwei 2010
# Licence: <your licence>
#-------------------------------------------------------------------------------
#!/usr/bin/env python
import time,urllib2,urllib
def main():
#登录博客园
loginCNblogs()
pass
#登录博客园
def loginCNblogs():
try:
#设置 cookie
cookies = urllib2.HTTPCookieProcessor()
opener = urllib2.build_opener(cookies)
urllib2.install_opener(opener)
parms = {"tbUserName":"用户名","tbPassword":"密码","__EVENTTARGET":"btnLogin","__EVENTARGUMENT":"",
"__VIEWSTATE":"/wEPDwULLTExMDE0MzIzNDRkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYBBQtjaGtSZW1lbWJlcmcJekJlt5rFwfnjeMMnX9V58Xhg",
"__EVENTVALIDATION":"/wEWBQKit6iCDALyj/OQAgK3jsrkBALR55GJDgKC3IeGDK6TQlRlirS2Zja1Lmeh02u4XMwV",
"txtReturnUrl":"http://bboy.cnblogs.com"}
loginUrl = "http://passport.cnblogs.com/login.aspx"
login = urllib2.urlopen(loginUrl,urllib.urlencode(parms))
#print(unicode(login.read(),"utf8"))
#显示配置页面
avatar = urllib2.urlopen("http://home.cnblogs.com/set/avatar/")
#print(avatar.read().decode("utf8"))
except Exception,e:
print(e)
pass
if __name__ == '__main__':
main()
获取 网页很简单 直接 urllib2.urlopen(url).read() 就可以得到网页源码
这里是抓取登录后的页面,所有开头需要设置cookie
cookies = urllib2.HTTPCookieProcessor()
opener = urllib2.build_opener(cookies)
urllib2.install_opener(opener)
设置完 cookie以后 再使用 urllib2.urlopen()方法就可以带上你登录成功的cookie了
用python抓取网页是非常简单的事,简单的几行代码就可以解决。。。这里稍微记录一下
需要引用的包有主要是 urllib2,urllib也可以引入,具体 看代码
#-------------------------------------------------------------------------------
# Name: 模拟登录web
# Purpose:
#
# Author: huwei
#
# Created: 26/10/2010
# Copyright: (c) huwei 2010
# Licence: <your licence>
#-------------------------------------------------------------------------------
#!/usr/bin/env python
import time,urllib2,urllib
def main():
#登录博客园
loginCNblogs()
pass
#登录博客园
def loginCNblogs():
try:
#设置 cookie
cookies = urllib2.HTTPCookieProcessor()
opener = urllib2.build_opener(cookies)
urllib2.install_opener(opener)
parms = {"tbUserName":"用户名","tbPassword":"密码","__EVENTTARGET":"btnLogin","__EVENTARGUMENT":"",
"__VIEWSTATE":"/wEPDwULLTExMDE0MzIzNDRkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYBBQtjaGtSZW1lbWJlcmcJekJlt5rFwfnjeMMnX9V58Xhg",
"__EVENTVALIDATION":"/wEWBQKit6iCDALyj/OQAgK3jsrkBALR55GJDgKC3IeGDK6TQlRlirS2Zja1Lmeh02u4XMwV",
"txtReturnUrl":"http://bboy.cnblogs.com"}
loginUrl = "http://passport.cnblogs.com/login.aspx"
login = urllib2.urlopen(loginUrl,urllib.urlencode(parms))
#print(unicode(login.read(),"utf8"))
#显示配置页面
avatar = urllib2.urlopen("http://home.cnblogs.com/set/avatar/")
#print(avatar.read().decode("utf8"))
except Exception,e:
print(e)
pass
if __name__ == '__main__':
main()
获取 网页很简单 直接 urllib2.urlopen(url).read() 就可以得到网页源码
这里是抓取登录后的页面,所有开头需要设置cookie
cookies = urllib2.HTTPCookieProcessor()
opener = urllib2.build_opener(cookies)
urllib2.install_opener(opener)
设置完 cookie以后 再使用 urllib2.urlopen()方法就可以带上你登录成功的cookie了
相关文章推荐
- Python网页抓取、模拟登录
- 用Python模拟登录正方教务系统并抓取初始网页的一些个人笔记
- Python网页抓取、模拟登录
- Python网页抓取、模拟登录
- (转)用python实现抓取网页、模拟登陆
- 【详解】Python模拟登录b站并抓取信息【教程续】
- (转)Python-详解抓取网站,模拟登陆,抓取动态网页的原理和实现
- 用python模拟一个文本浏览器来抓取网页
- Python项目模拟登录学校正方教务系统抓取课程表。
- 函数:将网页提取的cookie转换成python用来模拟登录的cookie
- 如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站
- python采用requests库模拟登录和抓取数据的简单示例
- 如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站
- Python爬虫数据存储MySQL【2】模拟登录网页
- 用python写了一个简单的模拟浏览器抓取网页的库webclient
- 黄聪:python访问抓取网页常用命令(保存图片到本地、模拟POST、GET、中文编码问题)
- 详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)
- python爬虫:不需要登录静态网页抓取
- python 用urllib2抓取网页和发布(登录或发布文章)的基本操作
- 如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站