使用python标准库urllib2访问网页
2014-05-20 12:42
330 查看
#访问不需要登录的网页
import urllib2
target_page_url='http://10.224.110.118/myweb/view.jsp'
f = urllib2.urlopen(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
successful= httpCodes in [200,201,202]
#print(responseStr)
######访问需要登录的网页
#步骤1. 创建一个带有cookie的opener
#步骤2. 提供用户/密码, 用这个opener访问登录action url. # 因为触发了login_action, web 服务器端就会为这个用户初始化session
#步骤3. 还是使用这个opener访问目标网页.
import urllib, urllib2, cookielib
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'employeeNo' : 'abcd', 'password' : 'xxxx'})
login_action_url='http://10.224.110.118/myweb/userlogin'
f=opener.open(login_action_url, login_data)
#responseStr = f.read()
target_page_url='http://10.224.110.118/myweb/index.jsp'
f=opener.open(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
opener.close()
successful= httpCodes in [200,201,202]
#print(responseStr)
上面是使用urllib2的示例, 初步看了一下requests包, session(对于客户端来讲, 即cookie)可使用上下文方式来写, 更直观一些.
import urllib2
target_page_url='http://10.224.110.118/myweb/view.jsp'
f = urllib2.urlopen(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
successful= httpCodes in [200,201,202]
#print(responseStr)
######访问需要登录的网页
#步骤1. 创建一个带有cookie的opener
#步骤2. 提供用户/密码, 用这个opener访问登录action url. # 因为触发了login_action, web 服务器端就会为这个用户初始化session
#步骤3. 还是使用这个opener访问目标网页.
import urllib, urllib2, cookielib
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'employeeNo' : 'abcd', 'password' : 'xxxx'})
login_action_url='http://10.224.110.118/myweb/userlogin'
f=opener.open(login_action_url, login_data)
#responseStr = f.read()
target_page_url='http://10.224.110.118/myweb/index.jsp'
f=opener.open(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
opener.close()
successful= httpCodes in [200,201,202]
#print(responseStr)
上面是使用urllib2的示例, 初步看了一下requests包, session(对于客户端来讲, 即cookie)可使用上下文方式来写, 更直观一些.
相关文章推荐
- 使用Python访问并下载网页内容
- 使用Python访问并下载网页内容
- python 使用 mechanize 模拟浏览器访问网页
- 使用python找出nginx访问日志中访问次数最多的10个ip排序生成网页
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- python爬虫之使用urllib2组件抓取网页内容
- python 使用 mechanize 模拟浏览器访问网页
- python使用urllib2抓取网页
- python 标准库urllib2的使用细节
- 零基础写python爬虫之使用urllib2组件抓取网页内容
- Python爬虫urllib2笔记(三)之使用正则表达式提取百度贴吧网页中的楼主发的图片
- 使用python访问网页
- python]用urllib2设置代理访问网页
- python使用urllib2抓取网页
- 【转】python使用urllib2抓取网页
- 使用Python访问并下载网页内容
- Python3中使用代理访问网页
- Python3使用urllib访问网页
- 【翻译】Python如何使用urllib2获取网络资源
- [Python系列实用教程]一、Python如何使用urllib2获取网络资源