您的位置:首页 > 编程语言 > Python开发

使用python标准库urllib2访问网页

2014-05-20 12:42 330 查看
#访问不需要登录的网页
import urllib2
target_page_url='http://10.224.110.118/myweb/view.jsp'
f = urllib2.urlopen(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
successful= httpCodes in [200,201,202]
#print(responseStr)

######访问需要登录的网页
#步骤1. 创建一个带有cookie的opener
#步骤2. 提供用户/密码, 用这个opener访问登录action url. # 因为触发了login_action, web 服务器端就会为这个用户初始化session
#步骤3. 还是使用这个opener访问目标网页.
import urllib, urllib2, cookielib
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'employeeNo' : 'abcd', 'password' : 'xxxx'})
login_action_url='http://10.224.110.118/myweb/userlogin'
f=opener.open(login_action_url, login_data)
#responseStr = f.read()
target_page_url='http://10.224.110.118/myweb/index.jsp'
f=opener.open(target_page_url)
httpCodes=f.getcode()
responseStr = f.read()
f.close()
opener.close()
successful= httpCodes in [200,201,202]
#print(responseStr)

上面是使用urllib2的示例, 初步看了一下requests包, session(对于客户端来讲, 即cookie)可使用上下文方式来写, 更直观一些.
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: