北京理工大学-Python网络爬虫与信息提取学习笔记01
request库方法
主要有7个方法
requests.request(method,url,**kwargs)
构造一个请求,支撑以下各方法的基础方法
method:请求方法,对应get/put/post等
r=requests.request(‘GET’,url,**kwargs)
r=requests.request(‘HEAD’,url,**kwargs)
r=requests.request(‘POST’,url,**kwargs)
r=requests.request(‘PUT’,url,**kwargs)
r=requests.request(‘PATCH’,url,**kwargs)
r=requests.request(‘delete’,url,**kwargs)
r=requests.request(‘OPTIONS’,url,**kwargs)
url:拟获取页面的url链接
**kwargs:13个控制访问的参数
params:字典或字节序列,作为参数增加到url中
data:字典、字节序列或文件对象,作为Request的内容
json:JSON格式的数据,作为Request的内容
headers:字典,HTTP定制头
cookies:字典或CookieJar,Request中的cookie
auth:元组,支持HTTP认证功能
files:字典类型,传输文件
timeout:设定超时时间,秒为单位
proxies:字典类型,设定访问代理服务器,可以增加登录认证
allow_redirects:True/False,默认为True,重定向开关
stream:True/False,默认为True,获取内容立即下载开关
verify:True/False,默认为True,认证SSL证书开关
cert:本地SSL证书路径
requests.get(url,params=None,**kwargs)
获得HTML网页的主要方法,对应于HTTP的GET
url:拟获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:request中除了params的12个控制访问的参数
构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象
Response对象包含爬虫返回的内容
Response对象的属性
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP相应内容的字符串形式,即,url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
如果header中不存在charset,则认为编码为ISO-8859-1(但不能解析中文)
r.apparent_encod 从内容中分析出的响应内容编码方式(备选编码方式),比前者更为准确
r.content HTTP相应内容的二进制形式
requests.head(url,**kwargs)
获得HTML网页头信息的方法,对应于HTTP的HEAD
url:拟获取页面的url链接
**kwargs:13个控制访问的参数
requests.post(url,data=None,json=None,**kwargs)
向HTML网页提交POST请求的方法,对应于HTTP的POST
url:拟提交页面的url链接
data:字典、字节序列或文件对象,作为Request的内容
json:JSON格式的数据,作为Request的内容
**kwargs:11个控制访问的参数
requests.put(url,data=None,**kwargs)
向HTML网页提交PUT请求的方法,对应于HTTP的PUT
url:拟更新页面的url链接
data:字典、字节序列或文件对象,作为Request的内容
**kwargs:12个控制访问的参数
requests.patch(url,data=None,**kwargs)
向HTML网页的提交局部修改请求,对应于HTTP的 PATCH
url:拟更新页面的url链接
data:字典、字节序列或文件对象,作为Request的内容
**kwargs:12个控制访问的参数
requests.delete(url,**kwargs)
向HTML页面提交删除请求,对应于HTTP的DELETE
url:拟删除页面的url链接
**kwargs:13个控制访问的参数
Requests库的异常
requests.ConnectionError() 网络连接错误异常,如dns查询失败、拒绝连接等
requests.HTTPError() HTTP错误异常
requests.URLRequired() URL缺失异常
requests.TooManyRedirects() 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout() 连接远程服务器超时异常
requests.Timeout() 请求URL超市,产生超时异常
r.raise_for_status() 如果不是200,产生异常requests.HTTPError
HTTP协议
HTTP,Hypertext Transfer Protocol,超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
HTTP一般采用URL作为定位网络资源的标识
URL格式 http://host.[:port][path]
host:合法的Internet主机域名或IP地址
port:端口号,缺省端口为80
path:请求资源的路径
HTTP URL的理解:URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源
HTTP协议对资源的操作
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应信息后,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源,覆盖原URL位置的资源
PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源
HTTP协议方法与Requests库方法功能一致
cest
import requests r=requests.get("http://www.baidu.com") print(r.status_code) #200 #print(type(r)) #print(r.headers) print(r.text) #有乱码 #<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产å“</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å ³äºŽç™¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度å‰å¿ 读</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>æ„è§å馈</a> 京ICPè¯030173å· <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html> print(r.encoding) #ISO-8859-1 print(r.apparent_encoding) #utf-8 r.encoding='utf-8' print(r.text) #输出中文字符 #<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下,你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html> kv={'key1':'value1','key2':'value1'} r=requests.request('GET','http://python123.io/ws',params=kv) print(r.url) #https://python123.io/ws?key1=value1&key2=value1
通用框架
import requests def getHTMText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200,引发HTTPError异常 r.encoding=r.apparent_encoding return r.text except: return "产生异常" #通用方法 if __name__=="__main__": #注意下划线是敲击两次不是一次_ url="http://www.baidu.com" print(getHTMText(url)) ur2="www.baidu.com" print(getHTMText(ur2))
ps:学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce
- 点赞
- 收藏
- 分享
- 文章举报
- Python网络爬虫与信息提取(北京理工大学慕课)学习笔记4
- 北京理工大学-Python网络爬虫与信息提取学习笔记06
- Python网络爬虫与信息提取(北京理工大学慕课)学习笔记1
- Python网络爬虫与信息提取(北京理工大学慕课)学习笔记2
- 北京理工大学-Python网络爬虫与信息提取学习笔记07
- 北京理工大学-Python网络爬虫与信息提取学习笔记08
- 北京理工大学-Python网络爬虫与信息提取学习笔记02
- 北京理工大学-Python网络爬虫与信息提取学习笔记10
- 北京理工大学-Python网络爬虫与信息提取学习笔记04
- 【python爬虫学习笔记】01 python网络爬虫与信息提取
- 北京理工大学-Python网络爬虫与信息提取学习笔记05
- 北京理工大学-Python网络爬虫与信息提取学习笔记09
- 北京理工大学-Python网络爬虫与信息提取学习笔记03
- python学习笔记——提取网页中的信息正则表达式re
- Python学习笔记-网络爬虫(二、提取)
- 【MOOC】Python网络爬虫与信息提取-北京理工大学-part 3
- 学习笔记(01):清华-尹成老师-Python爬虫day2-1response网络详细信息
- 学习笔记(01):21天搞定分布式Python网络爬虫-xpath-在lxml中使用xpath语法
- 【MOOC】Python网络爬虫与信息提取-北京理工大学-part 2
- j记录学习--python网络爬虫与信息提取