PYTHON爬虫学习——urllib库之Debuglog与URLError实战练习

算是补前段时间学习爬虫的坑吧，这几天捡回来发现好多东西都忘了，所以写写记录下来，主要是跟着《精通PYTHON网络爬虫》这本书来学习

版本：PYTHON 3.5.2

工具：Spyder 

代码如下：

import urllib.request

import urllib.parse

import urllib.error

httpsn=urllib.request.HTTPHandler(debuglevel=1)

httphn=urllib.request.HTTPSHandler(debuglevel=1)

opener=urllib.request.build_opener(httpsn,httphn)

urllib.request.install_opener(opener)

url='https://nba.hupu.com/'

rep=urllib.request.Request(url)

rep.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')

try:

data=urllib.request.urlopen(rep).read()

except urllib.error.URLError as e:

if hasattr(e,'code'):

print(e.code)

if hasattr(e,'reason' ):

print(e.reason)   



with open(r'C:\Users\10357\Desktop\3.html','wb')as file:

    file.write(data)

print("finished!")

1）.先分别使用urllib.request.HTTPHandler和[b]urllib.request.HTTPSHandler，并且将debuglevel设置为1.[/b]

2）之后使用urllib.request.build_opener创建出自定义的opener对象，将1）中内容设定为参数，接着用urllib.request.install_opener创建全局默认的opener对象，因此我们可以在使用urlopen时也可以使用我们自己安装的opener对象

3）接着使用[b]urllib.request.Request来读取url信息，用add_header添加对应的浏览器头部信息[/b]

[b]4）然后使用URLError进行异常处理：先做一个判断，如果有e.code则输出对应信息，没有则自动忽略。e.reason()同理。并且使用hasattr（）来判断是否有这些属性[/b]

[b]5）最后将爬取到的虎扑篮球网页保存到桌面，输出finished！[/b]



[b]心得：感觉urllib库中比较关键的地方就是url.request.build——opener（）和add_header（）这俩部分吧，前者可以修改报头，后者可以实现对应的浏览器模拟，减少被网站反爬的可能性。debuglog则是可以让我们实时观察到运行日志；try..except是经常用来进行异常处理，配合URLError，可以及时发现爬虫中出现的与url有关的异常，非常的好用。[/b]

更高级点的内容之后慢慢补吧。。