python网络爬虫实战--重点整理

第四章--python爬虫常用模块

urllib2.urlopen(url,timeout)请求返回响应，timeout是超时时间设置

#! python2.7
#-*- coding:utf-8 -*-

import urllib2

def linkBaidu():
url='http://www.baidu.com'
try:
response=urllib2.urlopen(url,timeout=4)
except urllib2.URLError:
print("网络地址错误")
exit()
with open('baiduResponse.txt','w') as fp:   #写入文档
fp.write(response.read())
print(response.geturl())    #获取url信息
print(response.getcode())  #返回状态码
print(response.info())  #返回信息

if __name__=='__main__':
linkBaidu()

使用代理服务器来访问url
有免费的代理服务器，但是使用urlopen的使用很容易出现<urlopen error timed out>，所以需要循环调用urlopen()。

#-*-coding:utf-8 -*-
'''
测试代理proxy是否有效
'''
import urllib2,re

class TestProxy():
def __init__(self,proxy):
self.proxy=proxy
self.checkProxyFormat(self.proxy)
self.url='http://www.baidu.com'
self.timeout=4
self.keyword='百度'    #在网页返回的数据中查找这个词
self.useProxy(proxy)

def checkProxyFormat(self,proxy):
try:
match=re.compile(r'^http[s]?://[\d]{1,3}.[\d]{1,3}.[\d]{1,3}.[\d]{1,3}:[\d]{1,5}$')
match.search(proxy).group()
except AttributeError:
print("你输入的代理地址格式不正确")
exit()
flag=1
proxy=proxy.replace('//','')
try:
protocol=proxy.split(':')[0]
ip=proxy.split(':')[1]
port=proxy.split(':')[2]
except IndexError:
print('下标出界')
exit()
flag=flag and ip.split('.')[0] in map(str,xrange(1,256))   #map对每个数应用到str函数
flag=flag and ip.split('.')[1] in map(str,xrange(256))
flag=flag and ip.split('.')[2] in map(str,xrange(256))
flag=flag and ip.split('.')[3] in map(str,xrange(1,255))
flag=flag and protocol in ['http','https']
flag=flag and port in map(str,xrange(1,65535))
if flag:
print('输入的http代理服务器符合标准')
else:
exit()

def useProxy(self,proxy):
protocol=proxy.split('//')[0].replace(':','')
ip=proxy.split('//')[1]
print(protocol,ip)
'''
build_opener ()返回的对象具有open()方法，与urlopen()函数的功能相同，
install_opener 用来创建（全局）默认opener。这个表示调用urlopen将使用你安装的opener
'''
opener=urllib2.build_opener(urllib2.ProxyHandler({protocol:ip}))  #protocol:http ip:163.125.68.237:8888
urllib2.install_opener(opener)
for i in range(10):
try:
response=urllib2.urlopen(self.url,timeout=5)
break
except Exception as e:
print(e)
str=response.read()
if re.search(self.keyword,str):
print("已提取特征词，该代理可用")
else:
print('该代理不可用')

if __name__=='__main__':
proxy=r'http://163.125.68.237:8888'
TestProxy(proxy)

修改header
网站是通过浏览器发送过来的User-Agent的值来确认浏览器的身份的，所以可能有些网站不允许被程序访问，所以我们发送请求时需要修改User-Agent欺骗网站，利用add_header()可以添加头部。同一网站会给不同的浏览器访问不同的内容。
下面程序是用IE和手机版的UC访问有道翻译。

#-*-coding:utf-8 -*-
import userAgents
import urllib2

class ModifyHeader():
def __init__(self):
piua=userAgents.pcUserAgent.get('IE 9.0')
muua=userAgents.mobileUserAgent.get('UC standard')
print('piua: '+piua)
self.url='http://fanyi.youdao.com'
self.userAgent(piua,1)
self.userAgent(muua,2)

def userAgent(self,agent,name):
request=urllib2.Request(self.url)
request.add_header(agent.split(':')[0],agent.split(':')[1])

response=urllib2.urlopen(request)
filename=str(name)+'.html'
with open(filename,'w') as fp:
fp.write('%s\n\n'%agent)
fp.write(response.read())

if __name__=='__main__':
ModifyHeader()

getpass.getuser()

返回当前用户名。这个函数会按顺序检查环境变量LOGNAME, USER, LNAME和USERNAME。返回第一个非空的值。如果检查不到非空的值，模块会尝试导入pwd模块，如果系统支持pwd模块，会返回通过pwd模块获取的用户名，否则报错。

re模块
\A：仅匹配字符串开头，如\Aabc
\Z：仅匹配字符串结尾，如abc\Z