Python网络爬虫学习笔记（第一周）

Pyhon网络爬虫学习

Request库入门

安装方法

pip install requests

7个主要方法

.request()

.get()

.head()

.post()

.put()

.patch()

.delete()

Requests异常

1. ConnectionError  网络连接异常
2. HTTPError        http协议上错
3. URLRequired      url缺失造成的异常
4. TooManyRedirects 超出最大重定向次数（爬复杂网站可能会碰到）
5. ConnectTimeout   连接远程服务器超时（仅仅是与远程服务器连接过程超时）
6. Timeout          请求url超时(从发起请求到获得内容的时间超出预定时间)

r.raise_for_status()

Response对象

r = requests.get("http://www.baidu.com")
>>> type(r)         #显示r的类型为Response对象

>>> r.status_code       #返回状态码，200代表访问成功，404代表失败
>>> r.headers           #显示网页头部信息
>>> r.text              #打印url对应的页面内容（字符串形式）
>>> r.encoding          #从页面的header中charset字段获取的编码方式
>>> r.apparent_encoding #页面编码方式（从内容中分析出的编码方式）
>>> r.content           #页面相应内容的二进制形式

r.encoding = r.apparent_encoding

爬虫代码框架

import requests

def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()    #如果状态码不是200,产生HttpError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "ERROR"

if __name__ == "__main__":
url = "http://www.baidu.com"
print(getHTMLText(url))

HTTP协议

http://host[:port][path]

HTTP对资源的6种操作

GET

HEAD

POST

PUT

PATCH

DELETE

request()

requests.request(method,url,**kwargs)

13个控制访问参数

fs = {'file':open('data.xls','rb')}
r = requests.request('POST','http://www.baidu.com',files=fs)

get()

r = requests.get(url)

requests.get(url,params=None,**kwargs)

head()

requests.head(url,**kwargs)

post()

requests.post(url,data=None,json=None,**kwargs)

put()

patch()

delete()

网络爬虫的“盗亦有道”

　网络爬虫的尺寸

Robots协议

User-agent: *       #*代表所有
d827

Disallow: /         #/代表根目录

本周实例

京东商品爬取

import requests
url = "https://item.jd.com/5327260.html?utm_source=kong&utm_medium=zssc&utm_campaign=t_1000027280_85&utm_term=1410a462-637a-41ac-8af2-8bfcdc2a31ff-p_1999-pr_249-at_85&jd_pop=1410a462-637a-41ac-8af2-8bfcdc2a31ff&abt=0"
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text)
except:
print("ERROR")

亚马逊商品爬取

import requests
url = "https://www.amazon.cn/dp/B07524LHMT/ref=cngwdyfloorv2_recs_0/461-5225947-5332108?pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-2&pf_rd_r=QV7CXXJ1V0N1QT70KV7N&pf_rd_r=QV7CXXJ1V0N1QT70KV7N&pf_rd_t=36701&pf_rd_p=19fc3fc8-b320-45dc-a7e8-b4ecd543eea8&pf_rd_p=19fc3fc8-b320-45dc-a7e8-b4ecd543eea8&pf_rd_i=desktop"
try:
kv = {'user-agent':'Mozilla/5.0'}   #Mozilla是一个标准的浏览器
r = requests.get(url,headers=kv)    #更改头文件的user-agent字段
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print("ERROR")

百度/360搜索关键字提交

http://www.baidu.com/s?wd=keyword

http://www.so.com/s?q=keyword

import requests
keyword = "Python"
try:
kv = {'wd':keyword}     #构造关键词键值对
r = requests.get("http://www.baidu.com/s",params=kv)
print(r.request.url)    #打印url地址
r.raise_for_status()
print(len(r.text))
except:
print("ERROR")

网络图片的爬取和存储