Python 爬虫学习笔记一： requests 模块

Python 爬虫学习笔记一： requests 模块

[转]Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。

1. request 首页 ： http://www.python-requests.org/en/master/

2. requests 安装过程 安装好之后，启动Python3.5.4 Shell ,

3. requests Quick Start

这个quick start 写的很详细， 基本就可以知道基本的request语法，另外通过 “Requests 安装过程”的链接， 可以得到很多其他详细信息

写一个简单的程序爬取某网站的信息，

首先应该先确定想要搜索的条件：



通过观察URL， 如果单纯的勾选， 则从上到下的URL增添依次为：

p21 , p22, p23….p27,b300to500 (100 是最低价，500是最高价)

a1,a2,a3…m80to100

l1,l2,l3 ….

f1,f2,f3,f4,f10

y1,y2,y3,y4,y5

c1,c2,c3

u2,u3

x1,x2,x3,x4,x5

o1,o3,o4

zcl1,zcl2,zcl3,zcl4

t1,t5,v2,v4

fg1,fg3,fg5,fg6,fg7,fg8,fg9

如果每项都选中的话，按照字母顺序排序。

通过爬取的内容观察，我感兴趣的信息全部保存在

<span class="info-col">

中，主要拉取这些信息就足够了。

<div class="info-table">
<div class="info-row">
<span class="info-col row1-text">
<svg><use xlink:href="#icon-house"></use></svg>
2室1厅 | 72.49平

| 中区/6层

| 朝南北

</span>
<div class="info-col price-item main">
<span class="total-price strong-num">300</span>
<span class="unit">万</span>
</div>
</div>
<div class="info-row">
<span class="info-col row2-text">
<svg><use xlink:href="#icon-map"></use></svg>
<a class="laisuzhou" target="_blank" href="/xiaoqu/5011000010872.html"><span title="水语人家">水语人家</span></a> |
<a href="/ershoufang/minhang/">闵行</a> |
<a href="/ershoufang/pujiang1/">浦江</a>

| 2010年建

</span>
<span class="info-col price-item minor">
单价41385元/平
</span>
</div>
</div>