Scrapy爬虫系列笔记之五:静态无验证网站的爬取以及xpath和css选择器_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。

2.2静态无验证网站的爬取

静态网站的爬取十分简单，之前已经说明了start_urls中的url会通过下载器下载，返回response到parse函数中，所以我们只需要在parse函数中对response进行操作就可以得到我们想要的内容了

方法一：XPath







方法二：css选择器

使用scrapy shell 网站地址 进行XPath以及css选择器的结果验证

从图中可以看到我们可以用的对象有很多，这里只用response



选择器选择得到title,同时转变为数组，并输出第一个选择到的结果

x

使用自己的爬虫类进行数据的获取

方法很简单，在parse函数中直接对response使用选择器，得到数据。

def parse(self,response):
title = response.xpath("//div[@class='entry-head']").extract()

以下是常见网站类型的爬取：



这种上面有几个url,然后下一页这样显示的网站

在parse函数中编码的思路是：

1.开始url为第一页的url,将几篇文书（文章或者其他数据）的链接通过选择器进行选择，得到url,提交给request进行下载,编写回馈函数进行数据处理。

2.将下一页的url得到，提交给parse函数,直到没有下一页的url。

from scrapy.http import Request
from urllib import parse
#因为需要用到scrapy的Request以及urllib进行得到域名进行拼接网址
def parse(self,response):
Article_urls = response.css(".article")
for Article_url in Article_urls:
yield Request(url=parse.urljoin(response.url,Article_url)) ,callback= self.parse_detail)
Next_url = response.css(".next")
if Next_url:
yield Request(url=parse.urljoin(response.url,Next_url,callback=self.parse))
#具体处理的函数
def parse_detail(self,response):
#具体处理得到数据的代码,就是之前的选择器得到内容

笔记一到十链接

http://blog.csdn.net/sx_csu2016sw/article/details/79284369

http://blog.csdn.net/sx_csu2016sw/article/details/79284427

http://blog.csdn.net/sx_csu2016sw/article/details/79284449

http://blog.csdn.net/sx_csu2016sw/article/details/79284469

http://blog.csdn.net/sx_csu2016sw/article/details/79284481

http://blog.csdn.net/sx_csu2016sw/article/details/79284491

http://blog.csdn.net/sx_csu2016sw/article/details/79284509

http://blog.csdn.net/sx_csu2016sw/article/details/79284525

http://blog.csdn.net/sx_csu2016sw/article/details/79284547

http://blog.csdn.net/sx_csu2016sw/article/details/79284567