scrapy学习--内置Spiders简介

有段时间没有学习Scrapy了，工作很紧所以时间大部分都投入到了android的学习上了。

今天有点时间继续学习Scrapy，接上一篇scrapy学习--Spiders继续学习内置Spiders。

1.XMLFeedSpider

XMLFeedSpider被设计用于通过迭代各个节点来分析XML源(XML feed)。迭代器可以从iternodes、xml、html选择。

鉴于xml和html迭代器需要先读取所有的DOM再进行分析而引起的性能问题，一般推荐使用iternodes。

2.CSVFeedSpider

该spider除了其按行遍历而不是节点之外其他和XMLFeedSpider十分类似。而其在每次迭代时调用的是

parse_row()

。

3.SitemapSpider

SitemapSpider使您爬取网站时可以通过
Sitemaps 来发现爬取的URL。

其支持嵌套的sitemap，并能从
robots.txt 中获取sitemap的url。

每种内置Spider都与基本的Spider用法类似，只是针对不同方面的问题进行了封装，在使用的时候直接继承就可以使用。

具体的详情参考官网相关手册http://doc.scrapy.org/en/latest/topics/spiders.html