开源网络爬虫介绍及其比较

开源网络爬虫介绍及其比较
2010-06-03 0:22

Nutch

开发语言：Java http://lucene.apache.org/nutch/ 简介：

Apache的子项目之一，属于Lucene项目下的子项目。
Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。

Larbin

开发语言：C++ http://larbin.sourceforge.net/index-eng.html 简介

　　larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人
Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
　　Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情
larbin也不提供。
　　latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取５００万的网页，非常高效。

Heritrix

开发语言：Java
http://crawler.archive.org/
简介

与Nutch比较
和 Nutch。二者均为Java开源框架，Heritrix
是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（
Web Crawler），它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。
Heritrix
是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。
二者的差异：

Nutch
只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌

Nutch
可以修剪内容，或者对内容格式进行转换。
Nutch
保存内容为数据库优化格式便于以后索引；刷新替换旧的内容。而Heritrix
是添加(追加)新的内容。

Nutch
从命令行运行、控制。Heritrix
有 Web 控制管理界面。

Nutch
的定制能力不够强，不过现在已经有了一定改进。Heritrix
可控制的参数更多。
Heritrix提供的功能没有nutch多，有点整站下载的味道。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。
Heritrix的功能强大
但是配置起来却有点麻烦。

其他网络爬虫介绍：

WebLech

WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

http://weblech.sourceforge.net/

Arale

Arale主要为个人使用而设计，而没有像其它爬虫一样是关注于页面索引。Arale能够下载整个web站点或来自web站点的某些资源。Arale还能够把动态页面映射成静态页面。

http://web.tiscali.it/_flat/arale.jsp.html

J-Spider

J-Spider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查，分析网站的结构(可创建一个网站地图),下载整个Web站点，你还可以写一个JSpider插件来扩展你所需要的功能。

http://j-spider.sourceforge.net/

spindle

spindle 是一个构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创建索引的HTTP
spider和一个用于搜索这些索引的搜索类。spindle项目提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。

http://www.bitmechanic.com/projects/spindle/

Arachnid

Arachnid: 是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web
spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。

http://arachnid.sourceforge.net/

LARM

LARM能够为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫。

http://larm.sourceforge.net/

JoBo

JoBo 是一个用于下载整个Web站点的简单工具。它本质是一个Web Spider。与其它下载工具相比较它的主要优势是能够自动填充form(如：自动登录)和使用cookies来处理session。JoBo还有灵活的下载规则(如：通过网页的URL，大小，MIME类型等)来限制下载。

http://www.matuschek.net/software/jobo/index.html

snoics-reptile


snoics -reptile是用纯Java开发的，用来进行网站镜像抓取的工具，可以使用配制文件中提供的URL入口，把这个网站所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地，包括网页和各种类型的文件，如：图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至硬盘内，并能保持原有的网站结构精确不变。只需要把抓取下来的网站放到web服务器(如：Apache)中，就可以实现完整的网站镜像。

http://www.blogjava.net/snoics

Web-Harvest


Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。

http://web-harvest.sourceforge.net

spiderpy

spiderpy是一个基于Python编码的一个开源web爬虫工具，允许用户收集文件和搜索网站，并有一个可配置的界面。

http://pyspider.sourceforge.net/

The Spider Web Network Xoops Mod Team


pider Web Network Xoops Mod是一个Xoops下的模块，完全由PHP语言实现。

http://www.tswn.com/

HiSpider is a fast and high performance spider with high speed

严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载, 支持网站定向下载(需要配置hispiderd.ini
whitelist).

特征和用法:

基于unix/linux系统的开发
异步DNS解析
URL排重
支持HTTP 压缩编码传输 gzip/deflate
字符集判断自动转换成UTF-8编码
文档压缩存储
支持多下载节点分...

Methanol 是一个模块化的可定制的网页爬虫软件，主要的优点是速度快。

几种开源网络爬虫的简单比较

爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：



还有其他的一些比如Ubicrawler、FAST Crawler、天网蜘蛛等等没有添加进来。

之后主要研究下larbin爬虫，如果有可能会给它添加一个删除功能，因为其排重部分用的是bloom filter算法，这个算法的有点很明显，对大规模数据的处理很快，性能很好，而且内存占用很小，但是什么事都没有尽善尽美的，该算法的直接缺点就是不能删除，还会出现误判情况。关于bloom filter有很多相关论文，网上也有些高质量的文章，暂时不做累述，之后如果自己有不一样的看法，再写关于该算法的文章。

删除功能的算法暂时还不太确定，需要进一步了解，现在了解的counting bloom filter不错，带来的代价是内存占用高一点，园友们有什么建议和想法欢迎提出来哈！