目前网络上开源的网络爬虫以及一些简介和比较
2016-06-01 18:15
344 查看
下面我们再对Nutch、Larbin、Heritrix这三个爬虫进行更细致的比较:
Nutch
开发语言:Java http://lucene.apache.org/nutch/ 简介:
Apache的子项目之一,属于Lucene项目下的子项目。
Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中。
Larbin
开发语言:C++
http://larbin.sourceforge.net/index-eng.html
简介
larbin是一种开源的网络爬虫,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。
Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成。另外,如何存储到数据库以及建立索引的事情 larbin也不提供。
latbin最初的设计也是依据设计简单但是高度可配置性的原则,因此我们可以看到,一个简单的larbin的爬虫可以每天获取500万的网页,非常高效。
Heritrix
开发语言:Java
http://crawler.archive.org/
简介
与Nutch比较
和 Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。
Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
二者的差异:
Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
Nutch 可以修剪内容,或者对内容格式进行转换。
Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。
Heritrix提供的功能没有nutch多,有点整站下载的味道。既没有索引又没有解析,甚至对于重复爬取URL都处理不是很好。
Heritrix的功能强大 但是配置起来却有点麻烦。
相关文章推荐
- Spring Boot: HttpMediaTypeNotAcceptableException: Could not find acceptable representation原因及解决方法
- qt ,使用tcp/ip协议网络传输数据时,字节序转换方法
- 聊聊HTTPS和SSL/TLS协议
- ios学习--网络流量统计
- HTTP的请求方法OPTIONS
- 后台发送http请求 类
- Java正则、Mysql、网络编程、多线程总结
- 通过HttpURLConnection模拟post表单提交
- HTTP状态码
- UNIX网络编程:读写锁
- 转换汉字为unicode形式的字符串和转换unicode形式字符串转换成汉字__http://www.cppblog.com/biao/archive/2010/12/21/137087.html
- 客户端/服务器 http加密方案----对称与非对称加密
- 十分钟搞清字符集和字符编码___https://linux.cn/article-5027-1.html
- IIS7.0报错 HTTP Error 500.21
- HttpClient josn网络传输(二进制的byte流)
- 服务器证书配置
- C#的Raw Socket实现网络封包监视
- okHttp(二)官网翻译
- HTTP 错误 404.3—Not Found
- 解决Xcode 7 swift 2 访问 http 资源受限问题