JAVA爬虫WebCollector
2015-07-18 22:41
826 查看
爬虫简介:
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。
爬虫内核:
WebCollector致力于维护一个稳定、可扩的爬虫内核,便于开发者进行灵活的二次开发。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup,可进行精准的网页解析。2.x版本中集成了selenium,可以处理javascript生成的数据。
1)自定义遍历策略,可完成更为复杂的遍历业务,例如分页、AJAX
2)内置Berkeley DB管理URL,可以处理更大量级的网页
3)集成selenium,可以对javascript生成信息进行抽取
4)直接支持多代理随机切换
5)集成spring jdbc和mysql connector,方便数据持久化
6)集成json解析器
7)使用slf4j作为日志门面
8)修改http请求接口,用户自定义http请求更加方便
WebCollector 2.x官网和镜像:
官网:https://github.com/CrawlScript/WebCollector
镜像:http://git.oschina.net/webcollector/WebCollector
WebCollector 2.x教程:
WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
WebCollector爬取JS生成数据
WebCollector爬取搜狗搜索(分页)
WebCollector爬取JSON数据
使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
WebCollector 2.x教程(镜像):
WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
WebCollector爬取JS生成数据
WebCollector爬取搜狗搜索(分页)
WebCollector爬取JSON数据
使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
版本更新信息:
WebCollector 2.09 发布,更新详情如下:
1 ) 新增抽取器Extractor和用于加载抽取器的爬虫MultiExtractorCrawler,提供一种方便分工和维护的爬虫开发方案。可参照例子: WebCollector抽取器DEMO。
2 ) 新增FileSystemOutput,可将网页按照网站拓扑结构存储到本地。
3 ) 修复https请求证书问题。
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。
爬虫内核:
WebCollector致力于维护一个稳定、可扩的爬虫内核,便于开发者进行灵活的二次开发。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup,可进行精准的网页解析。2.x版本中集成了selenium,可以处理javascript生成的数据。
1.x:
WebCollector 1.x版本现已转移到http://git.oschina.net/webcollector/WebCollector-1.x维护,建议使用2.x版本。2.x:
WebCollector 2.x版本特性:1)自定义遍历策略,可完成更为复杂的遍历业务,例如分页、AJAX
2)内置Berkeley DB管理URL,可以处理更大量级的网页
3)集成selenium,可以对javascript生成信息进行抽取
4)直接支持多代理随机切换
5)集成spring jdbc和mysql connector,方便数据持久化
6)集成json解析器
7)使用slf4j作为日志门面
8)修改http请求接口,用户自定义http请求更加方便
WebCollector 2.x官网和镜像:
官网:https://github.com/CrawlScript/WebCollector
镜像:http://git.oschina.net/webcollector/WebCollector
WebCollector 2.x教程:
WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
WebCollector爬取JS生成数据
WebCollector爬取搜狗搜索(分页)
WebCollector爬取JSON数据
使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
WebCollector 2.x教程(镜像):
WebCollector 2.x tutorial 2 (BreadthCrawler中文教程)
WebCollector 2.x 抽取器 (Extractor和MultiExtractorCrawler)
WebCollector爬取JS生成数据
WebCollector爬取搜狗搜索(分页)
WebCollector爬取JSON数据
使用SoupLang脚本同时管理多个页面爬取 SoupLang脚本
用WebCollector 2.x爬取新浪微博(无需手动获取cookie)
版本更新信息:
WebCollector 2.09 发布,更新详情如下:
1 ) 新增抽取器Extractor和用于加载抽取器的爬虫MultiExtractorCrawler,提供一种方便分工和维护的爬虫开发方案。可参照例子: WebCollector抽取器DEMO。
2 ) 新增FileSystemOutput,可将网页按照网站拓扑结构存储到本地。
3 ) 修复https请求证书问题。
相关文章推荐
- 参数类型对java用继承实现多态时的影响
- java学习笔记(二) InputStream
- Java学习之【深入理解Java虚拟机---Java内存区域】
- JDK的安装和Java环境变量配置
- Java 异常及异常处理
- Java学习笔记之<反射、内省、BeanUtils包操作JavaBean的对比>
- Spring实现AOP的4种方式
- spring jdbc rowmap 使用方法
- spring jdbc 事物的使用心得
- spring jdbc 使用感想
- java学习之旅63常用类_包装类_Integer_Number_JDK源码分析
- JAVA--反射(基础知识~~真的是基础的哦)
- JAVA基础_简析Java中的new,this,super,final关键字
- eclipse设置自动注释的@author的值 ${user}变量
- Java线程池使用说明
- Spring-01-HelloWorld
- java static关键字
- Java初涉之4--浅谈静态块和非静态块
- java中初始化对象变量的方法
- 使用缓冲流时记得恰当的使用flush()方法