使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用
2012-07-20 11:23
1146 查看
在线演示 本地下载
如果你曾经开发过内容聚合类网站的话,使用程序动态整合来自不同页面或者网站内容的功能肯定对于你来说非常熟悉。通常使用java的话,我们都会使用到一些HTML的解析,例如,httpparser,最早gbin1.com的整合搜索就是使用httpparser来抓取Google和Baidu的搜索结果,并且整合呈现给搜索用户,这也就是GBin1域名的由来。
那么今天呢,我们介绍另外一个超棒的Java的HTML解析器 - jsoup,这个类库可以帮助大家实时的处理HTML。提供了非常方便的API来提取和处理数据,最重要的它使用类似jQuery的语法来处理DOM,CSS等,如果你使用过jQuery的话,就知道它处理DOM的强大方便之处。
主要特性
jsoup实现了WHATWG HTML5 的标准,和现代浏览器解析DOM的方式一样。主要功能:可以从URL,文件或者字符串中抓取和解析HTML
使用DOM的查询和CSS选择器来查找和解压数据
可以处理HTML的属性,元素和文本
帮助用户处理递交的内容,并且防止XSS攻击
输出干净的HTML
基本上jsoup可以帮助你处理各种的HTML问题,并且帮助你验证非法的tag,创建一个干净的DOM树。
我们需要设置抓取的url和页面元素,这里缺省是http://www.gbin1.com/portfolio/lastest.html ,元素为.includeitem,点击开始抓取,可以看到应用抓取如下内容:
注意这里缺省间隔时间为30秒,30秒后会自动重新抓取内容。
你可以尝试抓取weibo.com, 元素.itemt, 间隔时间10秒,能得到如下内容:
你可以看到和微博首页的自动刷新内容一样。
大家可以把这个工具当做页面重复刷新工具,可以帮助你监控某个网站某个部分内容,当然,你也可以使用它来动态刷新你的网站,提高你的alexa排名。
希望大家喜欢这个工具应用,如果你有任何建议和问题,请给我们留言!谢谢!
原文请参考:http://www.gbin1.com/technology/javautilities/20120720jsoupjquerysnatchpage
相关文章推荐
- 使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用
- 使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用
- 使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用
- 使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的...
- 一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单,随着互联网业务的不断丰富,网站
- JAVA使用jsoup技术实现网站URL解析爬取|爬取网站登陆后页面动态数据
- 【使用JSOUP实现网络爬虫】修改数据-设置一个元素的HTML内容
- 使用jsoup抓取指定网站地址的class的html内容
- Java - 抓取优酷网视频播放页面(使用jsoup解析html,正则表达式处理字符串)
- 使用jQuery加载html页面到指定的div实现方法
- 【使用JSOUP实现网络爬虫】修改数据-设置一个元素的HTML内容
- jsoup Java HTML解析器:使用选择器语法来查找元素
- 实现页面内的指定位置跳转 HTML标记语言:锚点的使用
- jQuery实现页面滚动时元素智能定位,页面导航栏会自动定位到浏览器顶部
- jquery 实现重复点击一个元素时不重复执行效果
- 怎么使用jquery判断一个元素是否含有一个指定的类(class)另外如何给元素动态添加类
- 【ife】任务九:使用HTML/CSS实现一个复杂页面
- [Java]使用HttpClient实现一个简单爬虫,抓取煎蛋妹子图
- 【使用JSOUP实现网络爬虫】入门:解析和遍历一个HTML文档
- jQuery加载一个html页面到指定的div里