网页抓取HtmlUnit的使用简介
2017-10-25 17:17
218 查看
网络爬虫第一个要面临的问题,就是如何抓取网页,抓取其实很容易,没你想的那么复杂,一个开源
在程序中写上上面的4行代码,运行,就可以得到烟雨林博客首页的全部内容,上面代码在运行的过程中会出现很多警告,出现这些警告的主要原因是由于以下两点:
1、
2、
明白了上面的两点后,将代码重新改写一下,该禁用的就禁用,同时禁用一些不必要的功能,也有利于提高程序的运行效率,再者说网络爬虫也不需要CSS的支持滴
作用:web的自动化测试(最初的目的),浏览器,网络爬虫
重要API的使用 在介绍API的使用之前要先明白的一个问题是,WebClient,WebWindow,Page三者之间的关系,所有的页面最终都是在一个WebWindow对象里面,WebClient在创建时会自动的创建一个WebWindow对象,当调用getPage时会将新页面加载到WebWindow里,你可以理解成WebClient就是IE内核,WebWindow就是呈现页面的浏览器窗口,三者之间的关系图如下图所示:
1、模拟特定浏览器,也可以指定浏览器的相应版本(HtmlUnit最新版2.13现在可以模拟的浏览器有
2、查找特定元素,通过get或者XPath可以从HtmlPage中获得特定的Html元素,如下例子
方法一,通过get方法获取
方法二,通过XPath获取,XPath通常用于无法通过Id搜索,或者需要更为复杂的搜索时,XPath的相关教程
XPath相关教程请查看我的个人博客
3、代理服务器的配置,代理的配置很简单,只需要配置好地址,端口,用户名与密码即可
4、模拟表单的提交
API的使用就介绍到这,网络爬虫中主要目的就是获取页中所有的链接,代码如下:
HtmlUnit包,4行代码就OK啦,例子如下:
1、
HtmlUnit对
Javascript的支持不是很好
2、
HtmlUnit对
CSS的支持不是很好
明白了上面的两点后,将代码重新改写一下,该禁用的就禁用,同时禁用一些不必要的功能,也有利于提高程序的运行效率,再者说网络爬虫也不需要CSS的支持滴
HtmlUnit的使用: 简介:
HtmlUnit说白了就是一个浏览器,这个浏览器是用Java写的无界面的浏览器,正因为其没有界面,因此执行的速度还是可以滴,
HtmlUnit提供了一系列的API,这些API可以干的功能比较多,如表单的填充,表单的提交,模仿点击链接,由于内置了
Rhinojs引擎,因此可以执行
Javascript
作用:web的自动化测试(最初的目的),浏览器,网络爬虫
重要API的使用 在介绍API的使用之前要先明白的一个问题是,WebClient,WebWindow,Page三者之间的关系,所有的页面最终都是在一个WebWindow对象里面,WebClient在创建时会自动的创建一个WebWindow对象,当调用getPage时会将新页面加载到WebWindow里,你可以理解成WebClient就是IE内核,WebWindow就是呈现页面的浏览器窗口,三者之间的关系图如下图所示:
1、模拟特定浏览器,也可以指定浏览器的相应版本(HtmlUnit最新版2.13现在可以模拟的浏览器有
Chrome/
FireFox/
IE)
方法一,通过get方法获取
XPath相关教程请查看我的个人博客
相关文章推荐
- Jsoup简介——使用Java抓取网页数据
- Jsoup简介——使用Java抓取网页数据
- Jsoup简介——使用Java抓取网页数据
- 网页抓取工具Teleport Ultra简介及如何使用
- Jsoup简介——使用Java抓取网页数据
- 关于使用httpclient类库写的爬虫抓取网页时返回403错误
- 使用HtmlAgilityPack批量抓取网页数据
- 动态网页抓取Selenium的安装与使用
- 使用System.Text.RegularExpression中的API实现网页数据的抓取
- 使用java7的try-resource-wi 3ff0 th语法用httpclient抓取网页并用jsoup获取网页对象
- 使用Python中的urlparse、urllib抓取和解析网页(一)
- 使用HtmlUnit抓取百度搜索结果
- 【python】使用Python中的urlparse、urllib抓取和解析网页
- 关于网页抓取信息 Jsoup 和 HttpUnit 的使用
- 网页抓取解析,使用JQuery选择器进行网页解析
- python使用urllib2抓取网页
- 使用python写的如何自动提交和抓取网页
- htmlunit抓取js执行后的网页源码
- python爬虫之使用urllib2组件抓取网页内容
- 使用Socket抓取网页源代码