HttpUnit 使用示例 抓取网页内容
2015-02-12 15:59
357 查看
最近在想如何从网页中抓取需要的数据出来, 直接用java提供的API太麻烦了, 在一些成熟的自动化测试web程序的类库中有可能需要的功能, 如HttpUnit, Watij, Selenium ; 现在试用了一下HttpUnit, 不是很方便, 只能找到有id的table元素, 没有id的还要自己处理response的流
public static void main(String[] args) { WebClient webClient = new WebClient(); HtmlPage page = null; try { page = (HtmlPage) webClient.getPage("http://biz.cn.yahoo.com/stock.html"); } catch (FailingHttpStatusCodeException e) { //e.printStackTrace(); } catch (MalformedURLException e) { //e.printStackTrace(); } catch (IOException e) { //e.printStackTrace(); } WebResponse wr = page.getWebResponse(); HtmlDivision he = page.getHtmlElementById("stat1"); if (he.hasChildNodes()){ Iterator i = he.getChildElements().iterator(); while(i.hasNext()){ System.out.println(i.next()); } } System.out.println(he.getAttribute("id")); //System.out.println(he.asXml()); Iterator<HtmlElement> i = page.getAllHtmlChildElements().iterator(); if(i.hasNext()){ HtmlElement h = i.next(); System.out.println(h.getNodeName()); }
相关文章推荐
- C#如何使用HttpWebRequest、HttpWebResponse模拟浏览器抓取网页内容
- JSP学习笔记(七十五):使用HttpClient远程抓取网页内容
- 使用http原生包抓取RestAPI接口内容并解析为实体的示例
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的
- 关于网页抓取信息 Jsoup 和 HttpUnit 的使用
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤须要的内容
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤需要的内容
- JSP学习笔记(七十五):使用HttpClient远程抓取网页内容
- 使用Net/C#抓取网页内容
- java 抓取网页内容,可设定代理(HttpURLConnection)
- C#用HttpWebRequest通过代理服务器验证后抓取网页内容
- 利用httpclient抓取网页内容
- 使用HttpWebRequest的POST取得网页内容
- 使用XSLT抓取网站内容抽取网页数据的技巧
- 使用HttpClient远程抓取网页内容
- 利用httpclient抓取网页内容
- C#用HttpWebRequest通过代理服务器验证后抓取网页内容
- 使用HttpWebRequest的POST取得网页内容
- VC中使用CInternetSession抓取网页内容