[Java爬虫] 使用 HtmlUnit + Xpath 模拟点击、动态获取信息

一、前言

二、代码

package com.cun.test;

import java.util.List;

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlInput;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

/**
* 模拟点击，动态获取页面信息
* @author linhongcun
*
*/
public class JsoupHttpClient {
public static void main(String[] args) throws Exception {
// 创建webclient
WebClient webClient = new WebClient();
// 取消 JS 支持
webClient.getOptions().setJavaScriptEnabled(false);
// 取消 CSS 支持
webClient.getOptions().setCssEnabled(false);
// 获取指定网页实体
HtmlPage page = (HtmlPage) webClient.getPage("https://www.so.com/");
// 获取搜索输入框
HtmlInput input = (HtmlInput) page.getHtmlElementById("input");
// 往输入框 “填值”
input.setValueAttribute("larger5");
// 获取搜索按钮
HtmlInput btn = (HtmlInput) page.getHtmlElementById("search-button");

4000
// “点击” 搜索
HtmlPage page2 = btn.click();
// 选择元素
List<HtmlElement> spanList=page2.getByXPath("//h3[@class='res-title']/a");
for(int i=0;i<spanList.size();i++) {
// 输出新页面的文本
System.out.println(i+1+"、"+spanList.get(i).asText());
}
}

}

三、效果

四、源码与原网页

1、搜索页

2、搜索结果页