Selenium/HtmlUnit设置代理获取JS生成的网页

通常我们使用Java提供的HttpURLConnection或者Apache的HttpClient获取的网页源代码都是直观可见的，其代码的内容和通过浏览器右键网页->点击查看网页源代码的内容一致。

但是现在越来越多的网站使用Js来动态生成内容来提高相应速度，而HttpClient只是返回后端相应的response的请求主体，并没有返回浏览器生成的网页，所以对于Js生成的内容HttpClient是获取不了的。

对于获取Js生成的网页，我们主要通过模拟浏览器的运行，渲染response的请求主体最终得到对应的内容，得到的内容和通过浏览器右键网页->点击检查/查看元素的内容一致。

我们这里讲的模拟方法大概有两种：

一种是使用Selenium

一种是使用HtmlUnit

抓取目标

我们这次的目标是获取bilibili动态生成的动画列表，左上是抓取的目标列表，左下是浏览器渲染的html内容，右面是服务器返回的response的正文。通过对比，我们可以看出目标列表是Js生成。

使用Selenium获取页面

Selenium是一个用于Web应用自动化测试的工具，更多的介绍就谷歌。这里我们主要用作模拟页面的运行并将结果返回，对于网页截图的功能也是可行的。

Selenium支持模拟很多浏览器，但是我们这里只模拟PhantomJS，因为PhantomJS 是一个脚本化的无界面 WebKit，以 JavaScript 为脚本语言实现各项功能。由于是无界面的，所以速度性能方面会较好。

1.下载

使用PhantomJS需要到官网下载最新的客户端，这里使用phantomjs-2.1.1-windows.zip

2.maven依赖引入：

<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>2.53.0</version>
</dependency>
<dependency>
<groupId>com.codeborne</groupId>
<artifactId>phantomjsdriver</artifactId>
<version>1.2.1</version>
<exclusions>
<exclusion>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-remote-driver</artifactId>
</exclusion>
<exclusion>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
</exclusion>
</exclusions>
</dependency>

3.示例代码

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriverService;
import org.openqa.selenium.remote.DesiredCapabilities;

import java.util.ArrayList;

/**
* @author GinPonson
*/
public class TestSelenium {

static final String HOST = "127.0.0.1";
static final String PORT = "80";
static final String USER = "gin";
static final String PWD = "12345";

public static void main(String[] args){
System.setProperty("phantomjs.binary.path", "D:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");
DesiredCapabilities capabilities = DesiredCapabilities.phantomjs();

//设置代理或者其他参数
ArrayList<String> cliArgsCap = new ArrayList<>();
//cliArgsCap.add("--proxy=http://"+HOST+":"+PORT);
//cliArgsCap.add("--proxy-auth=" + USER + ":" + PWD);
//cliArgsCap.add("--proxy-type=http");
capabilities.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS, cliArgsCap);
//capabilities.setCapability("phantomjs.page.settings.userAgent", "");

WebDriver driver = new PhantomJSDriver(capabilities);
driver.get("http://www.bilibili.com/video/bangumi-two-1.html");
System.out.println(driver.getPageSource());
driver.quit();
}
}

4.其他功能

设置参数或者代理：去掉上面的注释，就可以使用自己的代理了。

操作页面，返回操作后页面内容：不多说了，这里介绍一下可以做。

页面截图：返回浏览器的全屏截图。

使用HtmlUnit获取页面

HtmlUnit功能上算是是Selenium的一个子集，Selenium有对应的HtmlUnit实现。HtmlUnit是用Java写的无界面的浏览器，正因为其没有界面,因此执行的速度还是可以的。

1.maven依赖引入

<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.25</version>
</dependency>

2.Java代码

/**
* @author GinPonson
*/
public class TestHtmlUnit {
static final String HOST = "127.0.0.1";
static final String PORT = "80";
static final String USER = "gin";
static final String PWD = "12345";

public static void main(String[] args) throws Exception{
WebClient webClient = new WebClient();
//设置代理
//ProxyConfig proxyConfig = webClient.getOptions().getProxyConfig();
//proxyConfig.setProxyHost(HOST);
//proxyConfig.setProxyPort(Integer.valueOf(PORT));
//DefaultCredentialsProvider credentialsProvider = (DefaultCredentialsProvider) webClient.getCredentialsProvider();
//credentialsProvider.addCredentials(USER, PWD);

//设置参数
//webClient.getOptions().setCssEnabled(false);
//webClient.getOptions().setJavaScriptEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page = webClient.getPage("http://www.bilibili.com/video/bangumi-two-1.html");

System.out.println(page.asXml());
webClient.close();
}
}

3.其他功能

设置参数或者代理：去掉上面的注释，就可以使用自己的代理了。

操作页面，返回操作后页面内容：不多说了，这里介绍一下可以做。

解析页面

总结

PhantomJS和HtmlUnit模拟浏览器页面的生成功能都不错，PhantomJS作为一个无界面的WebKit，渲染页面的功能非常完善，而且带有浏览器截图功能，能模拟登录操作。HtmlUnit使用Rhino引擎来解析Js，有时候解析速度非常慢，就像上面的例子，费了很长时间，但是HtmlUnit可以获取页面，解析元素一套做完(当然解析元素还是使用Jsoup好)，是不错的工具。

HtmlUnit遇到错误后，前后处理相差7分钟，可能是我不会用QAQ



欢迎补充:)