java爬虫问题一:解决使用htmlunit 时候ssl认证失败问题
2021-01-09 22:59
1116 查看
java爬虫问题一:解决使用htmlunit 时候ssl认证失败问题
凯哥Java 凯哥java
前言:
在使用htmlunit 爬取其他网站信息的时候,提示错误信息:unable to find valid certification path to requested target
意思:
说明证书问题。各种检索,使用了很多方法,以下记录解决思路:
解决方案一:
一种解决方案是: webClient.getOptions().setUseInsecureSSL(true);
这么设置之后,确实没有在提示unable to find valid certification path to requested target错误了。但是引发了其他的问题。所以该方案不成立。
继续排查:
解决方案二:
设置setUseInsecureSSL(false);
重要代码:
WebClient webClient = new WebClient(BrowserVersion.CHROME); /*** htmlunit unable to find valid certification path to requested target **/ webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要 webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要 webClient.getOptions().setActiveXNative(false); // webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用 webClient.getOptions().setJavaScriptEnabled(true); //很重要,启用JS webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,设置支持AJAX
添加上面代码问题完美解决。
相关文章推荐
- java爬虫问题一:解决使用htmlunit 时候ssl认证失败问题
- java爬虫问题一: 解决使用htmlunit 时候ssl认证失败问题
- idea上使用maven分模块开发时解决spring注入失败问题java.lang.IllegalStateException: Failed to load ApplicationContext
- Spring Boot + Java爬虫 + 部署到Linux(四、使用WebSocket实现消息推送,并解决websocket中的autowired问题)
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...
- java使用“用户名+密码”连接mongodb,认证失败的问题解决
- 解决java中使用getImage()导入图片失败问题
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...今天
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- 解决为VS2008配置调试.NET框架源码的时候安装补丁KB944899(Visual Studio 2008 QFE)失败回滚的问题
- 解决“java.lang.NoSuchMethodError: org.hamcrest.core.AllOf.allOf…”问题(使用JUnit和Hamcrest)
- 使用Java与Flex建立Socket连接(已解决沙箱问题)
- 使用JRockit作为工具检测并解决JAVA内存泄漏问题的一次实战
- 【问题解决】java中为什么不建议使用DataInputStream 的readLine()方法
- [创业] 成功的人看到问题的时候是想到怎么解决问题, 失败的人看到问题的时候是想到怎么逃避问题
- java实现验证码生成,解决在页面验证时候session获得的总是前一次值的问题
- Java使用Oracle遇到的最大游标超出问题及其解决方法