java爬虫问题一: 解决使用htmlunit 时候ssl认证失败问题
2018-02-28 00:00
465 查看
前言:
在使用htmlunit 爬取其他网站信息的时候,提示错误信息:unable to find valid certification path to requested target
意思:
说明证书问题。各种检索,使用了很多方法,以下记录解决思路:
解决方案一:
一种解决方案是: webClient.getOptions().setUseInsecureSSL(true);
这么设置之后,确实没有在提示unable to find valid certification path to requested target错误了。但是引发了其他的问题。所以该方案不成立。
继续排查:
解决方案二:
设置setUseInsecureSSL(false);
重要代码:
添加上面代码问题完美解决。
凯哥个人网站:www.kaigejava.com
微信公众号:kaigejava
在使用htmlunit 爬取其他网站信息的时候,提示错误信息:unable to find valid certification path to requested target
意思:
说明证书问题。各种检索,使用了很多方法,以下记录解决思路:
解决方案一:
一种解决方案是: webClient.getOptions().setUseInsecureSSL(true);
这么设置之后,确实没有在提示unable to find valid certification path to requested target错误了。但是引发了其他的问题。所以该方案不成立。
继续排查:
解决方案二:
设置setUseInsecureSSL(false);
重要代码:
WebClient webClient = new WebClient(BrowserVersion.CHROME); /*** htmlunit unable to find valid certification path to requested target **/ webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要 webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要 webClient.getOptions().setActiveXNative(false); // webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用 webClient.getOptions().setJavaScriptEnabled(true); //很重要,启用JS webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,设置支持AJAX |
凯哥个人网站:www.kaigejava.com
微信公众号:kaigejava
相关文章推荐
- java爬虫问题一:解决使用htmlunit 时候ssl认证失败问题
- java使用“用户名+密码”连接mongodb,认证失败的问题解决
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- idea上使用maven分模块开发时解决spring注入失败问题java.lang.IllegalStateException: Failed to load ApplicationContext
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...
- java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...
- 解决spring使用动态代理类型转换失败的问题--java.lang.ClassCastException: com.sun.proxy.$Proxy$ cannot be cast to ...今天
- 使用session时候,遇到的一个问题(请求解决方法)
- [创业] 成功的人看到问题的时候是想到怎么解决问题, 失败的人看到问题的时候是想到怎么逃避问题
- 解决href使用onclick方法时点击该链接的时候不会跳转页面.但是滚动条会往上滚的问题
- 使用asx3m与xstream配合解决flex与java利用httpservice传递xml数据问题
- 在使用SSIS设计脚本时候,出现的在PostExecute之外不能锁定变量集合进行读写访问的问题的解决
- 解决使用nvelocity时候template文件里面包含中文输出结果时候出现乱码的问题
- java实现验证码生成,解决在页面验证时候session获得的总是前一次值的问题
- 解决Protege使用中的一个问题:从已有owl文件建立项目失败(w3china)
- J2ME使用WTK模拟器开发时候遇到“OK to use Airtime” 问题的解决方法
- 故障解决:VS2005的水晶报表在WEB应用程序中多次使用后,就会出现加载报表失败.重启WEB服务器又正常了.过一段时间又出同样问题
- 解决.net中使用gmail.com邮箱进行Smtp发送信件时失败的问题