使用爬虫框架htmlunit整合springboot不兼容的一个问题
2018-07-30 14:04
274 查看
版权声明:本文为博主原创文章,未经博主允许不得转载! https://blog.csdn.net/rico_zhou/article/details/81284003
使用爬虫框架htmlunit整合springboot不兼容的一个问题
本来使用htmlunit爬虫爬取数据非常正常好用,之前一直是直接java程序或者整合Javaswing界面,都没有问题,但是后来整合springboot变成BS架构之后,同样的代码却报错,报错信息如下:
这个错误很常见,网上搜索得到的答案也千篇一律,就是解决动态网页的获取问题,添加对js的支持,但是我的代码单独运行时没有问题的,而且也并不是爬取所有的网页都有这个错误,只是有些无法爬取,这个问题困扰了我好久,隐约觉得不是网上说的那种原因,是别的的未知原因引发了这个错误,那最有可能的原因就是跟整合springboot有关系,没办法,重新创建一个最简单的springboot项目,整合好htmlunit一个个排查,发现依然如此,可以肯定是因为整合了springboot,那接着排查是否是jar包冲突,按理说jar冲突会报错提醒,但是却没有相关的冲突报错信息,后来想到使用htmlunit时需要log4j的支持,否则也会报错,那会不会是因为日志冲突的原因呢?springboot默认的日志是logback,虽然jar都有,也没有相关的报错信息,但是有可能是日志冲突导致错误,果断去掉logback,
重启,果然可以运行,但是日志系统需要自己重新书写了,虽然为啥没有报日志的相关错误,但是总算是找到了解决办法,特在此记录一下。
2018年8月6日晚更新......
后来当整合Jalopy格式化java代码时,又出现了不兼容的情况,最终发现依赖的log4j不要使用maven加载,而是创建lib文件夹第三方引入,并且排列在第一位即可解决兼容问题。
于是乎想到htmlunit会不会也是这样,果然,尝试后如此。
阅读更多
相关文章推荐
- 在idea里使用SpringBoot整合MyBatis时遇到的Mapper扫描不到的问题
- 使用 Intellij idea Springboot maven 的一个小小的问题
- 爬虫框架webmagic与spring boot的结合使用--转
- 使用myeclipse搭建SpringBoot框架,整合thymeleaf模板和mybatis
- 爬虫框架webmagic与spring boot的结合使用
- 爬虫框架webmagic与spring boot的结合使用
- 记录问题:springboot中使用Mybatis-pagehelper分页插件遇到的版本兼容问题
- springboot整合springSecurity出现的问题,post,delete,put无法使用
- 爬虫框架webmagic与spring boot的结合使用
- 使用spymemcached spring整合的时候遇到的一个配置问题
- Spring boot框架整合quartz,job类中依赖注入报空指针问题
- 关于spring boot整合mybatis使用oracle数据库出现could not load:oracle.jdbc.driver.OracleDriver问题的终极解决方案
- boke练习: springboot整合springSecurity出现的问题,post,delete,put无法使用
- [Spring3.x] 第 11 章 使用 Spring JDBC 访问数据库 & 第 12 章 整合其他 ORM 框架
- jquery 和其他js框架同时使用的不兼容问题解决方法
- [Spring3.x] 第 11 章 使用 Spring JDBC 访问数据库 & 第 12 章 整合其他 ORM 框架
- 使用struts、hibernate、spring进行框架整合流程详细说明(完整版)附:开发规范
- 关于mule中Spring使用中的一个问题
- 关于“Spring3 ”与 “Hibernate4” 整合,HibernateTemplate的使用问题。