您的位置:首页 > 编程语言 > Java开发

使用爬虫框架htmlunit整合springboot不兼容的一个问题

2018-07-30 14:04 274 查看
版权声明:本文为博主原创文章,未经博主允许不得转载! https://blog.csdn.net/rico_zhou/article/details/81284003

使用爬虫框架htmlunit整合springboot不兼容的一个问题

本来使用htmlunit爬虫爬取数据非常正常好用,之前一直是直接java程序或者整合Javaswing界面,都没有问题,但是后来整合springboot变成BS架构之后,同样的代码却报错,报错信息如下:

这个错误很常见,网上搜索得到的答案也千篇一律,就是解决动态网页的获取问题,添加对js的支持,但是我的代码单独运行时没有问题的,而且也并不是爬取所有的网页都有这个错误,只是有些无法爬取,这个问题困扰了我好久,隐约觉得不是网上说的那种原因,是别的的未知原因引发了这个错误,那最有可能的原因就是跟整合springboot有关系,没办法,重新创建一个最简单的springboot项目,整合好htmlunit一个个排查,发现依然如此,可以肯定是因为整合了springboot,那接着排查是否是jar包冲突,按理说jar冲突会报错提醒,但是却没有相关的冲突报错信息,后来想到使用htmlunit时需要log4j的支持,否则也会报错,那会不会是因为日志冲突的原因呢?springboot默认的日志是logback,虽然jar都有,也没有相关的报错信息,但是有可能是日志冲突导致错误,果断去掉logback,

重启,果然可以运行,但是日志系统需要自己重新书写了,虽然为啥没有报日志的相关错误,但是总算是找到了解决办法,特在此记录一下。

2018年8月6日晚更新......

后来当整合Jalopy格式化java代码时,又出现了不兼容的情况,最终发现依赖的log4j不要使用maven加载,而是创建lib文件夹第三方引入,并且排列在第一位即可解决兼容问题。

 

于是乎想到htmlunit会不会也是这样,果然,尝试后如此。

 

阅读更多
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: