Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题
2017-08-25 13:46
826 查看
今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息
看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。
原来是JDBC无法处理Mysql中默认的空时间,这个可以通过JDBC连接串中指定配置来将空时间转换为Null,如下:
重新跑一下 Logstash,OK问题解决。
本文的运行环境为 ELK 6.0 beta
本文为作者原创,未经允许不得转载。如果您觉得本文对您有帮助,请随意打赏,您的支持将鼓励我继续创作。
参考资料:
1、JDBC Url参数说明
[2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”>
看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。
[2017-08-25T13:28:02,076][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {“exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLException: Value ‘0000-00-00 00:00:00’ can not be represented as java.sql.Timestamp>}
原来是JDBC无法处理Mysql中默认的空时间,这个可以通过JDBC连接串中指定配置来将空时间转换为Null,如下:
input { jdbc { jdbc_driver_library => “” jdbc_driver_class => “com.mysql.jdbc.Driver” jdbc_connection_string => “jdbc:mysql://localhost:3306/dcod?zeroDateTimeBehaviro=convertToNull” jdbc_user => “root” jdbc_password => “” statement => “select * from table" } }
重新跑一下 Logstash,OK问题解决。
本文的运行环境为 ELK 6.0 beta
本文为作者原创,未经允许不得转载。如果您觉得本文对您有帮助,请随意打赏,您的支持将鼓励我继续创作。
参考资料:
1、JDBC Url参数说明
相关文章推荐
- 使用logstash-6.2.2和logstash-input-jdbc插件实现mysql数据同步到Elasticsearch
- ElasticSearch5.4.3使用logstash的logstash-input-jdbc实现mysql数据同步
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库
- logstash-input-jdbc 实时同步mysql数据
- Elasticsearch同步mysql(logstash-input-jdbc)和一些查询问题
- Logstash使用jdbc同步MySQL中的数据
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- 使用Logstash来实时同步MySQL数据到ES
- 遇到问题----mysql---同时使用left join和null会缺少数据
- elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读
- 项目中遇到通过使用路由策略实现主从数据库访问数据不同步的问题
- logstash-input-jdbc实现ElasticSearch与mysql同步
- mysql 5.6 利用gtid 同步数据遇到的问题记录
- ElasticSearch学习:logstash安装并使用logstash-jdbc-input与mysql数据库同步
- 使用Logstash-input-jdbc同步数据库中的数据(全量 和 增量)
- 使用Mysql遇到的几个数据类型/格式的问题
- 关于Elasticsearch使用jdbc-river同步数据每次追加的问题