canal_mysql_elasticsearch_sync功能及性能验证
2020-02-01 17:49
1001 查看
其它同步方案验证:go-mysql-elasticsearch功能及性能验证
1、本次测试基于单点测试,工程基于canal作为server,使用的canal_mysql_elasticsearch_sync作为客户端版本为1.0.3,canal版本为1.0.24,elasticsearch版本为5.5.0。
详情请查询连接https://gitee.com/starcwang/canal_mysql_elasticsearch_sync
2、测试点如下:
- 1.全量同步
- 2.增量同步
- 3.单表
- 4.多表连接
- 5.mapping映射有没有问题
- 6.数据准确性有没有问题
- 7.多张表向一个索引映射
- 8.同一个实例多个库
3、测试环境
- 1:linux系统,内存16G(安装有canal、canal_mysql_elasticsearch_sync、es)
- 2:linux系统,内存2G(安装mysql)
4、测试结果
- 1.全量同步
支持:同步20W数据,耗时1分50秒。 - 2.增量同步
支持。
增量插入20W数据,耗时3小时16分钟。
删除1w条数据,耗时10分15秒 - 3.单表
支持。 - 4.多表连接
不支持。 - 5.mapping映射有没有问题
支持,与logstash自动映射生成的mapping类似。
支持,将时间格式转换为yyyy-MM-dd HH:mm:ss,其它不支持。
不支持字段名修改和字段类型修改。 - 6.数据准确性有没有问题
准确性正确,暂未遇到数据不一致性问题。 - 7.多张表向一个索引映射
不支持 - 8.同一个实例多个库
支持
5、总结
- 版本问题,要根据提示使用对用的版本,否则会有问题。
- 增量同步数据量大的情况下效率较慢。
- 单条数据同步数据延迟会有(100ms)。
- 不支持表关联,不支持表结构相同的多张表同步到一个索引上。
- 灵活性不好。
转载于:https://my.oschina.net/u/2282993/blog/1821946
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 基于Docker结合Canal实现MySQL实时增量数据传输功能
- mysql版网络验证自动发卡功能
- canal 取 mysql到 elasticsearch
- MySQL+HandlerSocket=MySQL的功能+NoSQL的性能
- Ubuntu16.04 下配置vsftpd服务器并配置pam-mysql验证以及其他功能的探索
- MySQL 5.7 学习:功能性能的提升
- MySQL中MyISAM引擎 vs InnoDB引擎(功能,性能)
- InnoSQL HA Suite的实现原理与配置说明 InnoSQL的VSR功能Virtual Sync Replication MySQL 5.5版本引入了半同步复制(semi-sync replicaiton)的功能 MySQL 5.6支持了crash safe功能
- 1 开发一个注重性能的JDBC应用程序不是一件容易的事. 当你的代码运行很慢的时候JDBC驱动程序并不会抛出异常告诉你。 本系列的性能提示将为改善JDBC应用程序的性能介绍一些基本的指导原则,这其中的原则已经被许多现有的JDBC应用程序编译运行并验证过。 这些指导原则包括: 正确的使用数据库MetaData方法 只获取需要的数据 选用最佳性能的功能 管理连
- 用canal监控binlog并实现mysql定制同步数据的功能
- canal-client的HA功能验证
- MySql取消密码强度验证功能
- Handler-Socket Plugin for MySQL – SQL的功能、NoSQL的性能
- MySQL关闭密码强度验证功能
- MySQL 5.7 学习:功能性能的提升
- 实战 | canal 实现Mysql到Elasticsearch实时增量同步
- Handler-Socket Plugin for MySQL – SQL的功能、NoSQL的性能
- mysql和oracle的区别(功能性能、选择、使用它们时的sql等对比)
- mysql和oracle的区别(功能性能、选择、使用它们时的sql等对比)