go-mysql-elasticsearch功能及性能验证

其它同步方案验证：canal_mysql_elasticsearch_sync功能及性能验证

1、本次测试基于单点测试，工程基于go语言实现的工程go-mysql-elasticsearch，elasticsearch版本为5.5.0。

      详情请查询连接https://github.com/siddontang/go-mysql-elasticsearch

2、测试点如下：

• 1.全量同步
• 2.增量同步
• 3.单表
• 4.多表连接
• 5.mapping映射有没有问题
• 6.数据准确性有没有问题
• 7.多张表向一个索引映射
• 8.同一个实例多个库

3、测试环境

• 1:linux系统，内存16G(安装有canal、canal_mysql_elasticsearch_sync、es、mysql)
• 2:linux系统，内存2G（安装mysql）

4、测试结果

• 1.全量同步
  支持：需要安装mysqldump（mysql自带），同步11.5w数据，耗时3分13秒。
  全量基于mysqldump，需要将工具和mysql安装在同一个节点，其它方式尚未找到。
• 2.增量同步
  支持。
  增量插入20W数据，耗时8分钟。
  删除20w条数据，耗时6分。
  更新20w条数据，12分钟。
• 3.单表
  支持。
• 4.多表连接
  不支持。
• 5.mapping映射有没有问题
  支持，与logstash自动映射生成的mapping类似。
  支持，将int格式转换为date类型可以，将分隔符转换为list可以，其它格式转换不支持。
  支持，字段名修改。
• 6.数据准确性有没有问题
  准确性正确，暂未遇到数据不一致性问题。
• 7.多张表向一个索引映射
  支持
• 8.同一个实例多个库
  支持

5、总结

• 需要安装go语言环境。
• 需要将工程和mysql安装在同一台机器上，因为需要mysqldump全量同步数据。
• 不支持表关联。
• 不支持字段类型的修改。
• 灵活性较好。

转载于:https://my.oschina.net/u/2282993/blog/1821930

• 点赞
• 收藏
• 分享
• 文章举报