InnoSQL/MySQL并行复制的实现与配置
2014-09-12 18:55
295 查看
InnoSQL/MySQL并行复制的实现与配置
http://www.innomysql.net/article/6276.html并行复制之前的解决方案
InnoSQL在5.5.30-v4版本中支持了从机并行复制的功能。总所周知,MySQL数据库slave服务器延迟的现象是非常普遍的,这导致了虽然对比Oracle、Microsoft SQL Server,MySQL复制允许从机进行SELECT操作,但是在实际线上环境下,由于从机延迟的关系,很难将读取操作转向到从机。这就导致了有了以下一些潜规则:“实时性要求不高的读取操作可以放到slave服务器,实时性要求高的读取操作放到master服务器”,“从机仅能做前一天的统计类查询”。网易的易信项目、RDS也深受这个问题的困扰,所以我们打算彻底的解决这个问题。在v3版本之前我们的解决方案是使用batch commit,即将slave服务器回放的一个个事务,进行批量的回放。虽然还是单线程,但是由于大大减少commit的次数,也能有非常明显的效果,重要的是他对二进制日志的格式没有要求。缺点当然也有,比如还是单线程回放,不能充分利用磁盘的性能。另外,存储引擎必须要求是InnoDB或TokuDB事务引擎。batch commit方案已经在易信和RDS项目上使用,取得了比较明显的效果,但是InnoSQL的目标永远是追求卓越。
并行复制的实现
所以InnoSQL团队打算实现并行复制,虽然有各种想法,但是一直没有好的实现思路。淘宝有公布他们的并行复制实现方案,但是因为是基于row格式二进制日志的,我们线上业务并没有具体限制二进制日志格式。另外,淘宝放出的patch完成度比较低,很多复制错误也未能处理,感觉也是处于原型阶段(大概1年多前,现在可能已经成熟)。另外,对于并行的判断感觉比较复杂,而且全局的hash表感觉会是一个性能瓶颈。好在MariaDB的大牛Kristian最终解决了并行复制的问题,他的实现堪称完美。即一个组提交中的事务都是可以并行执行的。因为既然处于组提交中,这意味着事务之间没有冲突,否则不可能进行这个阶段。MariaDB的实现基于gtid实现,不过我们5.5的版本并没有实现gtid,所以需要做一些变通的实现。我们增加了一个event类型,称之为Gcid_event,表示组提交的编号。如:InnoSQL对于并行复制的实现另一个重要的特点就是支持crash safe,也就是服务器,亦或者是复制服务出现任何错误时,都要保证主从数据是完全正确的。因此,我们将原来复制的relay-info信息文件保存为了一张表,这和官方MySQL 5.6的处理方式一样,和Percona的处理方式不一样。Percona是将slave服务器的二进制位置写入InnoDB的事务段头,恢复时通过这部分的内容来替换relay-info文件。这样处理看似比较简单易懂,但是这个方案的最大问题是其仅支持InnoDB存储引擎。网易内部还有使用TokuDB引擎和自己开发的TNT引擎,要兼容这些引擎需要将relay-info存表,存储引擎选择相应的类型即可。这种方式完美的适配于我们自己开发的TNT引擎。
实现并行复制最为关键的是order commit的实现,即事务在slave服务器上是并行执行执行的,但是提交顺序是和master服务器一致的。这样能保证主从产生的二进制日志顺序是一致的。另外,并行复制实现最为复杂的是对于出错的处理,InnoSQL在方面提交了很多patch给MaraiDB并被接受。
并行复制配置
要实现一个完美的crash-safe并行复制环境,需要根据如下参数进行配置,首先master服务器根据如下进行配置:并行复制性能测试
InnoSQL的并行复制性能测试报告已经发布,小伙伴们可以从http://pan.baidu.com/s/1bn6b3mJ进行下载。当然,我们更环境小伙们自己进行测试,你会发现为什么InnoSQL是最有诚意的MySQL分支版本。InnoSQL 5.5.30-v4下载地址:http://pan.baidu.com/s/1bnpgzpH如果需要进行任何InnoSQL咨询服务,可以访问:http://www.innosql.net/?p=48
相关文章推荐
- InnoSQL HA Suite的实现原理与配置说明 InnoSQL的VSR功能Virtual Sync Replication MySQL 5.5版本引入了半同步复制(semi-sync replicaiton)的功能 MySQL 5.6支持了crash safe功能
- mysql主从复制的原理及配置实现
- 配置MYSQL服务器实现主主复制
- mysql 主主复制(双主复制)+ 配置KEEPALIVED实现热备
- [置顶] MySQL 5.7主从复制从零开始设置及全面详解——实现多线程并行同步,解决主从复制延迟问题!
- 官方:MySQL 5.7 并行复制实现原理与调优 | InsideMySQL(转载)
- mysql5.6下主主复制的配置实现
- MySQL主从复制--MySQL5.5异步、半同步配置以及复制过滤实现
- MySQL主从复制配置实现
- mysql主从复制概述以及配置mysql5.7.10实现简单主从复制
- mysql的主从复制和并行复制的实现
- 配置MYSQL服务器实现主主复制
- MySQL 5.7 并行复制实现原理与调优
- mysql dba系统学习(18)mysql主从复制的实现 mysql dba系统学习(19)配置mysql+lvs+keeplived实现Mysql读操作的负载均衡
- MYSQL 5.7 并行复制实现原理与调优
- MySQL实现单机多实例安装并配置主从复制
- windows 下 MySQL读写分离、主从复制、通过amoeba代理实现读写分离 配置全过程
- MySQL 5.7 并行复制实现原理与调优
- MySQL 5.7 并行复制实现原理与调优
- 各版本 MySQL 并行复制的实现及优缺点