您的位置：首页 > 其它

DB slave master architecture - read, write separation

2016-05-23 16:06 141 查看


DB主从一致性架构优化4种方法

原创 2016-05-18 58沈剑 架构师之路

需求缘起

大部分互联网的业务都是“读多写少”的场景，数据库层面，读性能往往成为瓶颈。如下图：业界通常采用“一主多从，读写分离，冗余多个读库”的数据库架构来提升数据库的读性能。



这种架构的一个潜在缺点是，业务方有可能读取到并不是最新的旧数据：



（1）系统先对DB-master进行了一个写操作，写主库

（2）很短的时间内并发进行了一个读操作，读从库，此时主从同步没有完成，故读取到了一个旧数据

（3）主从同步完成

有没有办法解决或者缓解这类“由于主从延时导致读取到旧数据”的问题呢，这是本文要集中讨论的问题。

方案一（半同步复制）

不一致是因为写完成后，主从同步有一个时间差，假设是500ms，这个时间差有读请求落到从库上产生的。有没有办法做到，等主从同步完成之后，主库上的写请求再返回呢？答案是肯定的，就是大家常说的“半同步复制”semi-sync：



（1）系统先对DB-master进行了一个写操作，写主库

（2）等主从同步完成，写主库的请求才返回

（3）读从库，读到最新的数据（如果读请求先完成，写请求后完成，读取到的是“当时”最新的数据）

方案优点：利用数据库原生功能，比较简单

方案缺点：主库的写请求时延会增长，吞吐量会降低

方案二（强制读主库）

如果不使用“增加从库”的方式来增加提升系统的读性能，完全可以读写都落到主库，这样就不会出现不一致了：



方案优点：“一致性”上不需要进行系统改造

方案缺点：只能通过cache来提升系统的读性能，这里要进行系统改造

方案三（数据库中间件）

如果有了数据库中间件，所有的数据库请求都走中间件，这个主从不一致的问题可以这么解决：



（1）所有的读写都走数据库中间件，通常情况下，写请求路由到主库，读请求路由到从库

（2）记录所有路由到写库的key，在经验主从同步时间窗口内（假设是500ms），如果有读请求访问中间件，此时有可能从库还是旧数据，就把这个key上的读请求路由到主库

（3）经验主从同步时间过完后，对应key的读请求继续路由到从库

方案优点：能保证绝对一致

方案缺点：数据库中间件的成本比较高

方案四（缓存记录写key法）

既然数据库中间件的成本比较高，有没有更低成本的方案来记录某一个库的某一个key上发生了写请求呢？很容易想到使用缓存，当写请求发生的时候：



（1）将某个库上的某个key要发生写操作，记录在cache里，并设置“经验主从同步时间”的cache超时时间，例如500ms

（2）修改数据库

而读请求发生的时候：



（1）先到cache里查看，对应库的对应key有没有相关数据

（2）如果cache
hit，有相关数据，说明这个key上刚发生过写操作，此时需要将请求路由到主库读最新的数据

（3）如果cache
miss，说明这个key上近期没有发生过写操作，此时将请求路由到从库，继续读写分离

方案优点：相对数据库中间件，成本较低

方案缺点：为了保证“一致性”，引入了一个cache组件，并且读写数据库时都多了一步cache操作

总结

为了解决主从数据库读取旧数据的问题，常用的方案有四种：

（1）半同步复制

（2）强制读主

（3）数据库中间件

（4）缓存记录写key

前3个方案在今年数据库大会（DTCC2016）上share过，相关的材料在网上能下载到。第4个方案是大会现场有其他同学share的一个好方法，感谢这位同学。

==【全文完，希望大伙有收获】==


MySQL 读写分离介绍及搭建

2016/04/25 · IT技术 · 1
评论 · MySQL, 数据库

分享到：3

原文出处： bestvivi





MySQL读写分离基本原理是让master数据库处理写操作，slave数据库处理读操作。master将写操作的变更同步到各个slave节点。

MySQL读写分离能提高系统性能的原因在于：

物理服务器增加，机器处理能力提升。拿硬件换性能。
主从只负责各自的读和写，极大程度缓解X锁和S锁争用。
slave可以配置myiasm引擎，提升查询性能以及节约系统开销。
master直接写是并发的，slave通过主库发送来的binlog恢复数据是异步。
slave可以单独设置一些参数来提升其读的性能。
增加冗余，提高可用性。


MySQLProxy介绍

下面使用MySQL官方提供的数据库代理层产品MySQLProxy搭建读写分离。

MySQLProxy实际上是在客户端请求与MySQLServer之间建立了一个连接池。所有客户端请求都是发向MySQLProxy，然后经由MySQLProxy进行相应的分析，判断出是读操作还是写操作，分发至对应的MySQLServer上。对于多节点Slave集群，也可以起做到负载均衡的效果。





MySQL读写分离配置

MySQL环境准备

master 192.168.1.5

slave 192.168.1.6

proxy 192.168.1.2

MySQL：5.5.37

MySQL-proxy：mysql-proxy-0.8.4-linux-rhel5-x86-64bit.tar.gz


创建用户并分配权限

MySQL

12mysql> create user libai identified by 'libai';mysql> grant all on *.* to libai@'192.168.1.%' identified by 'lib;
在配置了MySQL复制，以上操作在master执行会同步到slave节点。

启用MySQL复制

MySQL复制配置请参考这里先关闭并清除之前的复制。MySQL

1

2

mysql>
stop slave;

mysql>
reset slave
all;

启用新的复制同步。启用之前需要清除日志

MySQL

1mysql> change master to master_host='192.168.1.5',master_user='libai',master_password='libai',master_port=3306,master_log_file='mysql-bin.000001',master_log_pos=0;
主库MySQL

1

2

3

4

5

# mysql -h localhost -ulibai -plibai

mysql>
create
database
d;

mysql>
use
d;

mysql>
create
table
t(i
int);

mysql>
insert
into
t
values(1);

从库

MySQL

12345mysql> select * from t; +------+ | i | +------+ | 1 |

启用MySQLProxy代理服务器

代理服务器上创建mysql用户MySQL

1

2

# groupadd mysql

#
useradd -g mysql mysql

解压启动mysql-proxy

MySQL

1# ./mysql-proxy --daemon --log-level=debug --user=mysql --keepalive --log-file=/var/log/mysql-proxy.log --plugins="proxy" --proxy-backend-addresses="192.168.1.5:3306" --proxy-read-only-backend-addresses="192.168.1.6:3306" --proxy-lua-script="/root/soft/mysql-proxy/rw-splitting.lua" --plugins=admin --admin-username="admin" --admin-password="admin" --admin-lua-script="/root/soft/mysql-proxy/lib/mysql-proxy/lua/admin.lua"
其中proxy-backend-addresses是master服务器，proxy-read-only-backend-addresses是slave服务器。可以通过./mysql-proxy –help 查看详细说明。查看启动后进程MySQL

1

2

3

# ps -ef | grep mysql

root
25721
1
0
11:33
?
00:00:00
/root/soft/mysql-proxy/libexec/mysql-proxy
--daemon
--log-level=debug
--user=mysql
--keepalive
--log-file=/var/log/mysql-proxy.log
--plugins=proxy
--proxy-backend-addresses=192.168.1.5:3306
--proxy-read-only-backend-addresses=192.168.1.6:3306
--proxy-lua-script=/root/soft/mysql-proxy/rw-splitting.lua
--plugins=admin
--admin-username=admin
--admin-password=admin
--admin-lua-script=/root/soft/mysql-proxy/lib/mysql-proxy/lua/admin.lua

mysql
25722
25721
0
11:33
?
00:00:00
/root/soft/mysql-proxy/libexec/mysql-proxy
--daemon
--log-level=debug
--user=mysql
--keepalive
--log-file=/var/log/mysql-proxy.log
--plugins=proxy
--proxy-backend-addresses=192.168.1.5:3306
--proxy-read-only-backend-addresses=192.168.1.6:3306
--proxy-lua-script=/root/soft/mysql-proxy/rw-splitting.lua
--plugins=admin
--admin-username=admin
--admin-password=admin
--admin-lua-script=/root/soft/mysql-proxy/lib/mysql-proxy/lua/admin.lua

4040是proxy端口，4041是admin管理端口

MySQL

12345COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME mysql-pro 25722 mysql 10u IPv4 762429 0t0 TCP *:yo-main (LISTEN) # lsof -i:4041 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME mysql-pro 25722 mysql 11u IPv4 762432 0t0 TCP *:houston (LISTEN)

测试

保证mysqlproxy节点上可执行mysql 。通过复制同步帐号连接proxyMySQL

1

2

3

4

5

6

7

8

9

10

11

# mysql -h 192.168.1.2 -ulibai -p --port=4040

mysql>
show
databases

+--------------------+

|
Database
|

+--------------------+

|
information_schema
|

|
d |

|
mysql |

|
performance_schema
|

|
test
|

+--------------------+

登录admin查看状态

MySQL

12345678# mysql -h 192.168.1.2 -u admin -p --port=4041 mysql> select * from backends; +-------------+------------------+-------+------+------+-------------------+ | backend_ndx | address | state | type | uuid | connected_clients | +-------------+------------------+-------+------+------+-------------------+ | 1 | 192.168.1.5:3306 | up | rw | NULL | 0 | | 2 | 192.168.1.6:3306 | up | ro | NULL | 0 | +-------------+------------------+-------+------+------+-------------------+
2 rows in set (0.00 sec)
可以从以上查询中看到master和slave状态均为up。1）登录proxy节点，创建数据库dufu，并创建一张表tMySQL

1

2

3

4

5

mysql>
create
database
dufu;

mysql>
show
databases;

mysql>
use
dufu;

mysql>
create
table
t(id
int(10),name
varchar(20));

mysql>
show
tables;

创建完数据库及表后，主从节点上应该都可以看到

2）关闭同步，分别在master和slave上插入数据

MySQL

1mysql> slave stop;
masterMySQL

1

mysql>
insert
into
t
values(1,'this_is_master');

slave

MySQL

1mysql> insert into t values(2,'this_is_slave');
3）proxy上查看结果MySQL

1

2

3

4

5

6

7

8

mysql>
use
dufu;

mysql>
select
*
from
t;

+------+---------------+

|
id
|
name |

+------+---------------+

| 2
|
this_is_slave
|

+------+---------------+

1
row
in
set
(0.00
sec)

从结果可以看到数据是从slave上读取的，并没考虑master节点上的数据。

直接从proxy上插入数据

MySQL

1mysql> insert into t values(3,'this_is_proxy');
再次查询MySQL

1

2

3

4

5

6

mysql>
select
*
from
t;

+------+---------------+

| id | name
|

+------+---------------+

|
2 |
this_is_slave
|

+------+---------------+

结果显示查询数据没有变化，因为proxy上执行insert相当于写入到了master上，而查询的数据是从slave上读取的。

master上查询

MySQL

1234567mysql> select * from t; +------+----------------+ | id | name | +------+----------------+ | 1 | this_is_master| | 3 | this_is_proxy | +------+----------------+
启用复制，proxy查询MySQL

1

2

3

4

5

6

7

8

mysql>
select
*
from
t;

+------+----------------+

| id | name |

+------+----------------+

|
2 | this_is_slave
|

|
1 |
this_is_master
|

|
3 | this_is_proxy
|

+------+----------------+

说明此时master上的数据同步到了slave，并且在proxy查询到数据是slave数据库的数据。此时，可以看到MySQLProxy实现了分离。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航