Redis系列-主从复制配置
2013-03-16 16:34
671 查看
redis虽然有着卓越的性能,但我们仍然可以通过master/slave这种简单架构,进行读写分离,进一步挖掘redis的性能,提高系统的可用性。
redis怎么进行主从复制呢?redis复制主要是通过master server持久化的rdb文件实现的。master server 先dump出内存快照文件,然后将rdb文件传给slave server,slave server 根据rdb文件重建内存表。redis复制过程如下:
1、slave server启动连接到master server之后,salve server主动发送SYNC命令给master server
2、master server接受SYNC命令之后,判断,是否有正在进行内存快照的子进程,如果有,则等待其结束,否则,fork一个子进程,子进程把内存数据保存为文件,并发送给slave server
3、master server子进程进程做数据快照时,父进程可以继续接收client端请求写数据,此时,父进程把新写入的数据放到待发送缓存队列中
4、slave server 接收内存快照文件之后,清空内存数据,根据接收的快照文件,重建内存表数据结构
5、master server把快照文件发送完毕之后,发送缓存队列中保存的子进程快照期间改变的数据给slave server,slave server做相同处理,保存数据一致性
6、master server 后续接收的数据,都会通过步骤1建立的连接,把数据发送到slave server
需要注意:slave server如果因为网络或其他原因断与master server的连接,当slave server重新连接时,需要重新获取master server的内存快照文件,slave server的数据会自动全部清空,然后再重新建立内存表,这样会让slave server 启动恢复服务比较慢,同时也给master server带来较大压力,可以看出redis的复制没有增量复制的概念,这是redis主从复制的一个主要弊端,在实际环境中,尽量规避中途增加从库。
通过上面的介绍,我们对redis的主从复制有了个大概了解,下面讲讲具体怎么配置master/slave。由于条件限制,这里用一台机器,启动两个进程来进行主从复制。
master server 配置文件master.conf, 主要配置如下:
slave server 配置文件slave.conf,主要配置如下:
从测试结果看,数据确实自动复制了。通过复制功能,我们可以在master上只写数据,在slave上读数据,关闭master的持久化(或aof)功能(在salve上开启),从而分担master服务器读压力,提高master服务器性能,同时,master挂了,可以快速地用slave server来替换master server,提高系统的可用性。
在实际环境中,我们可以根据redis复制特点,定制适合我们自己的复制架构。比如,采用master server ->slave server ->slave server ->slave server这种一拖一【或一拖一再拖多】的方式,和常规的一拖多方式相比,这种方式更能减少master server在复制数据时的压力。当然,由于redis复制的天然缺陷,我们也可以采用主动复制的方式【通过redis代理层,client在写master时,写多个master】来改造优化redis自带的复制策略,不过,主动复制,怎么保持数据的一致性也是个不小的挑战。
redis配置文件相关信息,请参阅以前的blog:Redis系列-配置文件小结
redis怎么进行主从复制呢?redis复制主要是通过master server持久化的rdb文件实现的。master server 先dump出内存快照文件,然后将rdb文件传给slave server,slave server 根据rdb文件重建内存表。redis复制过程如下:
1、slave server启动连接到master server之后,salve server主动发送SYNC命令给master server
2、master server接受SYNC命令之后,判断,是否有正在进行内存快照的子进程,如果有,则等待其结束,否则,fork一个子进程,子进程把内存数据保存为文件,并发送给slave server
3、master server子进程进程做数据快照时,父进程可以继续接收client端请求写数据,此时,父进程把新写入的数据放到待发送缓存队列中
4、slave server 接收内存快照文件之后,清空内存数据,根据接收的快照文件,重建内存表数据结构
5、master server把快照文件发送完毕之后,发送缓存队列中保存的子进程快照期间改变的数据给slave server,slave server做相同处理,保存数据一致性
6、master server 后续接收的数据,都会通过步骤1建立的连接,把数据发送到slave server
需要注意:slave server如果因为网络或其他原因断与master server的连接,当slave server重新连接时,需要重新获取master server的内存快照文件,slave server的数据会自动全部清空,然后再重新建立内存表,这样会让slave server 启动恢复服务比较慢,同时也给master server带来较大压力,可以看出redis的复制没有增量复制的概念,这是redis主从复制的一个主要弊端,在实际环境中,尽量规避中途增加从库。
通过上面的介绍,我们对redis的主从复制有了个大概了解,下面讲讲具体怎么配置master/slave。由于条件限制,这里用一台机器,启动两个进程来进行主从复制。
master server 配置文件master.conf, 主要配置如下:
daemonize yes pidfile /var/run/redis_6379.pid port 6379 #save 900 1 #save 300 10 #save 60 10000 dbfilename dump.rdb dir /var/lib/redis/6379
slave server 配置文件slave.conf,主要配置如下:
daemonize yes pidfile /var/run/redis_6379.pid port 6380 save 900 1 save 300 10 save 60 10000 dbfilename dump.rdb dir /var/lib/redis/6380 slaveof 127.0.0.1 6379slave.conf中,主要通过slaveof指定其master的ip和端口。启动master和slave:
/usr/local/bin/redis-server /etc/redis/master.conf /usr/local/bin/redis-server /etc/redis/slave.conf连接master server,写入数据:
[root@xsf001 ~]# redis-cli -p 6379 redis 127.0.0.1:6379> set user.1.name zhangsan OK连接 slave server,读数据:
[root@xsf001 ~]# redis-cli -p 6380 redis 127.0.0.1:6380> get user.1.name "zhangsan"
从测试结果看,数据确实自动复制了。通过复制功能,我们可以在master上只写数据,在slave上读数据,关闭master的持久化(或aof)功能(在salve上开启),从而分担master服务器读压力,提高master服务器性能,同时,master挂了,可以快速地用slave server来替换master server,提高系统的可用性。
在实际环境中,我们可以根据redis复制特点,定制适合我们自己的复制架构。比如,采用master server ->slave server ->slave server ->slave server这种一拖一【或一拖一再拖多】的方式,和常规的一拖多方式相比,这种方式更能减少master server在复制数据时的压力。当然,由于redis复制的天然缺陷,我们也可以采用主动复制的方式【通过redis代理层,client在写master时,写多个master】来改造优化redis自带的复制策略,不过,主动复制,怎么保持数据的一致性也是个不小的挑战。
redis配置文件相关信息,请参阅以前的blog:Redis系列-配置文件小结
相关文章推荐
- Redis系列-主从复制配置
- Redis系列-主从复制配置
- Redis主从复制和集群配置系列之五
- Redis主从复制和集群配置系列之六(redis集群节点新增、删除、重新分配slot实战)
- Redis主从复制和集群配置
- Linux DNS服务系列之主从复制、子域授权和转发、view配置详解
- redis配置主从复制
- Redis系列~主从复制(十八)
- Redis的主从复制与集群配置实践
- Linux下Redis主从复制(master-slave)配置
- Redis主从复制配置
- redis 主从配置/复制
- redis的主从复制配置
- Redis系列之Redis主从复制(二)
- Redis主从复制和集群配置
- Linux DNS服务系列之主从复制、子域授权和转发、view配置详解
- Redis主从复制基本配置
- Redis 笔记系列(十二)——Redis的主从复制、读写分离
- windows下redis主从复制配置
- redis的主从复制配置