您的位置:首页 > 数据库 > Redis

redis学习系列(四)--在项目中部署redis企业级数据备份方案以及各种踩坑的数据恢复容灾演练

2018-03-18 13:14 991 查看
到这里为止,其实还是停留在简单学习知识的程度,学会了redis的持久化的原理和操作,但是在企业中,持久化到底是怎么去用得呢?
企业级的数据备份和各种灾难下的数据恢复,是怎么做得呢?
1、企业级的持久化的配置策略
①.在企业中,RDB的生成策略直接使用默认的即可
②.aof默认是关闭的 (appendonly no) 将no改为yes即可,其他的按默认配置即可。save 900 1
save 300 10
save 60 10000 #rdb检查点
dbfilename dump.rdb #rdb文件名
dir /var/redis/6379 #rdb及aof文件存储目录
appendonly yes #开启aof持久化策略

# appendfsync always
appendfsync everysec #aof持久化策略--每五秒钟只要有一个key发生变化就执行fsync()方法write数据到aof文件中
# appendfsync no
2、企业级的数据备份方案
RDB非常适合做冷备,每次生成之后,就不会再有修改了
数据备份方案

(1)写crontab定时调度脚本去做数据备份
每小时一次备份

crontab -e #在linux控制台输出这个命令
0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh #输入定时(每小时的第0秒)要执行的文件
vim /usr/local/redis/copy/redis_rdb_copy_hourly.sh #在/usr/local/redis/copy/redis_rdb_copy_hourly.sh新建文件,编辑文件,写入shell脚本
#!/bin/sh cur_date=`date +%Y%m%d%k` #根据当前时间定义一个变量
rm -rf /usr/local/redis/snapshotting/$cur_date #移除文件夹,防止根据当前时间生成文件夹时冲突
mkdir /usr/local/redis/snapshotting/$cur_date #根据当前时间生成文件夹
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date #将当前的redis rdb文件复制到刚生成的文件夹中做备份
del_date=`date -d -48hour +%Y%m%d%k` #根据48小时前的时间定义一个变量
rm -rf /usr/local/redis/snapshotting/$del_date #删除48小时前的文件及文件夹
每天copy一次备份
crontab -e
0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh #每天的0时0点0分执行定时任务
vim /usr/local/redis/copy/redis_rdb_copy_daily.sh
#!/bin/sh cur_date=`date +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$cur_date
mkdir /usr/local/redis/snapshotting/$cur_date
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date
del_date=`date -d -1month +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$del_date
每天一次将所有数据上传一次到远程的云服务器上去
3、数据恢复方案
(1)如果是redis进程挂掉,那么重启redis进程即可,直接基于AOF日志文件恢复数据
(2)如果是redis进程所在机器挂掉,那么重启机器后,尝试重启redis进程,尝试直接基于AOF日志文件进行数据恢复
AOF没有破损,也是可以直接基于AOF恢复的,如果AOF文件破损,那么用redis-check-aof fix
(3)如果redis当前最新的AOF和RDB文件出现了丢失/损坏,那么可以尝试基于该机器上当前的某个最新的RDB数据副本进行数据恢复
当前最新的AOF和RDB文件都出现了丢失/损坏到无法恢复,一般不是机器的故障,人为。
找到RDB最新的一份备份,小时级的备份可以了,小时级的肯定是最新的,copy到redis里面去,就可以恢复到某一个小时的数据

容灾演练
停止redis,关闭aof,拷贝rdb备份,重启redis,确认数据恢复,直接在命令行热修改redis配置,打开aof,这个redis就会将内存中的数据对应的日志,写入aof文件中
此时aof和rdb两份数据文件的数据就同步了
redis config set 热修改配置参数,可能配置文件中的实际的参数没有被持久化的修改,再次停止redis,手动修改配置文件,打开aof的命令,再次重启redis即可

(4)如果当前机器上的所有RDB文件全部损坏,那么从远程的云服务上拉取最新的RDB快照回来恢复数据
(5)如果是发现有重大的数据错误,比如某个小时上线的程序一下子将数据全部污染了,数据全错了,那么可以选择某个更早的时间点,对数据进行恢复
举个例子,12点上线了代码,发现代码有bug,导致代码生成的所有的缓存数据,写入redis,全部错了
找到一份11点的rdb的冷备,然后按照上面的步骤,去恢复到11点的数据,不就可以了吗
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: