mysql通过binlog进行增量备份
2012-09-25 15:23
78 查看
在备份mysql数据的时候,可能会遇到数据基数很大的情况,如果每天都备份整个全库,将会耗费很大的资源,这个时候就可以通过binlog进行增量备份,每天记录一个breakpoint,备份的时候从前一天breakpoint往后进行增量备份就可以了。还有一种情况也可以用到增量备份,那就是在线迁移数据的时候,在不停服务的情况下迁移全库数据就可以采用增量备份补充增量数据。
通过binlog进行增量备份时如果不需要过滤特定的database和table就可以直接通过mysql自带的master/slave机制来进行增量备份。如果需要过滤出特定的database或者table,那么就需要自己写代码过滤binlog。下面就来说说怎么进行binlog的过滤和增量备份。
1.使用%MYSQL_HOME%/bin/mysqlbinlog工具将binlog的二进制文件解析成文本,可以写到硬盘上或者放到管道里。
2.需要一个binlog的过滤程序对文本的binlog进行过滤,过滤的目的是找出特定的database和table的sql语句。
3.在过滤的时候不能按行进行grep,因为可能有一个sql语句在多个行,这时可以通过分隔符“;”来进行划分,这里要注意的是要先将注释去掉,因为注释中很有可能含有“;”(mysql的注释包括/*,#和--),还要注意字符串中的“;”也不能算进来(处理字符串的时候要注意双引号的转义)。
4.将sql逐条进行过滤,这里同样需要一些关于字符串的处理,这里要注意的是,use语句的上下文环境,这个将决定sql所对应的database,然后将sql的命令列成白名单进行表名位置的匹配,获取表名以后再进行过滤。
5.因为在备份binlog的同时又有新的binlog产生,这时就需要一个循环,不停地进行上述的4个步骤,直到剩下的binlog大小足够小,就可以停一小段时间mysql的写操作,将剩下的binlog完全同步过去。
通过binlog进行增量备份时如果不需要过滤特定的database和table就可以直接通过mysql自带的master/slave机制来进行增量备份。如果需要过滤出特定的database或者table,那么就需要自己写代码过滤binlog。下面就来说说怎么进行binlog的过滤和增量备份。
1.使用%MYSQL_HOME%/bin/mysqlbinlog工具将binlog的二进制文件解析成文本,可以写到硬盘上或者放到管道里。
2.需要一个binlog的过滤程序对文本的binlog进行过滤,过滤的目的是找出特定的database和table的sql语句。
3.在过滤的时候不能按行进行grep,因为可能有一个sql语句在多个行,这时可以通过分隔符“;”来进行划分,这里要注意的是要先将注释去掉,因为注释中很有可能含有“;”(mysql的注释包括/*,#和--),还要注意字符串中的“;”也不能算进来(处理字符串的时候要注意双引号的转义)。
4.将sql逐条进行过滤,这里同样需要一些关于字符串的处理,这里要注意的是,use语句的上下文环境,这个将决定sql所对应的database,然后将sql的命令列成白名单进行表名位置的匹配,获取表名以后再进行过滤。
5.因为在备份binlog的同时又有新的binlog产生,这时就需要一个循环,不停地进行上述的4个步骤,直到剩下的binlog大小足够小,就可以停一小段时间mysql的写操作,将剩下的binlog完全同步过去。
相关文章推荐
- Mysql 通过全量备份和binlog恢复整体数据
- 【SQL】MySQL之使用mysqlbinlog进行增量备份及恢复详解
- Linux系统下通过命令行对mysql数据进行备份和还原
- 烂泥:通过binlog恢复mysql备份之前的数据
- MySQL 利用xtrabackup进行增量备份详细过程汇总
- Mysql学习第三课-分析二进制日志进行增量备份和还原
- mysql备份还原-基于binlog的增量备份还原
- 【SQL】MySQL之使用mysqlbinlog进行增量备份及恢复详解
- mysql实时增量备份 binlog日志备份
- shell脚本:mysql全备与binlog增量备份
- 烂泥:通过binlog恢复mysql备份之前的数据
- 通过网络映射进行增量备份
- MySQL 利用xtrabackup进行增量备份详细过程汇总
- 【增量备份Mysql数据 - 备份binlog文件】
- mysql通过xcopy进行数据库备份步骤及问题处理
- Mysql 增量备份
- 使用mysqldump进行Mysql 备份
- 使用mysqldump工具进行mysql备份
- (八) 通过jdbc对对solr进行数据的增量导入
- MySQL增量备份与恢复实例