MySQL案例--磁盘空间不足&MTS Group recovery失败
2020-01-15 09:57
162 查看
-------------------------------------------------------------------------------------------------正文---------------------------------------------------------------------------------------------------------------
线上业务,最后一次内测阶段;
背景:MySQL-5.7.12
问题发生的现象:
收到报警信息,业务主库A的心跳检测失败,将备库B升级为业务主库;
问题发生的原因:
业务主库A的数据文件目录的磁盘空间剩余量为0%;
问题解决的过程:
磁盘空间写满以后,DML语句无法将数据变更落盘,因此导致业务主库不可用;
所以处理方式也很简单,清理一部分空间以后,purge掉了一些已经备份过的binlog;
不过在处理中发现一个问题,replication slave在报错;
查看mysql的error-log,可以看到如下信息:
与此同时,不管是start slave还是change master都无法完成,会在error-log中不断的刷新类似的错误信息;
由于业务主库A降级是在磁盘空间写满以后,所以可以确认备库B上的业务操作不可能会在A上面执行,两个库之间不会有一致性的问题;
于是选择了reset slave all+change master的方式,重新恢复了同步;
故障报告写完以后,再详细研究一下这种现象的原因:
找到一个bug记录:发生于MySQL-5.6
http://bugs.mysql.com/bug.php?id=77496
并且在5.7.12中也发现过:
https://bugs.mysql.com/bug.php?id=80102
在comment中,提到了relay_log_recovery=ON和slave-parallel-type=LOGICAL_CLOCK时会出现这个问题;
恰好正在出问题的库也是这种设置;
发生错误的原因:
基于在5.6的Group Commit特性,5.7中实现了Mutil-Thread-Slave的特性,多个线程会同时复现relay-log中, 同一组的事务;
因此multi-threaded replication slave在运行过程中,如果意外的停止了,由于无法确认事务的一致性,在开启了relay_log_recovery的情况下,会出现如截图中的信息;
官方推荐的恢复步骤:
1.设置relay_log_recovery=0;
2.启动slave的时候,带上特殊命令:START SLAVE UNTIL SQL_AFTER_MTS_GAPS;
3.设置relay_log_recovery=1;
非常重要的一点:relay_log_recovery不是一个动态的参数,需要重启数据库实例;
这个问题在5.7.13得到了修复,整个操作步骤会在重启的时候自动进行;重启的时候...重启的...重启...
虽然和bug文档以及官方描述的场景不同,不过上文中出现的情况应该是同一个原因造成的;
好在能够确认A库上的multi-threaded replication slave不可能出现事务不一致的情况,所以就简单粗暴的清除了slave的信息,然后重新进行了同步;
PS:GTID大法好~
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29510932/viewspace-2120939/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/29510932/viewspace-2120939/
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- ASM磁盘组空间不足--ORA-15041:DISGROUP DATA space exhausted (生产库案例)
- 故障案例:磁盘空间不足可能引起的mysql问题
- ASM磁盘组空间不足--ORA-15041:DISGROUP DATA space exhausted (生产库案例)
- 故障案例:磁盘空间不足可能引起的mysql问题
- mysql-bin日志文件过大导致磁盘空间不足问题解决方法
- 进入用友通:提示"由于文件不可访问,内存磁盘空间不足无法打开ufsystem数据库"登录失败
- wce调试时提示"磁盘空间不足",布署失败
- 黑色星期五,磁盘空间不足,mysql挂掉的解决办法
- Reporting Service 2008 “报表服务器数据库内出错。此错误可能是因连接失败、超时或数据库中磁盘空间不足而导致的”
- 二进制安装MySQL5.5.39,磁盘空间不足导致MySQL无法启动
- 磁盘空间不足引起sqlserver作业导出失败
- Mysql存储引擎MyISAM的常见问题(表损坏、无法访问、磁盘空间不足)
- 磁盘空间满引起的mysql启动失败:ERROR! MySQL server PID file could not be found!
- sharepoint 2013 打开rdl报表,报表服务器数据库内出错。此错误可能是因连接失败、超时或数据库中磁盘空间不足而导致的
- 部署失败:磁盘空间不足
- Oracle数据库案例整理-登录Oracle数据库失败-表空间可用空间不足
- ORA-15041: diskgroup "DATAVG" space exhausted ASM空间假装耗尽不足,resize数据文件和增加数据文件失败
- ORA-15041: diskgroup "DATAVG" space exhausted ASM空间假装耗尽不足,resize数据文件和增加数据文件失败
- Mysql存储引擎MyISAM的常见问题(表损坏、无法访问、磁盘空间不足)
- mysql访问日志满造成linux磁盘空间不足问题系列跟踪解决