mysql5.7 semi-sync的bug--semi-sync slave net-flush(
研发的同事反馈,mysql的半同步怎么变异步了?开始觉得不足为奇,超时之后,自然变成异步了。但同步binlog的速度变得正常之后,就会自动变成同步了。但抱着严谨负责的态度,马上去检查了一下数据库的日志跟半同步的状态。
看了一下从库的错误日志,被图片中所示的sem-sync slave net_flush() reply failed 刷屏。。。。。。,汗了,这又是哪一出? 主库却没有任何日志。
虽然此时的主从同步的延迟时间是正常的,维持在0s的延迟,但此时同步状态却是异步的。
好奇怪呢?
查看一下代码,该Semi-sync slave net_flush() reply failed 信息来自函数
ReplSemiSyncSlave::slaveReply,函数如下
该错误发生的条件就是执行net_flush(net)函数,没有收到正常的返回,报错了,所以有上面的错误发生,该函数的作用是将从库收到的binlog file 跟binlog pos的信息发送给主库。
网络有问题? 即使网路抖动性的问题,网路恢复之后应该正常才是。
为什么这个错误持续刷屏? 而主从同步目前是正常的,只是由半同步变成了异步。
当我将slave重启之后,错误信息也很快就出现。
因为该函数是向主库发送同步binlog的确认信息的,也就是ack信息,难道是主库的ack的接收线程出了问题? 而主库没有任何的报错信息 。
关键时刻,自己搞不定的时候,尝试找帮手。我将错误信息,发给oracle公司的mysql开发者宋老师,宋老师是负责replication模块的开发者,对replication相当熟悉,说我可能遇上一个mysql的Bug,让我查看一下Bug 79865 . 在此,非常感谢宋老师的热情的无偿援助。
我们来看看采用了select()多路复用io模型的ack_reciver 线程的代码:
bug的关键点是因为 ret= select(max_fd+1, &fds, NULL, NULL, &tv); select()函数的入参max_fd+1有1024的限制,且这个限制无法通过修改nproc来突破?
(ulimit -n 命令可以修改nproc参数)。
貌似所有的疑问都揭开,但请继续。
作者采用的环境是5.7.15,同时,作者采用的操作系统是centOS 7, 根据上面http://bugs.mysql.com/bug.php?id=79865 后半部分,Meiji Kimura 的描述信息,该bug在centos 6上复现了, 而在centOS7上没有复现。而作者正是采用了centos 7.
现在留下了的疑问是?
centos 7 是否也没有能突破这个限制? 所以导致了bug的产生。 如果可以突破这个限制,作者的环境出现semi-sync的错误是什么原因导致?
2. 如果有这个Bug,如何避免?
3. 周末在家,作者没有测试环境来继续跟进这个问题,来复现这个问题。但基本思路已有,期待下周复现。
但几乎无疑问的是,一定是跟多路复用IO模型select()函数有关。作者想确认的是,这个bug跟操作系统是否完全无关。因此,再次感谢宋老师跟我指明方向。
另外,很幸运的是,宋老师让我关注下一个版本的发布,也就是5.7.17。暗含就是这个问题应该在下一个版本中解决。
- Semi-sync master failed on net_flush() before wait
- Semi-sync master failed on net_flush() before wait
- GTID下slave_net_timeout值太小问题bug
- MySQL5.7版本 Semisync Replication 增强
- 从.Net框架Bug的提交到修复代码成功合并到.NET CoreFX主线
- mysql5.5 semi-sync安装维护
- [.Net疑难杂症]远程主机关闭了连接错误,Flush()或End()方法导致的错误解决方案
- Attachments failing with invalid id (Bugtraker.net)
- dotnetnuke的bug?
- 探讨C#.NET下DropDownList的一个有趣的bug及其解决办法
- ASP.NET自定义控件的BUG在ASPX页面中注册控件后不能打出标签的问题(本人已解决)
- BUG: Visual Studio .NET Setup Projects Execute Custom Action of Previous Version when Upgrading
- System.Net.Mail.Attachment 的中文标题bug
- Spring.net 的一个bug ?
- VS.NET的Bug
- ADO.net Sync Service(reference)
- MySQL参数:innodb_flush_log_at_trx_commit 和 sync_binlog
- .NET反射的问题,可以算作.NET的bug吗?
- 【案例】slave_net_timeout 问题一则
- 使用微软ASP.NET MVC Framework的一些感受 + 收集园子朋友发现的bug反馈