应用直接中断连接导致数据被锁(生产故障)
2016-07-05 12:24
363 查看
这是一个由应用重启连接直接而导致数据被锁的问题。
系统大致结构
基本情况:
整个架构为了统一管理db连接,共享连接。
应用通过loadbalance连接db访问层。
db访问层后端代理若干db。
应用到loadbalance以mysql协议通信。
db访问层到db以JDBC方式通信。
故障: 某些数据库中的表数据相当长一段时间被锁,导致应用某些场景失败。
故障分析:应用开启一个事务的set autocommit=0命令是从app-lb-db访问层-db,期间如果某个事务还未执行完,而app强行中断连接,就会导致app-lb的连接断开,而lb并不直接断开后端的连接,即lb-db访问层-db的连接不会断,从而导致db不会发生回滚操作。而且此事务对某些记录加了锁,于是就会发生某些数据被锁。直到db访问层检测出该连接超过了idle时间才会关闭,并发送回滚命令给db。
解决问题:
① lb在前端连接关闭时要同时关闭同会话的后端连接,并且db访问层要监听lb的连接,一旦关闭则要做回滚操作。
②去掉lb,提供客户端loadbalance,应用一旦关闭连接db访问层也要关闭连接。
系统大致结构
基本情况:
整个架构为了统一管理db连接,共享连接。
应用通过loadbalance连接db访问层。
db访问层后端代理若干db。
应用到loadbalance以mysql协议通信。
db访问层到db以JDBC方式通信。
故障: 某些数据库中的表数据相当长一段时间被锁,导致应用某些场景失败。
故障分析:应用开启一个事务的set autocommit=0命令是从app-lb-db访问层-db,期间如果某个事务还未执行完,而app强行中断连接,就会导致app-lb的连接断开,而lb并不直接断开后端的连接,即lb-db访问层-db的连接不会断,从而导致db不会发生回滚操作。而且此事务对某些记录加了锁,于是就会发生某些数据被锁。直到db访问层检测出该连接超过了idle时间才会关闭,并发送回滚命令给db。
解决问题:
① lb在前端连接关闭时要同时关闭同会话的后端连接,并且db访问层要监听lb的连接,一旦关闭则要做回滚操作。
②去掉lb,提供客户端loadbalance,应用一旦关闭连接db访问层也要关闭连接。
相关文章推荐
- 应用直接中断连接导致数据被锁(生产故障)
- Swap Nodes & Reverse Nodes in k-Group
- Unity3D优化之Draw Call Batching
- css 一些灵动性的小方法
- JavaScript取得标准的系统时间
- 如何通过Dynamics CRM 2015修改用户密码
- vmtools的安装 vim使用和配置
- 小波变换
- Redis源码解析:27集群(三)主从复制、故障转移
- 视图必须派生自 WebViewPage 或 WebViewPage<TModel>
- 依赖库arr包,提交到Nexus搭建的Maven私服,编译过程中出现的问题:错误: 编码GBK的不可映射字符
- Unity3D性能优化
- Linux下检测SSH暴力破解***与防护功能
- [2016/07/05] LeetCode / Java - Day 12 -
- oracle gateways 访问 sql server
- PHP 设计模式
- Duilib 使用Zip 资源
- java.io.StreamCorruptedException: invalid stream header: ABACED00
- Draw Call Batching介绍
- 嵌入式Linux启动优化手记3 BootStrap优化