云计算之路-阿里云上-寒流来袭:2014年12月23日21:45-23:15网站故障
2014-12-24 01:23
405 查看
1个多小时间的网站故障给大家带来很大的麻烦,在这里我们表示深深的歉意!希望大家能够谅解!
这两天上海的气温在回升,而杭州的云上却突然袭来一股寒流。
12月23日晚上,阿里云进行了一次RDS的功能发布,在发布中悄无声息地修改了我们的RDS数据库连接数限制,谁也不知道,然后。。。
21:45:52左右开始,日志中出现大量执行时间超过5秒的请求。
然后出现超过10秒、20秒。。。甚至超过100秒的请求。
21:46:50左右,开始出现数据库连接错误:
System.Data.SqlClient.SqlException (0x80131904): Timeout 时间已到。 在操作完成之前超时时间已过或服务器未响应。 尝试连接到 Principle 服务器时发生了此故障。 ---> System.ComponentModel.Win32Exception (0x80004005): 等待的操作过时。
并继续出现大量执行时间超过5秒的请求。
接着出现下面的错误:
System.InvalidOperationException: 超时时间已到。 超时时间已到,但是尚未从池中获取连接。 出现这种情况可能是因为所有池连接均在使用,并且达到了最大池大小。
再接着就是下面的错误:
System.Web.HttpUnhandledException (0x80004005): 引发类型为“System.Web.HttpUnhandledException”的异常。 ---> System.Data.SqlClient.SqlException (0x80131904): 已成功与服务器建立连接,但是在登录前的握手期间发生错误。 (provider: SSL Provider, error: 0 - 等待的操作过时。)
然后网站就无法正常访问。
(上图中紫色的线条表示的是请求执行时间)
当我们发现问题后,立即向阿里云反馈,然后与阿里云工作人员一起排查问题。但是我们不知道这次RDS发布,阿里云参加排查问题的人也不知道。于是,紧张地做了1小时左右的无用功,直到知道了故障的真相——RDS功能发布时修改了我们的RDS最大连接数限制,而且这次发布事先没有任何通知。
我们不要这样的“被故障”,我们要的是无故障,希望2015年全年无故障!
相关文章推荐
- 云计算之路-阿里云上:网站故障致歉
- 云计算之路-阿里云上:SLB故障引发的网站不能正常访问
- 云计算之路-阿里云上:向大家汇报一下今天上午的网站故障
- 云计算之路-阿里云上:0:25~0:40网络存储故障造成网站不能正常访问
- 云计算之路-阿里云上:节点 CPU 波动引发 docker swarm 集群故障
- 云计算之路-迁入阿里云后:20130314云服务器故障经过
- 云计算之路-阿里云上:启用Windows虚拟内存引发的CPU 100%故障
- 云计算之路-阿里云上:14:20-14:55博客后台2台服务器都CPU 100%引发的故障
- 云计算之路-阿里云上-十字路口:阿里云SLB故障
- 云计算之路-阿里云上-阵雨:RDS故障的突袭
- 云计算之路-阿里云上: RDS实例CPU跑满引发的故障
- 云计算之路-阿里云上:2014年6月12日16:14遭遇SLB故障
- 云计算之路-黎明前的黑暗:20130424网站故障经过
- 云计算之路-阿里云:试用阿里云RDS——10分钟 vs 1小时16分钟
- 云计算之路-阿里云上:禁用Windows虚拟内存引发的重启
- 云计算之路-阿里云上:“黑色10秒钟”的新进展
- 云计算之路-阿里云上:4000IOPS的RDS+16核CPU的负载均衡
- 云计算之路-阿里云上:愚人节被阿里云OCS愚
- 云计算之路-试用Azure:遭遇第一次故障
- 云计算之路-阿里云上:节能降耗,希望从此好天气