记录一次线上,ss服务出现大面积不能响应请求:java.io.IOException: Broken pipe
2016-06-17 13:25
513 查看
5月26日 ,晚上 ,我讲新增的功能部署上线后,运行两天,接口服务就响应不了,错误特征:
1.日志信息:
exec-147] com.xpx.middle.web.VproductSearchController - Òì³£ÐÅÏ¢£ºjava.io.IOException: Broken pipeÒì³£¶ÑÕ»£ºorg.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:393) org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:426) org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:342) org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:317) org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:110) com.fasterxml.jackson.core.json.UTF8JsonGenerator.flush(UTF8JsonGenerator.java:1020)
没有其他业务错误信息。
2. 新的请求全部不能响应。
解决办法:
1. 查看cpu 内存,tcp连接数 都不多,mysql的sql也正常。
2.查看jstack -l pid 也没有很特别的信息。
最终在接口打印节点日志,计算几个关键步骤的执行,耗时情况,发现端倪。
总结:这里想说的是 接口超时 会导致整个服务不可用,做好接口依赖的服务的错误处理很关键:
failfast:快速发现错误
failover:失败切换。
最终:更改服务读取超时时间,让服务提供方优化
1.日志信息:
exec-147] com.xpx.middle.web.VproductSearchController - Òì³£ÐÅÏ¢£ºjava.io.IOException: Broken pipeÒì³£¶ÑÕ»£ºorg.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:393) org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:426) org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:342) org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:317) org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:110) com.fasterxml.jackson.core.json.UTF8JsonGenerator.flush(UTF8JsonGenerator.java:1020)
没有其他业务错误信息。
2. 新的请求全部不能响应。
解决办法:
1. 查看cpu 内存,tcp连接数 都不多,mysql的sql也正常。
2.查看jstack -l pid 也没有很特别的信息。
最终在接口打印节点日志,计算几个关键步骤的执行,耗时情况,发现端倪。
总结:这里想说的是 接口超时 会导致整个服务不可用,做好接口依赖的服务的错误处理很关键:
failfast:快速发现错误
failover:失败切换。
最终:更改服务读取超时时间,让服务提供方优化
相关文章推荐
- eclipse集成weblogic开发环境的搭建
- easyui的datagrid整合struts2,以及Ajax,实现局部刷新功能,并设置分页的实现---------投票案例
- java获取对象属性类型、属性名称、属性值
- spring mvc 入门系列之二--HelloWorld(注解版)
- 通用数据库查询分析器Java实现
- eclipse(修改注释作者名称)
- 第四章 Controller接口控制器详解 (4)——跟着开涛学SpringMVC
- Spring与Logback整合
- but no declaration can be found for element 'mvc:resources'(springmvc 常见错误)
- java的引用总结
- java前后台之间传值的几种方式
- 基于Eclipse Maven的Spring4/Spring-MVC/Hibernate4整合之五:Hibernate的事务管理、手动回滚
- 深入springmvc
- java构造树,多级菜单
- spring mvc数据绑定
- JAVA JDK1.5-1.9新特性
- spring注解 总结
- Spring 攻略第004讲
- springMVC源码下载地址
- Java封装、继承、多态三大特征的理解