java服务器集群高并发场景下发布导致load高的解决方案
2017-03-15 00:00
302 查看
我们的java服务器集群在发布的时候,会出现刚发布的服务器load飙高(超过cpu核数)的问题,过几分钟才能回到低位,分析了好久也没发现什么原因。
经过查阅相关资料,我们意识到jvm在刚启动时,性能并不是最好的状态,在随后的运行过程中,它会自动分析热点(运行频率高的的代码),并对热点代码进行优化,所以jvm运行一段时间后才能获得较好的性能。这个问题在体量较小的应用中无法体现,当qps达到较高水平时,才会出现这个问题。
但网上查到的资料也就到这里了,并没有给出解决方案。于是综合自己的思考,以及与某大型互联网公司员工的探讨,发现了这个解决方案:降低刚发布的服务器的权重,让它的相对流量变小,然后逐渐加大权重,给它充分的预热时间。
具体的实施方案要分应用,比如web应用的负载均衡,我们用到了阿里云的SLB,发布时需要调用SLB的api,逐渐加大权重。
对于RPC,比如dubbo,需要在provider启动注册自己到zk时加入服务启动时间,consumer取到这个时间,跟当前时间对比,在10分钟内逐渐提高权重到正常值。实践的时候发现dubbo已经在RandomLoadBalance写了这种实现方式,但不幸的是有bug。在我fork的源码中已经修复了该问题:https://github.com/aftersss/dubbo
经过查阅相关资料,我们意识到jvm在刚启动时,性能并不是最好的状态,在随后的运行过程中,它会自动分析热点(运行频率高的的代码),并对热点代码进行优化,所以jvm运行一段时间后才能获得较好的性能。这个问题在体量较小的应用中无法体现,当qps达到较高水平时,才会出现这个问题。
但网上查到的资料也就到这里了,并没有给出解决方案。于是综合自己的思考,以及与某大型互联网公司员工的探讨,发现了这个解决方案:降低刚发布的服务器的权重,让它的相对流量变小,然后逐渐加大权重,给它充分的预热时间。
具体的实施方案要分应用,比如web应用的负载均衡,我们用到了阿里云的SLB,发布时需要调用SLB的api,逐渐加大权重。
对于RPC,比如dubbo,需要在provider启动注册自己到zk时加入服务启动时间,consumer取到这个时间,跟当前时间对比,在10分钟内逐渐提高权重到正常值。实践的时候发现dubbo已经在RandomLoadBalance写了这种实现方式,但不幸的是有bug。在我fork的源码中已经修复了该问题:https://github.com/aftersss/dubbo
相关文章推荐
- java服务器集群高并发场景下发布导致load高的解决方案
- java系统高并发解决方案之图片服务器分离
- java系统高并发解决方案之图片服务器分离
- java系统高并发解决方案之图片服务器分离
- Java 获取路径,发布服务器路径不正确解决方案。
- 服务器维护中处理高并发导致的一些常见问题解决方案
- java系统高并发解决方案之图片服务器分离
- mina高并发短连接导致java.io.IOException: Too many open files解决方案
- java系统高并发解决方案之图片服务器分离
- java系统高并发解决方案之图片服务器分离
- java系统高并发解决方案之图片服务器分离
- mina高并发短连接导致java.io.IOException: Too many open files解决方案
- java系统高并发解决方案之图片服务器分离
- java系统高并发解决方案之图片服务器分离
- mina高并发短连接导致java.io.IOException: Too many open files解决方案
- java并发值多线程同步业务场景以及解决方案
- JAVA多服务器通讯框架-聊天功能演示程序 V0.1 alpha 发布并提供下载
- Java集群之session共享解决方案
- Java多线程并发访问解决方案
- Mac OS ssh-copy-id Command not found 导致无法对目标服务器上传一个公钥的问题解决方案