性能测试瓶颈定位——磁盘IO和线程切换过多
2017-01-17 09:09
337 查看
1、 第一次打压时,发现A请求压力80tps后,cpu占用就非常高了(24核的机器,每个cpu占用率全面飙到80%以上),且设置的检查点没有任何报错。
![](https://www.testwo.com/attachments/12867/1458535235061.png)
2、 了解了一下后台实现逻辑:大体是这样的:服务器接到请求后,会再到另一台kv服务器请求数据,拿回来数据后,根据用户的机器码做个性化运算,最后将结果返回给客户端,期间会输出一些调试log。
查了下,kv服务器正常,说明是本机服务服务器的问题。具体用vmstat命令看一下异常的地方。
![](https://www.testwo.com/attachments/12867/1458535248690.png)
3、 从图中可以直观的看出,bi、bo、in、cs这四项的值都很高,根据经验,bi和bo代表磁盘io相关、in和cs代表系统进程相关。一个一个解决吧,先看io。
4、 用iostat –x命令看了下磁盘读写,果然,磁盘慢慢给堵死了。
![](https://www.testwo.com/attachments/12867/1458535257706.png)
5、 看了下过程,只有写log操作才能导致频繁读写磁盘。果断关闭log。重新打压试下。
![](https://www.testwo.com/attachments/12867/1458535266966.png)
6、 Bi和bo降到正常值了,说明磁盘的问题解决了。但是上下文切换数竟然达到了每秒40万次!好可怕~
7、 只知道上下文切换数很大,怎么知道是在哪些进程间切换呢?
到网上搜了一个脚本,这个脚本用来统计特定时间内进程切换的top20并打印出来。
#! /usr/bin/env stap
#
#
global csw_count
global idle_count
probe scheduler.cpu_off {
csw_count[task_prev, task_next]++
idle_count+=idle
}
function fmt_task(task_prev, task_next)
{
return sprintf("%s(%d)->%s(%d)",
task_execname(task_prev),
task_pid(task_prev),
task_execname(task_next),
task_pid(task_next))
}
function print_cswtop () {
printf ("%45s %10s\n", "Context switch", "COUNT")
foreach ([task_prev, task_next] in csw_count- limit 20) {
printf("%45s %10d\n", fmt_task(task_prev, task_next), csw_count[task_prev, task_next])
}
printf("%45s %10d\n", "idle", idle_count)
delete csw_count
delete idle_count
}
probe timer.s($1) {
print_cswtop ()
printf("--------------------------------------------------------------\n")
}
保存成cs.stp后,用stap cswmon.stp 5命令执行下。
![](https://www.testwo.com/attachments/12867/1458535277564.png)
8、发现是discover进程在反复和系统进程进行切换。从此消耗了大量资源。
9、从网上查了下减少切换进程的一些方法:
![](https://www.testwo.com/attachments/12867/1458535286996.jpg)
开发随后改了下:将线程数开大了一倍,控制在一个进程中。
重新打压了一下。发现上下文切换数降低到25万次左右。
![](https://www.testwo.com/attachments/12867/1458535301342.png)
此时的性能数据可以达到每秒260次左右,远远高于之前的80次。已经达到可以上线的需求。
但是由于页面中断书和上下文切换数还是很高,后续还是需要优化~
![](https://www.testwo.com/attachments/12867/1458535235061.png)
2、 了解了一下后台实现逻辑:大体是这样的:服务器接到请求后,会再到另一台kv服务器请求数据,拿回来数据后,根据用户的机器码做个性化运算,最后将结果返回给客户端,期间会输出一些调试log。
查了下,kv服务器正常,说明是本机服务服务器的问题。具体用vmstat命令看一下异常的地方。
![](https://www.testwo.com/attachments/12867/1458535248690.png)
3、 从图中可以直观的看出,bi、bo、in、cs这四项的值都很高,根据经验,bi和bo代表磁盘io相关、in和cs代表系统进程相关。一个一个解决吧,先看io。
4、 用iostat –x命令看了下磁盘读写,果然,磁盘慢慢给堵死了。
![](https://www.testwo.com/attachments/12867/1458535257706.png)
5、 看了下过程,只有写log操作才能导致频繁读写磁盘。果断关闭log。重新打压试下。
![](https://www.testwo.com/attachments/12867/1458535266966.png)
6、 Bi和bo降到正常值了,说明磁盘的问题解决了。但是上下文切换数竟然达到了每秒40万次!好可怕~
7、 只知道上下文切换数很大,怎么知道是在哪些进程间切换呢?
到网上搜了一个脚本,这个脚本用来统计特定时间内进程切换的top20并打印出来。
#! /usr/bin/env stap
#
#
global csw_count
global idle_count
probe scheduler.cpu_off {
csw_count[task_prev, task_next]++
idle_count+=idle
}
function fmt_task(task_prev, task_next)
{
return sprintf("%s(%d)->%s(%d)",
task_execname(task_prev),
task_pid(task_prev),
task_execname(task_next),
task_pid(task_next))
}
function print_cswtop () {
printf ("%45s %10s\n", "Context switch", "COUNT")
foreach ([task_prev, task_next] in csw_count- limit 20) {
printf("%45s %10d\n", fmt_task(task_prev, task_next), csw_count[task_prev, task_next])
}
printf("%45s %10d\n", "idle", idle_count)
delete csw_count
delete idle_count
}
probe timer.s($1) {
print_cswtop ()
printf("--------------------------------------------------------------\n")
}
保存成cs.stp后,用stap cswmon.stp 5命令执行下。
![](https://www.testwo.com/attachments/12867/1458535277564.png)
8、发现是discover进程在反复和系统进程进行切换。从此消耗了大量资源。
9、从网上查了下减少切换进程的一些方法:
![](https://www.testwo.com/attachments/12867/1458535286996.jpg)
开发随后改了下:将线程数开大了一倍,控制在一个进程中。
重新打压了一下。发现上下文切换数降低到25万次左右。
![](https://www.testwo.com/attachments/12867/1458535301342.png)
此时的性能数据可以达到每秒260次左右,远远高于之前的80次。已经达到可以上线的需求。
但是由于页面中断书和上下文切换数还是很高,后续还是需要优化~
相关文章推荐
- 性能测试瓶颈定位——磁盘IO和线程切换过多
- 快速定位性能瓶颈,检查出所有资源(CPU、内存、磁盘IO等)的利用率(utilization)、饱和度(saturation)和错误(error)度量,即USE方法
- [性能测试]瓶颈定位+工具使用(中)
- Linux下磁盘IO性能测试工具介绍
- 磁盘IO瓶颈 之:单节点下的文件数量导致文件读取性能低下
- 性能测试+瓶颈定位+工具使用(上)
- [性能测试]瓶颈定位+工具使用(下)
- LINUX下磁盘IO性能测试评估与优化
- IOmeter磁盘IO性能测试工具
- 使用IOMETER测试磁盘IO性能,邮件服务器端口号
- linux系统测试磁盘IO性能和负载
- Linux下磁盘IO性能测试工具介绍
- SQLIO 模拟随机或者顺序的方式来测试磁盘IO的性能
- EqualLoigc PS5000试用手记之八:磁盘IO性能测试 推荐
- 性能测试如何定位瓶颈
- 磁盘IO性能测试及故障诊断
- 磁盘IO性能:测试磁盘IO速度方法
- linux服务器下磁盘IO瓶颈测试
- 小记“性能瓶颈定位”测试沙龙
- Linux下磁盘IO读写性能测试脚本