一次内存泄漏问题定位过程与分析

现场：

逻辑server服务器处理能力骤降, 客户端请求大量失败. 逻辑server的统计数据显示,请求量略有增长(客户端重试的结果), log内容显示访问外部接口有一定失败.

分析:

第一反应是外部接口失败导致进程处理堵塞,大量请求被堵塞后丢弃导致客户端重试. vmstat 1看了一下, 发现b字段保持在20-40之间,wa字段值远大于0, 说明进程在等待输入输出而被阻塞. 而swap的si字段值很大,说明系统大量使用交换分区,难道有内存泄漏?

procs -----------memory---------- ---swap-- -----io---- -system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
27 21 1052252 5415680 7308 29892 1 1 1 1 0 0 8 8 82 2 0
30 22 1052252 5414936 7308 30276 644 0 644 8 15045 27172 4 3 52 40 0
19 22 1052252 5414440 7328 29640 616 0 620 176 15259 26953 4 3 42 50 0
3 21 1052252 5413696 7340 30084 572 0 572 32 15385 26809 3 3 45 48 0
0 21 1052252 5413216 7340 29412 672 0 672 0 15105 26989 4 3 30 63 0

top 看了一下, 发现单个处理进程的RES占到了300m,而SHR占用了34m，SHR是进程启动时分配的共享内存，数值是合理的，而RES字段经验值是在36m-40m左右，说明有内存泄,因此重启了一下进程进行确认，重启之后top如下所示：

top - 13:38:13 up 31 days, 22:15, 1 user, load average: 0.95, 1.57, 1.97
Tasks: 112 total, 8 running, 104 sleeping, 0 stopped, 0 zombie
Cpu(s): 17.9%us, 1.8%sy, 0.0%ni, 79.5%id, 0.0%wa, 0.0%hi, 0.9%si, 0.0%st
Mem: 16429836k total, 2236360k used, 14193476k free, 443520k buffers
Swap: 2104504k total, 0k used, 2104504k free, 1201280k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
8901 root 15 0 74816 38m 34m S 7 0.2 2:38.97 logic_worker
9003 root 15 0 74840 38m 34m S 7 0.2 2:39.12 logic_worker

重启后，发现RES字段在不断增长，并且在SHR稳定在34m后还在持续上升，可以确定有内存泄漏。

解决：

查看进段时间的内存日报，发现曲线自2.3号发布新版本后内存使用量持续上升，从正常状态的3.3G，用到了8.7G，到今天内存已全部用尽，使用了交换分区，才出现异常。

对比当日版本代码变更，很快发现在一个外部库使用中，出现了内存泄漏，代码大致如下。

char *ptr;

int ret = Encode(ptr, len);

if (ret <0 )

{

return ErrorEncode;

}

ret = send(ptr, len);

if (ret <0 )

{

return ErrorSend;

}

return 0;

重新查看接口描述,发现ptr是在Encode里被malloc的，需要外部释放，于是修改代码如下：

char *ptr=NULL;

do

{

int ret = Encode(ptr, len);

if (ret <0 )

{

break;

}

ret = send(ptr, len);

if (ret <0 )

{

break;

}

}

if (NULL ！= ptr)

{

free(ptr);

ptr = NULL;

}

return ret;

修改后发布，10分钟后top观察，发现RES字段稳定在36m，问题解决。

总结：

1. 在使用外部库和接口时，一定要弄清楚api的使用方法和注意事宜，另外，在编写接口时也注意，最好不要在内部申请内存，而依赖外部释放，可以把上面Encode和Send封装到一个类中，或者一个接口中，接口本身负责编码和发送,内存申请和释放，调用者只需要知道返回码即可。

2. 在出现类似运营问题时，注意看系统参数是否异常，如果vmstat看 wa 和 si 值都异常，再综合top便可以看出，进程异常并不是因为请求量突增，处理时延而导致切换，而是因为内存泄漏的原因。

3. 注意对比监控曲线，如网络包量，请求量，内存使用，io使用等，通过对比，便可以看出，异常出现的时间点，结合代码变更便可定位出原因所在。