Linux服务器Cache占用过多内存导致系统内存不足最终java应用程序崩溃解决方案

转载自http://blog.csdn.net/u014740338/article/details/66975550问题描述Linux内存使用量超过阈值，使得Java应用程序无可用内存，最终导致程序崩溃。即使在程序没有挂掉时把程序停掉，系统内存也不会被释放。
找原因的过程这个问题已经困扰我好几个月了，分析过好多次都没有找到原因，网上查了一下该问题其他人也都遇到过，不过并没有什么好的解决方案，因为项目一直没有上线，每次当内存不足时导致程序崩溃都是重启服务就好了，索性也就没花太多的时间来找问题。现在项目马上上线了，不能在出现程序崩溃的情况了，况且还是前置系统，更不能出现任何问题。最开始一直认为是程序的原因导致内存泄漏，使用jdk自带的jmap -F -dump:live,format=b,file=/usr/local/sztFront/logs/heapdump.bin命令输出过几次dump文件，通过MemoryAnalyzer分析，应用程序没有耗内存过大的变量。后台猜测是否日志输出过多导致的，毕竟是前置系统，每天的报文量特别大，日志能到达5,6个G。所以把日志接收报文关了，日志大小马上降下来了，每天200M。程序挂掉的时间变长了，原来差不多一周就挂掉了，现在可以达到两周左右才挂掉，还是不行，没有冲根本上解决问题。经过在网上搜索各种相关的问题，问题出现在Cached的值过大，导致系统没有可以再分配的内存空间。Cached只要用来缓存文件的，经常读写的文件会被缓存到Cached中，可以增加读写效率，该功能是Linux系统内核提供的，从2.6.16以后的核心版本才提供，也就是老版的操作系统，如红旗DC 5.0、RHEL 4.x之前的版本都没有。这就可以解释为什么我的项目总挂掉了，我的项目主要就是处理文件的，所以接收和下载的文件会被缓存起来，一直耗着内存不释放，即使把程序停掉也不会释放内存。最后找到了三条执行，可以清理cached的内存三条指令：syncecho 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches
执行完这三条指令后通过free -m命令查看，free可用内存马上增多，buff/cache列值变小，说明内存被释放了，但是不能总是手动的执行这三条指令，所以最后写了一个shell脚本，开启Linux定时任务crond，每天早上检查一次free内存，当小于4G时执行这三条命令（注：系统内容20G）。注意：在执行这三条命令之前一定要先执行sync命令（描述：sync 命令运行 sync 子例程。如果必须停止系统，则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中，包
4000
含已修改的 i-Node、已延迟的块 I/O 和读写映射文件）
解决方案（手动）1. 修改/proc/sys/vm/drop_caches，释放Slab占用的cache内存空间（参考drop_caches的官方文档）：
[plain] view plain copyWriting to this will cause the kernel to drop clean caches, dentries and inodes from memory, causing that memory to become free.  
To free pagecache:  
* echo 1 > /proc/sys/vm/drop_caches  
To free dentries and inodes:  
* echo 2 > /proc/sys/vm/drop_caches  
To free pagecache, dentries and inodes:  
* echo 3 > /proc/sys/vm/drop_caches  
As this is a non-destructive operation, and dirty objects are notfreeable, the user should run "sync" first in order to make sure allcached objects are freed.  
This tunable was added in 2.6.16.  

注意：在执行这三条命令前先执行sync命令
解决方案（自动）1、编写shell定时任务脚本freemem.sh[plain] view plain copy#! /bin/sh  
used=`free -m | awk 'NR==2' | awk '{print $3}'`  
free=`free -m | awk 'NR==2' | awk '{print $4}'`  
echo "===========================" >> /app/memory/logs/mem.log  
date >> /app/memory/logs/mem.log  
echo "Memory usage before | [Use：${used}MB][Free：${free}MB]" >> /app/memory/logs/mem.log  
if [ $free -le 4000 ] ; then  
                sync && echo 1 > /proc/sys/vm/drop_caches  
                sync && echo 2 > /proc/sys/vm/drop_caches  
                sync && echo 3 > /proc/sys/vm/drop_caches  
                used_ok=`free -m | awk 'NR==2' | awk '{print $3}'`  
                free_ok=`free -m | awk 'NR==2' | awk '{print $4}'`  
                echo "Memory usage after | [Use：${used_ok}MB][Free：${free_ok}MB]" >> /app/memory/logs/mem.log  
                echo "OK" >> /app/memory/logs/mem.log  
else  
                echo "Not required" >> /app/memory/logs/mem.log  
fi  
exit 1  

2、使用crontab -e命令编辑当前用户的crontab<
ae55
div class="dp-highlighter bg_plain" style="font-family:Consolas, 'Courier New', Courier, mono, serif;font-size:12px;background-color:rgb(231,229,220);padding-top:1px;text-align:left;margin:0px 0px 24px;border-color:rgb(204,204,204);color:rgb(85,85,85);">[plain] view plain copy0 6 * * * /usr/local/tomcat/sztFileFront/bin/freemem.sh  
定时任务编写参考：http://www.jb51.net/article/15008.htm
3、重启crond服务[plain] view plain copy/sbin/service crond restart  

4、查看crond服务是否重启成功[plain] view plain copy/sbin/service crond status  

最后，问题解决。我设定的定时任务是每天早上6点执行一次freemem.sh脚本。