20090802解决网站网络问题--出现大量TIME_WAIT 的问题

发现网站登录较慢，使用netstat等网络管理命令检测，发现有大量的TIME_WAIT，经调整后，恢复正常。
今天，发现网站登录较慢，使用netstat等网络管理命令检测，发现有大量的TIME_WAIT，经调整后，恢复正常。
调整方法:
1:调整web服务器参数：开启Keep-Alive选项，适当调整有关的连接参数
2：调整 /etc/sysctl.conf
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。
调整效果：TIME_WAIT数量保持稳定，系统恢复正常

参考资料：
=========================================================
1：发现大量的TIME_WAIT解决办法
原文出自 “kerry学网络”博客：http://kerry.blog.51cto.com/172631/105233
今天早上一上班，有同事就反映公司好几个网站都打不开，登陆数据库服务器(windows)，发现很卡,于是重启了下服务器，进入系统后，没过一会问题依旧,查看了下系统进程，发现mysql占用率达到99%，可以肯定的是mysql连接出现问题:
netstat -an
192.168.12.13:3306 192.168.12.12:30443 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30444 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30445 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30446 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30447 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30448 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30449 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30450 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30451 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30452 TIME_WAIT
... ...
根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方 socket将进入TIME_WAIT状态,TIME_WAIT状态将持续2个MSL(Max Segment Lifetime),在Windows下默认为4分钟,即240秒,TIME_WAIT状态下的socket不能被回收使用. 具体现象是对于一个处理大量短连接的服务器,如果是由服务器主动关闭客户端的连接,将导致服务器端存在大量的处于TIME_WAIT状态的socket, 甚至比处于Established状态下的socket多的多,严重影响服务器的处理能力,甚至耗尽可用的socket,停止服务. TIME_WAIT是TCP协议用以保证被重新分配的socket不会受到之前残留的延迟重发报文影响的机制,是必要的逻辑保证.
在HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesTcpipParameters,添加名为TcpTimedWaitDelay的
DWORD键,设置为60,以缩短TIME_WAIT的等待时间

登陆到web服务器(linux)：

netstat -ae |grep mysql
tcp 0 0 aaaa:53045 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53044 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53051 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53050 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53049 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53048 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53055 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53054 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53053 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53052 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53059 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53058 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53057 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53056 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53063 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53062 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53061 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53060 192.168.12.3:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53067 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53066 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53065 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53064 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa53071 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53070 192.168.12.13:mysql TIME_WAIT root 0
tcp 0 0 aaaa:53069 192.168.12.13:mysql TIME_WAIT root 0
发现系统存在大量TIME_WAIT状态的连接，通过调整内核参数解决，
vi /etc/sysctl.conf
编辑文件，加入以下内容：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

然后执行 /sbin/sysctl -p 让参数生效。
参数说明：
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间

修改之后，再用
netstat -ae|grep mysql
tcp 0 0 aaaa:50408 192.168.12.13:mysql ESTABLISHED nobody 3224651
tcp 0 0 aaaa:50417 192.168.12.13:mysql ESTABLISHED nobody 3224673
tcp 0 0 aaaa:50419 192.168.12.13:mysql ESTABLISHED nobody 3224675
发现大量的TIME_WAIT 已不存在，mysql进程的占用率很快就降下来的，各网站访问正常！！
以上只是暂时的解决方法，最后仔细巡查发现是前天新上线的一个系统，程序代码中没有使用mysql.colse()，才导致大量的mysql TIME_WAIT

===========================================
2：phprpc+mysq l產生一堆TIME_WAIT連線
来源：http://www.phprpc.org/forum/viewthread.php?tid=30
Q：這個問題之前曾問過andot 大，只是因為一直都沒有解決，所以又提上來問看看大家...
Client端為PHPRPC 3.0 for JavaScript, 而Server為PHP，從Client每10秒執行Server上PHP的函式..這個PHP函式會有連結MySQL資料庫..
如此下來..每執行一次..整支PHP程序好像會重新執行一次..所以就又會產生一個MySQL連線..使用 netstat查看會看到一堆MySQL的連線..而且狀態都是TIME_WAIT
奇怪的是..在Windows系統上，是會看到一堆3306 port，但是，在Linux系統上，則是一堆80 port
照理說..php連結mysql資料庫..當網頁執行完畢後..就會關閉這個連線，但為什麼我執行起來反而是愈來愈多...這種現像是正常的嗎..??
A：对于 HTTP 来说，要保持连接需要服务器开启 Keep-Alive 选项，并且客户端和代理服务器都支持，才能生效。不过很不幸，IIS 对 PHP 不支持永久连接特性。对于 PHP 连接 MySQL，可以启用永久连接，那样也可以保持连接不断开，但是 PHP 到 MySQL 的永久连接只有在 Apache 上有效（你可以查一下 PHP 手册数据库永久连接那一章），但是我从来没发现它还用过，呵呵。总之，TIME_WAIT 是正常的，只要是 TCP 协议，断开链接时总会有这个过程。
===========================================
3：mysql time_wait 超多
来源：http://linux.chinaunix.net/bbs/viewthread.php?tid=906408
Q：
tcp 0 0 192.168.113.101:40312 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40315 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40293 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40289 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40291 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40300 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40296 192.168.113.202:3306 TIME_WAIT
tcp 0 0 192.168.113.101:40647 192.168.113.172:3306 TIME_WAIT
[root@web1 etc]# netstat -n |grep :3306|wc -l
2726
[root@web1 etc]# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ESTABLISHED 508
FIN_WAIT1 53
CLOSING 1
TIME_WAIT 4782
[root@web1 etc]#
一般的优化都已经做过：
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_max_syn_backlog=2048
net.ipv4.tcp_synack_retries=2
net.ipv4.tcp_syn_retries=3
net.ipv4.tcp_timestamps=0
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_keepalive_time=1800
net.ipv4.window_scaling=0
net.ipv4.tcp_sack=0
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_reuse=1
大伙帮看看是什么原因？
是php调用MYSQL时执行后没有关闭连接造成的吗？默认情况下PHP也会自动关闲的啊。
郁闷！
A1：参考一下《TCPIP详解：卷一》第18章 TCP连接的建立与终止
TIME_WAIT是最后一个状态了，它要等2MLS秒，在这期间，这个socket不允许再复用
============================================================================
4：Linux下查看Apache的请求数
来源: http://www.ccvita.com　
http://www.phpchina.com/html/28/n-33728.html]
在Linux下查看Apache的负载情况，以前也说过，最简单有有效的方式就是查看Apache Server Status（如何开启Apache Server Status点这里），在没有开启Apache Server Status的情况下，或安装的是其他的Web Server，比如Nginx的时候，下面的命令就体现出作用了。
ps -ef|grep httpd|wc -l命令
#ps -ef|grep httpd|wc -l
1388
统计httpd进程数，连个请求会启动一个进程，使用于Apache服务器。
表示Apache能够处理1388个并发请求，这个值Apache可根据负载情况自动调整，我这组服务器中每台的峰值曾达到过2002。
netstat -nat|grep -i “80″|wc -l命令
#netstat -nat|grep -i “80″|wc -l
4341
netstat -an会打印系统当前网络链接状态，而grep -i “80″是用来提取与80端口有关的连接的, wc -l进行连接数统计。
最终返回的数字就是当前所有80端口的请求总数。

netstat -na|grep ESTABLISHED|wc -l命令
#netstat -na|grep ESTABLISHED|wc -l
376
netstat -an会打印系统当前网络链接状态，而grep ESTABLISHED 提取出已建立连接的信息。 然后wc -l统计。
最终返回的数字就是当前所有80端口的已建立连接的总数。
netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’命令
#netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
FIN_WAIT_1 286
FIN_WAIT_2 960
SYN_SENT 3
LAST_ACK 32
CLOSING 1
CLOSED 36
SYN_RCVD 144
TIME_WAIT 2520
ESTABLISHED 352
这条语句是在张宴那边看到，据说是从新浪互动社区事业部技术总监王老大那儿获得的，非常不错。返回参数的说明如下：
SYN_RECV表示正在等待处理的请求数；
ESTABLISHED表示正常数据传输状态；
TIME_WAIT表示处理完毕，等待超时结束的请求数。