如何进行nginx或tomcat的性能调优（优秀推荐）

近花了一点时间进行了NGINX加TOMCAT7集群压力测试，下面通过对一些常见问题的回答来说明如何调优服务器的性能，是自己的一些经验，且无实际数据，如有纰漏请见谅。

背景: TOMCAT7已加APR或者NIO。已装简单监控JCONSOLE,监控服务器内存，线程等基本情况。

问题1  一个Tomcat他的maxThreads到底配置多少合适?

一个好的maxThreads的配置就是达到资源的合理化应用。

资源池：

在讲其它东西之前，我们先引入一个概念，就是资源池。tomcat7中，他对http请求的处理，也有一个池的概念，配置可以参考这里。每一个请求进来后都是使用线程池中的一个来处理，线程池的大小是由maxThreads来限定的。

异步IO：

当前Tomcat通过使用JAVA NIO或者Apache Portable Runtime这样的异步IO来支持性能的优化。异步IO就是当应用需要进行耗时的IO操作时，向内核发出请求，不用真正等IO操作完成，就去处理其它的请求了，当IO真正完成时会有回调或通知机制通知并完成余下工作。而一般的同步IO是当应用需要IO操作时，向操作系统发出IO
Read/Write请求。同时阻塞当前应用，并等待IO返回，返回后才进行后续的操作。从这里可以看出异步IO实际是将请求的处理和IO处理并行了，这样自然能较大的提高系统的吞吐量。

maxThreads的大小:

第一点：从上面的异步IO的机制来看，实际上我们可能可以用一个很小的线程池处理较大的连接数。如当前有100个请求要被处理，处理过程中50个进程都处于IO等待的状态，所以我们实际可能只需要50就能够处理那些不处于IO等待状态的请求就能满足需要了。注意在Tomcat中是使用maxConnection这个配置参数来配置Tomcat的同时处理连接数的。

第二点：盲目的加大线程数会带来一些下面的影响。由于Tomcat处理的线程均会在操作系统中产生对应的实际线程，这就意味着对应的资源消耗（内存，SOCKET等）。另一个影响就是同时处理的请求加大可能导致JAVA内存回收的问题,不同的并发对内存的占用是不同，而实际上90%的内存都是临时变量，可以很快回收。较大的并发同时占用较多的临时变量就会导致容易撑满年青代，从而导致部分内存进入老年代，从而引起更多的Stop The World，甚至OOM，影响JVM性能。其它的影响还包括更高的CPU占用和更多的硬盘读写。这些实际都跟硬件有关。

第三点： 我们可以通过配置一个较合理的资源池，由于资源充裕，单个请求处理迅速，这样能达到最优的系统效率。但是有的时候我们并不总是追求这样的一种情况。比如下载时，单个请求的响应时间将受限于网络，下100M的包可能需要20分钟，我们就不应该通过一个较小的资源池来提升整体的效率，而应该配置一个较大的资源池，让较多用户连接上并进行下载，否则多数的用户都将会因超时被拒绝，从而造成连接上的超快，连不上的就直接被拒绝。

第四点：单个JVM的内存分配较大将导致Full Gc(Stop The World)的中断时间变得更长，影响实时性。高的可达10秒以上的停顿，这段时间所有的东西将被挂起。

配置大小优化思路:

配置时应该根据你应用的实际情况,是最占CPU,内存还是IO，最后达到一个平衡就好，下面来说明思路。

1. 自行保证服务器的资源较够用，如IO、CPU、内存。

2. 在硬件较充裕的情况下尝试以maxThreads配置300、600、1200、1800，分析Tomcat的连接时间，请求耗时，吞吐量等参数。在测试的时候需要密切注意硬盘、带宽、CPU、内存是否处于一个瓶颈情况下。

3. 其实所有的东西最后都有一个极限就是硬件。应用分CPU，IO，内存密集型，这些都会成为你最终的限制性因素。一般应用根据自己的特性划分到不同的机群中，如CPU密集型的会分到一群有更好CPU的集群中。这样可以能充分利用资源。我们以常见的内存为最终限制性因素，并假设CPU足够好，且IO很少来说明思路。通过一些压测工具，我们能容易的找到一个在300~8000的并发数的情况下一个性能的拐点，通过对比不同线程数下请求连接时间、单请求的平均响应时间，总体的吞吐量。这个拐点往往意味着此时的内存回收出现异常，JVM花了更多的时间在回收内存,我们一般可以通过打出gc日志，并使用jmeter等工具来分析得知。此时你可以尝试优化内存结构或加大内存
来解决，若不能解决，可能就意味你前一次的配置就是一个好的选择。当然这些限制因素是可能互相转换的，可能你增加了内存之后内存没有问题了，但是却导致CPU达到100%，从而导致性能下降。此时则要以CPU为最终限制性因素了。

优化测试中陷阱：

以一个下载服务器来例子说明。我们以下载10m的包来做测试，其实你会发现整个服务器的吞吐量很差，响应时间慢。但细心的人会发现此时连接服务器的时间却是很快的，也就是说服务器很快accpet了你的请求，虽然你的吞吐量不大，处理耗时也大。原因是什么呢,其实是你的带宽已经被占满了，你会发现并发下载10个文件就能占满你的所有带宽。所以此时呢你的测试时的对比对象变成了对比连接时间会更加合理。

当然你也可以通过减少包的大小，比如降到 1k，以使带宽不成为瓶颈.这样可能测试出来你的服务器并发极限量，但该并发量可能并不能反应出实际下载的情况，实际的情况就是带宽容易被占满,下载服务器会有一个很大量的连接存在的情况。

问题2. NGINX到底能带来怎么样的性能提升，或者说有什么好处？

1. 测试后发现，NGINX并不能加快响应的速度，为什么呢，因为这是由于NGINX会代理你同后端的请求。也就意味着你原来只需要建立同服务器的一次连接即可完成请求，现在变成了先同NGINX建立连接，NGINX再同后端建立连接。所以引入NGINX后带来了更多的时间消耗，两倍的SOCKET连接消耗。

2. 引入后的好处体现如下。

1) 整体的性能会有提升，通过实测后发现能很大程度上降低最大返回耗时的情况。请求返回更稳定。

2) 降低后端的资源消耗。原来由于客户端网络较慢等因素会让后端在返回数据时处于繁忙的情况，占用资源。通过NGINX向后端代理，同时由于NGINX的缓存机制，后端可以快速返回，并将资源更集中用到处理请求上，这样可以发挥后端的能力。NGINX在保持大量连接这块就得很优秀，内存，CPU都占用很少。

3) 支持非常方便的扩展，高可用性等。

转载：http://lightidea.net/48.html