Apache负载均衡+Tomcat集群

核心提示：目标 : 使用 apache 和 tomcat 配置一个可以应用的 web 网站，要达到以下要求： 1 、 Apache 做为 HttpServer ，后面连接多个 tomcat 应用实例，并进行负载均衡。 2 、 为系统设定 Session 超时时间，包括 Apache 和 tomcat 3 、 为系统屏蔽文件列表，包括 A

目标:

使用 apache 和 tomcat 配置一个可以应用的 web 网站，要达到以下要求：

1、 Apache 做为 HttpServer ，后面连接多个 tomcat 应用实例，并进行负载均衡。

2、 为系统设定 Session 超时时间，包括 Apache 和 tomcat

3、 为系统屏蔽文件列表，包括 Apache 和 tomcat

注：本例程以一台机器为例子，即同一台机器上装一个apache和4个Tomcat。

一、前期准备工作：

安装用的程序（前提保证已安装了JDK1.5以上的版本）

APAHCE 2.2.8下载：apache_2.2.8-win32-x86-no_ssl.msi

TOMCAT6.0.14下载：apache-tomcat-6.0.14.zip直接解压。

二、安装过程

APAHCE安装目录：D:\Apache。

四个TOMCAT目录：自行解压到(D:\Tomcat集群服务器\)下。分别为 tomcat6.0，tomcat6.01，tomcat6.02，tomcat6.03

这几个安装过程就不详细说明了。

三、配置

1、Apache配置

1.1、httpd.conf配置

修改APACHE的配置文件D:\Apache \conf\httpd.conf

将以下Module的注释去掉，这里并没有使用mod_jk.so进行apache和tomcat的链接，从2.X以后apache自身已集成了mod_jk.so的功能。只需简单的把下面几行去掉注释，就相当于以前用mod_jk.so比较繁琐的配置了。这里主要采用了代理的方法，就这么简单。

LoadModule proxy_module modules/mod_proxy.so

LoadModule proxy_connect_module modules/mod_proxy_connect.so

LoadModule proxy_ftp_module modules/mod_proxy_ftp.so

LoadModule proxy_http_module modules/mod_proxy_http.so

LoadModule proxy_ajp_module modules/mod_proxy_ajp.so

LoadModule proxy_balancer_module modules/mod_proxy_balancer.so

再找到<IfModule dir_module></IfModule>加上index.jsp修改成

<IfModule dir_module>

DirectoryIndex index.html index.jsp

</IfModule>

1.1.1、 在最下面加入

ProxyRequests Off

<proxy balancer://cluster>

BalancerMember ajp://127.0.0.1:8009 loadfactor=1 route=jvm1

BalancerMember ajp:// 127.0.0.1:9009 loadfactor=1 route=jvm2

BalancerMember ajp:// 127.0.0.1:9001 loadfactor=1 route=jvm3

BalancerMember ajp:// 127.0.0.1:9003 loadfactor=1 route=jvm4

</proxy>

上面的四个BalancerMember成员是我们配置的tomcat集群。后面会说明的。

1.2、httpd-vhosts.conf设置

接下来进行虚拟主机的设置。APACHE的虚拟主机设置如下：

首先要修改 conf/httpd.conf找到(#Include conf/extra/httpd-vhosts.conf)

把注释去掉。

# Virtual hosts

Include conf/extra/httpd-vhosts.conf

在文件（extra/httpd-vhosts.conf）最下面加入

<VirtualHost *:80>

ServerAdmin weijie@126.com

ServerName localhost

ServerAlias localhost

ProxyPass / balancer://cluster/ stickysession=jsessionid nofailover=On

ProxyPa***everse / balancer://cluster/

</VirtualHost>

其中的域名和路径根据你自己情况设置

然后再设置TOMCAT虚拟主机

2 配置 tomcat

2.1. 配置 server 的关闭

我们需要在一台机器上跑 4 个不同的 tomcat ，需要修改不同的 tomcat 的关闭口，避免出现端口被占用的情况。其中tomcat6.0用默认值，不修改。其他三个修改。在tomcat6.01\conf, tomcat6.02\conf下和tomcat6.03\conf下的 server.xml 中找到 server, 将：

<Server port="8005" shutdown="SHUTDOWN">

改为

<Server port="XXXX" shutdown="SHUTDOWN">

XXXX 在这里表示不同的端口：我的其它三个 tomcat 分别使用 9005，8006 ， 9007

2.2. 配置 Engine

把原来的配置注释掉，把下面一句去掉注释。并标明jvmRoute="jvm2".

<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm2">

我的配置是修改成这样：

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm2">

以下是原来的配置。

<!-- <Engine name="Catalina" defaultHost="localhost"> -->

其他（tomcat6.02和tomcat6.03）也要同样 配置。注意：jvmRoute配置不要一样。

<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm3">

<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm4">

我的配置是修改成这样：

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm3">

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm4">

2.3. 配置 Connector

原来的默认配置。

<!-- Define an AJP 1.3 Connector on port 8009 -->
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

这里是apache和tomcat链接的关键，前台apache就是通过AJP协议与tomcat进行通信的，以完成负载均衡的作用。也可以用HTTP协议。大家注意它们是如何连接通信的，上面的红色部分（port="8009"）就是连接的接口了。

把其他三个tomcat的<Connector port="XXX" />port分别改成与上面

<proxy balancer://cluster>

#与tomcat6.0对应，route与<Engine jvmRoute="jvm1">对应。

BalancerMember ajp://127.0.0.1:8009 loadfactor=1 route=jvm1

#与tomcat6.01对应，route与<Engine jvmRoute="jvm2">对应。

BalancerMember ajp:// 127.0.0.1:9009 loadfactor=1 route=jvm2

#与tomcat6.02对应，route与<Engine jvmRoute="jvm3">对应。

BalancerMember ajp:// 127.0.0.1:9001 loadfactor=1 route=jvm3

#与tomcat6.03对应，route与<Engine jvmRoute="jvm4">对应。

BalancerMember ajp:// 127.0.0.1:9003 loadfactor=1 route=jvm4

</proxy>

中的端口对应，tomcat6.01 的ajp端口port:9009. tomcat6.02 的ajp端口port:9001。tomcat6.03 的ajp端口port:9003.一定要与上面的一致。同时也要把redirectPort的值改成唯一的，确保四个tomcat的都不一样。

2.5.配置Cluster(每个tomcat中都要修改,共享集群session)

原来的配置。

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

修改为以下的代码：<Receiver port=”XX”/>port也要保证唯一性。

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="6">

<Manager className="org.apache.catalina.ha.session.BackupManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"

mapSendOptions="6"/>

<!--

<Manager className="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>

-->

<Channel className="org.apache.catalina.tribes.group.GroupChannel">

<Membership className="org.apache.catalina.tribes.membership.McastService"

address="228.0.0.4"

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="5001"

selectorTimeout="100"

maxThreads="6"/>

<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">

<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>

</Sender>

<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>

<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>

<Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>

</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>

</Cluster>

这个设置是主要用以tomcat的集群。

我的配置直接简单开启这个（去掉注释）就行了，没有进行上面更详细的配置：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
注：也可以可以单独自己命名指定目录地址，不用修改server.xml里面的文件

# cat tomcat1/conf/Catalina/localhost/ROOT.xml

<Context path="/" docBase="/www/moveage.org/www/htdocs" reloadable="false" crossContext="true">

</Context>

四、启动服务，测试tomcat自带的例子

1、测试apache和tomcat协作。

先在每个tomcat中的\webapps\ROOT下的index.jsp下面加上以下的测试代码部分：(X代表不同的tomcat的输出不同的信息)，把index.html删除，以免影响测试效果。在最后面的加上.即</table></body>之间。

<%
System.out.println("tomcat6.0X deal with request");

%>

然后再通过http:// 127.0.0.1来访问一下，就会出现大家熟悉的猫猫。

然后再通过分别访问
http:// 127.0.0.1:8080， http:// 127.0.0.1:9080，http:// 127.0.0.1:8081，http:// 127.0.0.1:9002它们访问的内容和上面的http:// 127.0.0.1是一样的。

这样就说明apache和TOMCAT整合成功！

要做session复制，修改应用程序里面的web.xml

比如webapps目录的WEB-INF目录web.xml文件
加入标签
<distributable/>
直接加在</web-app>之前就可以了
这个是加入tomcat的session复制的，做tomcat集群必须需要这一步，否则用户的session就无法正常使用。

2、测试均衡器

通过http:// 127.0.0.1多次访问，要想看到真正的效果，必须用一些压力测试工具，可用微软Microsoft Web Application Stress Tool进行简单压力测试，不然你靠不停刷新是体现不出来的，你只会在一个tomcat的控制台有输出结果。只用用压力测试工具模拟大量用户同时访问，你会发现四个tomcat控制台均有打出控制信息，说明均衡器工作正常。

附：我的apache+tomcat配置信息

httpd.conf最后添加：

ProxyRequests Off

<Proxy balancer://tomcat>

BalancerMember ajp://127.0.0.1:8009 smax=2 loadfactor=1 route=jvm1

BalancerMember ajp://127.0.0.1:9009 smax=2 loadfactor=2 route=jvm2

</Proxy>

httpd-vhost.conf文件配置

<VirtualHost *:80>

<Directory /www/moveage.org/www/htdocs>

Options FollowSymLinks

AllowOverride None

Order deny,allow

allow from all

</Directory>

ProxyPass /*.html !

ProxyPass /*.htm !

ProxyPass / balancer://tomcat/ lbmethod=byrequests stickysession=JSESSIONID nofailover=on timeout=5 maxattempts=3

ProxyPa***everse / balancer://tomcat/

#ProxyPass / ajp://127.0.0.1:8009/

<IfModule dir_module>

DirectoryIndex index.html index.jsp

</IfModule>

ServerAdmin swm@moveage.org

DocumentRoot /www/moveage.org/www/htdocs

ServerName box.moveage.org

ServerAlias bao.moveage.org

ErrorLog /www/moveage.org/logs/error_log

CustomLog "|/usr/local/cronolog/sbin/cronolog /www/moveage.org/logs/access_log.%Y%m%d" combined

</VirtualHost>

修改不同tomcat的server.xml文件

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" />

<Connector port="9009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" />

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm2">

开启

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

启动session复制

webapps目录的WEB-INF目录web.xml文件

加入标签
<distributable/>
直接加在</web-app>之前