apache+tomcat集群03 mod_JK

一、背景原理：

tomcat 做个WEB服务器有它的局限性，处理能力低，效率低。承受并发小（1000左右）。但目前有不少网站或者页面是JSP的。并采用了tomcat做为WEB，因此只能在此基础上调优。

目前采取的办法是Apache + Mod_JK + tomcat 来解决一部分请求，用户访问的是apache，但有jsp页面的时候才会去请求tomcat。如果量一大，那么tomcat无法承受，那么只能做tomat集群，Apache + Mod_JK 就是负载均衡器了(apache+tomcat通过ajp13协议做集群，，apache和tomcat用mod_jk连接器通信)。

Mod_JK2负载均衡可以把不同的jsp请求转发到不同的tomcat服务器，还可以侦测服务器存活。如果有条件可以给Mod_JK2做一个HA因为做完集群后压力就在JK上了。



二、需要的软件包：

JDK：jdk-6u7-linux-i586.bin

Apache：apache_2.2.14-win32-x86-openssl-0.9.8k

Tomcat：apache-tomcat-7.0.16.tar.gz

Mod_jk：mod_jk-1.2.31-httpd-2.2.3.so

三、安装说明：

apache+tomcat集群01 HTTP代理模式

四、配置：

1、修改tomcat配置：这里两个tomcat都要配置。

仍然是打开第一步中的那个server.xml文件，找到<Engine name="Catalina" defaultHost="localhost">这一行，在里面加上一句：jvmRoute="tomcat1"，即把该句改为：<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">。这里的tomcat1就是第二步中配置的用于负载均衡的server的名称。如果该tomcat的端口是第二步中tomcat1用的端口，那这里就写tomcat1，第二个tomcat就应该是tomcat2了。

2、配置Apache

1）、在apache的conf下，用文本编辑器打开httpd.conf，在该文件末尾加上如下几行：

# 加载 mod_jk 模块
LoadModule jk_module modules/mod_jk-1.2.28-httpd-2.2.3.so
# 配置 mod_jk#加载集群中的
workersJkWorkersFile conf/workers.properties
#加载workers的请求处理分配文件
JkMountFile conf/uriworkermap.properties
#指定jk的日志输出文件
JkLogFile logs/mod_jk.log
#指定日志级别
JkLogLevel warn

 

#############################################################或者使用：include "conf\mod_jk.conf"

mod_jk.conf# 加载 mod_jk 模块
LoadModule jk_module modules/mod_jk-1.2.28-httpd-2.2.3.so
#加载集群中的workers
JkWorkersFile conf/workers.properties
#指定jk的日志输出文件
JkLogFile logs/mod_jk.log
#指定日志级别
JkLogLevel warn
#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器名
JkMount /*.jsp controller
JkMount /* controller

 

JkMount：设置apache分发器，/*表示apache将所有文件都由分发器lbcontroller进行分发，你可以自行设置*.jsp,*.do等；

在apache的conf下，新建一个文件：workers.properties，该文件用来配置web容器的信息。该文件的内容如下（部分说明可参考：http://tomcat.apache.org/connectors-doc/reference/workers.html）：

# worker列表
worker.list=loadbalancer

#第一个server的配置，server名为tomcat1
#ajp13 端口号，在tomcat下server.xml配置,默认8009
worker.tomcat1.port=8019
#tomcat的主机地址，如不为本机，请填写ip地址
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
#server的加权比重，值越高，分得的请求越多
worker.tomcat1.lbfactor=1

#第二个server的配置，server名为tomcat2
worker.tomcat2.port=8029
worker.tomcat2.host=localhost
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1

#第二个server的配置，server名为tomcat3
worker.tomcat3.port=8039
worker.tomcat3.host=localhost
worker.tomcat3.type=ajp13
worker.tomcat3.lbfactor=1

#server名为loadbalancer,用于负载均衡
worker.loadbalancer.type=lb
#重试次数
worker.retries=3
#指定分担请求的server列表，用逗号分隔
worker.loadbalancer.balance_workers=tomcat1,tomcat2,tomcat3
#设置用于负载均衡的server的session可否共享
worker.loadbalancer.sticky_session=false
worker.loadbalancer.sticky_session_force=1
#worker.loadbalancer.sticky_session=1

说明：

1、这里的worker.controller.balance_workers不要写成了worker.controller.balanced_workers(后面多写了个d)，否则日志里会有警告

The attribute 'worker.controller.balanced_workers' is deprecated - please check the documentation for the correct replacement；

注意上面的worker.tomcat3.port端口是Tomcat server.xml下的

<Connector port="8019" protocol="AJP/1.3" redirectPort="8443" />

�0�2 否则会报：

�0�2

[Fri Aug 02 18:59:33.657 2013] [3656:3276] [error] ajp_send_request::jk_ajp_common.c (1578): (tomcat3) connecting to backend failed. Tomcat is probably not started or is listening on the wrong port (errno=61)[Fri Aug 02 18:59:34.683 2013] [3656:3256] [error] ajp_send_request::jk_ajp_common.c (1578): (tomcat1) connecting to backend failed. Tomcat is probably not started or is listening on the wrong port (errno=61)[Fri Aug 02 18:59:34.777 2013] [3656:3276] [error] ajp_send_request::jk_ajp_common.c (1578): (tomcat3) connecting to backend failed. Tomcat is probably not started or is listening on the wrong port (errno=61)[Fri Aug 02 18:59:34.777 2013] [3656:3276] [error] ajp_service::jk_ajp_common.c (2562): (tomcat3) connecting to tomcat failed.[Fri Aug 02 18:59:34.777 2013] [3656:3276] [error] service::jk_lb_worker.c (1473): All tomcat instances failed, no more workers left[Fri Aug 02 18:59:59.298 2013] [3656:3256] [error] ajp_get_reply::jk_ajp_common.c (2058): (tomcat1) Tomcat is down or refused connection. No response has been sent to the client (yet)[Fri Aug 02 18:59:59.298 2013] [3656:3256] [error] ajp_service::jk_ajp_common.c (2562): (tomcat1) connecting to tomcat failed.[Fri Aug 02 19:00:19.861 2013] [3656:3256] [error] ajp_get_reply::jk_ajp_common.c (2058): (tomcat3) Tomcat is down or refused connection. No response has been sent to the client (yet)[Fri Aug 02 19:00:40.485 2013] [3656:3256] [error] ajp_get_reply::jk_ajp_common.c (2058): (tomcat3) Tomcat is down or refused connection. No response has been sent to the client (yet)[Fri Aug 02 19:00:40.485 2013] [3656:3256] [error] ajp_service::jk_ajp_common.c (2562): (tomcat3) connecting to tomcat failed.

�0�2�0�2�0�2�0�2�0�2�0�2

�0�2�0�2�0�2�0�2�0�2�0�2�0�2�0�2�0�2 3）、在apache的conf下，

新建一个文件：uriworkermap.properties（我自己没使用），文件内容如下

/*=controller                         #所有请求都由controller这个server处理
/jkstatus=status                   #所有包含jkstatus请求的都由status这个server处理

!/*.gif=controller                   #所有以.gif结尾的请求都不由controller这个server处理，以下几个都是一样的意思
!/*.jpg=controller
!/*.png=controller
!/*.css=controller
!/*.js=controller
!/*.htm=controller
!/*.html=controller

 

这里的"!”类似于java中的"!”，是“非”的意思。这样，apache一块就配置好了。

配置好Apache2.2后，重新启动一下（D:\Program Files (x86)\Apache Software Foundation\Apache2.2\bin\ApacheMonitor.exe）如果启动出错，则可以到电脑的系统日志查看。



出现错误，大部分都是配置还存在问题，仔细找找应该是可以找出来的。

 

五、测试：

 

新建test.jsp页面

<%@ page contentType="text/html; charset=GBK"%>
<%@ page import="java.util.*"%>
<html>
<head>
<title>Cluster App Test</title>
</head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort() + "<br>");
%>
<%
out.println("<br> ID " + session.getId() + "<br>");
// 如果有新的 Session 属性设置
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.println("<b>Session 列表</b><br>");
System.out.println("============================");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String) e.nextElement();
String value = session.getAttribute(name).toString();
out.println(name + " = " + value + "<br>");
System.out.println(name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
名称:<input type=text size=20 name="dataName"> <br> 值:<input
type=text size=20 name="dataValue"> <br> <input
type=submit>
</form>
</body>
</html>

 将项目部署到3个服务器，然后分别启动Apache和3个Tocmat服务器，这些Tomcat启动顺序随意，然后打开http://localhost/TestTomcat/test.jsp



 

F5刷新结果如下：

 





 

多次刷新页面的sessionID看是同一个ID，说明session是复制成功了。那么session中的存储的东西呢，在输入框中分别输入1、1，2、2，3、3后，显示结果如下图：

 







 

以上的测试说明，集群中的session已经共享，每个集群对于同一访问均有相同的session，而且session中存储的变量也复制了。

 

节点插拔测试

插拔意思是应该保证当运行的集群中某节点中关闭或者启动时，集群正常工作并且节点能够正常工作。

        关闭Tomcat2，刷新页面，则不断访问Tocmat1和Tomcat3，再关闭Tomcat1后，则只访问一个Tomcat3，说明节点关闭时运行正常。

如果重启Tomcat2，无论怎么刷新，始终访问Tomcat3，难道Apache不能将请求转发给中途启动的Tomcat2。这时利用另外台机器访问页面，发现Tomcat2正常，然后在刷本地页面，又可以访问Tomcat2了。

从上面可以看出Apache的负载均衡时的算法了，对于每个新来的session，Apache按照节点配置中的lbfactor比重选择访问节点，如果某节点node1不能访问，则寻找下一可访问节点，并且将此node1就在该访问session的访问黑名单中，以后该session的访问直接不考虑node1，即使node1又可以访问了。而新来的session是无黑名单的，如果新的session能够访问到node1了，则会将node1在其他所有session访问的黑名单删除，这样其他session就又能访问node1节点了。