Tomcat服务器集群与负载均衡实现

一、前言

在单一的服务器上执行WEB应用程序有一些重大的问题，当网站成功建成并开始接受大量请求时，单一服务器终究无法满足需要处理的负荷量，所以就有点显得有 点力不从心了。另外一个常见的问题是会产生单点故障，如果该服务器坏掉，那么网站就立刻无法运作了。不论是因为要有较佳的扩充性还是容错能力，我们都会想 在一台以上的服务器计算机上执行WEB应用程序。所以，这时候我们就需要用到集群这一门技术了。

在进入集群系统架构探讨之前，先定义一些专门术语：

1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。

2. 负载均衡(Load Balance)：先得从集群讲起，集群就是一组连在一起的计算机，从外部看它是一个系统，各节点可以是不同的操作系统或不同硬件构成的计算机。如一个提供Web服务的集群，对外界来看是一个大Web服务器。不过集群的节点也可以单独提供服务。

3. 特点：在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。集群系统(Cluster)主要解决下面几个问题：
高可靠性（HA）：利用集群管理软件，当主服务器故障时，备份服务器能够自动接管主服务器的工作，并及时切换过去，以实现对用户的不间断服务。
高性能计算（HP）：即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域，比如基因分析，化学分析等。
负载平衡：即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求。

总体来说，在负载均衡的思路下，多台服务器为对等方式，每台服务器都具有同等的地位，可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术，将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上，而接收到请求的服务器都独立回应客户机的请求。

提供服务的一组服务器组成了一个应用服务器集群(cluster)，集群下的对等多机环境可以增加系统的并发处理能力，和单台机器出现故障系统的错误冗余能力；同时实现了负载均衡和系统高可靠性。

二、常用负载均衡技术

1. 基于DNS的负载均衡

通过DNS服务中的随机名字解析来实现负载均衡，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时 得到其中一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

2. 反向代理负载均衡 （如Apache+JK2+Tomcat这种组合）

使用代理服务器可以将请求转发给内部的Web服务器，让代理服务器将请求均匀地转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式 与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反 向代理模式。

3. 基于NAT（Network Address Translation）的负载均衡技术 （如Linux Virtual Server，简称LVS）

网络地址转换为在内部地址和外部地址之间进行转换，以便具备内部地址的计算机能访问外部网络，而当外部网络中的计算机访问地址转换网关拥有的某一外部地址 时，地址转换网关能将其转发到一个映射的内部地址上。因此如果地址转换网关能将每个连接均匀转换为不同的内部服务器地址，此后外部网络中的计算机就各自与 自己转换得到的地址上服务器进行通信，从而达到负载分担的目的。

三、Apache+JK2实现Tomcat集群与负载均衡

客户系统一般采用Apache httpd作为web服务器，即作为Tomcat的前端处理器，根据具体情况而定，有些情况下是不需要Apache httpd作为 web 服务器的，如系统展现没有静态页面那就不需要Apache httpd，那时可以直接使用Tomcat作为web 服务器来使用。使用Apache httpd主要是它在处理静态页面方面的能力比Tomcat强多了。

1. 集群实现原理

如上图所示，主要通过 Apache-Server 作为中转服务器，实现多个 tomcat 服务器之间的分布式处理，用户直接请求 Apache-Server ，然后 Apache-Server 会将请求分发到具体的 tomcat-server ，之后 tomcat-server 响应客户请求并返回结果到 Apache-Server ，最后 Apache-Server 返回结果给用户。

2. 配置负载均衡器

文件说明：

(a) mod_jk.conf，主要定义 mod_jk 模块的位置以及 mod_jk 模块的连接日志设置，还有定义 worker.properties 文件的位置。

(b) worker.properties，定义 worker 的参数，主要是连接 tomcat 主机的地址和端口信息。如果 Tomcat 与 apache 不在同一台机器上，或者需要做多台机器上 tomcat 的负载均衡只需要更改 workers.properties 文件中的相应定义即可。％ APACHE_HOME ％为你的安装目录。

环境说明： 主要使用了一个 Apache Server 和两个 Tomcat ，在同一台电脑上进行测试。

(a) 准备软件

Jdk1.6 下载地址： http://java.sun.com
tomcat -6.0.29 下载地址： http://jakarta.apache.org
apache_2.2.4-win32-x86-no_ssl.msi 下载地址： http://httpd.apache.org/download.cgi
mod_jk-1.2.31-httpd-2.0.52.so ( 主要作用是建立 Apache Server 与 Tomcat 之间的连接 ) 下载地址：http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

说明： apache-server 安装完成后，可以在浏览器中输入 http://localhost/ 来测试，如果出现 ” It works!” 则表示安装成功。

(b) 安装 mod_jk 连接模块

安装好 Jdk 、 tomcat 、 apache 后 , 加入 mod_jk 连接模块，就是把 mod_jk- 1.2.31 -httpd-2.2.3.so 文件拷贝到％ APACHE_HOME ％ \modules 下，把 jk 模块的配置放到单独的文件中来，在％ APACHE_HOME ％ \conf 目录新建 mod_jk.conf 、 workers.properties 文件。

在 httpd.conf 最后加上：

# JK module settings

Include conf/mod_jk.conf

说明：以上表示将 mod_jk.conf 配置文件包含进来

(c) 修改 mod_jk.conf 文件

为了保持 httpd.conf 文件的简洁，把 jk 模块的配置放到单独的文件中来。在 mod_jk.conf 文件中添加以下内容：

# Load mod_jk2 module

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so

# Where to find workers.properties( 引用 workers 配置文件 )

JkWorkersFile conf/workers.properties

# Where to put jk logs(log 文件路径 )

JkLogFile logs/mod_jk2.log

# Set the jk log level [debug/error/info](log 级别 )

JkLogLevel info

# Select the log format(log 格式 )

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

# JkOptions indicate to send SSL KEY SIZE,

JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format

JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer(URL 转发配置，匹配的 URL 才转发到 tomcat 进行处理 )

JkMount /*.jsp controller

# JkMount /*.* loadBalancer

(d) 修改 workers.properties 文件

在 workers.properties 文件中添加以下内容：

#server 列表

worker.list = controller,tomcat1,tomcat2

# tomcat1(ajp13 端口号，在tomcat下server.xml配置,默认8009)

worker.tomcat1.port=8009

#tomcat 的主机地址，如不为本机，请填写ip地址

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

#server 的加权比重，值越高，分得的请求越多

worker.tomcat1.lbfactor = 1

# tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1

# controller( 负载均衡控制器)

worker.controller.type=lb

# 指定分担请求的tomcat

worker.controller.balanced_workers=tomcat1,tomcat2

#worker.controller.sticky_session=true

说明：此文件配置了 2 个 tomcat 服务器进行负载均衡处理

(e) 修改 tomcat 配置文件 server.xml

更改其中一个的设置打开 tomcat2/conf/server.xml 文件，修改里面所有的端口设置，将 8 改为 9 ，如下： (f) 编写一个测试页面 teat1.jsp

建立一个 test 的 web 应用，里面新建一个 test1.jsp, 内容为：

(g) 启动服务器并进行测试

依次启动 apache-server 、 tomcat1 、 tomcat2 ，通过 http://localhost/test/test1.jsp 访问，查看 tomcat1 的窗口，可以看到打印了一行 "==========" ，再刷新一次， tomcat2 也打印了一条，再刷新，可以看到请求会被 tomcat1,tomcat2 轮流处理 , 实现了负载均衡

3. 集群 (session复制 )

只配置负载均衡还不行，还要 session 复制，也就是说其中任何一个 tomcat 的添加的 session ，是要同步复制到其它 tomcat ， 集群内的 tomcat 都有相同的 session：

(a) Tomcat 配置

修改 tomcat1, tomcat2 的 server.xml 文件添加集群内容， tomcat5.5 无需添加，只需要去掉注释符， tomcat6.0 需要添加，内容如下：

分别添加以上内容后，在 tomcat2 中，修改 tcpListenPort="4001" 为 4002。

Engine 增加 jvmRoute 属性设置， jvmRoute 的值来自于 workers.properties 文件所设置的服务器名称。