linux+apache+mod_Jk+tomcat实现tomcat集群

最近一段时间一直在研究实现apache + jk_mod + tomcat实现负载均衡，起初负载均衡算是配置蛮顺利的，但是到了配置tomcat集群时所有配置都没有问题，但是tomcat日志中一直提示没有集群成员加入，为此搞了很久也没有解决，官方的文档也看了不少遍。最后突然想到tomcat集群是通过组播通讯，而组播通讯是通过udp协议实现通讯的，那么集群启动都正常，就是没有集群成员加入，会不会是因为iptables，设置问题，因此查看了45564端口发现是以tcp进行通讯，而实际上应该是以udp进行通讯。修改iptables规则后，集群终于成功。同时要特别注意，网上很多配置文章要么配置错误，要么配置不全，不可完全参考。

负载均衡配置

负载均衡实现的两种方式

1、mod_jk

2、mod_proxy

本篇文章是基于mod_jk进行配置的

mod_jk安装配置

1、下载mod_jk并安装mod_jk

下载地址：http://tomcat.apache.org/download-connectors.cgi

wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.40-src.tar.gz tar -xzvf tomcat-connectors-1.2.40-src.tar.gz
cd /tomcat-connectors-1.2.40-src/native/
./configure --with-apxs=/usr/local/apache2/bin/apxs
make && make install
make clean

mod_jk.so会安装在/usr/local/apache2/modules/mod_jk.so

2、如果在安装apr环境变量，则需要配置apr环境变量

在安装完毕后会提示以下内容

If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,-rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'

根据提示，设置mod_jk环境变量

export LD_LIBRARY_PATH=/usr/local/lib
export LD_RUN_PATH=/usr/local/bin
export PATH=$PATH:$LD_RUN_PATH
export CLASSPATH=$CLASSPATH:$LD_LIBRARY_PATH

httpd.conf配置

#加载http_jk.conf

#引用http_jk的配置文件
include          conf/extra/http_jk.conf

# 加载 mod_jk 模块
LoadModule    jk_module modules/mod_jk.so

配置httpd-vhost.conf文件

# Virtual Hosts
#
# Required modules: mod_log_config

# If you want to maintain multiple domains/hostnames on your
# machine you can setup VirtualHost containers for them. Most configurations
# use only name-based virtual hosts so the server doesn't need to worry about
# IP addresses. This is indicated by the asterisks in the directives below.
#
# Please see the documentation at
# <URL:http://httpd.apache.org/docs/2.4/vhosts/>
# for further details before you try to setup virtual hosts.
#
# You may use the command line option '-S' to verify your virtual host
# configuration.

#
# VirtualHost example:
# Almost any Apache directive may go into a VirtualHost container.
# The first VirtualHost section is used for all requests that do not
# match a ServerName or ServerAlias in any <VirtualHost> block.

<VirtualHost IP:80>
ServerAdmin service@域名.com
ServerName 域名
DocumentRoot "/home/webapps/应用程序目录"
DirectoryIndex index.do login.do index.jsp login.jsp
ErrorLog "/home/logs/apache2/域名.com-error_log"
CustomLog "/home/logs/apache2/域名-access_log" common

JkMount /*.jsp jk_controller
JkMount /*.do jk_controller
JkMount /*Servlet jk_controller
JkMount /Servlet/* jk_controller
JkMount /servlet/* jk_controller
JkMount /kaptcha.jpg* jk_controller
JkMount /j_spring_security_check jk_controller
JkMount /jkStatus jk_watcher

<Directory "/home/webapps/应用程序目录">
Options MultiViews
AllowOverride None
Allow from all
</Directory>
</VirtualHost>

httpd_jk.conf 配置

httpd_jk.conf主要定义 mod_jk 模块的位置、哪些访问地址需要转交给tomcat应用服务器处理、及 mod_jk 模块的连接日志设置，还有定义 worker.properties 文件的位置。在/usr/local/apache2/conf/extra/目录下创建httpd_jk.conf配置文件，并写入如下内容：

# 指定  workers.properties 文件路径
JkWorkersFile conf/workers.properties

# 指定那些请求交给 tomcat 处理 ,"jk_controller" 为在 workers.propertise 里指定的负载分配控制器
JkMount /*.jsp jk_controller
JkMount /*.do jk_controller
JkMount /*.action jk_controller
JkMount /*Servlet jk_controller
JkMount /Servlet/* jk_controller
JkMount /servlet/* jk_controller
#JkMount /j_spring_security_check jk_controller

# 指定 log 目录
JkLogFile /home/logs/apache2/mod_jk/mod_jk2.log

JkShmFile /home/logs/apache2/mod_jk/mod_jk.shm

# Set the jk log level [debug/error/info]
JkLogLevel info

# Select the log format
JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"

# JkOptions indicate to send SSL KEY SIZE,
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format
JkRequestLogFormat "%w %V %T"

需要配置JkShmFile路径，否则会提示以下错误

No JkShmFile defined in httpd.conf. Using default /usr/local/apache2/logs/jk-runtime-status

apache不会过滤配置中的命令行的空格，因此我们必须保证命令与参数之间是真正的空格隔开，另外在配置文件尾部不能有多余的空行，否则在启动apache时，会出现类似以下这样的错误提示，另外也要注意apache无法识别中文字符。否则提示类似下面的错误

AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/http_jk.conf:
Invalid command 'JkMount\xc2\xa0/*\xc2\xa0controller\xc2\xa0', perhaps misspelled or defined by a module not included in the server configuration

AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/mod_jk.conf:
JkMount needs a path when not defined in a location

workers.properties配置

1、worker常见属性

ajp13                    ：此类型表示当前worker为一个运行着的Tomcat实例。
lb                       ：lb即load balancing，专用于负载均衡场景中的woker；此worker并不真正负责处理用户请求，而是将用户请求调度给其它类型为ajp13的worker。
status                   ：用户显示分布式环境中各实际worker工作状态的特殊worker，它不处理任何请求，也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。
host                     ：Tomcat 7的worker实例所在的主机
port                     ：Tomcat 7实例上AJP1.3连接器的端口
connection_pool_minsize  ：最少要保存在连接池中的连接的个数；默认为pool_size/2
connection_pool_timeout  ：连接池中连接的超时时长
mount                    ：由当前worker提供的context路径，如果有多个则使用空格格开；此属性可以由JkMount指令替代
retries                  ：错误发生时的重试次数
socket_timeout           ：mod_jk等待worker响应的时长，默认为0，即无限等待
socket_keepalive         ：是否启用keep alive的功能，1表示启用，0表示禁用
lbfactor                 ：worker的权重，可以在负载均衡的应用场景中为worker定义此属性        ajp13        ：此类型表示当前worker为一个运行着的Tomcat实例。
lb                       ：lb即load balancing，专用于负载均衡场景中的woker；此worker并不真正负责处理用户请求，而是将用户请求调度给其它类型为ajp13的worker。
status                   ：用户显示分布式环境中各实际worker工作状态的特殊worker，它不处理任何请求，也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。

balance_workers          ：用于负载均衡模式中的各worker的名称列表，需要注意的是，出现在此处的worker名称一定不能在任何worker.list属性列表中定义过，并且worker.list属性中定义的worker名字必须包含负载均衡worker。具体示例请参见后文中的定义。
method                   ：可以设定为R、T或B；默认为R，即根据请求的个数进行调度；T表示根据已经发送给worker的实际流量大小进行调度；B表示根据实际负载情况进行调度。
sticky_session           ：在将某请求调度至某worker后，源于此址的所有后续请求都将直接调度至此worker，实现将用户session与某worker绑定。默认为值为1，即启用此功能。如果后端的各worker之间支持session复制，则可以将此属性值设为0。

2、worker配置

mod_jk安装包tomcat-connectors-1.2.32-src中已经自带了workers.properties包含默认配置和最小配置两种，也可以自行创建workers.properties，然后将workers.properties上传到/usr/local/apache2/conf目录下，以下是workers.properties的配置内容

#JVMRoute-pj001, JVMRoute-pj002对应tomcat的engine的jvmRoute的名称
worker.list=jk_controller,jk_watcher,JVMRoute-pj001,JVMRoute-pj002

#JVMRoute-pj001的tomcat节点配置
#JK模块实现负载均衡采用的是AJP协议1.3版本，负载均衡服务器的类型配置为ajp13
worker.JVMRoute-pj001.type=ajp13
#负载均衡服务器的主机名、域名或者IP地址
worker.JVMRoute-pj001.host=192.168.1.100
#负载均衡服务器AJP协议连接器的连接端口
worker.JVMRoute-pj001.port=8009 #8009 + 0
#负载均衡服务器在整个负载均衡系统中所占的权重
worker.JVMRoute-pj001.lbfactor=1
#apache服务器是多线程的，tomcat能够利用这一优势来维持一定数量的连接作为缓存。
worker.JVMRoute-pj001.socket_keepalive=1
worker.JVMRoute-pj001.socket_timeout=300
# 指定 JVMRoute-pj001 无法提供服务后由 JVMRoute-pj002 继续提供服务
worker.JVMRoute-pj001.redirect=JVMRoute-pj002

#JVMRoute-pj002的tomcat节点配置，端口号+1000,保证唯一
worker.JVMRoute-pj002.type=ajp13
worker.JVMRoute-pj002.host=192.168.1.101
worker.JVMRoute-pj002.port=8109 #8009 + 100
worker.JVMRoute-pj002.lbfactor=10
#apache服务器是多线程的，tomcat能够利用这一优势来维持一定数量的连接作为缓存。
worker.JVMRoute-pj002.socket_keepalive=1
worker.JVMRoute-pj002.socket_timeout=300
# 指定 JVMRoute-pj002 无法提供服务后由 JVMRoute-pj001 继续提供服务
worker.JVMRoute-pj002.redirect=JVMRoute-pj001

#========jk_controller,负载均衡控制器========
#这里配置为lb，也就是Load Balance负载均衡
worker.jk_controller.type=lb
#拥有哪些负责负载均衡的服务器实例
worker.jk_controller.balance_workers=JVMRoute-pj001, JVMRoute-pj002
#设置负载均衡是否采用粘性会话。如果该属性设置为true，假设一个请求被s1处理了，下次来源于同一个客户端的请求也将被s1处理。
worker.jk_controller.sticky_session=true

#========jk_watcher,负载均衡监视器========
worker.jk_watcher.type=status
worker.jk_watcher.read_only=false
#设置名称为jk_watcher的负载均衡服务器实例监视器的挂载路径,通过http://218.5.76.101/jkStatus访问
worker.jk_watcher.mount=/jkStatus
#worker全局的重试次数。在apache服务器启动后，会最多尝试若干次去连接这些负载均衡服务器，若连接不上就认为是down掉了，这里配置为3
worker.retries=3

负载均衡监控平台访问地址：http://ip地址/jkStatus

tomcat集群配置

iptables设置

1、开启防火墙端口

防火墙端口开放参考上面的设置。tomcat集群开放的根据tomcat的配置文件server.xml进行开放，一般需要开放的端口有

8005，8080，8009，8443，45564，4000：4100

2、验证服务器是否启用组播

执行ifconfig查看网卡信息，若ifconfig命令显示的内容中含有红线部分的内容表示支持组播通讯



3、端口通讯协议验证

45564端口以udp进行通讯，如果设定成tcp通讯，将会导致集群配置无法成功

4000-4100以tcp进行通讯

4、添加集群路由

route add -net 224.0.0.0 netmask 240.0.0.0 dev eth2

修改tomcat配置文件

1、修改链接器端口号

若是同一台服务部署多个tomcat，则链接器的端口号必须保证唯一，若是不同台服务器，由于ip不一样可以不修改

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

2、定义Engine节点的jvmRoute名称

<Engine name="Catalina" defaultHost="localhost">

改为

<Engine name="Catalina"    defaultHost="localhost" jvmRoute="JVMRoute-pj001">

其中JVMRoute-pj001必须与workers.properties中的定义的保持一致

3、启用tomcat集群，实现session共享

配置集群有两种方式，一种是节点对节点的全拷贝，就是all to all，以下第一种就是，配置起来比较简单。另外一种是根据需要进行配置。tomcat7默认是采用DeltaManager模式，它通过将改变了会话数据同步给集群中的其它节点实现会话复制。

1、若是拷贝所有的session，则直接启用即可

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

这种方式经过测试只能实现粘性session模式，无粘性模式测试不成功，sessionid测试一直变化，无法保证唯一，而且根据官方说明也只能采用无粘性模式。在这边绕了很久，花了很长时间才搞清楚。

2、完整配置

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">
<Manager
className="org.apache.catalina.ha.session.BackupManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"
mapSendOptions="6"
/>

<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership
className="org.apache.catalina.tribes.membership.McastService"
address="228.0.0.4"
port="45564"
frequency="500"
dropTime="3000"
/>
<Receiver
className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="172.20.206.146"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"
/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>

域名绑定访问

1、apache：修改/usr/local/apache2/conf/extra/httpd-vhosts.conf，假设站点目录为/home/webapps/site

<VirtualHost ip地址:80>
ServerAdmin zouqf@ps007.com

ServerName 域名
ServerAlias 域名

DocumentRoot "/home/webapps/site"
ErrorLog "/home/logs/apache2/域名-error_log"
CustomLog "/home/logs/apache2/域名-access_log" common

JkMount /*.jsp JVMRoute-pj001
JkMount /*.do JVMRoute-pj001
JkMount /*Servlet JVMRoute-pj001
JkMount /Servlet/* JVMRoute-pj001
JkMount /servlet/* JVMRoute-pj001
JkMount /j_spring_security_check JVMRoute-pj001
JkMount /jkStatus jk_watcher

<Directory "/home/webapps/site">
Options MultiViews
AllowOverride None
Allow from all
</Directory>
</VirtualHost>

2、修改/usr/local/tomcat/conf/server.xml

<Host name="www.站点域名.com" debug="0" appBase="webapps"
unpackWARs="true" autoDeploy="true">
<alias>www.站点域名.com</alias>
<Context path="" docBase="/home/webapps/site" debug="0" reloadable="true"/>
</Host>

Session序列化

tomcat集群中，站点中的javabean必须能够序列化，这样才能实现共享和持久化和共享，而java自带的序列化机制效率不高，因此可以使用自定义的序列化包，有多种自定义的序列化包，以下为比较常用的序列化包

1、kryo-serializer: msm-kryo-serializer, kryo-serializers, kryo, minlog, reflectasm, asm-3.2

2、javolution-serializer: msm-javolution-serializer, javolution-5.4.3.1

3、xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min

4、flexjson-serializer: msm-flexjson-serializer, flexjson

参考资料：

说明网上实现tomcat集群配置内容不一，有的内容错误，有的内容残缺不全，需要花费一点时间研究
http://m.oschina.net/blog/87469 http://www.cnblogs.com/itech/archive/2009/08/18/1548723.html http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html http://blog.csdn.net/bluishglc/article/details/6867358 http://blog.csdn.net/maxracer/article/details/7207279 http://blog.csdn.net/chaijunkun/article/details/6987443 http://blog.sina.com.cn/s/blog_5f53615f0100p4fj.html http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/ http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html http://www.verydemo.com/demo_c199_i25182.html http://blog.csdn.net/kobe_lzq/article/details/7047834 http://blog.csdn.net/lifetragedy/article/details/7712691 http://blog.csdn.net/lifetragedy/article/details/7707455 http://www.it165.net/admin/html/201409/3804.html http://www.linuxidc.com/Linux/2014-09/107336.htm http://blog.i5a6.com/901.html http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html