Tomcat的session集群和session服务器

概述

session的作用
httpd是无状态协议，多个http请求之间是没有关联的，服务器端也无法识别哪些请求来自同一个客户端。为了解决这一问题，当客户端第一次访问时，服务器端会创建一个session来保存这一次的会话信息，然后将sessionID（session的唯一标识符）放置在响应报文的首部发送给客户端，客户端再次请求时会携带这个sessionID（通常在request的cookie中）表示这属于哪一个会话。

维持session的方式
在Tomcat实现负载均衡后，客户端的请求会被调度至不同的服务器，session信息往往保存在其中一台服务器的内存中，若之后的请求被调度至其他的服务器上，则客户端无法访问到之前的session信息。解决这一问题的方式有3种：
1）session绑定，在调度时，将同一个客户端的请求始终调度至同一台服务器；
2）session集群，将多台服务器上的session信息实时进行同步；
3）session服务器，将所有服务器上的session信息都存放至session服务器。

第一种方式可以在前端的代理服务器上配置相应的参数实现，但是这种方式会影响负载均衡的效果，并且其中的一台服务器故障了，其上的session信息也会全部丢失。第二种方式通过同步session实现，即每一个会话的session信息存在于所有的服务器上，这个不适用于大型的集群环境。第三种方式是将session信息集中存放至一台专用的服务器上，例如memcache服务器上，服务器在处理请求时会首先将session信息从memcache同步至本地，然后进行处理。本文介绍第二种和第三种的实现方式。

session集群的实现

实验环境：2个tomcat节点，利用httpd实现负载均衡。

192.168.1.116 #http服务器

192.168.1.106 #tomcat node1
192.168.1.127 #tomcat node2

1）首先配置http服务器实现负载均衡（192.168.1.116上）。

[root@www ~]# vim /etc/httpd/extra/httpd-vhosts.conf
#######全局配置端################
<proxy balancer://lbcluster>
BalancerMember http://192.168.1.106:8080 loadfactor=1 route=a
BalancerMember http://192.168.1.127:8080 loadfactor=1 route=b
#ProxySet stickysession=JSESSIONID      #不做session绑定
ProxySet lbmethod=bytraffic
</proxy>
########虚拟主机的配置##############
<VirtualHost *:80>
ServerName www.xiaoxiao.com
ProxyVia Off
ProxyRequests Off
ProxyPreserveHost On
ProxyPass / balancer://lbcluster/
ProxyPassReverse / balancer://lbcluster/
<Location /status>
SetHandler balancer-manager
Proxypass !
Require all granted
</Location>
<Proxy *>
Require all granted
</Proxy>
<Location  / >
Require all granted
</Location>
</VirtualHost>

包含对应文件：

[root@www ~]# vim /etc/httpd/httpd.conf
........
Include /etc/httpd/extra/httpd-vhosts.conf

2）在每个tomcat节点上配置server.xml文件，在需要实现session集群的host中添加如下段落，若以下内容定义在Engine容器中，则表示所有主机均启用集群功能。

[root@node1 ~]# vim /usr/local/tomcat/conf/server.xml
.....
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="8">

<Manager className="org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>

<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.3.4"
port="45564"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>

<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.3.4"              #监听的多播地址（最好不要使用默认值）
port="45564"                     #监听的端口
frequency="500"                  #每个多长时间发一次心跳信息（单位毫秒）
dropTime="3000"/>                #超时时长（超过这个时间还没有接受到心跳信息，则从Membership中移除该成员）
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.168.1.106"            #通过哪个接口接收数据，如果有多个IP地址，这里需要指定
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>

<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=""/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
.....

若在虚拟机中配置必须指定Receiver段中的address为本机上某接口的地址。在node2节点上配置时，将该参数改为对应的IP地址（192.168.1.127）。

3）为期望实现集群功能的webapp的web.xml文件添加<distributable/>

[root@node1 web]# vim WEB-INF/web.xml
.....
<web-app .....
.....
<distributable/>
</web-app>

4）在tomcat的两个节点上添加测试页面
node1上（192.168.1.106）：

[root@node1 ~]# vim /tomcat/webapps/web/index.jsp
<%@ page language="java" %>
<html>
<head><title>Tomcat node1</title></head>
<body>
<h1><font color="blue">Tomcat node1</font></h1></p>
<% session.setAttribute("xiaoxiao.com","xiaoxiao.com"); %>
<h4>Session_ID:<%= session.getId() %></h4></p>
<h4>Creat_time:<%= session.getCreationTime() %></h4></p>
</body>
</html>

node2上（192.168.1.127）：

[root@node2 ~]# vim /tomcat/webapps/web/index.jsp
<%@ page language="java" %>
<html>
<head><title>Tomcat node2</title></head>
<body>
<h1><font color="red">Tomcat node2</font></h1></p>
<% session.setAttribute("xiaoxiao.com","xiaoxiao.com"); %>
<h4>Session_ID:<%= session.getId() %></h4></p>
<h4>Creat_time:<%= session.getCreationTime() %></h4></p>
</body>
</html>

最后重启tomcat服务，进行测试：






调度至不同的节点上，session信息没有发上变化，测试完成。

基于memcached+MSM实现session服务器
实验拓扑




实验环境：

192.168.1.116 #http服务器
192.168.1.106 #tomcat node1192.168.1.127 #tomcat node2192.168.1.121，192.168.1.122 #memcached服务器

工作原理：
用户第一次访问时，服务器端会创建会话信息，保存在进程中，实时同步至memcache，若下一次调度至其他节点上，该节点首先会检查自己的会话区域，若没有这个用户的会话，就去memcache中找这个会话信息，然后将这个会话信息从memcache读到自己的web container中，若会话更新也会立刻同步至memcache中。之后同一个客户端的某一次请求调度至之前访问过的节点，该节点会先去memcache中检查本地的会话信息是否和memcache上的同步，如果不同步从memcache读取新数据覆盖自己的原有数据。

memcached-session-manager简介
memcached-session-manager（msm）为Google提供的一款工具，能够实现将tomcat会话信息保存至memcache中，并在需要时将对应信息读入web container。它可以工作在两种模式下：1）会话有粘性，2）会话无粘性，即前端的代理服务器是否启用了stickysession（同一客户端请求代理至同一服务器）。上述的工作原理是工作在会话无粘性的模式下，若在会话有粘性的场景中，当用户来访问时，就不需要每次去memcache中检查会话信息是不是最新的，会话更新后，也不需要将会话信息及时同步至memcache中，可以节约一些步骤和带宽。
memcached-session-manager的下载地址，http://code.google.com/p/memcached-session-manager/，该项目基于Java开发，需要使用如下的jar文件（version版本号）：
memcached-session-manager-version.jar
memcached-session-manager-tc(6|7|8)-version.jar
spymemcached-version.jar
msm-javolution-serializer-version.jar
javolution-version.jar
其中msm-javolution-serializer为一款流式化工具，能够将会话信息转成流式数据存放在memcache上，在读取时再将其还原，类似的工具有很多，在实现过程中可以根据需要选择不同的流式化工具，相关的配置也不同，参考官方文档即可。

实现过程
1）在192.168.1.121，192.168.1.122上安装memcached

[root@node1 ~]# tar xf libevent-2.0.21-stable.tar.gz
[root@node1 ~]# cd libevent-2.0.21
[root@node1 ~]# ./configure --prefix=/usr/local/libevent
[root@node1 ~]# make && make install
[root@node1 ~]# echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf
[root@node1 ~]# ldconfig
#####################################################
[root@node1 ~]#  tar xf memcached-1.4.15.tar.gz
[root@node1 ~]#  cd memcached-1.4.15
[root@node1 ~]#  ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
[root@node1 ~]#  make && make install

为memcached提供服务脚本，并配置为系统服务（脚本可以copy得到）

[root@node1 ~]# chmod +x /etc/init.d/memcached
[root@node1 ~]# chkconfig --add memcached
[root@node1 ~]# service memcached start

2）在tomcat node1和node2节点上添加虚拟主机（会话无粘性的模式下）：

[root@node1 ~]# vim /usr/local/tomcat/conf/server.xml
........
<Host name="www.xiaoxiao.com"  appBase="/tomcat/webapps"
unpackWARs="true" autoDeploy="true">
<Context path="/web" docBase="web" reloadable="true">
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.1.121:11211,n2:192.168.1.122:11211"
sticky="false"
sessionBackupAsync="false"
lockingMode="uriPattern:/path1|/path2"
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"
/>
</Context>
</Host>

会话有粘性的模式下：

[root@node1 ~]# vim /usr/local/tomcat/conf/server.xml
........
<Host name="www.xiaoxiao.com"  appBase="/tomcat/webapps"
unpackWARs="true" autoDeploy="true">
<Context path="/web" docBase="web" reloadable="true">
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.1.121:11211,n2:192.168.1.122:11211"
failoverNodes="n1"
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"
/>
</Context>
</Host>

memcachedNodes指定后端的memcache服务器地址和端口，这里使用了两个memcache服务器，目的是起到高可用的作用。在保存session信息时需要同时写到两个memcache服务器上。

3）将需要的jar文件（类库）复制到tomcat的lib目录下：

[root@node1 msm]# ls
javolution-5.5.1.jar                 memcached-session-manager-tc7-1.8.2.jar  spymemcached-2.10.2.jar
memcached-session-manager-1.8.2.jar  msm-javolution-serializer-1.8.2.jar
[root@node1 msm]# cp ./* /usr/local/tomcat/lib/

复制到另外一个节点：

[root@node1 msm]# scp ./* 192.168.1.127:/usr/local/tomcat/lib/

然后重启两个节点上的tomcat服务：

[root@node1 ~]# service tomcat restart

利用上一个案例配置的负载均衡和添加的测试页面进行测试，测试结果与上述一致。.................^_^