nginx+tomcat+memcached负载均衡集群搭建详细笔记(下)

上一篇我向大家介绍了JDK的安装，nginx的安装以及memcached的安装，是不是觉得很棒棒哒，下面我将和大家分享一下Tomcat的安装+配置memcached。

1、安装Tomcat

Tomcat官网：http://tomcat.apache.org/

我使用的版本：apache-tomcat-7.0.42.tar.gz

1.1解压在usr/local/目录下（可以自己选）

1.2重命名为Tomcat（不是必须的，只是这样看着习惯）
1.3编辑/etc/profile加上以下语句

CATALINA_BASE=/usr/local/tomcat
CATALINA_HOME=/usr/local/tomcat
export CATALINA_BASE CATALINA_HOME

1.4进入tomcat/bin目录下面,运行

# ./startup.sh

1.5然后访问http://localhost:8080看是否访问成功.如果看到了tomcat的欢迎界面，congratulations,
you are a good boy/girl.

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.6但是现在我们只有一个tomcat。所以，接下来在我们的机器上要搭建多个tomcat，首先我们先复制一份以前的tomcat(我的tomcat是在/usr/local/下)，执行命令

cp /usr/local/tomcat /usr/local/tomcat2

1.7应为要两个不同的tomcat使用不同的环境变量，所以我们需要修改/etc/profile的文件配置信息

gedit /etc/profile

然后修改成这样：

#tomcat
CATALINA_BASE=/usr/local/tomcat
CATALINA_HOME=/usr/local/tomcat
export CATALINA_BASE CATALINA_HOME
#tomcat2
CATALINA_2_BASE=/usr/local/tomcat2
CATALINA_2_HOME=/usr/local/tomcat2
export CATALINA_2_BASE CATALINA_2_HOME

TOMCAT_HOME=/usr/local/tomcat
export TOMCAT_HOME

TOMCAT_2_HOME=/usr/local/tomcat2
export TOMCAT_2_HOME

1.8最后一步我们需要修改tomcat2里面的配置文件。首先我们修改tomcat2/bin下面的startup.sh和shutdown.sh 添加以下内容

export JAVA_HOME=/usr/local/jdk
export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$PATH

export CATALINA_HOME=$CATALINA_2_HOME
export CATALINA_BASE=$CATALINA_2_BASE

1.9然后进去tomcat2/server.xml中修改以下几个地方

<Server port="8005" shutdown="SHUTDOWN">
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">

把8005->8006，8080->8081，8009->8010就好了(具体端口由自己定就行了),增加:
jvmRoute="tomcat2",对tomcat/server.xml只需要增加以下jvmRoute="tomcat"

1.10然后进入tomcat1/bin，tomcat2/bin下面执行

./startup.sh

好了，nice

1.11用浏览器进去localhost:8080和localhost:8081看看把，两个tomcat就已经搭建成功了

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2、为Tomcat配置memcached

NGINX负载的几种方式

nginx 的 upstream目前支持 4 种方式的分配

1)、轮询（默认）

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

2)、weight

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

2)、ip_hash

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

3)、fair（第三方）

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

4)、url_hash（第三方）'
我们使用最简单的ip_hash来实现，而且还可以解决session问题

ip_hash其实上不能够完全解决ip问题，因为有很多用户的ip随时都可能在变动，ip_hash这个名字你就知道，是通过hash散列的原理将用户的ip散列到指定的tomcat上，自然而然的想当然的解决了session问题，最好是用memcached存取来实现session共享，下面看我的nginx.conf的配置:

#运行nginx所在的用户名和用户组
#user  www www;

#启动进程数
worker_processes 8;
#全局错误日志及PID文件
error_log  /usr/local/nginx/logs/nginx_error.log  crit;

pid        /usr/local/nginx/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.

worker_rlimit_nofile 65535;
#工作模式及连接数上限
events
{
use epoll;
worker_connections 65535;
}
#设定http服务器，利用它的反向代理功能提供负载均衡支持
http
{
#设定mime类型
include       mime.types;
default_type  application/octet-stream;
include /usr/local/nginx/conf/proxy.conf;
#charset  gb2312;
#设定请求缓冲
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
#client_max_body_size 8m;

sendfile on;
tcp_nopush     on;

keepalive_timeout 60;

tcp_nodelay on;

#  fastcgi_connect_timeout 300;
#  fastcgi_send_timeout 300;
#  fastcgi_read_timeout 300;
#  fastcgi_buffer_size 64k;
#  fastcgi_buffers 4 64k;
#  fastcgi_busy_buffers_size 128k;
#  fastcgi_temp_file_write_size 128k;

#  gzip on;
#  gzip_min_length  1k;
#  gzip_buffers     4 16k;
#  gzip_http_version 1.0;
#  gzip_comp_level 2;
#  gzip_types       text/plain application/x-javascript text/css application/xml;
#  gzip_vary on;

#limit_zone  crawler  $binary_remote_addr  10m;
upstream tomcat{                      # 负载均衡站点的名称为tomcat，可以自己取
# ip_hash;           		 # 可选，根据来源IP方式选择web服务器，省略的话按默认的轮循方式选择web服务器
server 127.0.0.1:8080;       # web服务器的IP地址及tomcat发布端口
server 127.0.0.1:8081;
}
server {
listen       80;                   # 站点侦听端口80
server_name  localhost;            # 站点名称

location / {
root   html;
index  index.html index.htm;
proxy_pass http://tomcat;      # 负载均衡指向的发布服务tomcat
}

}

}

2.1 Tomcat要支持memcached管理Session，需要调用一些jar库文件如下（网上有的文章中可能所说的jar包不全，或者版本不样的会报错，但这里我已经经过验证了，简直nice）：
1） couchbase-client-1.2.2.jar

2） javolution-5.5.1.jar

3） kryo-1.03.jar

4） kryo-serializers-0.10.jar

5） memcached-session-manager-1.6.5.jar

6） memcached-session-manager-tc7-1.6.5

7） minlog-1.2.jar

8） msm-kryo-serializer-1.6.3.jar

9） reflectasm-1.01.jar

10）spymemcached-2.10.2.jar
特别要注意，这些jar包的版本，要不然你会难受至极：

1）msm1.6.5依赖了Couchbase，需要添加couchbase-client的jar包，否则启动会报：java.lang.NoClassDefFoundError:com/couchbase/client/CouchbaseClient。

2）Tomcat6和Tomcat7使用不同msm支持包：memcached-session-manager-tc6-1.6.5.jar和memcached-session-manager-tc7-1.6.5.jar，只可选一，否则启动报错。

3）msm源码中的lib包版本太低：spymemcached需要使用2.10.2，否则启动tomcat报错：java.lang.NoSuchMethodError:net.spy.memcached.MemcachedClient.set(Ljava/lang/String;ILjava/lang/Object;)Lnet/spy/memcached/internal/OperationFuture;atde.javakaffee.web.msm.BackupSessionTask.storeSessionInMemcached(BackupSessionTask.java:227)

4）kryo-serializers需要使用0.10版本，否则报错：

Caused by:java.lang.ClassNotFoundException: de.javakaffee.kryoserializers.DateSerializer
下载后，将这些库文件放到tomcat\lib目录下。

2.2为Tomcat配置memcached
配置文件目录：tomcat\conf\context.xml，记得两个Tomcat都要配的哦。

打开配置文件，在<Context>...</Context>节点中添加如下内容：

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:127.0.0.1:11211"
requestUriIgnorePattern=".*\.(png|gif|jpg|css|js|ico|jpeg|htm|html)$"
sessionBackupAsync="false"
sessionBackupTimeout="100"
copyCollectionsForSerialization="false" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"/>

参数说明：memcachedNodes：memcached服务器信息，多个服务器时，使用空格分开，如：

n1:127.0.0.1:11211 n2:127.0.0.1:11211

配置文件如下图：



2.3测试Session共享
我是在Windows下用myeclipse新建一个web项目,我的项目名是：TOMCAT_SESSION，在index.jsp下写上：

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%
String path = request.getContextPath();
String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
%>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<base href="<%=basePath%>">

<title>Tomcat+memcached共享session测试</title>
<meta http-equiv="pragma" content="no-cache">
<meta http-equiv="cache-control" content="no-cache">
<meta http-equiv="expires" content="0">
<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta http-equiv="description" content="This is my page">
<!--
<link rel="stylesheet" type="text/css" href="styles.css">
-->
</head>

<body>
SessionID:<%=session.getId()%>
<BR>
SessionIP:<%=request.getServerName()%>
<BR>
SessionPort:<%=request.getServerPort()%>
<BR>
<%
out.println("This is Tomcat Server 8080.");
%>
</body>
</html>

然后打包成.war文件，将其弄到centos6.4的tomcat的webapps目录下即可。

再将index.jsp中的out.println("This is Tomcat Server 8080.");改成out.println("This is Tomcat Server 8081.")；，打包成.war文件，也将其弄到centos6.4的tomcat2（另一个tomcat）的webapps目录下即可。
好了，启动这些：nginx，memcached，tomcat，tomcat2，这样准备就绪了。
打开你的浏览器输入：http://localhost/TOMCAT_SESSION/index.jsp，会出现如下界面：



再按F5刷新一次，出现如下界面：



对比一下，两次得到的session是一样的。哈哈，测试成功~棒棒哒