nginx基于cookie粘滞做的负载均衡
2015-12-28 18:41
645 查看
nginx-sticky-module 是 Nginx 的一个扩展模块,实现了通过 Cookie 的会话粘贴效果。
Nginx以前对session 保持支持不太好,主要采用ip_hash把同一来源的客户(同一C段的IP)固定指向后端的同一台机器,ip_hash有个缺点是不能实现很好的负载均衡;直到nginx的扩展模块nginx-sticky-module的出现,解决了session sticky的问题。
基本的原理:
首先根据轮询RR随机到某台后端,然后在响应的Set-Cookie上加上route=md5(upstream)字段,第二次请求再处理的时候,发现有route字段,直接导向原来的那个节点
基于centos/redhat6,集群搭建过程
相关软件版本
Oracle 11gr2
apache-tomcat-7.0.42.tar.gz
nginx-1.8.0.tar.gz
jdk-6u45-linux-x64.bin
nginx-sticky-module-1.1.tar.gz
openssl-1.0.2e.tar.gz
pcre-8.38.tar.gz
zlib-1.2.8.tar.gz
1. 首先安装JDK,数据库等基础环境
默认安装jdk
用nginx-sticky-module实现cookie的粘滞,用浏览器查看cookie的时候回多出route参数。
Nginx以前对session 保持支持不太好,主要采用ip_hash把同一来源的客户(同一C段的IP)固定指向后端的同一台机器,ip_hash有个缺点是不能实现很好的负载均衡;直到nginx的扩展模块nginx-sticky-module的出现,解决了session sticky的问题。
基本的原理:
首先根据轮询RR随机到某台后端,然后在响应的Set-Cookie上加上route=md5(upstream)字段,第二次请求再处理的时候,发现有route字段,直接导向原来的那个节点
基于centos/redhat6,集群搭建过程
相关软件版本
Oracle 11gr2
apache-tomcat-7.0.42.tar.gz
nginx-1.8.0.tar.gz
jdk-6u45-linux-x64.bin
nginx-sticky-module-1.1.tar.gz
openssl-1.0.2e.tar.gz
pcre-8.38.tar.gz
zlib-1.2.8.tar.gz
1. 首先安装JDK,数据库等基础环境
默认安装jdk
# ./ jdk-6u45-linux-x64.bin 配置好环境变量 # vi /etc/profile 在文件后加上 export JAVA_HOME=/usr/java/jdk1.6.0_45 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 2. 安装pcre、openssl 、zlib 安装pcre # tar zxvf pcre-8.38.tar.gz 进入解压目录 # .configure # make # make install 这个过程中可能涉及到一些其他软件的安装,其他的安装都可以使用系统自带的软件安装 查看版本 # yum list|grep *** 安装软件 # yum –y install *** 如果yum没法找到需要安装的软件,就修改下yum的源,找到要安装软件的源,并整合到系统中 修改yum源的文件 /etc/yum.repos.d/*** 安装openssl # tar zxvf openssl-1.0.2e.tar.gz 进入解压目录 # ./config # make # make install 安装zlib # tar zxvf zlib-1.2.8.tar.gz 进入目录 # configure # make # make install 解压nginx-sticky-module-1.1.tar.gz # tar zxvf nginx-sticky-module-1.1.tar.gz 由于和nginx1.8有版本问题需要修改以下的程序 如果不修改,在执行nginx下的./configure的时候会报以下错误 …… /tmp/soft/nginx-sticky-module-1.1/ngx_http_sticky_misc.c:281: error: too few arg uments to function ‘ngx_sock_ntop’ make[1]: *** [objs/addon/nginx-sticky-module-1.1/ngx_http_sticky_misc.o] Error 1 make[1]: Leaving directory `/tmp/soft/nginx-1.6.2' make: *** [build] Error 2 根据资料 把ngx_http_sticky_misc.c 的281行修改如下即可解决问题 原digest->len = ngx_sock_ntop(in,digest ->data, len, 1); 改后digest->len = ngx_sock_ntop(in,sizeof(struct sockaddr_in),digest ->data, len, 1); 解压nginx nginx-1.8.0.tar.gz # tar zxvf nginx-1.8.0.tar.gz 进入解压目录执行 # ./configure \ --prefix=/usr/local/nginx \ --with-http_stub_status_module \ --with-http_ssl_module \ --with-http_flv_module \ --with-http_gzip_static_module \ --with-pcre=/usr/local/pcre-8.38 \ --with-openssl=/usr/local/openssl-1.0.2e \ --with-zlib=/usr/local/zlib-1.2.8 \ --add-module=/usr/local/nginx-sticky-module-1.1 # make # make install 以上部分完成了nginx的安装,并带有基于Cookie 的会话粘滞功能做负载均衡。 安装tomcat # tar zxvf apache-tomcat-7.0.42.tar.gz # mv apache-tomcat-7.0.42 tomcat1 配置好端口 # vi /usr/local/tomcat1/conf/server.xml 修改里面http访问端口8080 为规划的端口号 修改里面ajp端口8009 为规划的端口号 修改里面的shutdown 8005 位规划的端口号 配置tomcat管理配置以及应用的jvm参数配置 # vi /usr/tomcat1/conf/ tomcat-users.xml 增加 <user username="admin" password="123456" roles="manager-gui"/> # vi /usr/tomcat1/bin/ catalina.sh 在cygwin=false 前面增加jvm的配置 JAVA_OPTS="-Xms512m -Xmx512m -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m" 然后将应用的war包拷贝到 /usr/tomcat1/webapps下面 至此已经完成基础工作,然后配置nginx集群相关,参考以下配置文件,具体配置项里面有详细说明 #定义Nginx运行的用户和用户组 user root root; #nginx进程数,建议设置为等于CPU总核心数 worker_processes 1; #全局错误日志定义类型,[ debug | info | notice | warn | error | crit ] error_log /var/log/nginx/error.log warn; #进程文件 pid /var/run/nginx.pid; #一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(系统的值ulimit -n) #与nginx进程数相除,但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致。 worker_rlimit_nofile 1024; #工作模式与连接数上限 events { #参考事件模型,use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版 #本内核中的高性能网络I/O模型,如果跑在FreeBSD上面,就用kqueue模型。 use epoll; #单个进程最大连接数(最大连接数=连接数*进程数) worker_connections 1024; } #设定http服务器 http { #文件扩展名与文件类型映射表 include mime.types; #默认文件类型 default_type application/octet-stream; #charset utf-8; #默认编码 server_names_hash_bucket_size 128; #服务器名字的hash表大小 #client_header_buffer_size 32k; #上传文件大小限制 #large_client_header_buffers 4 64k; #设定请求缓 #client_max_body_size 8m; #设定请求缓 #开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数来输出文件, #对于普通应用设为 on,如>果用来进行下载等应用磁盘IO重负载应用,可设置为off, #以平衡磁盘与网络I/O处理速度,降低系统的负载。注意:如果图片显示不正常把这个改成off。 sendfile on; #autoindex on; #开启目录列表访问,合适下载服务器,默认关闭。 tcp_nopush on; #防止网络阻塞 tcp_nodelay on; #防止网络阻塞 keepalive_timeout 120; #长连接超时时间,单位是秒 #FastCGI相关参数是为了改善网站的性能:减少资源占用,提高访问速度。下面参数看字面意思都能理解。 fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; fastcgi_buffer_size 64k; fastcgi_buffers 4 64k; fastcgi_busy_buffers_size 128k; fastcgi_temp_file_write_size 128k; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; #gzip模块设置 #开启gzip压缩输出 gzip on; #gzip_min_length 1k; #最小压缩文件大小 #gzip_buffers 4 16k; #压缩缓冲区 #gzip_http_version 1.0; #压缩版本(默认1.1,前端如果是squid2.5请使用1.0) #gzip_comp_level 2; #压缩等级 #压缩类型,默认就已经包含textml,所以下面就不用再写了,写上去也不会有问题,但是会有一个warn。 #gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on; #limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用 upstream 10.100.82.28 { #upstream的负载均衡,weight是权重,可以根据机器配置定义权重。weigth参数表示权值,权值越高被分配到的几率越大。 #ip_hash; #基于ip hash做负载均衡 #nginx sticky其他语法 # sticky [name=route] [domain=.foo.bar] [path=/] [expires=1h] [hash=index|md5|sha1] [no_fallback]; # name: 可以为任何的string字符,默认是route # domain:哪些域名下可以使用这个cookie # path:哪些路径对启用sticky,例如path/test,那么只有test这个目录才会使用sticky做负载均衡 # expires:cookie过期时间,默认浏览器关闭就过期,也就是会话方式。 # no_fallbackup:如果设置了这个,cookie对应的服务器宕机了,那么将会返回502(bad gateway 或者 proxy error),建议不启用 sticky; #基于cookie session粘滞做负载均衡 server 10.100.82.28:8089; server 10.100.82.29:8089; } #虚拟主机的配置 server { #监听端口 listen 80; #域名可以有多个,用空格隔开 server_name 10.100.82.28; charset utf-8; #对 "/" 启用反向代理 location / { #root html; #index index.html index.htm; proxy_connect_timeout 10; proxy_send_timeout 30; proxy_read_timeout 30; proxy_pass http://10.100.82.28; proxy_set_header X-Real-IP $remote_addr; client_max_body_size 100m; #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; #以下是一些反向代理的配置,可选。 #proxy_set_header Host $host; # client_max_body_size 10m; #允许客户端请求的最大单文件字节数 # client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数, # proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时) # proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时) # proxy_read_timeout 90; #连接成功后,后端服务器响应时间(代理接收超时) # proxy_buffer_size 4k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小 # proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的设置 # proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2) # proxy_temp_file_write_size 64k;#设定缓存文件夹大小,大于这个值,将从upstream服务器传 } #图片缓存时间设置 # location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ #{ # expires 10d; # } #JS和CSS缓存时间设置 #location ~ .*.(js|css)?$ #{ # expires 1h; # } location ~ ^/(WEB-INF)/ { deny all; } #设定查看Nginx状态的地址 location /ngx_status { stub_status on; access_log on; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } #配置静态资源 #location ~ \.(jpg|png|jpeg|bmp|gif|swf|css)$ #{ # expires 30d; # root /nginx-1.4.7;#root: # break; # } location /cemscms/ { root /home/cms_dev_static/; ##会指向/home/cms_dev_static/cemscms/下的资源 autoindex on; ##会自动显示资源目录 index index.html; } #定义本虚拟主机的访问日志 #access_log ar/loginx/xx.log access; } } 配置完成后,启动tomcat和nginx Nginx 启动和关闭,热部署启动 启动nginx # /usr/local/nginx/sbin/nginx 停止nginx #/usr/local/nginx/sbin/nginx –s stop 配置项修改后测试配置项是否有问题 # /usr/local/nginx/sbin/nginx –t 平滑重启(即热部署) #/usr/local/nginx/sbin/nginx –s reload 配置完后,在浏览器输入 http://nginx所在机器ip/war包名称 就能访问到发布后的应用了。 注:这个过程中可能涉及到有些端口没开放的问题,可以使用以下命令来开闭端口 开启8000端口 # /sbin/iptables -I INPUT -p tcp --dport 8000 -j ACCEPT 保存配置 # /etc/rc.d/init.d/iptables save 重启服务 # /etc/rc.d/init.d/iptables restart 查看端口是否已经开放 #/etc/init.d/iptables status linux查看端口被哪个进程占用:(lsof有些机器没装) #lsof -i:端口号
用nginx-sticky-module实现cookie的粘滞,用浏览器查看cookie的时候回多出route参数。
相关文章推荐
- [置顶] ffmpeg rtmp推流 nginx搭建的rtmp服务器
- nginx 安装SSL
- nginx配置
- nginx+uwsgi+django整合部署
- Nginx/LVS/HAProxy负载均衡软件的优缺点详解
- nginx 安装
- 使用log_format为Nginx服务器设置更详细的日志格式
- 解决nginx打开php文件总是显示下载框的问题
- Ubuntu安装nginx、php
- centos7系统nginx下phalcon环境搭建
- 删:[CentOS 7] 安装nginx
- thinkPHP在apache和IIS,nginx下的伪静态配置
- 如何解决nginx上传大文件的限制
- 查看 PHP apache nginx mysql 是如何编译的
- wordpress nginx 屏蔽后台密码破解 xmlrpc.php
- 利用Nginx的上传模块和上传进度模块实现网页上传文件
- nginx制作个人dns定向解析
- 搭建nginx+uwsgi+django环境
- nginx 负载均衡、用数据库存储Session,来实现多站点共享Session[转]
- 自动化管理工具Saltstack之nginx部署(12)