Nginx+Keepalived负载均衡高可用

Nginx+Keepalived负载均衡高可用方案：

Nginx 使用平台：unix、linux、windows。 功能： A.www web服务  http 80 b.负载均衡（方向代理proxy） c.web cache(web缓存) 优点： 0.配置简单，灵活。 1.高并发(静态小文件)，静态1-2w 2.占用资源少。2w并发 开10个线程服务，内存消耗几百M。 3.功能种类比较多(web，cache，proxy) 4.支持epoll模型。使得Nginx可以支持高并发。 5.nginx配合动态服务和apache有区别。 6.利用nginx可以对IP限速，可以限制连接数。 LNMP实现原理，架构： Nginx的应用场合： 1.静态服务器(图片，视频服务)，另一个lighttpd。并发：1-3w Html、js、css、flv。 2.动态服务，nginx+fastcgi的方式运行php，jsp。并发：500-1500 Apache+php  ，lighttpd+fcgi php 3.反向代理，负载均衡。日PV2000w以下，都可以直接用NGINX做代理。 Haproxy，F5，a10 4.缓存服务。 Nginx和其他web服务器的对比 1.apache          2.2版本非常稳定强大，据官方说，其2.4版本性能超强          Prefork模式取消了进程创建开销，性能很高。          处理动态业务数据时，因关联到后端的引擎和数据库，瓶颈不在于Apache本身。          高并发时消耗系统资源相对比较多一些。          基于传统的select模型。          扩展库，DOS方法，apxs          功能多，更稳定 2.nginx          基于异步IO模型(epoll，kqueue)，性能强，能够支持上万并发。          对小文件支持很好，性能很高（限静态小文件1M）          代码优美，扩展库必须编译进主程序          消耗系统资源比较低 3.Lighttpd(百度贴吧，豆瓣)          基于异步IO模型，性能和Nginx相近          扩展库是SO模式，比Nginx要灵活          全球使用率比较低，安全性没有上面两个好。          通过插件(mod_secdownload)可实现文件URL地址加密。

1、实验环境：（centos6.9 minimal）

主机名	IP	作用
Nginx_master	192.168.128.155	主负载均衡
Nginx_backup	192.168.128.156	备负载均衡
Web_1	192.168.128.157	web服务器
Web_2	192.168.128.158	web服务器
Nginx_vip	192.168.128.199	网站vip地址

2、实验拓扑图：

3、分别安装nginx负载均衡器及配置脚本

1）安装nginx

yum install -y gcc gcc+ gcc-c++ openssl opensll-devel  wget  vim          //安装基础环境

/etc/init.d/iptables stop                                                 //关闭防火墙

groupadd www　　　　　　　　　　　　　　　　　　　　　　　　                     //添加组

useradd -g www www　　　　　　　　　　　　　　　　　　　　　　                 //添加用户

mkdir -p /data/logs                                                      //创建日志文件夹

chown -R www:www /data/logs/　　　　　　　　　　　　　　　　　               //更改属主

cd /usr/local/src/                                                      //安装路径
wget http://nginx.org/download/nginx-1.6.2.tar.gz
tar xf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --without-http_rewrite_module

报错解决 yum install openssl openssl-devel –y make && make install

 备份：cp /usr/local/nginx/conf/nginx.conf{,.bak}

修改配置文件：vim /usr/local/nginx/conf/nginx.conf

user  www www;
worker_processes  4;                       //nginx进程数
pid        /usr/local/nginx/logs/nginx.pid;
worker_rlimit_nofile 51200;
events {
worker_connections  1024;
}
http {
include       mime.types;
default_type  application/octet-stream;
sendfile        on;
tcp_nopush     on;
keepalive_timeout  65;
gzip  on;
gzip_min_length 1k;
gzip_buffers   4 16k;
gzip_http_version 1.0;
upstream backend                       //负载均衡
{
ip_hash;                               //轮询算法
server 192.168.128.157:80;
server 192.168.128.158:80;
}
server {
listen       80;
server_name  www.123.com;
location / {
root   /var/www/html;
index  index.php index.html index.htm;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For proxy_add_x_forwarded_for;
proxy_pass http://backend;
}
error_page   500 502 503 504  /50x.html;
location = /50x.html {
root   html;
}
}
}

2）安装keepalive

yum install keepalived -y

修改配置文件：(Master) vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.128.155
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
mcast_src_ip 192.168.128.155
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.128.199      //虚拟VIP
}
}

 修改配置文件：(Backup)

! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.128.155
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
mcast_src_ip 192.168.128.156
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.128.199
}
}

 

 启动keepalive：

service keepalived start

在主keepalive上查看，已经接管VIP:

ip addr show

3 ) 安装web服务

yum install httpd -y

修改配置文件：

echo "ServerAdmin 192.168.128.157" >>/etc/httpd/conf/httpd.conf

启动web服务:

service httpd start

为了测试添加一个web网页：

cat >>/var/www/html/index.html<<EOF
> </h>
> 157
> <h>
> EOF

 测试1：

测试2 关闭158web服务：

 编写Nginx监控脚本：

!/bin/bash
while :
do
nginxpid=`ps -C nginx --no-header|wc -l`
if [ $nginxpid -eq 0 ];then
/usr/local/nginx/sbin/nginx
sleep 5
nginxpid=`ps -C nginx --no-header|wc -l`
echo $nginxpid
if [ $nginxpid -eq 0 ];then
/etc/init.d/keepalived stop
fi
fi
sleep 5
done

放入后台nohup /bin/bash /root/nginx_pid.sh &

测试3：模拟主Nginx宕机：

备keepalive上自动接管VIP:

查看网站正常打开：

 另外：

1. 要使得Nginx支持https只需在负载均衡器上开启ssl功能，监听443端口（防火墙做好映射）将证书放在负载均衡器上而不是后面的web服务器。

server {
listen       443 ;
server_name  www.123.com;
ssl_certificate      /usr/local/nginx/keys/www.123.com.crt;
ssl_certificate_key  /usr/local/nginx/keys/www.123.com.key;
ssl_session_cache    shared:SSL:1m;
ssl_session_timeout  5m;
ssl_ciphers  HIGH:!aNULL:!MD5;
ssl_prefer_server_ciphers  on;
location / {
root   html;
index  index.html index.htm;
}
}

2. 获取客户端真实IP

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For proxy_add_x_forwarded_for;

 3. 上述为nginx主从架构配置（即一个Nginx_VIP）若无故障从nginx长期处于备份状态，而主Nginx负载就很高，如果我想两台负载均衡器都处在工作状态来实现负载均衡也很容易（配置两个VIP）。通过keepalive生成两个实例，两台Nginx互为备机。

主Nginx机器之一的keepalived.conf配置如下：

vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.128.198
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 55
priority 99
advert_int 2
authentication {
auth_type PASS
auth_pass chtopnet
}
virtual_ipaddress {
192.168.128.199
}