Haproxy+Keepalived实现负载均衡高可用

Haproxy+Keepalived实现负载均衡高可用

Nginx+keepalived可以参考我的博文
Lvs+keepalived可以参考我的博文

背景:
Haproxy+Keepalived的优势何在，如果你的网站并发量挺大的但是还不至于大到使用lvs的地步，并且又想对七层协议进行过滤。可能需要实现动静分离，又或者是基于内容的过滤等。但是并发量还是挺大的，Nginx可能没法满足要求的话，那么Haproxy是您绝佳的选择Haproxy和Nginx一样都是单进程事件驱动模型，linux2.6内核下都是使用了epoll机制。那么Haproxy相比Nginx有哪些优良之处呢。我认为Haproxy的优化做的比Nginx好可以承载的并发大于Nginx，还有良好的数据接口，基于流量的健康状态检查机制，服务器管理命令行接口，基于URI的负载均衡算法(在缓存服务器场景下工作良好),对session保持和cookie引导有很好的支持。并且适用于多种七层协议(Nginx只支持mail和http),还可以支持四层的负载均衡(用的少，多用于七层)。

HAproxy的一些特性如下:
客户端侧的长连接(client-side keep-alive)
TCP加速(TCP speedups)
响应池(response buffering)
RDP协议
基于源的粘性(source-based stickiness)
更好的统计数据接口(a much better stats interfaces)
更详细的健康状态检测机制(more verbose health checks)
基于流量的健康评估机制(traffic-based health)
支持HTTP认证
服务器管理命令行接口(server management from the CLI)
基于ACL的持久性(ACL-based persistence)
日志分析器

实验环境:
Haproxy主:172.16.35.81
Haproxy备:172.16.35.206
PHP:172.16.35.75
Nginx:172.16.35.249
VIP:172.16.35.211

实验拓扑如下:



Haproxy+keeaplived安装配置:
在Haproxy主和Haproxy备分别安装keepalived

#!/bin/bash
yum install kernel-devel gcc gcc-c++ openssl-devel -y
wget http://www.keepalived.org/software/keepalived-1.2.12.tar.gz tar zxvf keepalived-1.2.12.tar.gz
cd keepalived-1.2.12
./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/*/
make && make install
mkdir /etc/keepalived
\cp  -f keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
\cp -f keepalived/etc/init.d/keepalived.init /etc/init.d/keepalived
\cp -f keepalived/etc/init.d/keepalived.sysconfig /etc/sysconfig/keepalived
\cp -f /usr/local/keepalived/sbin/keepalived /sbin/

HAproxy主的keepalived配置文件如下:

! Configuration File for keepalived
global_defs {
notification_email {
yfzhang@Iflytek.com
}
notification_email_from root@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script check_run {
script "killall -0 haproxy"
interval 2
weight -2
fail 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
check_run
}
virtual_ipaddress {
172.16.35.211
}
}

Haproxy备的keepalive配置文件和HAproxy是一样的，只是HAproxy备的priority值为99。

安装Haproxy:

#!/bin/bash
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gz tar zxvf haproxy-1.4.25.tar.gz
cd haproxy-1.4.25
yum install gcc gcc-c++ autoconf automake -y
make TARGET=linux2628 arch=x86_64
make install
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy
cp examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy

注意:通常我们在网上找到的haproxy的安装方法都是TARGET=linux26，这种边缘方式是可以的，不可以默认是禁用了splice系统调用splice系统调用类似与sendfile机制，在linux内核2.6.28以前有bug存在不建议使用,linux内核2.6.28以后是可以启用的，我使用的是Centos6.4内核版本是2.6.32所以使用TARGET=linux2628的编译方式。

配置HAproxy:
配置文件如下:HAproxy主和背配置文件是相同的

# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
log 127.0.0.1   local1 notice  #设置日志存放的位置和日志记录的级别,还需要进入/etc/rsyslog.conf中配置local1日志存放的位置
maxconn 40960                   #每个haproxy进程最大可接受的并发连接数
uid 99                            #指定运行haproxy进程的用户和组
gid 99
daemon                            #以服务的形式运行
pidfile /var/log/haproxy.pid    #指定pid文件的位置
defaults
log     global                     #使用全局配置的日志
mode    http                    #使用七层负载均衡
option  httplog                 #记录http访问日志
option  dontlognull             #不记录空日志
option forwardfor except 127.0.0.1 #允许在发往服务器的请求首部中插入“X-Forwarded-For”首部但除了127.0.0.1
retries 3                       #连接失败后重新连接的次数
option  redispatch              #在连接失败的情况下将sesion重新分发
timeout http-request 10s        #等待完成http的请求的最大时间
timeout queue 1m    #当请求达到maxconn的时候后续的连接请求就会放置连接队列中，这个时间用于设置队列中的最大等待时间
timeout connect 1m  #尝试连接到服务器的最大等待时间
timeout client  1m  #设置客户端这边的最大非活动时间(意思就是一个空闲连接的保持时间)
timeout server 1m   #设置服务器端的最大非活动时间
timeout http-keep-alive 10s #设置等待一个新的http请求的最大等待时间(从一个http请求开始到发送回复报文这段时间)
timeout check 10s #额外的检查时间不同于server中的inter 如果设置了haproxy将会使用timeout check和inter中最小的那个
maxconn 20000 #每个haproxy可承受的最大并发连接数目
#定义后端统计数据接口
#一个listen就等于一个frontend结合一个backend
listen ststus
bind *:1080         #定义监听的接口
stats enable        #开启统计数据接口
stats hide-version   #隐藏haproxy版本
stats uri /haproxy?stats #定义统计数据网址
stats realm Haproxy\ Statistics #定义认证提示信息
stats auth statsadmin:password #定义认证的用户名和密码
stats auth statsmaster:password
stats admin if TRUE #定义在认证通过的情况下开启管理功能
#定义一个fronted
frontend www
bind *:80
mode http
log global
#开启http被动关闭
option httpclose
#设置一个acl 用来匹配静态文件
acl url_static path_end -i .css .js .html .htm
#设置一个acl 用来匹配动态文件
acl url_dynamic path_end -i .php
#如果匹配了静态文件就使用nginx提供服务
use_backend static if url_static
#默认使用php服务器
default_backend dynamic
#定义一个后端 静态服务器
backend static
server nginx 172.16.35.75:80 check maxconn 3000
#定义一个后端 动态服务器
backend dynamic
server php 172.16.35.249:80 check maxconn 3000
HAproxy主和备的配置文件相同

安装Nginx提供静态web服务:

#!/bin/bash
groupadd -r nginx
useradd -r -g nginx nginx
yum install gcc gcc-c++ openssl-devel pcre-devel wget vim automake autoconf -y
wget http://nginx.org/download/nginx-1.4.7.tar.gz #这个地址可能有的时候无法解析到域名下载不到这个包，需要自己去下载包然后安装安装步骤一步一步安装
#wget http://mirror.yongbok.net/nongnu/libunwind/libunwind-1.1.tar.gz wget http://gperftools.googlecode.com/files/gperftools-2.1.tar.gz #                       libunwind install
tar -xvf libunwind-1.1.tar.gz
cd libunwind-1.1
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install
cd ..
#                       gperftools install
tar -xvf gperftools-2.1.tar.gz
cd gperftools-2.1
./configure
make && make install
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
ldconfig
cd ..
#                       nginx install
tar zxvf nginx-1.4.7.tar.gz
cd nginx-1.4.7
./configure --prefix=/usr/local/nginx \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-google_perftools_module \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-pcre
make && make install
#                       Setup
mkdir /tmp/tcmalloc
chmod 0777 /tmp/tcmalloc
#简单的一个nginx优化
cat >> /etc/sysctl.conf <<EOF
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1
net.core.somaxconn = 262144
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
EOF

安装lamp提供动态应用服务这里为了方便使用yum安装:

yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt php -y
yum install mysql mysql-server -y

给nginx和php两台机器分别提供一个动态页面一个静态页面
echo "I am a static page 172.16.35.75" >> /usr/local/nginx/html/index.html
echo "<?php echo "I am s dynamic page 172.16.35.249"; ?>" >> /var/www/html/index.php

验证其结果是否实现动静分离:







验证其结果是否实现了HAproxy的高可用
关闭keepalived实现高可用地址漂移





关闭haproxy实现高可用地址漂移





至此Haproxy+Keepalived实现高可用和动静分离就实现了。