LVS+Keepalived实现高可用性集群

LVS+Keepalived实现高可用性集群

一、lvs+keepalived集群基本架构
Lvs
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；

十种调度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。

Keepalvied
Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。
下面是在网上参考的典型的系统架构图





针对我们服务器放在IDC机房的特点，我参考上面的架构做了一些修改





这个方案中，负载均衡层采用两台服务器做DR，架构lvs+keepalived，其中master DR调度工作，把用户的请求分配到web服务器上，当master DR故障时，backup DR自动切换状态到master,完成负载均衡的工作，mater DR恢复后backup DR又自动切换状态到backup。如果出于经济考虑，可以暂时只用一台服务器做DR。
Web服务器层是真正处理用户请求的，这里初步计划两台real server，DR按照一定的规则把用户的请求分配到real server上，要保证不同的real server有着一致的数据库和web目录。数据库的一致常见的有集群和复制技术，综合考虑，在两台real server之间采用mysql的双主复制来现在real server 可以同时读取和写入数据库，并保证数据库的一致。
这里的共享存储区采用一台NFS服务器，建立共享输出目录，然后两台real server 挂载这个输出目录，实现web目录文件的一致。
这样，则需要5台服务器，再加上VIP地址，则需要6个公网IP地址，对于www.faxingw.cn，VIP是122.224.6.84，用户在浏览器上输入域名，经过DNS服务器解析成122.224.6.84，经过负载均衡调度器，将用户请求分配到real server上，这里计划采用基于直接路由的负载均衡（VS/DR，即Virtual Server via Direct Routing）技术，VS/DR通过改写请求报文的MAC地址，将请求发送到real server，而real server将响应直接返回给客户，是3种负载调度方式中性能最好的，但要求director server与real server必须由一块网卡连在同一物理网段上。
按照上面改过的架构方案在虚拟机上安装测试，给出下面的地址规划
Director server1:192.168.1.198
Director server2:192.168.1.196
Real server1:192.168.1.199
Real server2:192.168.1.197
NFS server1:192.168.1.201
NFS server2:192.168.1.202
VIP:192.168.1.200
二、安装LVS+keepalived软件
LVS是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，主要用于完成用户的请求到达负载调度器后，如何将请求发送到每个real server节点，real server节点如何返回数据给用户。这里我们的操作系统采用centos5.5，该版本内核默认支持LVS功能，也可以通过如下命令检查kernel是否已经支持LVS的IPVS模块：
#modprobe –l |grep ipvs
这里选择安装ipvsadm-1.24版本，我在虚拟机上安装时出错，OpenSSL is not properly installed on your system，系统缺少openssl-devel软件包，我通过配置yum本地源安装，然后yum install openssl-devel，问题解决了，装好了可以通过ipvsadm –help检查安装是否成功，两台director server 都要安装。详细的安装步骤这里就不详细说明了。
Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，它根据layer3，4，5交换机制检测每个服务节点的状态，如果某个服务节点出现异常，或工作出现故障，keepalived将检测到，并将出现故障的服务节点从集群系统中剔除，而当故障节点恢复正常后，Keepalived又可以自动将此服务器节点重新加入到服务器集群中。这些工作全部自动完成。
这里选择安装的是keepalived-1.1.17.tar.gz，安装过程没有遇到问题，就不介绍了。
同样，安装完成后，可以执行命令：keepalived –help 检查是否安装成功。

三、ipvsadm和keepalived的配置
在direct server上，这里用shell脚本来实现ipvsadm命令行配置
# vi lvsdr.sh

#!/bin/bash
VIP=192.168.1.200
RIP1=192.168.1.199
RIP2=192.168.1.197
/etc/rc.d/init.d/functions
case "$1" in
start)
echo "start LVS of DirectorServer"
/sbin/ipvsadm -C
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -m -w 1
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -m -w 1
/sbin/ipvsadm
;;
stop)
echo "Close LVS Directorserver"
/sbin/ifconfig eth0:1 down
/sbin/ipvsadm -C
;;
*)
echo "Usage0{start|stop}"
exit 1
esac
在两台Director server上，这个脚本是一样的，给脚本添加开机启动
下面在Director server上配置keepalived，根据安装路径，keepalived的配置文件是/etc/keepalived/keepalived.conf，
! Configuration File for keepalived

global_defs {
router_id LVS_MASTER
}

vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200
}
}

virtual_server 192.168.1.200 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP

real_server 192.168.1.199 80 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}

real_server 192.168.1.197 80 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}
}
这是director server 1 的配置，在director server2 上我们只有把master 改为 backup，priority改为80就可以了
下面介绍real server上的配置，两台real server 执行下面的脚本
# vi lvsrs.sh
#!/bin/bash
VIP=192.168.1.200
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
#end
配置好了之后，配置这些脚本开机启动 例如echo “./root/lvsrs.sh” >>/etc/rc.local
这样配置基本完成。
四、搭建和配置NFS服务器
NFS是Network File System的简写，即网络文件系统，NFS允许一个系统在网络上与他人共享目录和文件，通过NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。
在CentOS系统中，默认情况下已经安装NFS文件系统，只要用chkconfig配置开机启动即可。
NFS服务器服务器端配置
登陆到NFS服务器，在虚拟机上我设的IP地址是192.168.1.201，修改NFS系统配置文件。
# vi /etc/exports
在文件里添加如下内容
/home/www 192.168.1.*（rw,sync,no_root_squash）
然后保存提出，添加的内容表示：允许IP地址范围在192.168.1.*的计算机以读写的权限来访问/home/www 目录。
接着执行如下命令，启动端口映射:
# /etc/rc.d/init.d/portmap start
最后执行如下命令启动NFS服务，此时NFS会激活守护进程，然后开始监听client端的请求。配置好了之后，先在NFS服务器上回环测试
# mount –t NFS 192.168.1.201:/home/www /mnt
如果正常，在/mnt目录下应该可以看到/home/www共享目录中的内容。

NFS客户端配置
这里两台real server作为客户端，只需做些简单配置即可
#mkdir /mnt/www 建立共享目录挂载点
#mount -t nfs 192.168.1.201:/home/www /mnt/nfs -o nolock 挂载共享目录到本地
两台real server的配置都一样，这里的共享目录作为web主目录，两台real server可以同时读写该目录和文件，并保持目录和文件一致。在nginx配置文件里修改web主目录的路径，修改fastcgi_param SCRIPT_FILENAME 路径。
下面配置开机自动挂载，可以配置/etc/fstab来实现，也可以设置开机自动运行脚本来实现，如用脚本
#vi /root/mntnfs.sh
mount -t nfs 192.168.1.201:/home/www /mnt/www -o nolock
保存退出，然后添加开机启动
#echo “./root/mntnfs.sh ” >>/etc/rc.local
NFS配置就完成了。
注：存储区的的两台NFS Server间用inotify+rsync来实现实时备份
五、配置MySQL双主复制
在两台real server间设置mysql双主复制，这里先设置主从复制。
主机：192.168.1.199
从机：192.168.1.197
主机设置
在主机中登陆mysql
#/usr/local/mysql/bin/mysql –u root
赋予从机权限
mysql>grant replication slave on *.* to ‘backup’@’192.168.1.197’ identified by ‘573514’
打开主机/etc/my.cnf文件
#vi /etc/my.cnf
在[mysqld]中输入
binlog-do-db=test #需要备份的数据，多个写多行
binlog-ignore-de=mysql #不需要备份的数据库，多个写多行
从机配置
配置从机的/etc/my.cnf，
#vi /etc/my.cnf
server-id的值改为2
在[mysqld]下输入
master-host=192.168.1.199
master-user=backup
master-pass=573514
master-port=3306
replicate-do-db=test #只复制某个库
replicate-ignore-db=mysql #不复制某个库
重启数据库，验证配置
在主机中，mysql>show master status;
在从机中，mysql>show slave status;
可以在主机上建立数据库测试，这样主从复制配置好了，接着继续配置双主复制。
配置当前从服务器
为原始服务器建立一个slave 账号
mysql>grant replication slave on *.* to ‘backup2’@’192.168.1.199’ identified by ‘123456’;
重启mysql服务，查看状态
mysql>show master status;
配置原始主服务器，编辑my.cnf并在[mysqld]下面输入
master-host=192.168.1.197
master-user=backup2
master-pass=123456
master-port=3306
然后重启mysql，登录mysql配置master文件设置
mysql>stop slave;
mysql>change master to master_log_file=’[file written down]’，master_log_pos=[position];
mysql>start slave;
mysql>show slave status;
最后创建或修改数据库测试配置是否成功。
注：这里只是在服务器池有两台机器时有效，只是权宜之计，如果可以，建议给数据库服务也建个集群。

到这里配置基本结束了，以上配置均在虚拟机下实验并通过。

2012-9-7