基于keepalived实现LVS的高可用 推荐

keepalived简介
首先简单介绍一下VRRP协议（虚拟路由器冗余协议）。VRRP是一种容错协议，它可以将一组路由器组织成一个虚拟路由器，这个虚拟路由器仅适用一个IP地址，这个IP地址配置在其中的一台路由器上，这个路由器即为主路由器（MASTER），其余的为备用路由器（BACKUP）。如果这个路由器组内的MASTER路由器出现故障了，BACKUP路由器将会通过选举策略选出一个新的MASTER路由器继续向外提供服务。这样就保证了网络之间的通信不会中断。
keepalived即采用了VRRP协议实现服务器的高可用，在每个节点上运行keepalived进程，每个keepalived进程能够通过VRRP协议相互通信（通告优先级，选举主节点，配置IP地址.......），当主服务器出现故障，备用服务器可自动代替主服务器继续提供服务。相对于Corosync+Pacemaker，keepalived更加轻量级，当然它的适用场景也有限，一般仅对LVS和反向代理服务器做高可用。

keepalived组件介绍
keepalived结构图：



Netlink reflector：监控网络接口
IPVS wrapper：为ipvs生成规则，并监控ipvs指向的各real server的健康状况（借助checkers完成）
VRRP Stack：vrrp的具体实现
Checkers：监控ipvs指向的各real server的健康状况
其中VRRP Stack和Checkers为核心组件，为了避免其中的任意组建出现故障而导致keepalived服务无法正常工作，由watchdog监控这两个内部进程的正常运行。

LVS的高可用-主备模型
在使用keepalived对LVS实现高可用时，除了高可用的功能外，还可以为前端的Director生成ipvs规则，并对后端的Real Server的健康状况进行监控。LVS的模型为DR模型，前端两个Director，一主一备，就一个VRRP示例。
实验环境：
时间服务器，控制节点：192.168.1.102
2台Director（node1，node2）：
node1：192.168.1.126
node2：192.168.1.127
VIP：192.168.1.200

Real Server1：192.168.1.124
Real Server2：192.168.1.125


首先利用ansible的playbook完成高可用集群的实现前提：时间同步，基于主机名相互通信。

[root@www ansible]# vim /etc/ansible/hosts
[lvs]
192.168.1.126              #LVS的节点1（node1）
192.168.1.127              #LVS的节点2（node2）

[web]
192.168.1.124              #Real Server1
192.168.1.125              #Real Server2

对应role的目录结构：

[root@www common]# tree
.
├── files
│   ├── hosts
│   └── ntp.conf
└── tasks
└── main.yml

hosts文件配置各节点能够基于主机名相互通信：

[root@www common]# vim files/hosts
192.168.1.126 node1.xiaoxiao.com node1
192.168.1.127 node2.xiaoxiao.com node2

ntp.conf为ntpd服务的配置文件，在其中指定上级时间服务器的地址：

[root@www common]# vim files/ntp.conf
......
server 192.168.1.102
......

将hosts文件和ntp.conf复制到各节点，并启动ntpd服务。

[root@www ansible]# vim roles/common/tasks/main.yml
- name: hosts file
copy: src=hosts dest=/etc/hosts
- name: sync time
copy: src=ntp.conf dest=/etc/ntp.conf
- name: start ntpd
service: name=ntpd state=started enabled=no

编辑ha.yml，调用对应的role：

[root@www ansible]# vim ha.yml
- name: config
remote_user: root
hosts: lvs
roles:
- common
######################################
[root@www ansible]# ansible-playbook ha.yml

在base源中就有keepalived，利用yum直接下载即可（RedHat6.4之后）

[root@www ansible]# ansible lvs -m yum -a 'name=keepalived state=present'

编辑配置文件/etc/keepalived.conf（node1上）

! Configuration File for keepalived
global_defs {
notification_email {
root@localhost             #当有通知信息时发送邮件至root@localhost
}
notification_email_from root@xiaoxiao.com
smtp_server 127.0.0.1        #指定邮件服务器
smtp_connect_timeout 3
}

vrrp_instance VI_1 {            #定义VRRP实例，VI_1为实例名称
state MASTER                #这个VRRP实例中，本服务器的角色，MASTER为主节点，BACKUP为备节点
interface eth0              #服务检测的接口
virtual_router_id 2         #路由标识，同一个实例，路由标识相同
priority 100                #优先级，数字越大优先级越高
advert_int 1                #一个VRRP实例中各节点之间同步的时间间隔
authentication {
auth_type PASS          #认证方式
auth_pass ***********   #认证密码
}
virtual_ipaddress {
192.168.1.200          #定义虚拟ip地址，这里也就是VIP
}
}

virtual_server 192.168.1.200 80 {      #虚拟服务器
delay_loop 3                       #对后端Real Server轮询的时间间隔
lb_algo rr                         #负载均衡的调度算法
lb_kind DR                         #LVS的模型
nat_mask 255.255.255.0             #子网掩码
persistence_timeout 20             #连接的持久时长
protocol TCP                       #转发使用的协议
sorry_server 127.0.0.1 80          #当Real Server全部停止工作时，请求调度至本机的80端口
real_server 192.168.1.124 80 {     #定义Real Server
weight 1                       #设置权重
HTTP_GET {                     #keepalived检查该Real Server时使用的方式
url {
path /                   #检测健康状况时获取的页面（默认页面）
status_code 200          #期望的返回状态码
}
connect_timeout 2          #连接超时时长
nb_get_retry 3             #连接超时后的重试次数
delay_before_retry 1       #重试间隔
}
}
real_server 192.168.1.125 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
}

将配置文件复制到第2个节点并作相应的修改，注意VRRP实例中state，virtual_route_id，priority和认证信息的配置。

vrrp_instance VI_1 {
state BACKUP                #此节点为备用节点
interface eth0
virtual_router_id 2         #同一个VRRP实例中路由标识必须相同
priority 90                #权重要低于MASTER节点
advert_int 1
authentication {              #认证信息必须相同
auth_type PASS
auth_pass ***********
}
.........
}

在各Real Server上对arp请求和arp通告做相应的配置，并在lo接口上添加VIP（192.168.1.200）。在控制主机上配置如下脚本，并利用ansible在各Real Server上完成执行。

[root@www ansible]# vim realServer_conf
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo
ip route add 192.168.1.200 dev lo:0
#########################################
[root@www ansible]# ansible web -m script -a 'realServer_conf'

最后在real server上配置好html页面，然后启动httpd服务。在个LVS节点上启动keepalived服务。

[root@www ansible]# ansible web -m shell -a 'service httpd start'
[root@www ansible]# ansible lvs -m shell -a 'service keepalived start'

主节点上VIP已经生成，且LVS的各节点上的ipvs规则已启用。访问测试，能够实现轮询调度。
.................^_^

[b]LVS的高可用-双主模型[/b]

在主备模型中，如果主节点没有发生故障，则备用节点一直处于空闲状态，而在高并发的状态下，主节点又很有可能成为系统性能的瓶颈。这时候，可以将备用节点也利用起来，这就是双主模型，在双主模型中，LVS的两个节点上运行两个VRRP实例，其中一个VRRP实例使用IP1（192.168.1.200），且在这个实例中node1为主节点，node2为备用节点，另一个VRRP实例使用IP2（192.168.1.100），这个实例中node1为备用节点，node2为主节点，两个节点都将请求调度至后方的Real Server1和2。其中一个节点故障时，其上的IP地址和对应的ipvs规则转移至另一个节点上，则另一个节点上有两个VIP和两个集群服务。双主模型下，需要两个IP地址，利用DNS服务器在解析时轮询返回这两个IP地址，使用户的请求分散到这两个节点上。这样有效地利用了资源，也提升了服务器的性能。实验环境：时间服务器：192.168.1.1022台Director（node1，node2）： node1：192.168.1.126 node2：192.168.1.127VIP1：192.168.1.200VIP2：192.168.1.100Real Server1：192.168.1.124
Real Server2：192.168.1.125


同前一个案例一样，各节点首先完成时间同步，能够基于主机名相互通信，安装keepalived。
编辑配置文件/etc/keepalived.conf（node1上）：

.........
.........
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.1.200
}
}

vrrp_instance VI_2 {                  #定义第二个VRRP实例
state BACKUP
interface eth0
virtual_router_id 52                #路由标识不同于上一个实例
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass abcdef
}
virtual_ipaddress {
192.168.1.100
}
}

virtual_server 192.168.1.200 80 {       #两个集群服务除了VIP不一样其他的都一样
delay_loop 3
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 20
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.1.124 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
real_server 192.168.1.125 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
}

virtual_server 192.168.1.100 80 {
delay_loop 3
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 20
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.1.124 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
real_server 192.168.1.125 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
}

将配置文件同步至node2上做响应的修改：

vrrp_instance VI_1 {
state BACKUP
virtual_router_id 51
priority 90
.............
}

vrrp_instance VI_2 {
state MASTER
virtual_router_id 52
priority 100
...............
}

由于前段的LVS节点上有两个VIP所以后端的Real Server上两个VIP都需要添加。

[root@www ansible]# vim realServer_conf
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo
ip route add 192.168.1.200 dev lo:0
ip addr add 192.168.1.100/32 label lo:1 brd 192.168.1.100 dev lo
ip route add 192.168.1.100 dev lo:1
#################################################
[root@www ansible]# ansible lvs -m shell -a 'service keepalived restart'

然后在各节点上启动httpd和keepalive服务。
node1上：



node2上：



两个节点上集群服务：



可以看到node1和node2上各自的VIP已经启用，且两节点都为主节点。
现在在node1上停止keepalived服务：

[root@node1 keepalived]# service keepalived stop
Stopping keepalived:                                       [  OK  ]

对应的VIP已转移至node2上。
现在停止其中一台Real Server上的httpd服务。

[root@node1 ~]# service httpd stop
Stopping httpd:                                            [  OK  ]

集群服务上显示仅有192.168.1.125一台Real Server。若停止所有的Real Server。则请求会按照配置文件中的定义，调度至本地的80端口。





测试完成！！！.................^_^