集群LVS

集群简介

什么是集群

• 一组通过高速网络互联的计算组，并以单一系统的模式加以管理
• 将很多服务器集中起来一起，提供同一种服务，在客户端看起来就像是只有一个服务器
• 可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益
• 任务调度是集群系统中的核心技术

集群目的

（1） 提高性能

• 如计算密集应用，如：天气预报、核试验模拟
• 降低成本
• 相对百万美元级的超级计算机，价格便宜

（2）提高可扩展性

• 只要增加集群节点即可
• 增强可靠性
• 多个节点完成相同功能，避免单点失败

集群分类

（1）高性能计算集群HPC

• 通过以集群开发的并行应用程序，解决复杂的科学问题

（2）负载均衡（LB）集群

• 客户端负载在计算机集群中尽可能平均分摊

（3）高可用（HA）集群

• 避免单点故障，当一个系统发生故障时，可以快速迁移

LVS项目介绍

• Linux虚拟服务器(LVS)是章文嵩在国防科技大学就读博士期间创建的
• LVS可以实现高可用的、可伸缩的Web、Mail、Cache和Media等网络服务
• 最终目标是利用Linux操作系统和LVS集群软件实现一个高可用、高性能、低成本的服务器应用集群

LVS集群组成

（1）前端：负载均衡层

• 由一台或多台负载调度器构成

（2）中间：服务器群组层

• 由一组实际运行应用服务的服务器组成

（3）底端：数据共享存储层

• 提供共享存储空间的存储区域

LVS术语

（1）Director Server:调度服务器

• 将负载分发到Real Server

（2）Real Server:真实服务器

• 真正提供应用服务的服务器

（3）VIP:虚拟IP地址（对外给用户的IP）

• 公布给用户访问的虚拟IP地址

（4）RIP：真实IP地址（对内通信IP）

• 集群节点上使用的IP地址

（5）DIP：调度器连接节点服务器的IP地址（调度服务器使用的IP）

LVS工作模式

（1）VS/NAT

• 通过网络地址转换实现的虚拟服务器
• 大并发访问时，调度器的性能成为瓶颈

（2）VS/DR

• 直接使用路由技术实现虚拟服务器
• 节点服务器需要配置VIP，注意MAC地址广播

（3）VS/TUN

• 通过隧道方式实现虚拟服务器

负载均衡调度算法

LVS目前实现了10种调度算法

常用调度算法有4种

• 轮询（Round Robin）:将客户端请求平均分发到Real Server
• 加权轮询（Weighted Round Robin）:根据Real Server权重值进行轮询调度
• 最少连接（Least Connections）: 选择连接数最少的服务器
• 加权最少连接（Weighted Least Connections）:根据Real Server权重值，选择连接数最少的服务器

其他的调度算法

• 基于局部性的最少链接
• 带复制的基于局部性最少链接
• 源地址散列（Source Hashing）:根据请求的目标IP地址，作为散列(Hash Key)从静态分配额的散列表找出对应的服务器
• 目标地址散列(Destination Hashing)
• 最短的期望的延迟
• 最少队列调度

ipvsadm命令用法

ipvsadm -A

添加虚拟服务器

ipvsadm -E

修改虚拟服务器

ipvsadm -D

删除虚拟服务器

ipvsadm -C

清空所有

ipvsadm -a

添加真实服务器

ipvsadm -e

修改真实服务器

ipvsadm -d

删除真实服务器

ipvsadm -r

指定真实服务器（Real Server）

ipvsadm -d

删除真实服务器

ipvsadm -m

使用NAT模式；-g（默认）,-i分别对应DR、TUN模式

ipvsadm -w

为服务器节点设置权重，默认为1

ipvsadm -L

查看LVS规则表

-s [rr|wrr|lc|wlc]

指定集群算法

ipvsadm语法案例

ipvsadm -A -t|u 192.168.4.5:80 -s [算法]

添加虚拟服务器，协议为tcp(-t)或者udp(-u)

ipvsadm -E -t|u 192.168.4.5:80 -s [算法]

修改虚拟服务器，协议为tcp或者udp

ipvsadm -D -t|u 192.168.4.5:80

删除虚拟服务器，协议为tcp或者udp

ipvsadm -C

清空所有

ipvsadm -a -t|u 192.168.4.5:80 -r 192.168.2.100 [-g|i|m] [-w 权重]

添加真实服务器 -g(DR模式)，-i(隧道模式)，-m(NAT模式)

ipvsadm -e -t|u 192.168.4.5:80 -r 192.168.2.100 [-g|i|m] [-w 权重]

修改真实服务器 -g(DR模式)，-i(隧道模式)，-m(NAT模式)

ipvsadm -d -t|u 192.168.4.5:80 -r 192.168.2.100

删除真实服务器

ipvsadm -Ln

查看LVS规则

准备一台Linux服务器，安装ipvsadm软件包，练习使用ipvsadm命令，实现如下功能：

• 使用命令添加基于TCP协议的集群服务
• 在集群中添加若干台后端真实服务器
• 实现同一客户端访问，调度器分配固定服务器
• 会使用ipvsadm实现规则的增、删、改
• 保存ipvsadm规则

步骤

一：使用命令增、删、改LVS集群规则

（1）创建LVS虚拟集群服务器（算法为加权轮询：wrr）

[root@proxy ~]# yum -y install ipvsadm[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr  //-A添加虚拟服务器，-t设置集群地址(VIP,Virtual IP),-s指定负载调度算法
[root@proxy ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr

（2）为集群添加若干real server

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -m -w 1  //-r指定真实服务器，-m指定NAT模式，-w(只有指定轮询算法为wrr时才管用)权重
[root@proxy ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr
-> 192.168.2.100:80             Masq    1      0          0
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[root@proxy ~]# ipvsadm –a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

（3）修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)

[root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[root@proxy ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 rr
-> 192.168.2.100:80             Masq    1      0          0
-> 192.168.2.200:80             Masq    2      0          0
-> 192.168.2.201:80             Masq    2      0          0
-> 192.168.2.202:80             Masq    1      0          0

（4）修改real server（使用-g选项，将模式改为DR模式）

[root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

（5）查看LVS状态

[root@proxy ~]# ipvsadm -Ln

（6）创建另一个集群（算法为最少连接算法；使用-m选项，设置工作模式为NAT模式）

[root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

（7）永久保存所有规则

[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

（8）清空所有规则

[root@proxy ~]# ipvsadm -C

部署LVS-NAT集群

使用LVS实现NAT模式的集群调度服务器，为用户提供Web服务：
集群对外公网IP地址为192.168.4.5
调度器内网IP地址为192.168.2.5（网关）
真实Web服务器地址分别为192.168.2.100、192.168.2.200
使用加权轮询调度算法，真实服务器权重分别为1和2

步骤

实现此案例需要按照如下步骤进行。

一：配置基础环境

（1）设置Web服务器（以web1为例）

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html

（2）启动Web服务器软件

[root@web1 ~]# systemctl restart httpd

（3）关闭防火墙与SELinux

[root@web1 ~]# systmctl stop firewalld
[root@web1 ~]# setenforce 0

二：部署LVS-NAT模式调度器

（1）确认调度器的路由转发功能(如果已经开启，可以忽略)

[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward  1
[root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#修改配置文件，设置永久规则

（2）创建集群服务器

[root@proxy ~]# yum -y install ipvsadm[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr

（3）添加真实服务器

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m

（4）查看规则列表，并保存规则

[root@proxy ~]# ipvsadm -Ln[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

三：客户端测试

客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。

部署LVS-DR集群

使用LVS实现DR模式的集群调度服务器，为用户提供Web服务：

• 客户端IP地址为192.168.4.10
• LVS调度器VIP地址为192.168.4.15
• LVS调度器DIP地址设置为192.168.4.5
• 真实Web服务器地址分别为192.168.4.100、192.168.4.200
• 使用加权轮询调度算法，web1的权重为1，web2的权重为2

说明：

• CIP是客户端的IP地址；
• VIP是对客户端提供服务的IP地址；
• RIP是后端服务器的真实IP地址；
• DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）

使用4台虚拟机，1台作为客户端、1台作为Director调度器、2台作为Real Server

步骤

一：配置实验网络环境

（1）设置Proxy代理服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！

[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0{,:0}
[root@proxy ~]# vim ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.4.5
PREFIX=24
[root@proxy ~]# vim ifcfg-eth0:0
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
NAME=eth0:0
DEVICE=eth0:0
ONBOOT=yes
IPADDR=192.168.4.15
PREFIX=24
[root@proxy ~]# systemctl restart network

（2）设置Web1服务器网络参数

[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0
接下来给web1配置VIP地址。
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo{,:0}
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yes
NAME=lo:0
防止地址冲突的问题：
这里因为web1也配置与代理一样的VIP地址，默认肯定会出现地址冲突；
sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。
[root@web1 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.15
[root@web1 ~]# sysctl -p
重启网络服务，设置防火墙与SELinux
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifconfig
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0

ARP广播的问题

• 当客户端发起访问VIP对应的域名的请求时，根据网络通信原理会产生ARP广播
• 因为负载均衡器和真实的服务器在同一网络并且VIP设置在集群中的每个节点上
• 此时集群内的真实服务器会尝试回答来自客户端的ARP广播，这就会产生问题，大家都会说我是“VIP”

内核参数说明：
arp_ignore（定义回复ARP广播的方式）

• 0（默认值）
  回应所有的本地地址ARP广播，本地地址可以配置在任意网络接口
• 1 只回应配置在入站网卡接口上的任意IP地址的ARP广播

arp_announce

• 0（默认）
  使用配置在任意网卡接口上的本地IP地址
• 2
  对查询目标使用最适当的本地地址，在此模式下将忽略这个IP数据包的源地址并尝试选择能与该地址通信的本地地址，首要是选择所有的网络接口的子网中外出访问子网中包含该目标的IP地址的本地地址，如果没有合适的地址被发现，将选择当前的发送网络接口或者其他的有可能接收到该ARP回应的网络接口来进行发送

（3）设置Web2服务器网络参数

[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0
接下来给web2配置VIP地址
注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo{,:0}
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.4.15
NETMASK=255.255.255.255
NETWORK=192.168.4.15
BROADCAST=192.168.4.15
ONBOOT=yes
NAME=lo:0
防止地址冲突的问题：
这里因为web1也配置与代理一样的VIP地址，默认肯定会出现地址冲突；
sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。
[root@web2 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
#本机不要向外宣告自己的lo回环地址是192.168.4.15
[root@web2 ~]# sysctl -p
重启网络服务，设置防火墙与SELinux
[root@web2 ~]# systemctl restart network
[root@web2 ~]# ifconfig
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0

二：配置后端Web服务器

（1）自定义Web页面

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "192.168.4.100" > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo "192.168.4.200" > /var/www/html/index.html

（2）启动Web服务器软件

[root@web1 ~]# systemctl restart httpd[root@web2 ~]# systemctl restart httpd

三：proxy调度器安装软件并部署LVS-DR模式调度器

（1）安装软件（如果已经安装，此步骤可以忽略）

[root@proxy ~]# yum -y install ipvsadm

（2）清理之前实验的规则，创建新的集群服务器规则

[root@proxy ~]# ipvsadm -C                                #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr

（3）添加真实服务器(-g参数设置LVS工作模式为DR模式，-w设置权重)

[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1

（4）查看规则列表，并保存规则

[root@proxy ~]# ipvsadm -LnTCP  192.168.4.15:80 wrr
-> 192.168.4.100:80             Route   1      0          0
-> 192.168.4.200:80             Route   2      0          0
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

四：客户端测试

客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。

扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)

[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
for IP in $RIP1 $RIP2
do
curl -s http://$IP &>/dev/vnull
if [ $? -eq 0 ];then
ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
else
ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
fi
done
sleep 1
done