直接路由的高可用LVS集群配置


直接路由的高可用LVS集群配置：

调度服务器IP：（106.3.43.240）192.168.11.100，节点服务器分别为：192.168.11.101，192.168.11.102

一、安装ipvsadmin：

1、yum -y install ipvsadmin（推荐用第一种方法）

2、下载http://www.linuxvirtualserver.org/software/，找到相应的版本：

注意对应自己的内核版本

　　ipvsadm-1.24.tar.gz

　　tar zxvf ipvsadm-1.24.tar.gz

　　cd ipvsadm-1.24

　　make

　　make install

　　要想编译正常，需要把内核做一个软件连接到安装目录：

　　ln -s /usr/src/kernels/2.6.9-22.EL-i686/ /usr/src/linux

　　cd ipvsadm-1.24

　　make

　　make install

二、配置调度服务器：

1、添加节点：

先清除：

/sbin/ipvsadm -C

添加：

/sbin/ipvsadm -A -t 192.168.11.100:80 -s rr #(如果需要session保持添加-p 默认保持300秒)

　　/sbin/ipvsadm -a -t 192.168.11.100:80 -r 192.168.11.101:80 -g

　　/sbin/ipvsadm -a -t 192.168.11.100:80 -r 192.168.11.102:80 -g

　　#/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g（多个节点）

#/sbin/ipvsadm -d -r $VIP:80 -r $RIP3:80 -g(删除节点)

说明：1、选项-a表示添加服务器、-t用来指定VIP地址及TCP端口、-r用来指定RIP地址及TCP端口，-m表示使用NAT群集模式（-g

DR模式、-I TUN模式），-w用来设置权后重（权重为0时表示暂停节点）。

2、需要删除整个虚拟服务器时，使用选项-D并指定虚拟IP地址即可，无需指定节点。例如若执行“ipvsadm –D –t 192.168.11.101：80”,则删除此虚拟服务器。

2、添加虚拟IP到第一块网卡（外网）并路由（只有一个网卡，他的地址：106.3.43.240）：

/sbin/ifconfig eth0:0 192.168.11.100 broadcast 192.168.11.255 netmask 255.255.255.255 up

　　/sbin/route add -host 192.168.11.100 dev eth0:0

3、运行LVS

/sbin/ipvsadm

4、以上写成一个脚本运行也可：

#vi/etc/init.d/lvsrs

#!/bin/sh

# description: start LVS of Directorserver

VIP=192.168.11.100

RIP1=192.168.11.101

RIP2=192.168.11.102

#RIPn=192.168.11.103~254（添加其它节点）

GW=192.168.11.1

. /etc/rc.d/init.d/functions

case $1 in

start)

echo "start LVS of DirectorServer"

# set the Virtual IP Address

/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up

/sbin/route add -host $VIP dev eth0:0

#Clear IPVS table

/sbin/ipvsadm -C

#set LVS

/sbin/ipvsadm -A -t $VIP:80 -s rr #(如果需要session保持添加-p 默认保持300秒)

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g

#/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g

#Run LVS

/sbin/ipvsadm

#end

;;

stop)

echo "close LVS Directorserver"

/sbin/ipvsadm -C

;;

*)

echo "Usage: $0 {start|stop}"

exit 1

esac

（-s rr 是使用了轮叫算法，若要修改其它的算法，更改rr就可以了，ipvsadm -h查看帮助。-g 是使用lvs工作DR直接路由模式）

三、配置节点服务器：

1、配置网络：

/sbin/ifconfig lo:0 192.168.11.100 broadcast 192.168.11.255 netmask 255.255.255.255 up

　　/sbin/route add -host 192.168.11.100 dev lo:0

2、修改sysct1.conf:

sysctl -w net.ipv4.ip_forward=0

sysctl -w net.ipv4.conf.lo.arp_ignore=1

sysct1 -w net.ipv4.conf.lo.arp_announce=2

sysct1 -w net.ipv4.conf.all.arp_ignore=1

sysct1 -w net.ipv4.conf.all.arp_announce =2

或者：

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore

　　echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce

　　echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

　　echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

或者vi sysctl

net.ipv4.ip_forward=0

net.ipv4.conf.lo.arp_ignore=1

net.ipv4.conf.lo.arp_announce=2

net.ipv4.conf.all.arp_ignore=1

net.ipv4.conf.all.arp_announce =2

执行：sysctl -p

3、写成脚本如下：

#!/bin/bash

　　#description : start realserver

　　VIP=192.168.11.100

　　/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up

　　/sbin/route add -host $VIP dev lo:0

　　echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore

　　echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce

　　echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

　　echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

　　sysctl -p

　　#end

四、测试：

测试：分别启动realserver上的httpd服务（节点服务器的www/html文件夹，可以共用NAS存储挂载上去）

　　在realserver1 执行 echo "This is realserver1" > /var/www/html/index.html

　　在realserver2 执行 echo "This is realserver2" > /var/www/html/index.html

　　打开IE浏览器输入http://192.168.11.100 应该可以分别看到:This is realserver1 和 This is realserver1。

查看节点状态：

#ipvsadm -L -n

查看负载连接情况：

#ipvsadm -Lnc

LVS的负载调度算法

针对不同的网络服务和配置需要，LVS调度器提供多种不同的负载调度算法，其中最常用的四种得法包括：轮询、加权轮询、最少

连接、加权最少连接。

轮询（Round Robin）:将收到的访问请求按照顺序轮流分配给群集中的各个节点（真实 服务器），均等的对待每一台服务器，而不

管服务器实际的连接数和系统负载。

加权轮询（Weighted Round Robin）:根据真实服务器的处理能力轮流分配收到的访问请 求，调度器可以自动查询各节点的负载情

况，并动态调整其权重。这样可以保证处理能力强的服务器承担更多的访问流量。

最少连接（Least Connections）:根据真实服务器已建立的连接数进行分配，将收到的访 问请求优先分配给连接数最少的节点。如

果所有的服务器节点性能相近，采用这种方式可以更好的均衡负载。

加权最少连接（Weighted Least Connections）:在服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重，权得较

高的节点将承担更大比例的活动连接负载。

五、给调度服务器添加备份：

1、下载heartbeatak或者直接安装：yum -y install heartbeat

说明：需要安装：epel-release包，32位：wget http://mirrors.sohu.com/fedora-epel/6/i386/epel-release-6-8.noarch.rpm 64位：wgethttp://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm

修改epel.repo文件：

编译/etc/yum.repos.d/epel.repo，做如下改动

#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch

mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch

改为：

baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch

#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch

2、配置heartbeat

#chkconfig --levels 235 heartbeat on

复制三个文件：

# cp /usr/share/doc/heartbeat-3.0.4/ha.cf /etc/ha.d/ #ha.cf HA的配置文件

# cp /usr/share/doc/heartbeat-3.0.4/haresources /etc/ha.d/ #haresources 资源文件

# cp /usr/share/doc/heartbeat-3.0.4/authkeys /etc/ha.d/ #HA节点间的验证文件

配置：

# vi /etc/ha.d/ha.cf

debugfile /var/log/ha-debug

logfile /var/log/ha-log

logfacility local0

keepalive 2

deadtime 30

warntime 10

initdead 120

udpport 694

ucast eth1 1.1.1.2 #心跳

auto_failback on

node DR1

node DR2

ping 172.16.1.1 172.16.1.11 #网关与另一个节点IP

respawn hacluster /usr/lib/heartbeat/ipfail

deadping 30

apiauth ipfail uid=hacluster

use_logd yes

conn_logd_time 60

# vi /etc/ha.d/authkeys #定义认证的keys

auth 1

1 crc

#chmod 600 /etc/ha.d/authkeys 修改authkeys文件权限

# vi/etc/ha.d/haresources #配置HA资源

DR1 IPaddr::192.168.11.100/24/eth0 httpd

启动heartbeat:

#service heartbeat start

六、也可使用keepalived给调度服务器添加备份

1、安装keepalived

#yum -y install kernel kernel-devel keepalived

#chkconfig --levels 235 keepalived on

2、配置：

vi /etc/keepalived/keepalived.conf

global_defs {

notification_email {

test@163.com

}

notification_email_from root@localhost

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state MASTER # 备份服务器上将 MASTER 改为 BACKUP

interface eth0 # HA 监测网络接口

virtual_router_id 51 # 主、备机的 virtual_router_id 必须相同

priority 100 # 主、备机取不同的优先级，主机值较大，备份机值较小

advert_int 2 # VRRP Multicast 广播周期秒数

authentication {

auth_type PASS #VRRP 认证方式

auth_pass 1111 #VRRP 口令字

}

virtual_ipaddress {

192.168.11.100 # VRRP HA 虚拟地址 如果有多个VIP，继续换行填写

}

}

virtual_server 192.168.11.100 80 {

delay_loop 2 # 每隔 6 秒查询 realserver 状态

lb_algo rr #lvs 算法

lb_kind DR # Direct Route

persistence_timeout 50 # 同一IP 的连接60 秒内被分配到同一台realserver

protocol TCP # 用 TCP 协议检查 realserver 状态

real_server 192.168.11.101 80 {

weight 3 #(权重)

TCP_CHECK {

connect_timeout 10 #(10秒无响应超时)

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.11.102 80 {

weight 3 #(权重)

TCP_CHECK {

connect_timeout 10 #(10秒无响应超时)

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

说明：备份调度服务器主要改二个地方：

state BACKUP # 备份服务器上将 MASTER 改为 BACKUP

priority 99 # 主、备机取不同的优先级，主机值较大，备份机值较小

启动：service keepalived start

七、通过piranha给调度服务器添加备份

1、安装：yum -y install piranha

2、启动：

#/etc/init.d/piranha-gui start #启动WEB配置界面

#/usr/sbin/piranha-passwd #设置web登录密码，默认用户名：piranha

#service pulse start #启动pulse

3、打开web:http://192.168.11.100：3636，进行配置

4、也可以直接配置lvs.cf文件：

#vi /etc/sysconfig/ha/lvs.cf

serial_no = 41

#primary_private = 10.0.0.1

service = lvs

backup_active = 1

backup = 192.168.11.99

#backup_private = 10.0.0.2

heartbeat = 1

heartbeat_port = 539

keepalive = 6

deadtime = 18

network = direct

debug_level = NONE

monitor_links = 1

syncdaemon = 1

virtual web_vip {

active = 1

address = 192.168.11.100 eth0:1

vip_nmask = 255.255.255.255

sorry_server = 127.0.0.1

port = 80

pmask = 255.255.255.255

use_regex = 0

load_monitor = none

scheduler = rr

protocol = tcp

timeout = 6

reentry = 15

quiesce_server = 0

server web01 {

address = 192.168.11.101

active = 1

port = 80

weight = 1

}

server web02 {

address = 192.168.11.102

active = 1

port = 80

weight = 1

}

}

附录：lvs.cf配置详解

———————————————–

serial_no = 41 #序号

primary = 192.168.0.112 #主LVS的公网IP

#primary_private = 10.0.0.1 #内部ip地址，用于心跳检测

service = elain_lvs #服务名称，可以自己定义

backup_active = 1 #是否有备份

backup = 192.168.1.211 #备份LVS的公网IP

#backup_private = 10.0.0.2

heartbeat = 1 #是否开启心跳

heartbeat_port = 649 #心跳的UDP端口

keepalive = 6 #心跳间隔(秒)

deadtime = 18 #如果主 LVS 节点在deadtime(秒)后没有答复，那么备份 LVS 路由器节点就会发起失效转移。

network = direct #LVS类型(direct,tunnel,nat),此处用direct类型

debug_level = NONE #debug信息级别

monitor_links = 1 #是否开启realserver的监视功能,和后面的scheduler(调度算法)以及load_monitor相关

syncdaemon = 1

virtual web_vip { #虚拟服务的名称，可自定义. 可定义多个virtual lvs服务

active = 1 #是否激活

address = 192.168.0.115 eth0:1 #虚拟服务所绑定的ip(vip)以及设备名

sorry_server = 127.0.0.1 #当rs全部失效时访问本机

vip_nmask = 255.255.255.255 #vip相对应的掩码

port = 80 #虚拟服务的端口

persistent = 30 #使用持久稳固的服务时间

pmask = 255.255.255.255 #如果使用持久会话，设置子网掩码

use_regex = 0 #expect中是否使用正则表达式

load_monitor = none #LVS 路由器能够使用 rup 或 ruptime 来监视各个真正服务器的载量。

scheduler = rr #LVS调度算法

protocol = tcp #虚拟服务使用的协议类型

timeout = 6 #realserver失效后从lvs路由条目中移除realserver所必须经过的时间(秒)

reentry = 15 #移除以后的realserver重新加入lvs路由条目所必须经过的时间(秒)

quiesce_server = 0

server web01 { #realsever服务名称，可自定义

address = 192.168.0.113 #realserver的ip地址

active = 1 #是否激活

port = 80 #rs端口

weight = 1 #权重

}

server web02 {

address = 192.168.0.114

active = 1

port = 80

weight = 1

}

}