linux学习之使用heartbeat搭建高可用lvs集群服务

使用heartbeat搭建HA+LB集群

实验环境，注意时间同步和解析，火墙和selinux关闭

192.168.2.168   ankse.example.com

192.168.2.72    ha1.example.com

192.168.2.68    ha2.example.com

192.168.2.78    lb1.example.com

192.168.2.221   lb2.example.com

主机的yum源为

[root@ha1 yum.repos.d]# cat dvd.repo 

# repos on instructor for classroom use

# Main rhel6.5 server

[base]

name=Instructor Server Repository

baseurl=http://192.168.2.251/pub/rhel6.5

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# HighAvailability rhel6.5

[HighAvailability]

name=Instructor HighAvailability Repository

baseurl=http://192.168.2.251/pub/rhel6.5/HighAvailability

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# LoadBalancer packages

[LoadBalancer]

name=Instructor LoadBalancer Repository

baseurl=http://192.168.2.251/pub/rhel6.5/LoadBalancer

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# ResilientStorage

[ResilientStorage]

name=Instructor ResilientStorage Repository

baseurl=http://192.168.2.251/pub/rhel6.5/ResilientStorage

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# ScalableFileSystem

[ScalableFileSystem]

name=Instructor ScalableFileSystem Repository

baseurl=http://192.168.2.251/pub/rhel6.5/ScalableFileSystem

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

1、HA节点安装和配置

lftp i:~> get pub/docs/heartbeat/rhel6/ldirectord-3.9.2-1.2.x86_64.rpm 

lftp i:/> mget pub/docs/heartbeat/rhel6/new/*

[root@ha1 ~]# ls 在6.5系统中使用3.0.4-2版本。6.4可以使用3.0.4-1

heartbeat-3.0.4-2.el6.x86_64.rpm        heartbeat-libs-3.0.4-2.el6.x86_64.rpm  ldirectord-3.9.2-1.2.x86_64.rpm

heartbeat-devel-3.0.4-2.el6.x86_64.rpm

[root@ha1 ~]# yum localinstall * -y

[root@ha1 ~]# yum install httpd -y

[root@ha1 html]# vim index.html 写入内容1或2

[root@ha1 ~]# cd /usr/share/doc/heartbeat-3.0.4/

[root@ha1 heartbeat-3.0.4]# cp ha.cf haresources authkeys /etc/ha.d/

[root@ha1 heartbeat-3.0.4]# cd /etc/ha.d/ 可以查看README.conf

修改配置文件

[root@ha1 ha.d]# vim ha.cf 

debugfile /var/log/ha-debug 记录日志信息，也可以打开logfile /var/log/ha-log

keepalive 2

deadtime 30

warntime 10

initdead 60

udpport 694 广播端口

bcast   eth0            # Linux 广播的接口

watchdog /dev/watchdog 看门狗，长时间没反映重启

node    ha1.example.com 结点1，优先

node    ha2.example.com

ping 192.168.2.251 用来检测是否存活，一般ping自己的网关

respawn hacluster /usr/lib64/heartbeat/ipfail 64位的在lib64下

apiauth ipfail gid=haclient uid=hacluster

[root@ha1 ha.d]# modprobe softdog添加看门狗模块可将其写在/etc/rc.local中

[root@ha1 ha.d]# vim haresources 

ha1.example.com IPaddr::192.168.2.232/24/eth0:0 httpd 脚本位置/etc/init.d/ 

[root@ha1 ha.d]# vim authkeys 

auth 1 使用方式1，比较不安全

1 crc

[root@ha1 ha.d]# chmod 600 authkeys 这个文件的权限是600

然后把配置文件发给另一个结点

[root@ha1 ha.d]# scp ha.cf haresources authkeys ha2.example.com:/etc/ha.d/

节点h1，h2依次开启hearbeat，其他都不用开，heartbeat会自动管理资源

[root@ha1 ~]# /etc/init.d/heartbeat start

[root@ha1 ~]# ip addr show查看232启动在哪个结点上

测试

[root@ha1 ~]# /etc/init.d/heartbeat stop 浏览器访问虚拟ip停止结点1的heartbeat，http会跳转到结点2，所以这个仅对heartbeat检测，不针对服务,再次开启会跳转回来。

2、添加LB做http负载均衡

[root@ha1 ~]# yum install -y ipvsadm 默认已经安装；暂时使用命令添加，整合使用ldirectord维护添加

[root@ha1 ~]# ipvsadm -A -t 192.168.2.232:80 -s rr 添加虚拟IP 使用轮叫

[root@ha1 ~]# ipvsadm -a -t 192.168.2.232:80 -r 192.168.2.78:80 -g 添加LB服务器1

[root@ha1 ~]# ipvsadm -a -t 192.168.2.232:80 -r 192.168.2.221:80 -g 添加LB服务器2

[root@ha1 ~]# ipvsadm -ln 查看

LB服务器均做如下配置：

[root@lb1 ~]# yum install httpd -y

[root@lb1 ~]# vim /var/www/html/index.html 写入lb1或lb2

[root@lb1 ~]# ifconfig eth0:0 192.168.2.232 netmask 255.255.255.255 使用DR方式，添加用于返回用户数据所使用的IP地址,写入rc.local，否则重启失效

[root@lb1 ~]# yum install arptables_jf.x86_64 -y

[root@lb1 ~]# arptables -A IN -d 192.168.2.232 -j DROP 进来的数据目的地址改为虚拟IP

[root@lb1 ~]# arptables -A OUT -s 192.168.2.232 -j mangle --mangle-ip-s 192.168.2.78 出去的源地址改为虚拟IP

[root@lb1 ~]# /etc/init.d/arptables_jf save

[root@lb1 ~]# /etc/init.d/arptables_jf start

[root@lb2 ~]# chkconfig httpd on

[root@lb2 ~]# chkconfig arptables_jf on

之后浏览器访问192.168.2.232就会轮寻。

3、优化整合HA+LB

lvs缺陷，不会对后端服务的状态进行检测，服务停止依然会调度，应该是把坏掉的服务器从调度列表中删掉。所以使用ldirectord维护调度列表，最后使用heartbeat管理ldirectord资源。

整合ldirectord和交由heartbeat管理

[root@ha1 ~]# cp /usr/share/doc/packages/ldirectord/ldirectord.cf /etc/ha.d/

[root@ha1 ~]# vim /etc/ha.d/ldirectord.cf 

virtual=192.168.2.232:80 虚拟IP地址

        real=192.168.2.78:80 gate 服务器1

        real=192.168.2.221:80 gate 服务器2

        fallback=127.0.0.1:80 gate 当所有服务停掉之后，自己充当服务器

        service=http

        scheduler=rr

        #persistent=600

        #netmask=255.255.255.255

        protocol=tcp

        checktype=negotiate

        checkport=80

        request="index.html" 检测文件来判断http状态

#       receive="Test Page"

#       virtualhost=www.x.y.z

[root@ha1 ~]# vim /etc/ha.d/haresources 添加资源

ha1.example.com IPaddr::192.168.2.232/24/eth0:0 httpd ldirectord

[root@ha1 ~]# ipvsadm -C 清除调度列表

[root@ha1 ~]# yum install -y perl-IO-Socket-INET6

[root@ha1 ~]# /etc/init.d/ldirectord start

[root@ha1 ~]# ipvsadm -ln 查看调度列表，ldirectord自动维护，可以关闭LB服务器的HTTP测试

TCP  192.168.2.232:80 rr

  -> 192.168.2.78:80              Route   1      0          0         

  -> 192.168.2.221:80             Route   1      0          0 

最后，交由heartbeat管理资源ldirectord

[root@ha1 ~]# scp /etc/ha.d/ldirectord.cf /etc/ha.d/haresources ha2.example.com:/etc/ha.d/

关闭ha所有资源

[root@ha1 ~]# ifconfig eth0:0 down

[root@ha1 ~]# /etc/init.d/httpd stop

[root@ha1 ~]# /etc/init.d/ldirectord stop

[root@ha1 ~]# /etc/init.d/heartbeat stop

开启heartbeat

[root@ha1 ~]# /etc/init.d/heartbeat start

之后h1会自动开启eth0:0，http，ldirectord。

最后测试，ha1，lb1，lb2工作访问，可以正常轮寻

关闭ha1的heartbeat，ha2资源自动启动，可以正常轮寻

关闭lb2的http，查看ha2的调度列表，ipvsadm -ln

TCP  192.168.2.232:80 rr

  -> 192.168.2.78:80              Route   1      0          8   

再关闭lb1的http，查看

  -> 127.0.0.1:80                 Local   1      0          0         

再次访问，调度器自己充当http服务器；

再次开启lb的http，可以正常轮寻，再开启ha1的heartbeat，ha1再次接管调度。