Heartbeat V1+NFS实现高可用apache

Heartbeat V1+NFS实现高可用apache

实验拓扑：

实验环境：

OS：CentOS-6.7-x86_64

Node1：

IP：eth0，192.168.1.4
VIP：eth0:0，192.168.1.3

Node2：

IP：eth0，192.168.1.5
VIP：eth0:0，192.168.1.3

NFS+NTP：

IP：192.168.1.6

需要资源：VIP、httpd、网页文件

实验流程：

配置高可用集群的前提：

1、时间必须保持同步：使用ntp服务器

[root@node3 ~]# yum install ntp
[root@node3 ~]# vim /etc/ntp.conf
restrict 192.168.1.0 mask 255.255.255.0 nomodify
server 127.127.1.0
fudge 127.127.1.0 stratum 1

启动服务：

[root@node3 ~]# chkconfig ntpd on
[root@node3 ~]# service ntpd start

各节点添加对时任务：

[root@node1 ~]# crontab -e
*/5 * * * *	/usr/sbin/ntpdate 192.168.1.6 &> /dev/null

2、节点必须名称互相通信：

编辑/etc/host 解析节点名称：

[root@node1 ~]# vim /etc/hosts
192.168.1.4	node1.chencer.org node1
192.168.1.5	node2.chencer.org node2

3、ssh密钥认证进行通信；

节点间ssh互信认证：

[root@node1 ~]# ssh-keygen -t rsa
[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node2

NFS：

提供共享网页文件：

[root@node3 ~]# mkdir -p /web/share
[root@node3 ~]# echo "share.chencer.org" > /web/share/index.html
[root@node3 ~]# setfacl -R -m u:apache:rwx /web/share/

安装服务，设置共享目录：

[root@node3 ~]# yum install nfs-utils
[root@node3 ~]# vim /etc/exports
/web/share 192.168.1.0/24(rw,async,no_root_squash)

启动服务：

[root@node3 ~]# chkconfig nfs on
[root@node3 ~]# service nfs start

Node1和Node2：

安装配置nfs工具和httpd服务：

[root@node1 ~]# yum install nfs-utils httpd
[root@node1 ~]# mkdir -p /web/share
[root@node1 ~]# vim /etc/httpd/conf/httpd.conf
DocumentRoot "/web/share"

保证httpd服务开机不自动启动：

[root@node1 ~]# chkconfig httpd off

安装heartbeat依赖的软件：

[root@node1 ~]# yum install PyXML pygtk2-devel perl-TimeDate gettext-devel libtool-ltdl libnet net-snmp-libs
注意：libnet来自于epel源；

安装heartbeat：

[root@node1 heartbeat2]# rpm -ivh heartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpm heartbeat-stonith-2.1.4-12.el6.x86_64.rpm

查看安装heartbeat 生成文件：

[root@node1 heartbeat2]# rpm -ql heartbeat | less
/etc/ha.d/	\\：配置文件目录；
/usr/share/doc/heartbeat-2.1.4/authkeys	\\：各节点信息传递使用的密钥；
/usr/share/doc/heartbeat-2.1.4/ha.cf	\\：heartbeat主配置文件模板；
/usr/share/doc/heartbeat-2.1.4/haresources	\\：资源配置文件模板；
[root@node1 ~]# cp /usr/share/doc/heartbeat-2.1.4/{authkeys,ha.cf,haresources} /etc/ha.d/

配置heartbeat服务：

生成密钥并配置密钥文件：

[root@node1 ~]# openssl rand -hex 8
7a3b9f396970a75b
[root@node1 ~]# vim /etc/ha.d/authkeys
auth 1
1 md5 7a3b9f396970a75b
[root@node1 ~]# chmod 600 /etc/ha.d/authkeys

/etc/ha.d/ha.cf配置文件部分参数详解：

autojoin none	\\：集群中的节点不会自动加入；
logfile /var/log/ha-log	\\：指名heartbaet的日志存放位置；
keepalive 2	\\：指定心跳使用间隔时间为2秒（即每两秒钟在eth0上发送一次广播）；
deadtime 30	\\：指定备用节点在30秒内没有收到主节点的心跳信号后，则立即接管主节点的服务资源；
warntime 10	\\：指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一个警告日志，但此时不会切换服务；
initdead 120	\\：在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍；
udpport 694	\\：设置广播通信使用的端口，694为默认使用的端口号；
baud 19200	\\：设置串行通信的波特率；
bcast eth0	\\：Linux指明心跳使用以太网广播方式，并且是在eth0接口上进行广播；
mcast eth0 225.0.0.1 694 1 0	\\：采用网卡eth0的udp多播来组织心跳，一般在备用节点不止一台时使用；
ucast eth0 192.168.1.3	\\：采用网卡eth0的udp单播来组织心跳，后面跟的IP地址应为双机对方的IP地址；
# bcast、ucast和mcast分别代表广播、单播和多播，是组织心跳的三种方式，任选其一即可。
auto_failback on	\\：用来定义当主节点恢复后，是否将服务自动切回，heartbeat的两台主机分别为主节点和备份节点。
# 主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点，如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。
stonith baytech	/etc/ha.d/conf/stonith.baytech	\\：stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。
watchdog /dev/watchdog	\\：该选项是可选配置，是通过heartbeat来监控系统的运行状态；
# 使用该特性，需要在内核中载入“softdog”内核模块，用来生成实际的设备文件，如果系统中没有这个内核模块，就需要指定此模块，重新编译内核。编译完成输入“insmod softdog”加载该模块。然后输入“grep misc /proc/devices”（应为10），输入“cat /proc/misc |grep watchdog”（应为130）。最后，生成设备文件：“mknod /dev/watchdog c 10 130”。即可使用此功能。
node node1.chencer.org	\\：主节点主机名，可以通过命令“uname –n”查看；
node node2.chencer.org	\\：备用节点主机名；
ping 192.168.1.10	\\：选择ping的节点，ping节点选择的越好，HA集群就越强壮，可以选择固定的路由器作为ping节点，但是最好不要选择集群中的成员作为ping节点，ping节点仅仅用来测试网络连接；
ping_group group1 192.168.1.10 192.168.1.20	\\：类似于ping，ping一组ip地址；
apiauth pingd gid=haclient uid=hacluster
respawn hacluster /usr/local/ha/lib/heartbeat/pingd -m 100 -d 5s
# 该选项是可选配置，列出与heartbeat一起启动和关闭的进程，该进程一般是和heartbeat集成的插件，这些进程遇到故障可以自动重新启动。最常用的进程是pingd，此进程用于检测和监控网卡状态，需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动pingd进程的身份。
compression bz2
compression threshold 2
# 对传输的数据进行压缩，是可选项

编辑/etc/ha.d/haresources添加节点资源：

[root@node1 ~]# vim /etc/ha.d/haresources
node1 IPaddr::192.168.1.3/24/eth0 Filesystem::192.168.1.6:/web/share::/web/share::nfs OCF::httpd

将以上三个文件复制到另一节点：

[root@node1 ~]# scp -r /etc/ha.d/{authkeys,ha.cf,haresources} node2:/etc/ha.d/

启动heartbeat服务：

[root@node1 ~]# service heartbeat start;ssh node2 ‘service heartbeat start’

查看日志：

[root@node1 ~]# tail -f /var/log/ha-log

node1为主节点，查看各资源：

[root@node1 ~]# ifconfig

[root@node1 ~]# df -h

[root@node1 ~]# service httpd status
httpd (pid  41038) 正在运行...

浏览器访问VIP：



node1切换为备用节点，node2为主节点：

[root@node1 ~]# cd /usr/lib64/heartbeat/
ha_propagate	\\：此脚本是将heartbeat的配置文件复制给其他节点；
hb_standby	\\：此脚本是将当前节点切换为备节点；
hb_takeover	\\：此脚本是将当前节点切换为主节点；
[root@node1 heartbeat]# ./hb_standby
2016/01/21_23:39:08 Going standby [all].

查看看日志：



资源已分配给node2：

[root@node2 ~]# service httpd status
httpd (pid  52367) 正在运行...

web页面访问依然正常：