corosync+pacemaker实现web服务高可用

前提：
本配置共有两个测试节点，分别node1和node2，相的IP地址分别为202.207.178.6和202.207.178.7
（为避免影响，先关闭防火墙和SElinux）
一、安装配置corosync及相关软件包
1、准备工作
1)节点名称必须跟uname -n命令的执行结果一致
node1:
# hostname node1
# vim /etc/sysconfig/network
HOSTNAME=node1
node2:
# hostname node2
# vim /etc/sysconfig/network
HOSTNAME=node2
2)节点之间必须通过ssh互信通信
[root@node1 ~]# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@202.207.178.7
[root@node2 ~]# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
[root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@202.207.178.6
3)集群各节点之间时间必须同步
使用ntp服务器同步时间
ntpdate ip(配置了ntp服务的主机地址)
4)配置本地解析：
[root@node1 ~]# vim /etc/hosts
202.207.178.6 node1
202.207.178.7 node2
[root@node1 ~]# scp /etc/hosts node2:/etc/
2、安装如下rpm包：
cluster-glue,cluster-glue-libs
corosync,corosynclib
heartbeat,heartbeat-libs
libesmtp
pacemaker,pacemaker-cts,pacemaker-libs
resource-agents

# yum install cluster-glue
# yum install --nogpgcheck *.rpm（将heartbeat-3.0.4-2.el6.i686.rpm和heartbeat-libs-3.0.4-2.el6.i686.rpm复制到主目录下进行）
# yum install corosync
# yum -y install libesmtp
# yum install pacemaker
# yum install pacemaker-cts
3.配置corosync，（以下命令在node1上执行）
# cd /etc/corosync
# cp corosync.conf.example corosync.conf

接着编辑corosync.conf，添加如下内容：
修改以下语句：
bindnetaddr: 202.207.178.0 #网络地址，节点所在的网络地址段
secauth: on #打开安全认证
threads: 2 #启动的线程数
to_syslog: no （不在默认位置记录日志）
timestamp: no（这里为了提高系统性能，不记录时间戳，因为记录时间=戳需要系统调用，浪费资源）
添加如下内容，定义pacemaker随corosync启动，并且定义corosync的工作用户和组:
service {
ver: 0
name: pacemaker
}
aisexec {
user: root
group: root
}

生成节点间通信时用到的认证密钥文件：
# corosync-keygen

将corosync和authkey复制至node2:
# scp -p corosync authkey node2:/etc/corosync/

4、尝试启动，（以下命令在node1上执行）：
# service corosync start
注意：启动node2需要在node1上使用如上命令进行，不要在node2节点上直接启动
# ssh node2 '/etc/init.d/corosync start'
5、测试是否正常
查看corosync引擎是否正常启动：
# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
Oct 23 00:38:06 corosync [MAIN ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
Oct 23 00:38:06 corosync [MAIN ] Successfully read main configuration file '/etc/corosync/corosync.conf'

查看初始化成员节点通知是否正常发出：
# grep TOTEM /var/log/cluster/corosync.log
Oct 23 00:38:06 corosync [TOTEM ] Initializing transport (UDP/IP Multicast).
Oct 23 00:38:06 corosync [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0).
Oct 23 00:38:06 corosync [TOTEM ] The network interface [202.207.178.6] is now up.
Oct 23 00:39:35 corosync [TOTEM ] A processor joined or left the membership and a new membership was formed.

检查启动过程中是否有错误产生：
# grep ERROR: /var/log/messages | grep -v unpack_resources

查看pacemaker是否正常启动：
# grep pcmk_startup /var/log/cluster/corosync.log
Oct 23 00:38:06 corosync [pcmk ] info: pcmk_startup: CRM: Initialized
Oct 23 00:38:06 corosync [pcmk ] Logging: Initialized pcmk_startup
Oct 23 00:38:06 corosync [pcmk ] info: pcmk_startup: Maximum core file size is: 4294967295
Oct 23 00:38:06 corosync [pcmk ] info: pcmk_startup: Service: 9
Oct 23 00:38:06 corosync [pcmk ] info: pcmk_startup: Local hostname: node1

使用如下命令查看集群节点的启动状态：
# crm status
Last updated: Tue Oct 25 17:28:10 2016 Last change: Tue Oct 25 17:21:56 2016 by hacluster via crmd on node1
Stack: classic openais (with plugin)
Current DC: node1 (version 1.1.14-8.el6_8.1-70404b0) - partition with quorum
2 nodes and 0 resources configured, 2 expected votes

Online: [ node1 node2 ]

从上面的信息可以看出两个节点都已经正常启动，并且集群已经处于正常工作状态。

二、配置资源及约束
1、安装crmsh软件包：
pacemaker本身只是一个资源管理器，我们需要一个接口才能对pacemker上的资源进行定义与管理，而crmsh即是pacemaker的配置接口，从pacemaker 1.1.8开始，crmsh 发展成一个独立项目，pacemaker中不再提供。crmsh提供了一个命令行的交互接口来对Pacemaker集群进行管理，它具有更强大的管理功能，同样也更加易用，在更多的集群上都得到了广泛的应用，类似软件还有 pcs；

在/etc/yum.repo.d/ 下的配置文件中添加以下内容
[ewai]
name=aaa
baseurl=http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/
enabled=1
gpgcheck=0
# yum clean all
# yum makecache
[root@node1 yum.repos.d]# yum install crmsh

2、检查配置文件有无语法错误
crm(live)configure# verify

我们里可以通过如下命令先禁用stonith：
# crm configure property stonith-enabled=false
或 crm(live)configure# property stonith-enabled=false
crm(live)configure# commit
3、配置资源（配置一个web服务集群。前提已经安装了httpd服务，并使其不能开机自动启动）
crm(live)configure# primitive webip ocf:heartbeat:IPaddr params ip=202.207.178.4 nic=eth0 cidr_netmask=24
crm(live)configure# verify
crm(live)configure# commit

crm(live)configure# primitive httpd lsb:httpd
crm(live)configure# commit

crm(live)configure# group webservice webip httpd
crm(live)configure# commit
至此，资源配置完毕，现在可以启动测试了！
欢迎批评指正！