HA（High aviliable）高可用
高可用的需求
在很多公司里面，都会存在着一些不愿被中断的业务，但是由于硬件故障，软件故障，人为因素等各种因素，往往会不经意的造成我们重要的业务中断，因此高可用技术就由此而生。
评价的标准
A = MTBF / （MTBF + MTTR） MTBF: Mean Time Between Failover 平均无故障时间 MTTR: Mean Time To Repair  平均修复时间 一般来说，A的值越大，高可用性能就越好，通过增大MTBF或者减小MTTR可以提高系统的高可用性能， 但是一般来说MTBF的提高难度有点大，因此现在HA的主要方法就是通过增加备用节点来减小MTTR.
HA架构
高可用架构比较复杂，因为HA用了分层的结构来实现它的功能，但是说到底目的只有一个，那就是高效快速的实现资源的转移。
Message Layer：用来交换心跳信息 CRM（Cluster Resource Management）：对心跳信息进行管理，从而做出一些决策 LRM（Local Resource Management）：根据CRM的决策信息进行真正的管理 RA（Resource Agent）：真正实现资源转移的脚本文件
1.Messaging Layer（集群信息交流层）
集群信息交流层的作用，主要是为了交换个自己节点的心跳信息（heartbeat），从名字我们都可以看出来，heartbeat主要是主要来标志着一个节点是否处于活动状态，也就是是否正常工作的意思，集群信息交换层通过交换彼此的信息给予CRM一些重要的通知，以助于完成后续资源转移的目的。
2.CRM（集群资源管理层）
集群资源管理层分为两个层次 DC（Design coordinater）指定候选人，DC会通过PE（Policy Engender）策略引擎对心跳信息进行分析然后根据某种规则进行策略分析，然后把分析的结果送交给LRM进行执行
3.LRM本地资源管理器
本地资源管理器主要用于接受自上一层DC的策略结果，通过调用RA对资源进行一些操作
4.RA资源代理
资源代理主要是一些脚本，可以接受参数，然后对资源进行处理的，类型有四种 <1. service（heartbeat lengacy）  <2. LSB（Linux Standart ） <3.OCF（Open Cluster Framework） <4.STONISH  <5.SYSTEMD 
Resource（资源）
资源是什么呢？举例来说，对于高可用的web集群来说，资源指的是vip，httpd，filesystem，对于mysql高可用来讲，资源指的是vip，mysqld，filesystem。简单来说，资源指的是当我们的集群节点发生故障之后，使另一个节点能够具备和此节点一样功能的可转移目标。对于web集群来说，本来vip，httpd，filesystem三个资源在A上，当A发生了故障，我把这三个资源转移到B上，一样可以正常的实现web服务。
资源类型   1.primitive（主资源） 主资源指的是对于一个集群服务而言，只能在一个节点上面处于活动状态的资源。例如一个web高可用集群，vip，httpd，filesystem都是primitive，因为他们只能在一个节点上处于active，只有当次节点发生故障之后，才会进行资源转移   2.clone（克隆资源） 与主资源刚好相反，克隆资源是指能够在多个节点上面处于活动状态的资源。例如STONISH,STONISH是用来防止集群发生heart split（脑裂）的，在收不到节点发的heartbeat信息时，就要使光电交换机自动的切断自己认为是错误节点的电源，以防止发生脑裂现象。   3.master/slave（主从资源） 主从资源是克隆资源的一个特例，指只能够在两个节点上面处于活动状态的资源。   4.group（组资源） 和排列约束还是蛮相近的，指的是让一些资源合并成一个组资源，运行在同一个节点上面。   资源约束   1.location位置约束 和资源粘性一起使用，用来定义某个资源对此节点的倾向性，用值来表示倾向性的强度 inf：表示只要此节点处于活动状态，就立马转移到此节点上面 -inf：表示只要有其他节点处于活动状态，就不会转移到此节点上面   2.order（顺序约束） 定义一些资源启动和关闭的顺序的   3.colacation（排列约束） 定义几个资源是否能够在一起的 inf：这几个资源必须在一起 -inf：这几个资源一定不能放在一起   资源粘性   资源粘性和资源约束的location比较相像，指的是某个资源更倾向与在某个节点上面，一般与资源约束的值进行 相加来最终判断资源是否倾向于此节点上面。   资源隔离   有些资源是不能放在同一个节点上面的，因此在进行了资源约束的情况下，一般还需要对资源进行隔离 1.节点隔离（STONISH） 2.资源隔离（FENCE）
  架构的具体实现软件   因为linux内核的不断更新，各厂商的不同，以及高可用技术的分层技术复杂，因此造成了高可用集群技术软件的实现有着很大的不同的局面，很多的软件架构在不同的操作系统上面多依赖的库文件不同，安装很是麻烦，对于初学者来说，简直了，不管怎么样，我还是简单的说一下软件架构。 1.Messaging Layer

• heartbeatv1
• heartbeatv2
• hearteatv3
• corosync
• cman

2.CRM

• pacemaker
• crm
• rgmanager

3.全生命周期的管理软件

• pcs（因为其没有命令行补全工具，而且命令又不是嵌入shell里面，因此不是特别友好）
• crmsh（具有命令行工具，命令类似于一个全新的shell）

 

 

以上软件具体的作用我会在之后的实验里面进行介绍，今天我先介绍一种架构，近来因为看的学习视频有点老，很多的软件都找不到，有时候就算找到了也很难安装成功，况且高可用软件对于linux内核版本的依赖性很高，，因此建议用以下架构，因为centos7.0默认具有以下组件，我们可以非常轻松的用yum进行软件的安装，但是因为centos第一次接触，有很多地方和之前的版本有很大的不同，让我们一起来克服吧。

• corosync v2 + pacemaker + pcs
• centos 7.0
• node1   192.168.1.128
• node2   192.168.1.129
• node3   192.168.1.130
• ntp_server nfs_server 192.168.1.127

  因为第一次接触centos7.0，首先我先说一下我在配置安装过程中出现的几个问题。   1、no server suitable for synchronization found  这个问题主要是由于没有在各个节点上面开启ntp服务造成的，本来我以为只用一个ntp服务器需要开启ntp服务就可以了，然后就一直提示此错误 2、device eth0 does not seem to be present delaying initialization centos 7 这个问题产生的原因是在克隆了一个系统之后出现的错误，可能是由于克隆的时候mac地址冲突的问题导致的 解决方法 cat  /etc/udev/rule.d/70-persisent-ipoib.rules 找eth1的mac地址，替换以下文件的mac地址 vim /etc/sysconfig/network-scripts/cfg-ens33    然后重启服务 systemctl  restart  network   配置高可用集群服务的先决条件   1.节点名称要一直，可以进行互相的通信

 

节点一

#hostname node1 修改主机名，临时生效

#vim /etc/sysconfig/network 永久生效

HOSTNAME=node1

#vim /etc/hosts 使主机能够解析node1，node2，node3

192.168.1.128 node1

192.168.1.129 node2

192.168.1.130 node3

#ping node2 测试是否能够ping通

#ping node3

 

节点二

#hostname node2 修改主机名，临时生效

#vim /etc/sysconfig/network 永久生效

HOSTNAME=node2

#vim /etc/hosts 使主机能够解析node1，node2，node3

192.168.1.128 node1

192.168.1.129 node2

192.168.1.130 node3

#ping node3 测试是否能够ping通

#ping node1

 

节点三

#hostname node3 修改主机名，临时生效

#vim /etc/sysconfig/network 永久生效

HOSTNAME=node3

#vim /etc/hosts 使主机能够解析node1，node2，node3

192.168.1.128 node1

192.168.1.129 node2

192.168.1.130 node3

#ping node2 测试是否能够ping通

#ping node1

 

2.ssh可以相互进行通信   节点一 #ssh-keygen -t rsa  在家目录下面生成秘钥文件 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node2 和node2进行秘钥的交换 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node3 和node3进行秘钥的交换 #ssh node2 "ifconfig" 检测是否交换成功，注意此时的ip地址为node2的地址 #ssh node3 "ifconfig" 检测是否交换成功，注意此时的ip地址为node3的地址   节点二 #ssh-keygen -t rsa  在家目录下面生成秘钥文件 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node1 和node1进行秘钥的交换 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node3 和node3进行秘钥的交换 #ssh node1 "ifconfig" 检测是否交换成功，注意此时的ip地址为node1的地址 #ssh node3 "ifconfig" 检测是否交换成功，注意此时的ip地址为node3的地址     节点三 #ssh-keygen -t rsa  在家目录下面生成秘钥文件 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node2 和node2进行秘钥的交换 #ssh-copy-id -i ~/.ssh/id-rsa.pub root@node1 和node1进行秘钥的交换 #ssh node1 "ifconfig" 检测是否交换成功，注意此时的ip地址为node1的地址 #ssh node2 "ifconfig" 检测是否交换成功，注意此时的ip地址为node2的地址   3.时间同步   NTP服务器   <1.yum源的配置   #mkdir -pv /mnt/cdrom #vim /etc/yum.repos.d/huwentao.repo配置一下信息   [huwentao] name=huwentao baseurl=file:///mnt/cdrom 此处最关键，对于centos7.0没有了Server，Cluster，因此就写成这样可以了 enabled=1 gpgcheck=0   <2.安装ntpd服务 #yum list all | grep ntp 看看是否有一下信息输出 ntp.x86_64                                 4.2.6p5-25.el7.centos       @hu     #yum install ntp -y 安装时间服务器 #systemctl restart ntpd.service   节点二   <1.和节点一一样配置yum源，安装启动服务 #ntpdate 192.168.1.127   节点三   <1.和节点一一样配置yum源，安装启动服务 #ntpdate 192.168.1.127   至此，配置高可用web集群服务的基础架构就已经完成了   4.安装软件   节点一，二，三节点都要执行 #yum -y  install corosync pacemaker pcs httpd #systemctl stop firewalld.service  对于不知道怎么设置防火墙的，而且是仅仅只是做实验的人来说，这一步必须要有 #setenforce 0 #systemctl enable httpd.service 设置为开机自启   5.详解配置文件corosync.conf totem {
   version: 2    crypto_cipher: none  不
   crypto_hash: none
      secauth: off    interface {
    ringnumber: 0
    bindnetaddr: 192.168.1.0 网段地址
    mcastaddr: 239.188.1.31 组播地址
    mcastport: 5405
    ttl: 1
   }   nodelist {
          node {
                  ring0_addr: 192.168.1.128                   nodeid: 1
          }
          node {
                  ring0_addr: 192.168.1.129
                  nodeid: 2
          }
          node {
                  ring0_addr: 192.168.1.130
                  nodeid: 3
          }
  }   logging {
   fileline: off  在记录日志的时候不同的日志是否需要下划线
   to_stderr: no 是否需要错误输出
   to_logfile: yes 输出为日志文件
   logfile: /var/log/cluster/corosync.log
   to_syslog: no 是否传送给标准的日志文件
   debug: off
   timestamp: off 时间戳是否要进行记录
   logger_subsys {
    subsys: QUORUM
    debug: off
   }
  }   quorum {
   provider: corosync_votequorum  开启投票系统
  }   6.配置nfs服务器   #mkdir /www/huwentao 首先创建一个共享目录，以及httpd服务的默认页面 #echo "

Test HA Cluster script.

" > /www/huwentao/index.html  #vim /etc/exports 默认为只读文件 /www/huwentao  192.168.1.0/24(ro) #service nfs start #showmount -e localhost 查看是否有信息   节点一测试   #systemctl restart httpd.service 启动httpd服务 #mount -t nfs 192.168.1.127:/www/huwentao /var/www/html 查看是否能够挂载成功，注意防火墙不关闭，selinux不设置成0，一般是不能够挂载成功的，因此上面的步骤一定要完成了以后在进行测试 在浏览器中输入192.168.1.127 ，出现以下字样，表明测试成功  Test HA Cluster script. ##systemctl stop httpd.service  关闭httpd服务   7.pcs的使用   节点一 #cp corosync.conf.example corosync.conf 复制样例文件，并进行第五步骤的修改 #scp /etc/corosync/corosync.conf node2:/etc/corosync/   复制文件到node2 #scp /etc/corosync/corosync.conf node2:/etc/corosync/   复制文件到node3   开启node1，node2，node3的corosync服务 #systemctl start corosync.service #ssh node2 "systemctl start corosync.service " #ssh node2 "systemctl start corosync.service "   开启node1，node2，node3的pacemaker服务 #systemctl start pacemaker.service #ssh node2 "systemctl start pacemaker.service " #ssh node2 "systemctl start pacemaker.service "   #systemctl start pcs.service 开启node1上面的pcsd服务   #crm_mon   看到以下信息 Stack: corosync
Current DC: node3 (version 1.1.15-11.el7-e174ec8) - partition with quorum
Last updated: Mon May 15 07:51:56 2017          Last change: Mon May 15 05:52:38 2017 by root via cibadmin on node1 3 nodes and 3 resources configured Online: [ node1 node2 node3 ]   配置资源 pcs的用法，pcs有很多的子命令

• cluster   定义集群服务
• resource 定义一些资源
• config  查看当前的一些配置
• status 查看当前集群的状态
• constraint   定义资源约束
• property 设置一些全局属性

这里只是简单的配置一些资源，详细的使用信息这里就不在赘述

 

以下为设置web高可用集群的三个必要资源webip,webstore,webserver，并把这三个资源放在一个组内

#pcs property set stonith-enabled=false因为当前没有stonish设备，因此将此参数设置成false

#pcs source create webip ocf:heartbeat:IPaddr ip="192.168.1.2"  op monitor interval=30s

#pcs source create webstore ocf:heartbeat:Filesystem device="192.168.1.127:/www/huwentao/" \ directory="/var/www/html" fstype="nfs"

#pcs source create webserver systemd:httpd

#pcs source group webservice webip webserver webstore

 

#pcs status 显示以下信息

 

Cluster name:
WARNING: corosync and pacemaker node names do not match (IPs used in setup?)
Stack: corosync
Current DC: node3 (version 1.1.15-11.el7-e174ec8) - partition with quorum
Last updated: Mon May 15 08:04:22 2017          Last change: Mon May 15 05:52:38 2017 by root via cibadmin on node1

3 nodes and 3 resources configured

Online: [ node1 node2 node3 ]

Full list of resources:

 Resource Group: webservice
     webip      (ocf::heartbeat:IPaddr):        Started node1
     webstore   (ocf::heartbeat:Filesystem):    Started node1
     webserver  (systemd:httpd):        Started node1

Daemon Status:
  corosync: active/disabled
  pacemaker: active/disabled
  pcsd: active/disabled

 

8.测试  在浏览器中输入 192.168.1.2显示以下信息  Test HA Cluster script.     至此高可用的web服务就配置完成了