2015/04/01     RHCS

一、RHCS简介
RHCS是Red Hat Cluster Suite的缩写, 也就是红帽子集群套件. RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合, 它将集群系统中散打集群架构融合一体, 可以给web应用、数据库应用等提供安全、稳定的运行环境。
二、RHCS集群的功能和组成
RHCS的核心功能就是提供高可用性集群, 当其中的节点出现故障的时候, RHCS可以通过高可用性服务管理组建自动、快速从一个节点切换到另一个节点, 从而保证应用持续、不间断的对外提供服务, 从而实现RHCS高可用集群实现的功能.
RHCS是一个集群套件, 其主要包括如下及部分:
1. 集群架构管理器: RHCS的基础套件, 提供集群的基本功能, 主要包括分布式集群管理器(CMAN)、锁管理(DLM)、配置文件管理(CSS)、栅设备(FENCE);
2. ramanager高可用服务管理: 提供节点服务监控和服务故障移动功能, 当一个节点服务出现故障时, 将服务转移到另一个健康节点;
3. 集群管理工具: RHCS通过system-config-cluster来进行配置, 这是一个基于图形界面的工具, 可以很简单、明了的进行配置;
4. 负载均衡工具: RHCS通过LVS实现服务之间的负载均衡, LVS是系统内核中的套件, 所有性能比较好;
5. GFS: 集群文件系统, 这是由RedHat公司开发的, GFS文件系统允许多个服务同时读写一个磁盘分区, 通过GFS可以实现数据的集中管理, 免去了数据同步和拷贝的麻烦, 但GFS并不能孤立的存在, 安装GFS需要RHCS的底层组建支持;
6. Cluster Logical Volume Manager: Cluster逻辑卷管理, 即CLVM, 是LVM的扩展, 这种扩展允许Cluster中的机器使用LVM来管理共享存储, 但是配置之前需要开启LVM支持集群功能;
7. iscsi: iscsi是一种在Internet协议上, 利用TCP/IP机制对fc、fc-xx等进行封装后在网络中进行传输. iscsi是基于C/S架构的, 数据首先被封装成scsi报文, 在封装成iscsi报文, 最后封装tcp/ip报文进行传输. iscsi是基于tcp的, 通过监听端口3260向外提供tcp/ip服务, iscsi的会话是一直保存监利的, 知道会话介绍在端口. RHCS可以通过ISCSI技术来导出和分配共享存储的使用.
四、搭建RHCS高可用集群
主 机 名: 192.168.15.21(rhel1服务端、客户端) 192.168.15.22(rhel2客户端)
操作系统: Red Hat 6.4 2.6.32-358.el6.x86_64 Red Hat 6.4 2.6.32-358.el6.x86_64
1. 配置本地hosts; (rhel1、rhel2都做如下配置)

[root@rhel1 ~]# cat /etc/hosts
………………/省略
192.168.15.21   rhel1.rhcs.com  rhel1
192.168.15.22   rhel2.rhcs.com  rhel2
[root@rhel1 ~]# scp /etc/hosts root@192.168.15.22:/etc/hosts

2. 配置主机ssh秘钥登录; (rhel1、rhel2都做如下配置)

[root@rhel1 ~]# ssh-keygen -t rsa                    #出现提示按enter;
[root@rhel1 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@rhel2

3. 同步系统时间; (rhel1、rhel2都做如下配置)

[root@rhel1 ~]# date -s "20150328 14:59:00"

4. 配置本地yum源; (rhel1、rhel2都做如下配置)

[root@rhel1 ~]# mount /dev/cdrom /media                        #挂载系统光盘
[root@rhel1 .ssh]# cd /etc/yum.repos.d/
[root@rhel1 yum.repos.d]# mv rhel-source.repo rhel-source.repo.bak
[root@rhel1 yum.repos.d]# vim rhel-debuginfo.repo
[Server]
baseurl=file:///media
enabled=1
gpgcheck=0
gpgkey=file:///media/RPM-GPG-KEY-redhat-release
[root@rhel1 ~]# yum -y install httpd      #安装http服务;
[root@rhel1 ~]# service httpd start       #开启httpd服务;
[root@rhel1 ~]# chkconfig httpd on        #将httpd服务加入到开机启动;
[root@rhel1 ~]# vim yum.sh                #如下是一个将本地光盘内容全部提取出来的脚本;

#!/bin/bash
#desc: get file from directory
#example: sh getfilefromdir.sh A B
INIT_PATH=${1%/}
SAVE_PATH=${2%/}
function checksavepath() {
if [ -d $SAVE_PATH ]
then
rm -rf $SAVE_PATH
fi
mkdir ${SAVE_PATH}
touch $SAVE_PATH".log"
}
function getfilefromdir(){
for file in ` ls $1`
do
if [ -d $1"/"$file ]
then
getfilefromdir $1"/"$file
else
local path="$1/$file"
local name=$file
if [ ! -f $SAVE_PATH"/"$name ]
then
echo "cp ${path} to ${SAVE_PATH}/${name}"
cp ${path} "${SAVE_PATH}/${name}"
else
echo "${path} file already exists"
echo "${path}" >> $SAVE_PATH".log" 2>&1
fi
fi
done
}
checksavepath
for sfol in ${INIT_PATH}
do
getfilefromdir ${sfol}
done

[root@rhel1 ~]# chmod +x yum.sh                 #给脚本添加可执行权限;
[root@rhel1 ~]# mkdir /var/www/html/yum
[root@rhel1 ~]# ./yum.sh /media /var/www/html/yum
[root@rhel1 ~]# yum install createrepo          #安装组装依赖包所需用到的软件;
[root@rhel1 ~]# cd /var/www/html/yum
[root@rhel1 yum]# createrepo ./                 #重建依赖包关系;
[root@rhel1 yum]# sed -i s@baseurl=file:///media@baseurl=http://192.168.15.21/yum@g /etc/yum.repos.d/rhel-debuginfo.repo
[root@rhel1 yum.repos.d]# scp /etc/yum.repos.d/rhel-debuginfo.repo root@rhel2:/etc/yum.repos.d/
[root@rhel2 ~]# cd /etc/yum.repos.d/
[root@rhel2 yum.repos.d]# mv rhel-source.repo rhel-source.repo.bak
[root@rhel1 yum.repos.d]# vim rhel-debuginfo.repo
[Server]
baseurl=http://192.168.15.21/yum
enabled=1
gpgcheck=0
gpgkey=file:///media/RPM-GPG-KEY-redhat-release

5. 安装RHCS服务端和客户端

[root@rhel1 ~]# yum clean all                          #清除缓存
[root@rhel1 ~]# yum install luci                       #安装服务端工具;
[root@rhel1 ~]# chkconfig luci on                      #将luci设置为开机启动;
PS: 如下操作需要在rhel1、rhel2主机执行
============================================================================
[root@rhel1 ~]# yum clean all                           #清除缓存
[root@rhel1 ~]# yum install ricci                       #安装客户端工具;
[root@rhel1 ~]# chkconfig ricci on                      #将ricci设置为开机启动;
[root@rhel1 ~]#  service ricci start                    #启动ricci服务;
[root@rhel1 ~]#  service luci start                     #启动luci服务;

[root@rhel1 ~]# passwd ricci        #安装完ricci客户端会生成一个ricci系统用户, 现在给ricci设置密码;

[root@rhel1 ~]# service NetworkManager stop
[root@rhel1 ~]# chkconfig NetworkManager off
[root@rhel1 ~]# service iptables stop
[root@rhel1 ~]#chkconfig iptables off3
============================================================================

五、web配置
1. 登录到web端;






PS: 关于用户授权, 登录进入后点击Admin

2. 创建集群组;
点击"Manage Clusters ->Create"



Cluster Name: 集群名;
Node Name : 主机名称或者IP地址;
Passwd : 为ricci用户密码;
Downlocad Packages: 下载rhcs集群所需软件包;
Reboot Nodes Before Joining Cluster: 下载完后自动重启;
Enable Shaerd Storage Support: 是否连接存储;

PS: 如果创建集群失败, 错误信息如:"is already a member of a cluster named RHCS", 到cluster下查看配置文件,
[root@rhel1 ~]# cd /etc/cluster/
[root@rhel1 cluster]# cat cluster.conf
[root@rhel1 cluster]# mv cluster.conf cluster.conf.bak

ps: 两个节点在安装包时, 错误提示如:"the node may be temporaruily unreachable"
检查iptables、selinux是否关闭, 检查ricci服务是否关闭.
所需的包安装完后, 系统会重新启动. 系统启动成功后, 需要讲cman、rgmanager服务开启。

[root@rhel1 ~]# service cman start                           #开启cman服务;
[root@rhel2 ~]# service cman start
[root@rhel1 ~]# service rgmanager start                      #开启rgmanager服务;
[root@rhel2 ~]# service rgmanager start
[root@rhel1 ~]# chkconfig cman on                            #将cman服务设置为开机自启动;
[root@rhel1 ~]# chkconfig rgmanager on

3. 创建失败转移域;



Prioritized: 优先处理;
Resticted : 服务是否只能运行在指定节点;
Priority : 优先级。 数字越大优先级越低;

4. 创建资源组;



这里选择的是Scipt(脚本), 意思是当机器故障后通过Scipt开启服务.



IP Address这里指的是浮动IP地址, 子网掩码不能用255.255.0.0、255.255.255.0等表示, 只能用16、24等表示.

5. 创建服务组;



点击Add Resource -> 把刚才创建的http、IP Address两个资源组添加进去. (如果不添加不, HA不会成功)

六、验证
1. 检测rhel1所需服务状态,如果未启动, 请启动该服务;

[root@rhel1 ~]# service httpd status
[root@rhel1 ~]# service cman status
[root@rhel1 ~]# service luci status
[root@rhel1 ~]# service rgmanager status

2. 检测rhel2所需服务状态, 如果未启动, 请启动该服务(除httpd服务不启动);




3. clustat查看节点位置;

[root@rhel1 ~]# clustat

[root@rhel1 ~]# ip addr list                              #查看浮动IP地址;

我们可以看到, 现在主节点是rhel1，浮动地址是192.168.15.30, 打开IE浏览器, 输入浮动地址会见到Apche默认页面, 如下:





4. 现在将rhel1的httpd服务停止后, HA会不会自启动rhel2的httpd服务;

[root@rhel1 ~]# service httpd stop
[root@rhel1 ~]# clustat

可以看到, 主节点已经成为rhel2了, 检查rhel2的httpd服务是否是否启动成功;

[root@rhel2 ~]# service httpd status

[root@rhel2 ~]# ip addr list

可以清楚的看到, 当rhel1的httpd服务停掉后, HA会自动在rhel2启动httpd服务, 并且浮动地址也会移动到rhel2. 为了进一步验证, 打开IE浏览器输入浮动地址




如有不对地方, 请及时提醒.