rhcs with oracle 10g on rhel5.5

一、环境说明：

三台服务器，rhcs01、rhcs02是集群的两节点，admin是管理集群的。配置如下:

rhcs01:

内存：1GB

ip:192.168.1.139

主机名：rhcs01.xzxj.edu.cn

rhcs02:

内存：1GB

ip:192.168.1.140

主机名：rhcs02.xzxj.edu.cn

admin:

内存：1GB

ip:192.168.1.138

主机名：admin.xzxj.edu.cn

存储用的是ISCSI，分配了一个10G的硬盘做共享存储。这三台都安装了”Cluster Storage”和”Clustering”软件组。

hosts文件如下所示：





这里的oralh.xzxj.edu.cn是oralce的监听地址，这个会在配置cluster的时候作为一个资源添加进去的。

二、配置篇：

首先在admin主机上运行luci程序，初始化管理界面：





这里会创建登录集群管理界面的帐号以及设置密码信息，完了后提示重启luci程序：





重启完了后，会提示如何进入管理界面，按照上面的提示登入luci管理界面：









1、创建一个cluster框架：

点击cluster->create a new cluster,输入下面信息：

Cluster Name:ora-cluster

Node Hostname:

rhcs01.xzxj.edu.cn

rhcs02.xzxj.edu.cn





然后点击submit，





这个图是我截取以前的，系统会经过install-reboot-configure-join四个过程，完成后基本的框架就建立好了，如下图所示：





接着/etc/cluster/fence_xvm.key文件：









然后点击Cluster->Cluster list->查看ora-cluster 的状态，如下图所示：





这里看到cluster name 和各节点名称都是绿色，则说明正常，然后点击各节点名称看到cman，rgmanager 在运行中并且是在系统启动的时候自动启动。如图所示：









如果cman和rgmanager没有运行，则可以在系统中使用service命令启动。然后点击Update node daemon properties，系统会更新进程的状态。

2、设置共享存储：

点击Storage->system list->rhcs01.xzxj.edu.cn或者rhcs02.xzxj.edu.cn,如图：





这里之前认到的是sdb，创建完成后重启了下机器就变成sdd了，不去理会它。在创建逻辑卷组之前要先将共享设备分区的。

创建逻辑卷组,点击Volume Groups,点击New Volume Group,输入Volume Group name:rhcs_vg,选中物理卷/dev/sdb1,点击create按钮后，如图:





在另外一节点上重新扫描一下，就识别出刚创建的rhcs_vg。

接着创建逻辑卷组：创建逻辑卷,点击New Logical Volume:





输入逻辑卷组明：oradata

size:10G

content:GFS2

点击create，即可创建完成。

然后点击上面蓝颜色的Logical Volume，会出现以下画面:





输入挂载点以及/etc/fstab文件中的挂载点，点击apply即可。完了后，会看到系统的/etc/fstab文件内容已经更新，如下所示：





在另一个节点上重新扫描后就会出现刚创建的逻辑卷组，然后输入挂载点名称以及/etc/fstab文件中的挂载点，点击apply即可。完了后系统会自动在两节点挂载，如图：









3、为ora-cluster设置Failover domains:

点击cluster->dom0-cluster->Failover Domain->Add a Failover Domain:

Failover Domain Name:xzxj.edu.cn

选中prioritized,让两个几点分别是ora-cluster的成员，设置rhcs01.xzxj.edu.cn的优先级为1，rhcs02.xzxj.edu.cn的优先级为10，优先级越高，服务会在那个上面运行。

然后点击submit,如图：





检查失效域是否创建成功，点击cluster->ora-cluster->Failover Domain,如图：





4、为ora-cluster添加ip资源：

点击cluster->ora-cluster->Resources->Add a Resources

选择IP，输入：192.168.1.110 (此ip就是oralce的监听地址。)

选中monitorlink.点击submit。

接着创建脚本资源，这个脚本我自己写的启动oracle数据库的脚本，放在/etc/init.d/下面，名称为oracle。这个在系统启动的时候是不会启动的。

添加脚本资源：

cluster->ora-cluster->Resources->Add a Resources

选择scripts:

Name:oracle

Full Path to script file:/etc/init.d/oracle

点击submit，结果如图：





5、安装oracle数据库：

这里不在演示安装，这里oracle的安装目录是/u01/app/oracle/product/10.2.0/db_1，安装过程中不创建数据库。安装完成后，把/u01目录打包，复制到第二个节点上，进行解压即可。完了之后创建数据库，oralce数据文件的存放目录是上面创建的逻辑卷，挂载点是/oradata.

6、为ora-cluster添加服务：

点击cluster->ora-cluster->Services>Add a Services

ServiceName:oracle 10g

选中自动启动服务选项，Failover domain选择刚创建的xzxj.edu.cn，恢复策略可选可不选，这里是relocate.如图：





接着点击

按钮，将IP资源和脚本资源添加进去，完了点击submit，结果如图：





然后在Choose a Task里选择start this server to rhcs02.xzxj.edu.cn，点击go，系统就会开始启动服务。启动结果如图：





7、为ora-cluster添加fence设备：

为ora-cluster中的rhcs01.xzxj.edu.cn和rhcs02.xzxj.edu.cn两个节点添加fence设备：

点击cluster->ora-cluster->Shared Fence devices->Add a Fence device:

选择virtual Machine Fencing

Name:vmfence

点击Add This shared fence device,如图所示：





为ora-cluster中的rhcs01.xzxj.edu.cn节点关联fence设备:

点击cluster->ora-cluster->nodes->rhcs01.xzxj.edu.cn->Add a fence device to this level->选择Use an existing Fence Device (vmfence)

domain:xzxj.edu.cn。

为ora-cluster中的rhcs02.xzxj.edu.cn节点关联fence设备:

点击cluster->ora-cluster->nodes->rhcs02.xzxj.edu.cn->Add a fence device to this level->选择Use an existing Fence Device (vmfence)

domain:xzxj.edu.cn。

结果如图所示：





检查cluster列表：

Cluster->Cluster List,如图所示：





8、测试：

查看下cluster以及服务的状态：





oracle监听地址也运行在rhcs02上面：





在网卡eth0上面多出了192.168.1.110的地址。

由于oracle运行在rhcs02上面，所以rhcs01上是看不到这个地址的：





现在oracle 10g服务运行在rhcs02.xzxj.edu.cn上面。下面将其切换到rhcs01.xzxj.edu.cn上：





rhcs02的日志信息：





rhcs01上的日志信息：









该切换过程已成功完成了，现在服务以位于rhcs01上面了。





在web 界面里查看：









现在模拟其中一台down掉，服务会不会自动切换到另外一个节点上，这个实验是在vmware上进行的，所示直接将rhcs01 poweroff了。看看日志和服务会有何反应：

rhcs02上报如下信息：









rhcs02一直fence rhcs01失败，但服务还是不会切换过来。待把rhcs01起来之后，服务自己切换到rhcs02上面了。

rhcs01上的日志信息：





rhcs02上的日志信息：





查看服务状态：





只要将恢复策略更改为restart后，一台down掉，服务会在另外一台上启动，编辑oracle 10g服务，将Recovery policy更改为restart即可。