linux高可用性文件服务器群集之DRBD+NFS+Heartbeat

一，搭建实验环境

Vmware8.0.11
node1.liuwei.com： eth0：192.168.101.100 host-only
添加 sdb1 1G 心跳线: eth1：192.168.2.1 VMnet2
node2.liuwei.com: eth0: 192.168.101.200 host-only
添加 sdb1 1G 心跳线：eth1:192.168.2.2 VMnet2
Heartbeat虚拟IP： 192.168.101.254
在 /root 有 drbd83-8.3.8-1.el5.centos.i386.rpm
kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
二， [/b]设置两台服务器的网卡信息、hosts[/b]、主机名，时钟同步及sdb[/b]硬盘初始化并使相互ping通[/b]
1.setup

2.vim /etc/hosts

127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.101.100 node1.liuwei.com
192.168.101.200 node2.liuwei.com

3.vim /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=node1.liuwei.com
4.service network restart
5. hwclock -s
6.fdisk /dev/sdb
n p 1 +1000M w
7. partprobe /dev/sdb

三.配置DRBD

1.cd /root

rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm

rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

2. cd /etc/drbd.d/
3. vim global_common.conf

global {

usage-count yes;

# minor-count dialog-refresh disable-ip-verification

}

common {

protocol C;

startup {

wfc-timeout 120;

degr-wfc-timeout 120;

}

disk {

on-io-error detach;

fencing resource-only; }

net {

cram-hmac-alg "sha1";

shared-secret "liuwei";

}

syncer {

rate 100M;

}

}

4. vim web.res

resource web {

on node1.liuwei.com {

device /dev/drbd0;

disk /dev/sdb1;

address 192.168.101.100:7789;

meta-disk internal;

}

on node2.liuwei.com {

device /dev/drbd0;

disk /dev/sdb1;

address 192.168.101.200:7789;

meta-disk internal; }

}

5. vim /etc/drbd.conf

include "drbd.d/global_common.conf";

include "drbd.d/*.res";

6. drbdadm create-md web

7. service drbd start

8. mkfs -t ext3 -L drbdweb /dev/drbd0
9.mkdir /nfs
10.mount /dev/drbd0 /nfs
11.umount /nfs
12.drbdadm secondary web
13.drbdadm role web
14.在 node2
drbdadm primary web 可切换

二、 设置NFS及相关资源
启动portmap和nfs服务，并设置开机启动，
#service portmap start
#service nfs start
#chkconfig --level 345 portmap on
#chkconfig --level 345 nfs on
在node1上格式化drbd0设备，并挂载在/nfs目录
[root@node1 ~]# mkdir /nfs
现在可以把node1上的DRBD设备挂载到/nfs目录上进行使用。备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。
[root@node1 ~]# mount /dev/drbd0 /nfs
在/etc/exports 上将/nfs目录共享出去，并reload
[root@node1 ~]exportfs –r
如果不使用heartbeat的情况下，DRBD只能手工切换主从关系
现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换
[root@node1 ~]# vim /etc/ha.d/haresources
node1 192.168.101.254 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
注释：上面那行
node1 定义node1为heartbeat的主机
192.168.101.254 定义对外服务的IP地址，这个IP自动在主从机之间切换
drbddisk::drbdtest 定义使用的drbd资源
Filesystem::/dev/drbd0::/nfs::ext3 定义挂载文件系统
drbd portmap nfs 定义其他需要切换的服务（用空格隔开）
三、 [/b]安装并配置heartbeat[/b]
1、 先创建heartbeat需要的用户
groupadd haclient
useradd hacluster -g haclient
2、安装heartbeat前，需要先安装libnet包。
tar zxvf heartbeat-2.1.3.tar.gz
rpm –ivh libnet-1.1.2.1-2.2.el5.rf.i386.rpm
cd heartbeat-2.0.7
./configure
make
make install
两台机器都要安装，操作一样。
3、查找下ha.cf等三个配置文件的位置,然后将他们拷贝到/usr/local/etc/ha.d/目录中
[root@node1 heartbeat-2.0.7]# find / -name ha.cf
/usr/local/share/doc/heartbeat-2.0.7/ha.cf
/root/heartbeat-2.0.7/doc/ha.cf
[root@node1 heartbeat-2.0.7]#cp /usr/local/share/doc/heartbeat-2.0.7/ha.cf /usr/local/etc/ha.d/ha.cf
[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/haresources /usr/local/etc/ha.d/haresources
[root@node1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/authkeys /usr/local/etc/ha.d/authkeys
4、修改配置文件如下：
1）ha.cf配置内容：
------------------------------------------------------------------------------------------------------------
logfile /var/log/ha-log
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
bcast eth1
ucast eth1 192.168.2.1 。
auto_failback on
node node1
node node2
ping_group group1 192.168.101.254
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster
------------------------------------------------------------------------------------------------------------------
2）haresources配置内容;
node1 192.168.101.100 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
3)authkeys的配置内容：
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!
node1和node2的配置是一样的，除了在node2的ha.cf中将ucast的IP修改为192.168.2.2。
设置haresources文件的权限为600。
启动heartbeat ，却发现错误，原因在于我们的配置文件里的ipfail文件位置不对，我们可以寻找下。
[root@node2 ha.d]# cd /usr/lib/
[root@node2 ha.d]# find / -name ipfail
/usr/local/lib/heartbeat/ipfail
/root/heartbeat-2.0.7/contrib/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/.libs/ipfail
我们将ha.cf的配置内容修改为/usr/local/lib/heartbeat/ipfail
此时启动heartbeat服务，发现过了一会，我们的虚拟IP 就ping不通了，查看日志
发现时drbddisk的资源找不到，我们将drbddisk拷贝一份到/usr/local/etc/ha.d/resource.d,
[root@node2 ~]# cp /etc/ha.d/resource.d/drbddisk /usr/local/etc/ha.d/resource.d/drbddisk
分别在node1和node2上执行。
然后再次启动heartbeat，此时就没问题了。
确定heartbeat和DRBD开机自启动
确定需要由heartbeat切换的服务，开机不自启动（由heartbeat来启用相关的服务）
四、测试