HA集群之DRBD浅析及实现DRBD高可用 推荐

//确定内核版本
# uname -r
//安装与版本对应的内核模块和用户空间管理工具
# yum -y install drbd-8.4.3-33.el6.x86_64.rpm drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm

[root@node1 ~]# vim /etc/drbd.conf     //查看主配置文件
# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";

//修改全局配置文件
# vim /etc/drbd.d/global_common.conf
global {   //全局配置
usage-count no;  #让linbit公司收集目前drbd的使用情况，yes为参加，我们这里不参加设置为no
# minor-count dialog-refresh disable-ip-verification
}
common {
handlers {    #处理器
# These are EXAMPLE handlers only.
# They may have severe implications,
# like hard resetting the node under certain circumstances.
# Be careful when chosing your poison.
pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
// 定义了如果主节点降级了怎么处理的
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
//这个定义了如果有脑裂了之后找不到主节点怎么处理的
local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
//定义了一旦本地节点发生IO错误时应该怎么处理
# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
# split-brain "/usr/lib/drbd/notify-split-brain.sh root";
# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
}
startup {    //定义一个节点启动时另一个节点应该怎么做
# wfc-timeout    //等待另一个节点上线的超时时长
# degr-wfc-timeout   //等待超时后做降级处理
# outdated-wfc-timeout  //过期的等待超时
# wait-after-sb   //脑裂之后等待多长时长
}
options {
# cpu-mask on-no-data-accessible
}
disk {
on-io-error detach;  #同步错误的做法是分离
# size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes
# disk-drain md-flushes resync-rate resync-after al-extents
# c-plan-ahead c-delay-target c-fill-target c-max-rate
# c-min-rate disk-timeout
}
net {
protocol C;
cram-hmac-alg "sha1";  #设置加密算法sha1
shared-secret "mydrbd";  #设置加密key
# protocol timeout max-epoch-size max-buffers unplug-watermark
# connect-int ping-int sndbuf-size rcvbuf-size ko-count
# allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri
# after-sb-1pri after-sb-2pri always-asbp rr-conflict
# ping-timeout data-integrity-alg tcp-cork on-congestion
# congestion-fill congestion-extents csums-alg verify-alg
# use-rle
}
syncer {    # 同步相关的设置
rate 1000M; #设置重新同步(re-synchronization)速度
#re-synchronization时候，如果有大量不一致的数据，
#我们不可能将所有带宽都分配给drbd做re- synchronization，
#这样会影响对外提提供服务。rate的设置需要考虑IO能力。
#一般来说，设置网络IO能力和磁盘IO能力中最小者的30%的带宽给re- synchronization是比较合适的（官方说明）
# drbd还提供了一个临时的rate更改命令，可以临时性的更改syncer的rate 值：
#drbdsetup /dev/drbd0 syncer -r 100M
#这样就临时的设置为100M。
#结束之后，通过
#drbdadm adjust resource_name 来让drbd按照配置中的rate工作。
}
}

# fdisk /dev/sda    //具体不详述
# kpart -af /dev/sda
# partx  -a /dev/sda   //一次识别不出来，可以多重复几次

# crontab -e
*/5 * * * * /usr/sbin/ntpdate  172.16.0.1 &> /dev/null

# cd /etc/drbd.d/
# vim mystore.res
resource mystore {            #定义一个资源，用关键字resource；
on node1.hoo.com {          #on说明在哪个节点上，跟uname -n保持一致
device    /dev/drbd0;     #在磁盘上表现的drbd叫什么名；
disk      /dev/sda5;      #所使用的磁盘设备是哪个；
address   172.16.1.11:7789;  #监听的套接字,默认监听在7789端口上；
meta-disk internal;         #内部存放metadata
}
on node2.hoo.com {
device    /dev/drbd0;
disk      /dev/sda5;
address   172.16.1.12:7789;
meta-disk internal;
}
}

# scp global_common.conf mystore.res node2:/etc/drbd.d/

# drbdadm create-md mystore

# service drbd start

//以下两种方式均可查看
# cat /proc/drbd
或
# drbd-overview
//初始化后，两个节点均处于Secondary状态

[root@node1 ~]# drbdadm primary --force mystore

# drbd-overview
//两节点开始同步数据

[root@node1 ~]# mke2fs  -t ext4 /dev/drbd0
[root@node1 ~]# mkdir /drbd
[root@node1 ~]# mount /dev/drbd0 /drbd

//复制文件到DRBD设备
[root@node1 ~]# cd /drbd/
[root@node1 drbd]# cp /etc/inittab /drbd/
//角色转换，将node1降级
[root@node1 ~]# drbdadm secondary mystore
//将node2提升为主
[root@node2 ~]# drbdadm primary mystore
[root@node2 ~]# mkdir /drbd
[root@node2 ~]# mount /dev/drbd0 /drbd
[root@node2 ~]# cd /drbd
[root@node2 ~]# ls
//inittab文件存在

# service drbd stop# chkconfig drbd off# chkconfig drbd --list

[root@node1 ~]# crmcrm(live)# configurecrm(live)configure# property stonith-enabled=false    //禁用stonithcrm(live)configure# property no-quorum-policy=ignore  //双节点设置忽略crm(live)configure# rsc_defaults resource-stickiness=100 //资源粘性crm(live)configure# verifycrm(live)configure# commitcrm(live)configure# showcrm(live)configure# meta ocf:linbit:drbd   //查看drbd的详细信息crm(live)configure# primitive drbdstore ocf:linbit:drbd params drbd_resource=mystore op monitor role=Master interval=30s timeout=20s op monitor role=Slave interval=60s timeout=20s op start timeout=240s op stop timeout=100s//定义资源crm(live)configure# verifycrm(live)configure# master ms_drbdstore drbdstore meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=”True”//定义主资源crm(live)configure# verifycrm(live)configure# commit

crm(live)configure# primitive drbdfs ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/drbd fstype=ext4 op monitor interval=30s timeout=40s on-fail-restart op start timeout=60 op stop timeout=60crm(live)configure# verifycrm(live)configure# commit

//查看节点状态crm(live)# status//显示node2为主//验证挂载：[root@node2 drbd]#ls//显示: inittab  lost+found//手动改变节点的主从crm(live)# node standby node2.hoo.com   把node2降级为备用//node1验证挂载信息[root@node1 drbd]#ls