corosync+pacemaker and drbd实现mysql高可用集群
2015-07-01 05:24
916 查看
DRBD:Distributed Replicated Block Device 分布式复制块设备,原理图如下
DRBD 有主双架构和双主架构的,当处于主从架构时,这个设备一定只有一个节点是可以读写的,另外的节点是不可读的,连挂载都不可能,只有一个节点是主的,其它节 点都是从的。当做为主主架构时,需要达到几个条件,1.在高可用集群中启用DRBD; 2. 启用分布式文件锁功能,即需要把磁盘格式化为集群文件系统(如GFS2,OCFS2等);3. 把DRBD做成资源。
数据的存储过程: 当某个进程存储数据时在内核中通过DRBD模块复制一分通过TCP/IP套接字发送到从节点上去,从节点的DRBD在套接字上接收数据并通过DRBD模块 存储到磁盘,并把结果返回给主节点 。但是内核传输的速度很快,而TCP报文的传输速度相对来说要慢得多,于是会把数据存入TCP协议栈的发送缓冲区,然后从缓冲区慢慢传递到从节点上。这个 数据传输过程有三个模型:
A : 异步模型,当内核把DRBD模块中复制的数据已经以报文方式发送到本地的TCP协议栈的缓冲区,至是从节点的数据是否已经传送到,保存是否完整,无法保证;
B : 半同步模型,报文已经发送到从节点的套接字上,已经接收,并发往内核,但从节点的存储过程没有回应过程。
C:同步模型,报文发往从节点,从节点已经接收,并发往内核,内核已经把数据报文存储到磁盘,并把结果返回给主节点,这个是默认的数据传输模型,可以保证数据的完整性。
安装环境:
centos6.5,安装corosync和pacemaker过程请参见上一篇博客,上一个环境安装的配置接口是crmsh,这里安装的是pcs,安装pcs比较简单,#yum install pcs –y 即可
安装完成后集群状态如下:
现在看到两个集群节点mysql1 mysql2在线,pacemaker是做为插件在使用的,没有stonith设备,只有两个节点,所以quorum也要忽略
#pcs property set stonith-enabled=false
# pcs property set no-quorum-policy=ignore
#pcs config show 查看配置文件
显示错误还没有集群配置文件,stonith已经禁用,quorum已经忽略
安装drbd:
根据官方文档,drbd在内核2.6.33版本以后就已经装载进了内核,不需要再额外安装drbd,只需要安装drbdadm管理软件就行,我这里用的是centos6.5,内核版本是2.6.32,所以还需要安装
drbd版本有8.1 8.2 8.3 8.4,我这里用的是已经做好的rpm包进行安装,下载目录:ftp://rpmfind.net/linux/atrpms/
把drbd的两个rpm包放在/root目录下,然后执行# yum --nogpgcheck localinstall *.rpm
--nogpgcheck 不执行gpg检测,因为在centos里面没有认证文件
在两个节点上安装完成。加载DRBD模块
?
?
?
在mysql2节点上执行同样的操作。
配置drbd:
在/etc目录下有一个文件drbd.conf 主配置文件,里面主要调用了/etc/drbd.d/目录下的配置文件
配置/etc/drbd.d/global_common.conf
?
在/etc/drbd.d/目录下再创建一个磁盘的资源
#vim /etc/drbd.d/stone.res
?
把这两个文件复制到mysql2节点上
然后在两个节点上初始化资源,分别执行
#drbdadm create-md mysql --这个资源是在stone.res文件中定义的资源
显示初始化成功
启动drbd服务
#service drbd start
查看drbd状态
#cat /proc/drbd
上面的信息两个节点都处于Secondary 状态,将mysql1节点设置为Primary
#drbdadm primary --force mysql
如上所示,数据同步过程已经开始,过一段时间后查看drbd状态
显示资源已经是主从状态
创建文件系统:
#mke2fs –t ext4 –L drbd /dev/drbd0 #格式化为ext4文件系统,并指定label名为drbd
创建/data目录,并挂载分区
#mkdir /data
#mount /dev/drbd0 /data
挂载成功
在/data目录中创建 a,b,c,d四个文件,然后再手动切换Primary/Secondary节点
在节点mysql1上执行
?
可以看到drbd的状态又重新变为secondary /secondary状态
在mysql2节点上把drbd节点设置为Primary 状态,创建/data 目录 ,并挂载
?
可以看到在mysql1节点上创建的a,b,c,d四个文件在mysql2节点上依然存在,drbd共享存储已经Ok
安装mysql,创建集群资源,安装mysql过程略
配置资源资源
pcs创建资源可以用 #pcs ? 可以查看帮助信息
# pcs resource create mysqlip ipaddr ip=10.204.80.89 cidr_netmask=24 nic=eth0
添加DRBD资源,提供drbd的RA目前由OCF归类为linbit,其路径为/usr/lib/ocf/resource.d/linbit /drbd。drbd 需要同时运行在两个节点上,但只能有一个节点(primary/secondary模型)是Master,而另一个节点为Slave;因此,它是一种比较 特殊的集群资源,其资源类型为多状态(Multi-state)clone类型,即主机节点有Master和Slave之分,且要求服务刚启动时两个节点 都处于slave状态。
#pcs resource create primitive mysqldrbd ocf:linbit:drbd params drbd_resource=mysql op monitor role=Master interval=50s timeout=30s op monitor role=Slave interval=60s timeout=30s op start timeout=240 op stop timeout=100
或者#crm configure primitive mysqldrbd ocf:linbit:drbd params drbd_resource=mysql op monitor role=Master interval=10s timeout=20s op monitor role=Slave interval=20s timeout=20s op start timeout=240 op stop timeout=100
#pcs resource master ms_mysqldrbd mysqldrbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
或者#crm configure ms ms_myqldrbd mysqldrbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
把drbd定义为clone资源,查看资源状态#pcs resource show
但做为文件系统还需要挂载,把drbd挂载到/data目录
# pcs resource create drbdfs ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/data" fstype="ext4"
查看资源状态
文件系统挂载drbdfs必须和Master mysqldrbd在同一节点上,必须先启动mysqldrbd然后才能挂载drbdfs文件系统,所以必须定义资源约束
# pcs constraint colocation add drbdfs with master MS_mysqldrbd
# pcs constraint order promote MS_mysqldrbd then drbdfs ###drbd的资源添加完成
# pcs resource create MySQLD lsb:mysqld op monitor interval=20 timeout=20 on-fail=restart ###添加MySQLD 服务资源完成,定义MySQLD的资源约束,必须drbdfs文件系统先挂载然后才能启动MySQLD服务
# pcs constraint order drbdfs then MySQLD
把mysqlip ,drbdfs 和MySQLD服务定义到同一个资源组
# pcs resource group add myservice mysqlip drbdfs MySQLD
查看资源状态
定义资源组的约束
#pcs constraint order mysqlip then promote MS_mysqldrbd then drbdfs then MySQLD
查看集群的配置信息
#pcs config show
?
?
?
?
?
?
?
?
转载:http://piao719.blog.51cto.com/287547/1562390
DRBD 有主双架构和双主架构的,当处于主从架构时,这个设备一定只有一个节点是可以读写的,另外的节点是不可读的,连挂载都不可能,只有一个节点是主的,其它节 点都是从的。当做为主主架构时,需要达到几个条件,1.在高可用集群中启用DRBD; 2. 启用分布式文件锁功能,即需要把磁盘格式化为集群文件系统(如GFS2,OCFS2等);3. 把DRBD做成资源。
数据的存储过程: 当某个进程存储数据时在内核中通过DRBD模块复制一分通过TCP/IP套接字发送到从节点上去,从节点的DRBD在套接字上接收数据并通过DRBD模块 存储到磁盘,并把结果返回给主节点 。但是内核传输的速度很快,而TCP报文的传输速度相对来说要慢得多,于是会把数据存入TCP协议栈的发送缓冲区,然后从缓冲区慢慢传递到从节点上。这个 数据传输过程有三个模型:
A : 异步模型,当内核把DRBD模块中复制的数据已经以报文方式发送到本地的TCP协议栈的缓冲区,至是从节点的数据是否已经传送到,保存是否完整,无法保证;
B : 半同步模型,报文已经发送到从节点的套接字上,已经接收,并发往内核,但从节点的存储过程没有回应过程。
C:同步模型,报文发往从节点,从节点已经接收,并发往内核,内核已经把数据报文存储到磁盘,并把结果返回给主节点,这个是默认的数据传输模型,可以保证数据的完整性。
安装环境:
centos6.5,安装corosync和pacemaker过程请参见上一篇博客,上一个环境安装的配置接口是crmsh,这里安装的是pcs,安装pcs比较简单,#yum install pcs –y 即可
安装完成后集群状态如下:
现在看到两个集群节点mysql1 mysql2在线,pacemaker是做为插件在使用的,没有stonith设备,只有两个节点,所以quorum也要忽略
#pcs property set stonith-enabled=false
# pcs property set no-quorum-policy=ignore
#pcs config show 查看配置文件
显示错误还没有集群配置文件,stonith已经禁用,quorum已经忽略
安装drbd:
根据官方文档,drbd在内核2.6.33版本以后就已经装载进了内核,不需要再额外安装drbd,只需要安装drbdadm管理软件就行,我这里用的是centos6.5,内核版本是2.6.32,所以还需要安装
drbd版本有8.1 8.2 8.3 8.4,我这里用的是已经做好的rpm包进行安装,下载目录:ftp://rpmfind.net/linux/atrpms/
把drbd的两个rpm包放在/root目录下,然后执行# yum --nogpgcheck localinstall *.rpm
--nogpgcheck 不执行gpg检测,因为在centos里面没有认证文件
在两个节点上安装完成。加载DRBD模块
?
配置drbd:
在/etc目录下有一个文件drbd.conf 主配置文件,里面主要调用了/etc/drbd.d/目录下的配置文件
配置/etc/drbd.d/global_common.conf
?
#vim /etc/drbd.d/stone.res
?
然后在两个节点上初始化资源,分别执行
#drbdadm create-md mysql --这个资源是在stone.res文件中定义的资源
显示初始化成功
启动drbd服务
#service drbd start
查看drbd状态
#cat /proc/drbd
上面的信息两个节点都处于Secondary 状态,将mysql1节点设置为Primary
#drbdadm primary --force mysql
如上所示,数据同步过程已经开始,过一段时间后查看drbd状态
显示资源已经是主从状态
创建文件系统:
#mke2fs –t ext4 –L drbd /dev/drbd0 #格式化为ext4文件系统,并指定label名为drbd
创建/data目录,并挂载分区
#mkdir /data
#mount /dev/drbd0 /data
挂载成功
在/data目录中创建 a,b,c,d四个文件,然后再手动切换Primary/Secondary节点
在节点mysql1上执行
?
可以看到drbd的状态又重新变为secondary /secondary状态
在mysql2节点上把drbd节点设置为Primary 状态,创建/data 目录 ,并挂载
?
可以看到在mysql1节点上创建的a,b,c,d四个文件在mysql2节点上依然存在,drbd共享存储已经Ok
安装mysql,创建集群资源,安装mysql过程略
配置资源资源
pcs创建资源可以用 #pcs ? 可以查看帮助信息
# pcs resource create mysqlip ipaddr ip=10.204.80.89 cidr_netmask=24 nic=eth0
添加DRBD资源,提供drbd的RA目前由OCF归类为linbit,其路径为/usr/lib/ocf/resource.d/linbit /drbd。drbd 需要同时运行在两个节点上,但只能有一个节点(primary/secondary模型)是Master,而另一个节点为Slave;因此,它是一种比较 特殊的集群资源,其资源类型为多状态(Multi-state)clone类型,即主机节点有Master和Slave之分,且要求服务刚启动时两个节点 都处于slave状态。
#pcs resource create primitive mysqldrbd ocf:linbit:drbd params drbd_resource=mysql op monitor role=Master interval=50s timeout=30s op monitor role=Slave interval=60s timeout=30s op start timeout=240 op stop timeout=100
或者#crm configure primitive mysqldrbd ocf:linbit:drbd params drbd_resource=mysql op monitor role=Master interval=10s timeout=20s op monitor role=Slave interval=20s timeout=20s op start timeout=240 op stop timeout=100
#pcs resource master ms_mysqldrbd mysqldrbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
或者#crm configure ms ms_myqldrbd mysqldrbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
把drbd定义为clone资源,查看资源状态#pcs resource show
但做为文件系统还需要挂载,把drbd挂载到/data目录
# pcs resource create drbdfs ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/data" fstype="ext4"
查看资源状态
文件系统挂载drbdfs必须和Master mysqldrbd在同一节点上,必须先启动mysqldrbd然后才能挂载drbdfs文件系统,所以必须定义资源约束
# pcs constraint colocation add drbdfs with master MS_mysqldrbd
# pcs constraint order promote MS_mysqldrbd then drbdfs ###drbd的资源添加完成
# pcs resource create MySQLD lsb:mysqld op monitor interval=20 timeout=20 on-fail=restart ###添加MySQLD 服务资源完成,定义MySQLD的资源约束,必须drbdfs文件系统先挂载然后才能启动MySQLD服务
# pcs constraint order drbdfs then MySQLD
把mysqlip ,drbdfs 和MySQLD服务定义到同一个资源组
# pcs resource group add myservice mysqlip drbdfs MySQLD
查看资源状态
定义资源组的约束
#pcs constraint order mysqlip then promote MS_mysqldrbd then drbdfs then MySQLD
查看集群的配置信息
#pcs config show
?
相关文章推荐
- 节点-组件架构特点
- 换静态图片---轻开电子商务系统(企业入门级B2C网站)
- 学习笔记_Java_day13_三层的HelloWorld程序(15)--不错,整体三层架构学习
- 18个网站优化技巧
- 作为个人站长,选什么样的网站空间最合适
- 从Knockout到Angular的架构演变
- 【Seajs源码分析】1. 整体架构
- 百万级PHP网站架构工具箱
- Android 架构图
- 自适应网站开发
- 网狐棋牌游戏平台服务器架构设计分析
- 网站
- 大型网站架构体系的演变(下)
- 大型网站架构体系的演变(上)
- mediawiki中全局变量$wgLogo用于设置网站的Logo
- IT架构之IT架构标准——思维导图
- Web前端体系架构
- ODPS技术架构及应用实践
- 批处理刷新网站
- 漫谈SOA(面向服务架构)