基于corosync+pacemaker+drbd+LNMP做web服务器的高可用集群
2015-07-24 11:01
811 查看
实验系统:CentOS 6.6_x86_64
实验前提:
1)提前准备好编译环境,防火墙和selinux都关闭;
2)本配置共有两个测试节点,分别coro1和coro2,对应的IP地址分别为192.168.19.55和192.168.19.98;
3)集群服务为nginx服务;
4)提供web服务的地址为192.168.19.150,即VIP;
实验软件:corosync-0:1.4.7-1.el6 pacemaker-0:1.1.12-4.el6 crmsh-2.1-1.6 drbd-8.4.4 php-5.6.11 mariadb-10.0.20 tengine-2.1.0
软件下载:http://pan.baidu.com/s/116gQq
注意事项:单主机操作会有标注,除此之外的是两台主机都要完成的
实验拓扑:
一、准备工作
1.所有节点的主机名称和对应的IP地址解析服务可以正常工作,且每个节点的主机名称需要跟“uname -n”命令的结果保持一致。因此,需要保证两个节点上的/etc/hosts文件均添加了下面的内容:
2.为了使得重新启动系统后仍能保持如上的主机名称,还分别需要在各节点执行类似如下的命令:
coro1上:
coro2上:
3.设定两个节点可以基于密钥进行ssh通信,并测试:
coro1上:
coro2上:
4.两个节点时间必须同步:一般使用ntpdate进行操作,这里不再演示。
二、安装corosync和pacemaker并配置
1.安装epel源:
2.安装corosync和pacemaker:
3.在coro1上编辑/etc/corosync.conf
4.在coro1上生成节点间通信时用到的认证密钥文件:
5.将corosync.conf和authkey复制至coro2上:
三、安装crmsh并启动corosync
1.安装crmsh,需要提前下好rpm包:
2.启动corosync(在coro1上执行):
3.查看corosync引擎是否正常启动:
4.查看初始化成员节点通知是否正常发出:
5.检查启动过程中是否有错误产生。下面的错误信息表示packmaker不久之后将不再作为corosync的插件运行,因此,建议使用cman作为集群基础架构服务,此处可安全忽略:
6.查看pacemaker是否正常启动:
7.如果上面命令执行均没有问题,接着可以在coro1上执行如下命令启动coro2上的corosync:
8.如果安装了crmsh,可使用如下命令查看集群节点的启动状态。从下面的信息可以看出两个节点都已经正常启动,并且集群已经处于正常工作状态:
四、编译安装drbd并配置
drbd共有两部分组成:内核模块和用户空间的管理工具。其中drbd内核模块代码已经整合进Linux内核2.6.33以后的版本中,因此,如果您的内核版本高于此版本的话,你只需要安装管理工具即可;否则,您需要同时安装内核模块和管理工具两个软件包,并且此两者的版本号一定要保持对应。
1.安装用户空间工具:
2.安装drbd模块:
3.给主机分区,大小为5G。这里不再给出具体步骤,两台主机的/dev/sda7为一会要使用的分区:
4.配置drbd(在coro1上操作):
drbd的主配置文件为/etc/drbd.conf;为了管理的便捷性,目前通常会将些配置文件分成多个部分,且都保存至/etc/drbd.d/目录中,主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段,而每一个.res的文件用于定义一个资源。
在配置文件中,global段仅能出现一次,且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话,global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。common段则用于定义被每一个资源默认继承的参数,可以在资源定义中使用的参数都可以在common段中定义。实际应用中,common段并非必须,但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。resource段则用于定义drbd资源,每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名,名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段,以定义此资源关联至的节点,其它参数均可以从common段或drbd的默认中进行继承而无须定义。
注意:由于本试验中drbd是编译安装的,因此默认配置文件所在路径为:/usr/local/drbd/etc
5.定义一个资源,web是资源名,可以自己改:
6.以上文件在两个节点上必须相同,因此,可以基于ssh将刚才配置的文件全部同步至coro2节点:
7.在两个节点上初始化已定义的资源并启动服务:
8.查看启动状态,从下面的信息中可以看出此时两个节点均处于Secondary状态:
9.我们接下来需要将其中一个节点设置为Primary,在要设置为Primary的节点上执行如下命令,这里在coro1上操作:
而后再次查看状态,可以发现数据同步过程已经开始。等数据同步完成以后再次查看状态,可以发现主次位置显示是不一样的。斜线前面的代表当前主机,后面的代表对方主机。
在coro1上查看:
在coro2上查看:
10.创建文件系统并挂载:
文件系统的挂载只能在Primary节点进行,因此,也只有在设置了主节点后才能对drbd设备进行格式化,这里在coro1上进行操作。
11.切换Primary和Secondary节点:
对主Primary/Secondary模型的drbd服务来讲,在某个时刻只能有一个节点为Primary,因此要切换两个节点的角色,只能在先将原有的Primary节点设置为Secondary后,才能原来的Secondary节点设置为Primary。
在coro1上:
在coro2上:
可以看到,coro2已经成为了Primary,之前在coro1上创建的目录也能够访问到。测试完成后,再次将coro1变为Primary并挂载。
五、准备LNMP环境
1.编译安装tengine:
2.为tengine提供脚本:
3.安装mysql,man和path路径输出这里不再演示:
本试验中coro1为drbd的Primary,所以下面的操作在coro1上进行,提前将/dev/brbd0挂载至/mydata:
停掉mysql,让drbd主节点切换至coro2并挂载,在coro2上连接mysql,切换主次步骤请参考前面:
mysql测试成功,coro2上也可以看到coro1创建的数据。停掉mysql,让主节点再次切换到coro1上并挂载/dev/drbd0。
4.编译安装php:
5.为php和php-fpm提供配置文件:
六、LNMP与DRBD结合
1.现在试验中coro1为drbd的Primary节点,所以以下操作在coro1上进行:
在/mydata/www下放入网页文件,此处以wordpress为例。用浏览器打开http://192.168.19.150,如果没问题,则会出现安装页面,按照提示安装即可。我这里手动创建了wordpress数据库,并给root用户添加了密码,安装时就直接使用root。
2.切换drbd的Primary节点为coro2,并测试:
在coro1上操作:
在coro2上操作:
手动切换完毕之后,同样打开http://192.168.19.150,进行任何操作均没问题。至此,drbd+LNMP搭建完毕。下一步,就要将corosync和pacemaker整合进来了。现在检查两台主机的VIP、nginx、php-fpm、mysql、drbd均为关闭状态,且不能开机自动启动。
七、使用crmsh为corosync添加资源
1.创建drbd配置文件的软连接(两台机器均操作):
2.修改php-fpm启动脚本为如下内容,如不修改,则corosync无法识别(两台机器均操作):
下面运行crm命令,进入crm命令行模式,非特殊注明情况下操作均在此模式下进行,在一台机器上操作即可。
3.关闭corosync的stonith检测和仲裁:
4.添加资源(configure菜单下):
5.添加各种约束:
6.提交之后,可以看到,所有资源已经运行在coro2,打开http://192.168.19.150进行操作也没问题:
7.下面操作让coro2成为备用节点。可以看到,资源全部转移到coro1上了,打开http://192.168.19.150进行各种操作仍然OK:
至此,实验全部结束。因为时间原因,很多细节有待完善,欢迎大家提供宝贵意见,谢谢! QQ:82800452
实验前提:
1)提前准备好编译环境,防火墙和selinux都关闭;
2)本配置共有两个测试节点,分别coro1和coro2,对应的IP地址分别为192.168.19.55和192.168.19.98;
3)集群服务为nginx服务;
4)提供web服务的地址为192.168.19.150,即VIP;
实验软件:corosync-0:1.4.7-1.el6 pacemaker-0:1.1.12-4.el6 crmsh-2.1-1.6 drbd-8.4.4 php-5.6.11 mariadb-10.0.20 tengine-2.1.0
软件下载:http://pan.baidu.com/s/116gQq
注意事项:单主机操作会有标注,除此之外的是两台主机都要完成的
实验拓扑:
一、准备工作
1.所有节点的主机名称和对应的IP地址解析服务可以正常工作,且每个节点的主机名称需要跟“uname -n”命令的结果保持一致。因此,需要保证两个节点上的/etc/hosts文件均添加了下面的内容:
2.为了使得重新启动系统后仍能保持如上的主机名称,还分别需要在各节点执行类似如下的命令:
coro1上:
sed -i 's@\(HOSTNAME=\).*@\1coro1@g' /etc/sysconfig/network hostname coro1
coro2上:
sed -i 's@\(HOSTNAME=\).*@\1coro2@g' /etc/sysconfig/network hostname coro2
3.设定两个节点可以基于密钥进行ssh通信,并测试:
coro1上:
ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@coro2
coro2上:
ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@coro1
4.两个节点时间必须同步:一般使用ntpdate进行操作,这里不再演示。
二、安装corosync和pacemaker并配置
1.安装epel源:
yum -y install epel*
2.安装corosync和pacemaker:
yum -y install corosync pacemaker
3.在coro1上编辑/etc/corosync.conf
cd /etc/corosync/ cp corosync.conf.example corosync.conf vim corosync.conf ------------------------------------ bindnetaddr: 192.168.19.0 //为你的网卡所在网络的网络地址 mcastaddr: 239.255.19.1 //组播地址 service { //添加此部分 ver: 0 name: pacemaker # use_mgmtd: yes }
4.在coro1上生成节点间通信时用到的认证密钥文件:
corosync-keygen
5.将corosync.conf和authkey复制至coro2上:
scp -p corosync.conf authkey coro2:/etc/corosync/
三、安装crmsh并启动corosync
1.安装crmsh,需要提前下好rpm包:
yum -y install crmsh-2.1-1.6.x86_64.rpm
2.启动corosync(在coro1上执行):
service corosync start
3.查看corosync引擎是否正常启动:
grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
4.查看初始化成员节点通知是否正常发出:
grep TOTEM /var/log/cluster/corosync.log
5.检查启动过程中是否有错误产生。下面的错误信息表示packmaker不久之后将不再作为corosync的插件运行,因此,建议使用cman作为集群基础架构服务,此处可安全忽略:
grep ERROR: /var/log/cluster/corosync.log
6.查看pacemaker是否正常启动:
grep pcmk_startup /var/log/cluster/corosync.log
7.如果上面命令执行均没有问题,接着可以在coro1上执行如下命令启动coro2上的corosync:
ssh coro2 'service corosync start'
8.如果安装了crmsh,可使用如下命令查看集群节点的启动状态。从下面的信息可以看出两个节点都已经正常启动,并且集群已经处于正常工作状态:
crm status
四、编译安装drbd并配置
drbd共有两部分组成:内核模块和用户空间的管理工具。其中drbd内核模块代码已经整合进Linux内核2.6.33以后的版本中,因此,如果您的内核版本高于此版本的话,你只需要安装管理工具即可;否则,您需要同时安装内核模块和管理工具两个软件包,并且此两者的版本号一定要保持对应。
1.安装用户空间工具:
tar xf drbd-8.4.4.tar.gz cd drbd-8.4.4 ./configure --prefix=/usr/local/drbd --with-km make KDIR=/usr/src/kernels/2.6.32-504.30.3.el6.x86_64 //换成自己的内核版本 make install mkdir -pv /usr/local/drbd/var/run/drbd cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d chkconfig --add drbd chkconfig drbd off //一会作为corosync的资源,所以不要开机自动启动
2.安装drbd模块:
cd drbd make clean make KDIR=/usr/src/kernels/2.6.32-504.30.3.el6.x86_64 //换成自己的内核版本 cp drbd.ko /lib/modules/`uname -r`/kernel/lib depmod
3.给主机分区,大小为5G。这里不再给出具体步骤,两台主机的/dev/sda7为一会要使用的分区:
4.配置drbd(在coro1上操作):
drbd的主配置文件为/etc/drbd.conf;为了管理的便捷性,目前通常会将些配置文件分成多个部分,且都保存至/etc/drbd.d/目录中,主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段,而每一个.res的文件用于定义一个资源。
在配置文件中,global段仅能出现一次,且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话,global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。common段则用于定义被每一个资源默认继承的参数,可以在资源定义中使用的参数都可以在common段中定义。实际应用中,common段并非必须,但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。resource段则用于定义drbd资源,每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名,名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段,以定义此资源关联至的节点,其它参数均可以从common段或drbd的默认中进行继承而无须定义。
注意:由于本试验中drbd是编译安装的,因此默认配置文件所在路径为:/usr/local/drbd/etc
cd /usr/local/drbd/etc/drbd.d/ vim global_common.conf -------------------------------------- global { usage-count no; # minor-count dialog-refresh disable-ip-verification } common { protocol C; handlers { # These are EXAMPLE handlers only. # They may have severe implications, # like hard resetting the node under certain circumstances. # Be careful when chosing your poison. # pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /p roc/sysrq-trigger ; reboot -f"; # pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /p roc/sysrq-trigger ; reboot -f"; # local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq- trigger ; halt -f"; # fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; # split-brain "/usr/lib/drbd/notify-split-brain.sh root"; # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k"; # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh; } startup { # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb } options { # cpu-mask on-no-data-accessible } disk { #on-io-error detach; # size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes # disk-drain md-flushes resync-rate resync-after al-extents # c-plan-ahead c-delay-target c-fill-target c-max-rate # c-min-rate disk-timeout } net { #cram-hmac-alg "sha1"; #shared-secret "mydrbd"; # protocol timeout max-epoch-size max-buffers unplug-watermark # connect-int ping-int sndbuf-size rcvbuf-size ko-count # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri # after-sb-1pri after-sb-2pri always-asbp rr-conflict # ping-timeout data-integrity-alg tcp-cork on-congestion # congestion-fill congestion-extents csums-alg verify-alg # use-rle } }
5.定义一个资源,web是资源名,可以自己改:
vim /usr/local/drbd/etc/drbd.d/web.res -------------------------------------- resource web { on coro1 { device /dev/drbd0; disk /dev/sda7; address 192.168.19.55:7789; meta-disk internal; } on coro2 { device /dev/drbd0; disk /dev/sda7; address 192.168.19.98:7789; meta-disk internal; } }
6.以上文件在两个节点上必须相同,因此,可以基于ssh将刚才配置的文件全部同步至coro2节点:
scp /usr/local/drbd/etc/drbd.d/* coro2:/usr/local/drbd/etc/drbd.d/
7.在两个节点上初始化已定义的资源并启动服务:
drbdadm create-md web service drbd start
8.查看启动状态,从下面的信息中可以看出此时两个节点均处于Secondary状态:
cat /proc/drbd
9.我们接下来需要将其中一个节点设置为Primary,在要设置为Primary的节点上执行如下命令,这里在coro1上操作:
drbdadm primary --force web cat /proc/drbd
而后再次查看状态,可以发现数据同步过程已经开始。等数据同步完成以后再次查看状态,可以发现主次位置显示是不一样的。斜线前面的代表当前主机,后面的代表对方主机。
在coro1上查看:
在coro2上查看:
10.创建文件系统并挂载:
文件系统的挂载只能在Primary节点进行,因此,也只有在设置了主节点后才能对drbd设备进行格式化,这里在coro1上进行操作。
mke2fs -t ext4 -L DRBD /dev/drbd0 mkdir /mydata //创建挂载点 mount /dev/drbd0 /mydata/ mkdir /mydata/www //创建网页目录 mkdir /mydata/data //创建数据库目录
11.切换Primary和Secondary节点:
对主Primary/Secondary模型的drbd服务来讲,在某个时刻只能有一个节点为Primary,因此要切换两个节点的角色,只能在先将原有的Primary节点设置为Secondary后,才能原来的Secondary节点设置为Primary。
在coro1上:
umount /mydata/ drbdadm secondary web //变为secondary节点
在coro2上:
drbdadm primary web //变为primary节点 cat /proc/drbd mkdir /mydata //创建挂载点 mount /dev/drbd0 /mydata/ ls /mydata/
可以看到,coro2已经成为了Primary,之前在coro1上创建的目录也能够访问到。测试完成后,再次将coro1变为Primary并挂载。
五、准备LNMP环境
1.编译安装tengine:
yum -y install pcre-devel useradd -r nginx //要保证两台主机的nginx用户id和组id完全一致 tar xf tengine-2.1.0.tar.gz cd tengine-2.1.0 ./configure --prefix=/usr/local/nginx --sbin-path=/usr/local/nginx/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre make && make install
2.为tengine提供脚本:
vim /etc/init.d/nginx ------------------------------------ #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/etc/nginx/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac ------------------------------------ chmod +x /etc/init.d/nginx chkconfig --add nginx chkconfig nginx off //一会作为corosync的资源,所以不要开机自动启动
3.安装mysql,man和path路径输出这里不再演示:
useradd -r mysql //保证两台主机的mysql用户id和组id完全一致 tar xf mariadb-10.0.20-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/ ln -sv mariadb-10.0.20-linux-x86_64 mysql cd mysql/ chown -R root:mysql . ln -sv /usr/local/mysql/include /usr/include/mysql //输出mysql的头文件至系统头文件路径 echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf //输出mysql的库文件给系统库查找路径 ldconfig
本试验中coro1为drbd的Primary,所以下面的操作在coro1上进行,提前将/dev/brbd0挂载至/mydata:
chown -R mysql:mysql /mydata/data/ /usr/local/mysql/scripts/mysql_install_db --user=mysql --datadir=/mydata/data/ //初始化mysql cp /usr/local/mysql/support-files/my-large.cnf /etc/my.cnf //提供配置文件 vim /etc/my.cnf ------------------------------------ datadir = /mydata/data //增加此项 ------------------------------------ cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld //提供服务脚本 scp -p /etc/init.d/mysqld coro2:/etc/init.d/ scp -p /etc/my.cnf coro2:/etc/ chkconfig --add mysqld chkconfig mysqld off //一会作为corosync的资源,所以不要开机自动启动 service mysqld start /usr/local/mysql/bin/mysql //连接mysql ------------------------------------ CREATE DATABASE abcd; //创建abcd数据库 SHOW DATABASES; //显示数据库列表
停掉mysql,让drbd主节点切换至coro2并挂载,在coro2上连接mysql,切换主次步骤请参考前面:
chkconfig --add mysqld chkconfig mysqld off service mysqld start /usr/local/mysql/bin/mysql ----------------------------------- SHOW DATABASES;
mysql测试成功,coro2上也可以看到coro1创建的数据。停掉mysql,让主节点再次切换到coro1上并挂载/dev/drbd0。
4.编译安装php:
yum -y install libxml2-devel bzip2-devel libcurl-devel libmcrypt-devel tar xf php-5.6.11.tar.bz2 cd php-5.6.11 ./configure --prefix=/usr/local/php --with-mysql=/usr/local/mysql --with-openssl --enable-fpm --enable-sockets --enable-sysvshm --with-mysqli=/usr/local/mysql/bin/mysql_config --enable-mbstring --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib-dir --with-libxml-dir=/usr --enable-xml --with-mhash --with-mcrypt --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d --with-bz2 --with-curl --with-pdo-mysql=/usr/local/mysql make && make install
5.为php和php-fpm提供配置文件:
cp php.ini-production /etc/php.ini //提供php配置文件 cp sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm //提供脚本 chmod +x /etc/init.d/php-fpm chkconfig --add php-fpm chkconfig php-fpm off //一会作为corosync的资源,所以不要开机自动启动 cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf //提供php-fpm配置文件 vim /usr/local/php/etc/php-fpm.conf --------------------------------------------------- pm.max_children = 150 pm.start_servers = 8 pm.min_spare_servers = 5 pm.max_spare_servers = 10 pid = /usr/local/php/var/run/php-fpm.pid user = nginx group = nginx listen = 192.168.19.150:9000 //监听在VIP的9000端口
六、LNMP与DRBD结合
1.现在试验中coro1为drbd的Primary节点,所以以下操作在coro1上进行:
chown -R nginx:nginx /mydata/www/ vim /etc/nginx/nginx.conf ---------------------------------------- location / { root /mydata/www; index index.php index.html index.htm; } location ~ \.php$ { root /mydata/www; fastcgi_pass 192.168.19.150:9000; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name; include fastcgi_params; } ---------------------------------------- vim /etc/nginx/fastcgi_params //将此文件内容改为如下几行 ---------------------------------------- fastcgi_param GATEWAY_INTERFACE CGI/1.1; fastcgi_param SERVER_SOFTWARE nginx; fastcgi_param QUERY_STRING $query_string; fastcgi_param REQUEST_METHOD $request_method; fastcgi_param CONTENT_TYPE $content_type; fastcgi_param CONTENT_LENGTH $content_length; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_param REQUEST_URI $request_uri; fastcgi_param DOCUMENT_URI $document_uri; fastcgi_param DOCUMENT_ROOT $document_root; fastcgi_param SERVER_PROTOCOL $server_protocol; fastcgi_param REMOTE_ADDR $remote_addr; fastcgi_param REMOTE_PORT $remote_port; fastcgi_param SERVER_ADDR $server_addr; fastcgi_param SERVER_PORT $server_port; fastcgi_param SERVER_NAME $server_name; ---------------------------------------- scp /etc/nginx/nginx.conf coro2:/etc/nginx/ scp /etc/nginx/fastcgi_params coro2:/etc/nginx/ ifconfig eth0:0 192.168.19.150/24 up //手动启动VIP service nginx start service mysqld start service php-fpm start
在/mydata/www下放入网页文件,此处以wordpress为例。用浏览器打开http://192.168.19.150,如果没问题,则会出现安装页面,按照提示安装即可。我这里手动创建了wordpress数据库,并给root用户添加了密码,安装时就直接使用root。
/usr/local/mysql/bin/mysql ----------------------------------------- CREATE DATABASE wordpress; UPDATE mysql.user SET Password=PASSWORD(123456) WHERE User='root'; FLUSH PRIVILEGES;
2.切换drbd的Primary节点为coro2,并测试:
在coro1上操作:
service nginx stop service mysqld stop service php-fpm stop umount /mydata/ drbdadm secondary web ifconfig eth0:0 down
在coro2上操作:
drbdadm primary web mount /dev/drbd0 /mydata/ ifconfig eth0:0 192.168.19.150/24 up service nginx start service mysqld start service php-fpm start
手动切换完毕之后,同样打开http://192.168.19.150,进行任何操作均没问题。至此,drbd+LNMP搭建完毕。下一步,就要将corosync和pacemaker整合进来了。现在检查两台主机的VIP、nginx、php-fpm、mysql、drbd均为关闭状态,且不能开机自动启动。
七、使用crmsh为corosync添加资源
1.创建drbd配置文件的软连接(两台机器均操作):
ln -sv /usr/local/drbd/etc/drbd.conf /etc/drbd.conf ln -sv /usr/local/drbd/etc/drbd.d /etc/drbd.d
2.修改php-fpm启动脚本为如下内容,如不修改,则corosync无法识别(两台机器均操作):
#!/bin/sh #======================================================================================= # php-fpm - this script start and stop the php-fpm daemon # # chkconfig 35 on # description: php-fpm is a FastCGI web server. # processname: php-fpm # config: /usr/local/php/etc/php-fpm.conf # pidfile: /var/run/php-fpm.pid #======================================================================================= PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin BINFILE="/usr/local/php/sbin/php-fpm" CFGFILE="/usr/local/php/etc/php-fpm.conf" PIDFILE="/var/run/php-fpm.pid" LOCKFILE="/var/lock/php-fpm.lock" RETVAL=0 start() { [[ -x $BINFILE ]] || exit 5 [[ -f $CFGFILE ]] || exit 6 if [[ `ps aux | grep php-fpm: | grep -v grep | wc -l` -gt 0 ]]; then echo "The php-fpm is already running." return 1 fi $BINFILE -t >/dev/null 2>&1 if [[ $? -ne 0 ]]; then echo "The php-fpm configure has error." return 1 fi echo -n "Starting php-fpm......" $BINFILE -y $CFGFILE -g ${PIDFILE} RETVAL=$? echo [[ $RETVAL -eq 0 ]] && touch $LOCKFILE return $RETVAL } stop() { if [[ `ps aux | grep php-fpm: | grep -v grep | wc -l` -eq 0 ]]; then echo "The php-fpm is not running." return 1 fi echo -n "Shutting down php-fpm......" if [[ -f $PIDFILE ]]; then kill -QUIT `cat ${PIDFILE}` else kill -QUIT `ps aux | grep php-fpm | awk '/master/{print $2}'` fi RETVAL=$? echo [[ $RETVAL -eq 0 ]] && rm -f $LOCKFILE $PIDFILE return $RETVAL } restart() { stop sleep 1 while true do if [[ `ps aux | grep php-fpm: | grep -v grep | wc -l` -eq 0 ]]; then start break fi sleep 1 done RETVAL=$? echo return $RETVAL } reload() { if [[ `ps aux | grep php-fpm: | grep -v grep | wc -l` -eq 0 ]]; then echo "The php-fpm is not running." return 1 fi echo -n $"Reloading php-fpm......" if [[ -f $PIDFILE ]]; then kill -USR2 `cat ${PIDFILE}` else kill -USR2 `ps aux | grep php-fpm | awk '/master/{print $2}'` fi RETVAL=$? echo return $RETVAL } case "$1" in start) start ;; stop) stop ;; restart) restart ;; reload) reload ;; *) echo "Usage: service php-fpm {start|stop|restart|reload}" RETVAL=1 esac exit $RETVAL
下面运行crm命令,进入crm命令行模式,非特殊注明情况下操作均在此模式下进行,在一台机器上操作即可。
3.关闭corosync的stonith检测和仲裁:
configure //进入配置菜单 property stonith-enabled=false //关闭stonith设备 property no-quorum-policy=ignore //关闭仲裁设备 verify //语法检测 commit //提交
4.添加资源(configure菜单下):
primitive mydrbd ocf:drbd params drbd_resource=web op monitor role=Master interval=20s timeout=30s op monitor role=Slave interval=30s timeout=20s op start timeout=240s op stop timeout=240s //定义drbd资源 primitive myfile Filesystem params device="/dev/drbd0" directory="/mydata" fstype="ext4" op monitor interval=30s timeout=60s op start timeout=60s op stop timeout=60s //定义文件系统资源 primitive myip IPaddr params ip=192.168.19.150 op monitor interval=30s timeout=60s //定义VIP资源 primitive mynginx lsb:nginx op monitor interval=30s timeout=20s //定义nginx资源 primitive mysql lsb:mysqld op monitor interval=30s timeout=60s //定义mysqld资源 primitive myphp lsb:php-fpm //定义php-fpm资源 group myserver myfile myip mynginx myphp mysql //定义资源组 verify //语法检测,如没问题,先不要提交
5.添加各种约束:
ms ms_mydrbd mydrbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=True //drbd主从资源配置 colocation myfile_with_mydrbd_master inf: myfile ms_mydrbd:Master //定义排列约束,myfile要和drbd的Master节点在一起 colocation mysql_with_myfile inf: mysql myfile //mysql要和myfile在一起 order myfile_after_ms_mydrbd_master Mandatory: ms_mydrbd:promote myfile:start //定义顺序约束,drbd主节点被提升,myfile才能启动 order myip_after_myfile Mandatory: myfile myip order mynginx_after_myip Mandatory: myip mynginx verify commit
6.提交之后,可以看到,所有资源已经运行在coro2,打开http://192.168.19.150进行操作也没问题:
7.下面操作让coro2成为备用节点。可以看到,资源全部转移到coro1上了,打开http://192.168.19.150进行各种操作仍然OK:
cd .. node standby coro2 //coro2成为备用 ----------------------------- 等待5秒 node online coro2 //重新上线 status //查看状态
至此,实验全部结束。因为时间原因,很多细节有待完善,欢迎大家提供宝贵意见,谢谢! QQ:82800452
相关文章推荐
- PHP 实现多网站共享用户SESSION 数据解决方案
- 《游戏引擎架构》读书笔记(一)
- VELT学习网站
- 网站通用百度地图调用示例,只需填入座标和百度密钥即可。内容可自己更换。
- JAVA使用爬虫抓取网站网页内容的方法
- openstack 与 ceph (架构)
- Android开发学习笔记一选择架构工具
- sharepoint 2013创建网站集,域帐户无法访问,只有administrator可以访问
- 手机连接虚拟机服务器,架构微信内网开发环境
- Flume(NG)架构设计要点及配置实践
- discuz网站数据库迁移
- 一些研究SLAM的团队和网站 [2008年10月20日]
- SVM源代码网站
- chrome开启移动设备模拟-用浏览器访问手机网站
- 第四章 设计程序架构 之 状态管理
- 系统技术架构图
- 微信公众号用户与网站用户的绑定方案
- 手机网站和PC网站兼容的响应式网页设计
- 一步步构建3D引擎-------架构设计
- 通过微信扫描获取用户信息登陆网站