RedHat5下实现Mysql集群+Lvs+Keepalived实现高可用HA负载均衡

0. "NDB" 是什么意思?

它的意思是: "网络数据库".NDB(也叫NDB Cluster或者NDBCLUSTER),使用它才能让MySQL支持集群.

1. 什么是mysql集群？

Mysql Cluster(集群)是Mysql适合于分布式计算环境的高实用，高冗余版本（其实是Mysql发布的一个版本）。它采用了NDB Cluster存储引擎，允许在一个集群中运行多个Mysql服务器。在mysql5.0及以上的的二进制版本中，以及与最新的Linux版本兼容RPM包中提供了该存储引擎。

Mysql Cluster是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的Cluster(集群).通过无共享体系结构，系统能够使用低廉的硬件，而且对软硬件无特殊要求。此外每个组件有自己的内存和硬盘，不存在单点故障。

Mysql Cluster由一组计算机组成，每台计算机上均运行着多种进程，包括Mysql服务器，NDB Cluster的数据节点，管理服务器，以及(可能)专门的数据访问程序，关于Cluster中这些组件的关系图如下：



图一

名词解释：

A：冗余：通常指通过多重备份来增加系统的可靠性。

Mysql cluster的一些概念：

1-1 . NDB Management Server(NDB_MGMD)

这里节点的作用是管理Mysql Cluster内的其他节点，如提供配置数据，启动并停止节点，运行备份等。由于这里节点负责管理其他节点的配置，应在启动其他节点前首先启动这类节点。启动命令是：“ndb_mgmd"。

1-2 .SQL Node（客户节点）

这是用来访问Cluster数据的节点。对于Mysql Cluster，客户端节点是使用NDB Cluster存储引擎的传统Mysql服务器。通常，SQL节点是使用命令"mysqld -ndbcluster"启的，或将"ndbcluster"添加到"my.cnf"后使用"mysqld"启动。

1-3 .Data Node（数据节点）

数据节点用于保存Cluster的数据。数据节点的数据与副本的数目有关，是片段的倍数。例如：对于两个副本，每个副本有两个片段，那么就有四个数据节点。不过没有必要设置多个副本。数据节点是用命令"ndbd"启动的。

管理服务器负责管理Cluster配置文件和Cluster日志。Cluster中的每个节点从管理服务器检索配置数据，并请求确定管理服务器所在的位置的方式。当数据节点内出现新的事件时，节点奖关于这类事件的信息传输到管理服务器，然后将这里信息写入Cluster日志。

1-4 . 如果上面的描述还不是太清晰，请参见下面的连接，应该可以了解的更清晰
http://dev.mysql.com/doc/refman/5.1/zh/ndbcluster.html#mysql-cluster-overview

2. 为什么要实现高可用的mysql集群

对于外部应用来说，访问ndb，还是要使用ip地址的方式来连接sql节点来使用数据库。如果只有一个sql节点，当该节点宕机后，外部应用将无法使用ndb，也就是对外部应用程序的单节点故障。解决sql的单点故障的方法就是引入多个sql节点，再透过lvs技术给外部应用提供统一的ip地址来实现负载均衡。为了负载均衡器的宕机不影响使用，又引入了多台负载均衡器，再透过keepalived技术来实现高可用性。当某一个sql节点和负载均衡节点宕机后不影响外部应用程序的使用。

3. mysql集群实现的步骤

3-1. 规划

在MySql集群中分3类，5个节点

管理节点(mgm)-------------------ip:192.168.1.52

SQL节点1(sql1)------------------ip:192.168.1.53

SQL节点2(sql2)------------------ip:192.168.1.54

数据节点1(ndbd1)---------------ip:192.168.1.55

数据节点2(ndbd2)---------------ip:192.168.1.57

3-2.软件包下载与安装

下载地址：

http://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-Cluster-7.1/

下载包如下：

下载的时候注意os版本以及是否是64位，因为我的redhat5是64位的，所以，我下载了如下包：

MySQL-Cluster-gpl-client-7.1.14-1.rhel5.x86_64.rpm #sql节点安装

MySQL-Cluster-gpl-management-7.1.14-1.rhel5.x86_64.rpm #管理节点安装

MySQL-Cluster-gpl-server-7.1.14-1.rhel5.x86_64.rpm #sql节点安装

MySQL-Cluster-gpl-storage-7.1.14-1.rhel5.x86_64.rpm # ndbd节点安装

MySQL-Cluster-gpl-tools-7.1.14-1.rhel5.x86_64.rpm #管理节点安装

安装命令如下：

安装管理节点

#rpm –ivh MySQL-Cluster-gpl-management-7.1.14-1.rhel5.x86_64.rpm
#rpm –ivh MySQL-Cluster-gpl-tools-7.1.14-1.rhel5.x86_64.rpm

安装sql节点

#rpm –ivh MySQL-Cluster-gpl-server-7.1.14-1.rhel5.x86_64.rpm
#rpm –ivh MySQL-Cluster-gpl-client-7.1.14-1.rhel5.x86_64.rpm

安装ndb节点

#rpm –ivh MySQL-Cluster-gpl-storage-7.1.14-1.rhel5.x86_64.rpm

3-3. 配置管理(mgm)节点

#mkdir /etc/mysql-cluster
#vi /etc/mysql-cluster/config.ini

内容如下：

[ndbd default]
NoOfReplicas=2
DataMemory=80M
IndexMemory=18M
#TCP/IP options:
[tcp default]
portnumber=2202
#Management process options:
[ndb_mgmd]
id=1
hostname=192.168.1.52
datadir=/var/lib/mysql-cluster
#Options for data node
[ndbd]
id=2
hostname=192.168.1.55
datadir=/var/lib/mysql
[ndbd]
id=3
hostname=192.168.1.57
#Set SQL node
[mysqld]
id=4
hostname=192.168.1.53
[mysqld]
id=5
hostname=192.168.1.54

创建目录

#mkdir/var/lib/mysql-cluster

3-4.启动管理节点

#ndb_mgmd -f /etc/mysql-cluster/config.ini

启动成功后的提示：

MySQL Cluster Management Servermysql-5.1.56 ndb-7.1.14

查看启动后的端口号

#netstat –ntlp

3-5 .配置NDB节点

#vi /etc/my.cnf

在文件的末尾加入下面两行：

[mysql_cluster]
nbd-connectstring=192.168.1.52   #管理节点的ip

创建目录

#mkdir/var/lib/mysql #如已存在，则放弃

3-6. 启动NDB节点

#ndbd –initial

3-7.配置sql节点

#vi /etc/my.cnf
内容如下：
#The MySQL server
[mysqld]
port=3306
socket=/var/lib/mysql/mysql.sock
ndbcluster
default-storage-engine=NDBCLUSTER
[mysql_cluster]
ndb-connectstring=192.168.1.52

3-8. 启动sql节点

#servicemysql start

3-9.在管理节点中查看mysql Cluster的状态

#ndb_mgm
Ndb_mgm>show

Connected to Management Server at:localhost:1186

Cluster Configuration

---------------------

[ndbd(NDB)] 2 node(s)

id=2 @192.168.1.55 (mysql-5.1.56 ndb-7.1.14, Nodegroup: 0,Master)

id=3 (not connected, accepting connect from 192.168.1.57)

[ndb_mgmd(MGM)] 1 node(s)

id=1 @192.168.1.52 (mysql-5.1.56 ndb-7.1.14)

[mysqld(API)] 2 node(s)

id=4 (not connected, accepting connect from 192.168.1.53)

id=5 @192.168.1.54 (mysql-5.1.56 ndb-7.1.14)

上面红色的都是正常的，成功的ok的

浅绿色的都是ng的，需要重新处理的，具体处理，视具体情况而定。比如说重新配置节点，重启等。

3-10 . 注意各节点的启动顺序

注意启动顺序：（不能乱）

启动管理节点

启动ndb节点

启动sql节点

3-11. 以上mysql集群的安装完毕。

4. 高可用性的加入

4-1 . 在Mysql cluster集群完成后，现在加入lvs和keepalived软件来实现高可用性,规划如下：

建立两台新的物理主机，作为调度器.

调度器(Mysql-ha-lb1)----Ip:192.168.1.59

调度器(Mysql-ha-lb2)----Ip:192.168.1.60

Vip设置为192.168.1.58

4-2. 下载软件

ipvsadm-1.24-8.1.x86_64.rpm

keepalived-1.1.17.tar.gz
网上搜下就可以了，不再提供下载链接。

4-3. 在调度器上安装lvs

#rpm -ivh ipvsadm-1.24-8.1.x86_64.rpm

4-4. 在调度器上安装keepalived

注意在安装去前需要执行如下语句：

# ln -s /usr/src/kernels/2.6.18-92.el5-x86_64/ /usr/src/linux

红色部分可以根据具体的os系统来指定。目的（keepalived默认编译时是在/usr/src/linux下找内核源代码。可是我的内核源代码都在：/usr/src/kernels/2.6.18-53.el5-x86_64/）

#tar zxvf keepalived-1.1.17.tar.gz
#cd keepalived-1.1.17
# ./configure  && make && make install
( #find / -name keepalived  # 查看keepalived位置  )

在屏幕中打印的安装log中查看，是否有如下内容：

Keepalived configuration

------------------------

Keepalived version : 1.1.17

Compiler : gcc

Compiler flags : -g -O2

Extra Lib : -lpopt -lssl -lcrypto

Use IPVS Framework : Yes

IPVS sync daemon support: Yes

Use VRRP Framework : Yes

Use LinkWatch : No

Use Debug flags : No

如果红色字体部分为yes，则表示ok.（# ln -s /usr/src/kernels/2.6.18-92.el5-x86_64/ /usr/src/linux有效了）

继续配置keepalived

# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
#mkdir /etc/keepalived/
# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
# cp /usr/local/sbin/keepalived /usr/sbin/

4-5. 配置/etc/keepalived/keepalived.conf文件

#guration File for keepalived
#global define
global_defs {
router_id HaMySQL_1
}
vrrp_sync_group VGM {
group {
VI_MYSQL
}
}

vrrp_instance VI_MYSQL {
state MASTER  #副的设置为BACKUP
interface eth0
lvs_sync_daemon_inteface eth0
virtual_router_id 55
priority 100
advert_int 5
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.58/24 dev eth0
}

################LVS MySQL Start#######################
virtual_server 192.168.1.58 3306 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
#persistence_timeout 6
protocol TCP

real_server 192.168.1.53 3306 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 3306
}
}

real_server 192.168.1.54 3306 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 3306
}
}
}

#####################LVS MySQL END##########################

4-6. 配置lvs节点(Mysql Cluster的sql节点)：

#vi /etc/init.d/lvsrsdr
内容如下：
#!/bin/bash
#description:start realserver
VIP=192.168.1.58
./etc/rc.d/init.d/functions
case "$1" in

start)

/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2">/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "start LVS of RealServer DR"
;;

stop)
/sbin/ifconfig lo:0 down
route del $VIP>/dev/null 2>&1
echo "0">/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0">/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0">/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0">/proc/sys/net/ipv4/conf/all/arp_announce
echo "close LVS of RealServer DR"
;;
*)
echo "Usage:$0 {start|stop}"
exit 1
esac

给文件增加可执行权限
#chmod +x /etc/init.d/lvsrsdr

4-7. 启动lvs节点(Mysql Cluster的sql节点)

# service lvsrsdr start

4-8. 启动调度器

#service keepalived start

可以在打开窗口上clone个新窗口，输入：

#tail –f /var/log/messages

查看日志：
Feb 23 02:26:49 server1 last message repeated 4 times
Feb 23 02:27:58 server1 Keepalived: Starting Keepalived v1.1.17 (02/23,2012)
Feb 23 02:27:58 server1 Keepalived_healthcheckers: Using MII-BMSR NIC polling thread...
Feb 23 02:27:58 server1 Keepalived_healthcheckers: Registering Kernel netlink reflector
Feb 23 02:27:58 server1 Keepalived_healthcheckers: Registering Kernel netlink command channel
Feb 23 02:27:58 server1 Keepalived_healthcheckers: Opening file '/etc/keepalived/keepalived.conf'.
Feb 23 02:27:58 server1 Keepalived_healthcheckers: Configuration is using : 11807 Bytes
Feb 23 02:27:58 server1 Keepalived: Starting Healthcheck child process, pid=10289
Feb 23 02:27:58 server1 Keepalived_vrrp: Using MII-BMSR NIC polling thread...
Feb 23 02:27:58 server1 Keepalived_vrrp: Registering Kernel netlink reflector
Feb 23 02:27:58 server1 Keepalived_vrrp: Registering Kernel netlink command channel
Feb 23 02:27:58 server1 Keepalived_vrrp: Registering gratutious ARP shared channel
Feb 23 02:27:58 server1 Keepalived_vrrp: Opening file '/etc/keepalived/keepalived.conf'.
Feb 23 02:27:59 server1 Keepalived_vrrp: Configuration is using : 63643 Bytes
Feb 23 02:27:59 server1 Keepalived_vrrp: VRRP sockpool: [ifindex(2), proto(112), fd(9,10)]
Feb 23 02:27:58 server1 Keepalived: Starting VRRP child process, pid=10292
Feb 23 02:27:59 server1 kernel: IPVS: [rr] scheduler registered.
Feb 23 02:27:59 server1 Keepalived_healthcheckers: Activating healtchecker for service [192.168.1.53:3306]
Feb 23 02:27:59 server1 Keepalived_healthcheckers: Activating healtchecker for service [192.168.1.54:3306]
Feb 23 02:28:04 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) Transition to MASTER STATE
Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) Entering MASTER STATE
Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) setting protocol VIPs.
Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) Sending gratuitous ARPs on eth0 for 192.168.1.58

Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Group(VGM) Syncing instances to MASTER state
Feb 23 02:28:09 server1 avahi-daemon[5673]: Registering new address record for 192.168.1.58 on eth0.
Feb 23 02:28:14 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) Sending gratuitous ARPs on eth0 for 192.168.1.58

如果出现以上红色部分的内容，基本配置成功了

红色字体内容是：

Feb23 02:27:59 server1 Keepalived_healthcheckers: Activating healtchecker for service [192.168.1.53:3306]

Feb 23 02:27:59 server1 Keepalived_healthcheckers: Activating healtchecker forservice [192.168.1.54:3306]

Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) Entering MASTER STATE

Feb 23 02:28:09 server1 Keepalived_vrrp: VRRP_Instance(VI_MYSQL) setting protocol VIPs.

4.9 在调度节点输入#ipvsadm,如果出现如下的内容，则配置Ok

# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.58:mysql rr
-> 192.168.1.54:mysql           Route   100    0          0
-> 192.168.1.53:mysql           Route   100    0          0

5. 要远程应用程序访问mysql数据库，还需要一个远程访问的账号和密码，在mysql刚创建后，mysql是没有远程访问账号的，现在建立：

在sql节点上增加远程认证客户

Mysql>:select user,host,password frommysql.user;
Mysql>:grant all privileges on *.* toadmin@”%” identified by ‘123123’ with grant option;

6、 测试省略。

编辑中...