Galera Cluster for MySQL

一、MySQL Galera介绍

1、galera特性
MySQL/Galera是MySQL/InnoDB的多主集群,有以下特性:
1）同步复制
2）Active-active的多主拓扑结构
3）集群任意节点可以读和写
4）自动身份控制,失败节点自动脱离集群
5）自动节点接入
6）真正的基于”行”级别和ID检查的并行复制
7）无单点故障,易扩展

2、架构图





二、Galera Cluster安装
1、安装前的准备
1）需要至少三台mysql服务器，如果只有两台做cluster的话，一旦出现数据不一致的情况，就可能发生脑裂，需要一台仲裁服务器，如果直接三台做cluster的话，就不再需要仲裁

2）如果是对现有环境做galera集群，需要对mysql现有表做检查，包括表，表引擎，是否无主键，是否有全文索引，是否有空间索引：

SELECT DISTINCT CONCAT(t.table_schema,'.',t.table_name) as tbl, t.engine, IF(ISNULL(c.constraint_name),'NOPK','') AS nopk, IF(s.index_type = 'FULLTEXT','FULLTEXT','') as ftidx, IF(s.index_type = 'SPATIAL','SPATIAL','') as gisidx FROM information_schema.tables AS t LEFT JOIN information_schema.key_column_usage AS c ON (t.table_schema = c.constraint_schema AND t.table_name = c.table_name AND c.constraint_name = 'PRIMARY') LEFT JOIN information_schema.statistics AS s ON (t.table_schema = s.table_schema AND t.table_name = s.table_name AND s.index_type IN ('FULLTEXT','SPATIAL')) WHERE t.table_schema NOT IN ('information_schema','performance_schema','mysql') AND t.table_type = 'BASE TABLE' AND (t.engine <> 'InnoDB' OR c.constraint_name IS NULL OR s.index_type IN ('FULLTEXT','SPATIAL')) ORDER BY t.table_schema,t.table_name;

2、实验环境：
mysql1：172.16.5.156
mysql2：172.16.5.157
mysql3：172.16.5.158

3、安装相关依赖包：
yum groupinstall -y "Development Tools" "Server Platform Development"

4、安装含wsrep patch的mysql版本
yum install -y libaio-devel
wget https://launchpad.net/codership-mysql/5.6/5.6.16-25.5/+download/mysql-5.6.16_wsrep_25.5-linux-x86_64.tar.gz
tar xf mysql-5.6.16_wsrep_25.5-linux-x86_64.tar.gz
mv mysql-5.6.16_wsrep_25.5-linux-x86_64 /usr/local/mysql
useradd -s /sbin/nologin -M mysql
mkdir /data/mydata
./scripts/mysql_install_db --no-defaults --datadir=/data/mydata --user=mysql
chown -R mysql.mysql /data/mydata/
chown root.mysql /usr/local/mysql
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

5、安装galera复制插件
wget https://launchpad.net/galera/3.x/25.3.5/+download/galera-25.3.5-src.tar.gz
tar xf galera-25.3.5-src.tar.gz
cd galera-25.3.5-src
scons
cp garb/garbd /usr/local/mysql/bin
cp libgalera_smm.so /usr/local/mysql/lib/plugin/

6、编辑mysql配置文件my.cnf

[mysqld] basedir = /usr/local/mysql datadir = /data/mydata port = 3306 server-id=101 socket = /tmp/mysql.sock pid-file=/data/mydata/mysql.pid sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES wsrep_node_name = mysql1 wsrep_provider = /usr/local/mysql/lib/plugin/libgalera_smm.so wsrep_sst_method = rsync #wsrep_sst_auth=sst:sstpass #使用sst的用户和密码，这里如果开启，需要在mysql上创建该用户，并授予其足够的权限 default_storage_engine=InnoDB innodb_autoinc_lock_mode=2 innodb_locks_unsafe_for_binlog=1 innodb_flush_log_at_trx_commit=1 innodb_file_per_table=1 binlog_format=ROW log-bin=mysql-bin relay-log=mysql-relay-bin log-slave-updates=1

7、启动mysql
service mysqld start --wsrep_cluster_address=gcomm://
注：
1）"gcomm://"是特殊地址，仅仅是galera cluster初始化启动时候使用，再次启动时需要使用具体的ip地址
2）wsrep默认使用4567端口，mysql启动后，除了检查mysql的3306端口外，还要检查此端口

8、给Galera添加一个新的mysql节点
在Galera Cluster中，新接入的节点叫Joiner,给joiner提供复制的节点叫Donor。





在生产环境中，建议设置一个专用的donor，这个专用的donor不执行任何来自客户端的SQL请求，这样做有以下几点好处：
1）数据的一致性：
因为donor本身不执行任何客户端SQL，所以在这个节点上发生事务冲突的可能性最小，因此，如果发现集群有数据不一致时，donor上的数据应该是整个集群中最准确的。
2）数据安全性：
因为专用donor本身不执行任何客户端SQL，所以在这个节点上发生灾难事件的可能性最小，因此当整个集群宕掉的时候，该节点应该是恢复集群的最佳节点。
3）高可用性：
专用donor可以作为专门的state snapshot donor。因为该节点不服务于客户端，因此当使用此节点进行sst的时候，不影响用户体验，并且前端的负载均衡设备也不需要重新配置。

添加的新节点需要满足以下几个条件：
1）安装带有wsrep patch的mysql版本
2）安装galera复制插件
3）配置好新节点的mysql(参考donor的my.cnf)
4）配置或启动的gcomm://的地址需要使用donor的IP。

由此，可以参考172.16.5.156配置172.16.5.157，启动mysql如下：
service mysqld start --wsrep_cluster_address="gcomm://172.16.5.156:4567"
注：
指定集群ip的方式有三种：
1）如上所示，在mysql启动时，加--wsrep_cluster_address参数指定
2）在my.cnf中配置wsrep_cluster_address
3）直接修改全局变量：set global wsrep_cluster_address="gcomm://172.16.5.156:4567"
另外需要说明的是，gcomm://的值可以有多个，彼此间用逗号隔开，例：gcomm://172.16.5.156:4567, 172.16.5.158:4567

9、添加仲裁节点
在只有两台数据库节点的galera集群中，为了解决脑裂问题，需要引入仲裁节点，集群中可以有多个仲裁节点。仲裁节点上没有数据，它仅仅只是在集群发生脑裂时仲裁。仲裁节点加入集群的方法如下：
garbd -a gcomm://172.16.5.156:4567 -g my_wsrep_cluster -d
-a：指定集群地址
-d：以守护进程的方式运行
-g：集群名称

三、Galera监控
1、常用查询指令
查看wsrep版本: mysql> SHOW GLOBAL STATUS LIKE 'wsrep_provider_version';
查看wsrep有关的所有变量: mysql> SHOW VARIABLES LIKE 'wsrep%' \G
查看Galera集群状态: mysql> show status like 'wsrep%';

2、参数说明
1）集群完整性检查:
wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.
wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时”分区”了.当节点之间网络连接恢复的时候应该会恢复一样的值.
wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.
wsrep_cluster_status:集群组成的状态.如果不为”Primary”,说明出现”分区”或是”split-brain”状况.

2）节点状态检查:
wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.
wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.(可能是wsrep_cluster_address或wsrep_cluster_name等配置错造成的.具体错误需要查看错误日志)
wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.

3）复制健康检查:
wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.
wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.
wsrep_flow_control_sent:表示该节点已经停止复制了多少次.
wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.

最慢的节点的wsrep_flow_control_sent和wsrep_local_recv_queue_avg这两个值最高.这两个值较低的话,相对更好.

4）检测慢网络问题:
wsrep_local_send_queue_avg:网络瓶颈的预兆.如果这个值比较高的话,可能存在网络瓶

5）冲突或死锁的数目:
wsrep_last_committed:最后提交的事务数目
wsrep_local_cert_failures和wsrep_local_bf_aborts:回滚,检测到的冲突数目

四、Galera的状态快照转移（SST）
SST允许新接入的节点使用定制的方法来获取最初的数据，当前mysql支持三种SST方法：
1、mysqldump
这需要接收服务器在转移前完全初始化和准备接收连接。此方法是通过定义阻塞，阻止修改自身状态转移的持续时间。这也是最慢的方式，可能会带来高负载的问题。
2、rsync
最快的方式，也是galera默认使用的方式。rsync脚本运行在发送和接收端上。在接收端，开启rsync服务模式，等待发送端连接。在发送端，开启rsync客户端模式，发送mysql数据目录内容到连接节点。这种方法也会阻塞，但是比mysqldump快。
3、xtrabackup
也很快，但需要额外安装。