Amoeba For MySQL入门:实现数据库水平切分
2016-03-07 22:52
615 查看
当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。
Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。
本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。
使用数据库:MySQL
数据库节点1:127.0.0.1
数据库节点2:10.167.157.176
数据库名:yunzhu
切分的表:用户表(user_info)
切分的参数:用户ID(USERID)
切分规则:
用户ID小于等于100的数据存到数据库节点1,
用户ID大于100的数据存到数据库节点2
user_info表结构如下:
Sql代码
CREATE TABLE `user_info` (
`USERID` INT(10) NOT NULL DEFAULT '0',
`USERNAME` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`USERID`)
)
数据库节点1中user_info表中的数据:
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
数据库节点1中user_info表中的数据:
+--------+----------+
| USERID | USERNAME |
+--------+----------+
| 108 | Jiang Su |
| 200 | NanJing |
+--------+----------+
Amoeba版本:
amoeba-mysql-binary-2.2.0
下载地址:
http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz
下载后直接解压即可使用
配置文件全部位于conf目录下
配置连接Amoeba程序的用户名和密码:
Xml代码
<property name="user">root</property>
<property name="password">chenfeng123</property>
先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:
Xml代码
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
......
<!-- mysql port -->
<property name="port">3306</property>
<!-- mysql schema -->
<property name="schema">yunzhu</property>
<!-- mysql user -->
<property name="user">root</property>
<!-- mysql password -->
<property name="password">chenfeng</property>
</factoryConfig>
......
</dbServer>
再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:
Xml代码
<dbServer name="server1" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">127.0.0.1</property>
</factoryConfig>
</dbServer>
<dbServer name="server2" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">10.167.157.176</property>
</factoryConfig>
</dbServer>
配置切分规则:
1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)
2、切分规则:
1)用户ID小于100的数据存到数据库节点1
2)用户ID大于100的数据存到数据库节点2
Xml代码
<amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">
<tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">
<rule name="rule1">
<parameters>USERID</parameters>
<expression><![CDATA[ USERID <= 100]]></expression>
<defaultPools>server1</defaultPools>
<readPools>server1</readPools>
<writePools>server1</writePools>
</rule>
<rule name="rule2">
<parameters>USERID</parameters>
<expression><![CDATA[ USERID > 100 ]]></expression>
<defaultPools>server2</defaultPools>
<writePools>server2</writePools>
<readPools>server2</readPools>
</rule>
</tableRule>
</amoeba:rule>
通过bin目录下的amoeba.bat启动:
Dos代码
amoeba start
启动后控制台打印如下信息,可以看到:
Dos代码
log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar
y-2.2.0\bin\..\conf\log4j.xml
2013-01-08 09:32:27,765 INFO context.MysqlRuntimeContext - Amoeba for Mysql cur
rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0
log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b
inary-2.2.0\bin\../conf/access_list.conf
2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba for Mysql
listening on 0.0.0.0/0.0.0.0:8066.
2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba Monitor S
erver listening on /127.0.0.1:40170.
通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:
Dos代码
D:\>mysql -P8066 -uroot -pchenfeng123
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox
y-2.2.0
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql>
查询yunzhu库下的user_info表的数据,如下:
Sql代码
mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 108 | Jiang Su |
| 200 | NanJing |
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
4 rows in set (0.02 sec)
可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。
这里插入两条数据,一条USERID为55,另一条USERID为155,如下:
Dos代码
mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');
Query OK, 1 row affected (0.13 sec)
mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');
Query OK, 1 row affected (0.05 sec)
查询数据库节点1:
Dos代码
D:\>mysql -uroot -pchenfeng
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 33 to server version: 5.0.18-nt
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 55 | test55 |
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
3 rows in set (0.00 sec)
查询数据库节点2:
Dos代码
D:\>mysql -uroot -pchenfeng -h10.167.157.176
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 34 to server version: 5.0.18-nt
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> select * from yunzhu.user_info;
+--------+----------+
| USERID | USERNAME |
+--------+----------+
| 108 | Jiang Su |
| 155 | test155 |
| 200 | NanJing |
+--------+----------+
3 rows in set (0.00 sec)
可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。
因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。
这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:
1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。
2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。
Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。
本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。
一、背景介绍
使用数据库:MySQL数据库节点1:127.0.0.1
数据库节点2:10.167.157.176
数据库名:yunzhu
切分的表:用户表(user_info)
切分的参数:用户ID(USERID)
切分规则:
用户ID小于等于100的数据存到数据库节点1,
用户ID大于100的数据存到数据库节点2
user_info表结构如下:
Sql代码
CREATE TABLE `user_info` (
`USERID` INT(10) NOT NULL DEFAULT '0',
`USERNAME` VARCHAR(50) NULL DEFAULT NULL,
PRIMARY KEY (`USERID`)
)
数据库节点1中user_info表中的数据:
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
数据库节点1中user_info表中的数据:
+--------+----------+
| USERID | USERNAME |
+--------+----------+
| 108 | Jiang Su |
| 200 | NanJing |
+--------+----------+
Amoeba版本:
amoeba-mysql-binary-2.2.0
下载地址:
http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz
下载后直接解压即可使用
二、配置Amoeba
配置文件全部位于conf目录下
1、amoeba.xml
配置连接Amoeba程序的用户名和密码:Xml代码
<property name="user">root</property>
<property name="password">chenfeng123</property>
2、dbServers.xml
先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:Xml代码
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
......
<!-- mysql port -->
<property name="port">3306</property>
<!-- mysql schema -->
<property name="schema">yunzhu</property>
<!-- mysql user -->
<property name="user">root</property>
<!-- mysql password -->
<property name="password">chenfeng</property>
</factoryConfig>
......
</dbServer>
再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:
Xml代码
<dbServer name="server1" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">127.0.0.1</property>
</factoryConfig>
</dbServer>
<dbServer name="server2" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">10.167.157.176</property>
</factoryConfig>
</dbServer>
3、rule.xml
配置切分规则:1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)
2、切分规则:
1)用户ID小于100的数据存到数据库节点1
2)用户ID大于100的数据存到数据库节点2
Xml代码
<amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">
<tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">
<rule name="rule1">
<parameters>USERID</parameters>
<expression><![CDATA[ USERID <= 100]]></expression>
<defaultPools>server1</defaultPools>
<readPools>server1</readPools>
<writePools>server1</writePools>
</rule>
<rule name="rule2">
<parameters>USERID</parameters>
<expression><![CDATA[ USERID > 100 ]]></expression>
<defaultPools>server2</defaultPools>
<writePools>server2</writePools>
<readPools>server2</readPools>
</rule>
</tableRule>
</amoeba:rule>
三、运行及验证
1、启动Amoeba
通过bin目录下的amoeba.bat启动:Dos代码
amoeba start
启动后控制台打印如下信息,可以看到:
Dos代码
log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar
y-2.2.0\bin\..\conf\log4j.xml
2013-01-08 09:32:27,765 INFO context.MysqlRuntimeContext - Amoeba for Mysql cur
rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0
log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b
inary-2.2.0\bin\../conf/access_list.conf
2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba for Mysql
listening on 0.0.0.0/0.0.0.0:8066.
2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba Monitor S
erver listening on /127.0.0.1:40170.
2、连接Amoeba
通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:Dos代码
D:\>mysql -P8066 -uroot -pchenfeng123
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox
y-2.2.0
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql>
3、验证数据的查询
查询yunzhu库下的user_info表的数据,如下:Sql代码
mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 108 | Jiang Su |
| 200 | NanJing |
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
4 rows in set (0.02 sec)
可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。
4、验证数据的插入
这里插入两条数据,一条USERID为55,另一条USERID为155,如下:Dos代码
mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');
Query OK, 1 row affected (0.13 sec)
mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');
Query OK, 1 row affected (0.05 sec)
查询数据库节点1:
Dos代码
D:\>mysql -uroot -pchenfeng
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 33 to server version: 5.0.18-nt
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 55 | test55 |
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
3 rows in set (0.00 sec)
查询数据库节点2:
Dos代码
D:\>mysql -uroot -pchenfeng -h10.167.157.176
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 34 to server version: 5.0.18-nt
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> select * from yunzhu.user_info;
+--------+----------+
| USERID | USERNAME |
+--------+----------+
| 108 | Jiang Su |
| 155 | test155 |
| 200 | NanJing |
+--------+----------+
3 rows in set (0.00 sec)
可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。
因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。
四、注意一些限制
这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。
2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。
相关文章推荐
- Mysql配置文件my.ini详解
- Mysql 基于 Amoeba 的 水平和垂直 分片
- MySql查询不区分大小写解决方案(两种)
- Call to undefined function mysql_connnect()
- mysql 索引( mysql index )
- mysql优化笔记
- MySQL的连接查询及子查询
- 突然想起MySql乱码问题
- MySQL学习笔记3(创建、修改、删除表)
- MySQL引擎
- jdbc 连接 mysql
- MySQL批量SQL插入性能优化
- MySQL聚集函数
- 关于在windows下Mysql报error 1045错误的解决方法
- MySQL---增删改查
- GROUP_CONCAT对bigint类型参数的处理结果为BLOB类型
- 高性能Mysql:事务特性及实战
- 保障MySQL安全的14个最佳方法
- mysql服务启动不了
- mysql 性能优化方案