一步一图搭建-分布式服务器部署之mysql集群-使用amoeba整合mysql实现读写分离

数据库的读写分离

说明:

由于数据库没有优化,会导致主数据库的压力较大.

策略:

如果是读的操作,都访问从数据库.

如果是写的操作.都访问主数据库.

介绍:

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。

Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。

优势

Amoeba主要解决以下问题：

a). 数据切分后复杂数据源整合

b). 提供数据切分规则并降低数据切分规则给数据库带来的影响

c). 降低数据库与客户端连接

d). 读写分离路由

通过Amoeba实现读写分离

本篇是上篇 mysql集群主从复制的续篇 前面给大家讲到主从复制，给啦数据库安全一个备份保障。但真正的使用环境下。查数据远远比写数据或修改数据的操作多得多；马云也说过每小时有一千万的用户在淘宝上只看不买。包括我也是。根据这个业务场景我们就可以做一些优化操作，但用户查看时，把流量导向一部分专门提供查看的数据库集群，当用户执行下单等写操作时，把流量导入另外一些服务器集群，这样实现读写分离，抗住高并发，实现高可用。打造更加强大、更加强健、更加安全的数据库集群。

安装:

1.需要依赖JDK



jdk的配置网上有一大堆，我就不多赘述啦。

下载amoeba软件，上传到服务器中，上面讲的要用三台服务器，一台主服务器，一台从服务器，另外一台就是amoeba管理服务器啦



解压软件：



将软件移到相应的位置（这里主要是为啦以后便于管理 非必需操作）



进入amoeba目录：

这里主要配置二个地方即可，我们先从conf目录下配置：



在conf，=目录下只需要配置两个文件：dbServers.xml amoeba.xml



dbServers.xml 主要配置amoeba连接需要管理的mysql集群 配置如下：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port 要求所管理的mysql的端口号必须为3306 -->
<property name="port">3306</property>
<!-- mysql schema -->
<property name="schema">test</property>
<!-- 之前安装数据库的时候最好所有的用户名和密码都是一致的-->
<property name="user"><!-数据库用户名--></property>
<property name="password"><!--数据库密码--></property>
</factoryConfig>

<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property>
<property name="maxIdle">500</property>
<property name="minIdle">1</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>

<dbServer name="master"  parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress"><!--主数据库ip--></property>
</factoryConfig>
</dbServer>

<dbServer name="slave01"  parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress"><!--从数据库ip--></property>
</factoryConfig>
</dbServer>

<dbServer name="multiPool" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!--负载均衡的方式  1轮询  2权重  3哈希-->
<property name="loadbalance">1</property>
<!--轮询的配置方式  读2次从 读一次主机-->
<property name="poolNames">slave01,master,slave01</property>
</poolConfig>
</dbServer>

</amoeba:dbServers>

amoeba.xml 主要配置amoeba连接与与数据库的读写权限分配：

<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">8066</property>
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<!--为其添加用户名 和密码-->
<property name="user">root</property>
<property name="password">root</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>

</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size  -->
<property name="statementCacheSize">500</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>

<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">master</property>

<!--写的服务-->
<property name="writePool">master</property>
<!--读的服务-->
<property name="readPool">multiPool</property>

<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>

由于所有的读写操作都需要通过amoeba来进行中转，所以amoeba所需要的运行空间需要更大，这里是加大amoeba的运行资源：



jvm.properties

# app名字
APP_NAME=Amoeba-MySQL

# app版本号
APP_VERSION=3.0.0-beta

# 日志输出路径，log4j中可引用参数 ${project.output}

APP_OUTPUT_PATH=$PROJECT_HOME/logs

# 应用程序的PID文件存放路径,    默认存放在: ${project.home}/${APP_NAME}.pid

#APP_PID_PATH=/temp/logs/$APP_NAME

# 控制台输出到日志文件

APP_CONSOLE_LOG=$APP_OUTPUT_PATH/console.log

# 程序相关的配置参数

#APP_OPTIONS="-DmyParam=value1 -DmyParam2=value2"

# 启动参数

#APP_ARGS="args0 "

# JVM相关的参数，包括内存配置、垃圾回收策略

JVM_OPTIONS="-server -Xms512m -Xmx1024m -Xss512k -XX:PermSize=16m -XX:MaxPermSize=96m"

# 应用程序忽略的信号列表，以逗号分割，程序shutdown的信号为15（可用 kill -15 pid 可让程序文明的shutdown，请不要在这儿填15）

IGNORE_SIGNALS=1,2

配置好后 cd ../bin 进入bin目录下 运行amoeba：



amoeba运行在8066端口：



测试配置的amoeba，这时我们的程序就可以直接连amoeba 再由amoeba智能中转到数据库中，这里的amoeba就相当于一个主服务器的代理服务器，这里我们用sqLyog数据库连接工具来代替程序连接：



如果连接不上最有可能的情况就是系统的防火墙啦，把8066端口放出来：



这篇博客写的linux防火墙相关的命令十分详细，亲测有效

如果上面提到的都配置成功啦接下来就可以看到神奇的事情啦



amoeba中跟之前主服务器中的数据库完全一样，现在直接对amoeba进行操作就相当于操作啦主服务器，因为主服务器主要担任写操作，主服务器执行写操作后，从服务器会实时把主服务器上的数据同步下来；查服务由从服务器承担。这样就实现啦数据库的读写分离。这里只是拿两台数据库服务器做例子，在实际的运营中可以使用集群来操作。这样的服务器强度将会更加强大。