SpringCloud实现分库分表模式下,数据库实时扩容方案
2019-10-16 12:07
1591 查看
本文源码:GitHub·点这里 || GitEE·点这里
一、项目结构
1、工程结构
2、模块命名
shard-common-entity: 公共代码块 shard-open-inte: 开放接口管理 shard-eureka-7001: 注册中心 shard-two-provider-8001: 8001 基于两台库的服务 shard-three-provider-8002:8002 基于三台库的服务
3、代码依赖结构
4、项目启动顺序
(1)shard-eureka-7001: 注册中心 (2)shard-two-provider-8001: 8001 基于两台库的服务 (3)shard-three-provider-8002:8002 基于三台库的服务
按照顺序启动,且等一个服务完全启动后,在启动下一个服务,不然可能遇到一些坑。
二、核心代码块
1、8001 服务提供一个对外服务
基于Feign的调用方式 作用:基于两台分库分表的数据查询接口。
import org.springframework.cloud.netflix.feign.FeignClient; import org.springframework.web.bind.annotation.PathVariable; import org.springframework.web.bind.annotation.RequestMapping; import shard.jdbc.common.entity.TableOne; /** * shard-two-provider-8001 * 对外开放接口 */ @FeignClient(value = "shard-provider-8001") public interface TwoOpenService { @RequestMapping("/selectOneByPhone/{phone}") TableOne selectOneByPhone(@PathVariable("phone") String phone) ; }
2、8002 服务提供一个对外服务
基于Feign的调用方式 作用:基于三台分库分表的数据存储接口。
import org.springframework.cloud.netflix.feign.FeignClient; import org.springframework.web.bind.annotation.RequestBody; import org.springframework.web.bind.annotation.RequestMapping; import shard.jdbc.common.entity.TableOne; /** * 数据迁移服务接口 */ @FeignClient(value = "shard-provider-8002") public interface MoveDataService { @RequestMapping("/moveData") Integer moveData (@RequestBody TableOne tableOne) ; }
3、基于8002服务数据查询接口
查询流程图
代码块
/** * 8001 端口 :基于两台分库分表策略的数据查询接口 */ @Resource private TwoOpenService twoOpenService ; @Override public TableOne selectOneByPhone(String phone) { TableOne tableOne = tableOneMapper.selectOneByPhone(phone); if (tableOne != null){ LOG.info("8002 === >> tableOne :"+tableOne); } // 8002 服务没有查到数据 if (tableOne == null){ // 调用 8001 开放的查询接口 tableOne = twoOpenService.selectOneByPhone(phone) ; LOG.info("8001 === >> tableOne :"+tableOne); } return tableOne ; }
4、基于 8001 数据扫描迁移代码
迁移流程图
代码块
/** * 8002 端口开放的数据入库接口 */ @Resource private MoveDataService moveDataService ; /** * 扫描,并迁移数据 * 以 库 db_2 的 table_one_1 表为例 */ @Override public void scanDataRun() { String sql = "SELECT id,phone,back_one backOne,back_two backTwo,back_three backThree FROM table_one_1" ; // dataTwoTemplate 对应的数据库:ds_2 List<TableOne> tableOneList = dataTwoTemplate.query(sql,new Object[]{},new BeanPropertyRowMapper<>(TableOne.class)) ; if (tableOneList != null && tableOneList.size()>0){ int i = 0 ; for (TableOne tableOne : tableOneList) { String db_num = HashUtil.moveDb(tableOne.getPhone()) ; String tb_num = HashUtil.moveTable(tableOne.getPhone()) ; // 只演示向数据新加库 ds_4 迁移的数据 if (db_num.equals("ds_4")){ i += 1 ; LOG.info("迁移总数数=>" + i + "=>库位置=>"+db_num+"=>表位置=>"+tb_num+"=>数据:【"+tableOne+"】"); // 扫描完成:执行新库迁移和旧库清理过程 moveDataService.moveData(tableOne) ; // dataTwoTemplate.update("DELETE FROM table_one_1 WHERE id=? AND phone=?",tableOne.getId(),tableOne.getPhone()); } } } }
三、演示执行流程
1、项目流程图
2、测试执行流程
(1)、访问8002 数据查询端口
http://127.0.0.1:8002/selectOneByPhone/phone20 日志输出: 8001 服务查询到数据 8001 === >> tableOne :+{tableOne}
(2)、执行8001 数据扫描迁移
http://127.0.0.1:8001/scanData
(3)、再次访问8002 数据查询端口
http://127.0.0.1:8002/selectOneByPhone/phone20 日志输出: 8002 服务查询到数据 8002 === >> tableOne :+{tableOne}
四、源代码地址
GitHub·地址 https://github.com/cicadasmile/spring-cloud-base GitEE·地址 https://gitee.com/cicadasmile/spring-cloud-base
相关文章推荐
- 基于SpringCloud实现Shard-Jdbc的分库分表模式,数据库扩容方案
- 数据库分库分表策略的具体实现方案
- 数据库分库分表策略的具体实现方案
- 数据库分库分表策略的具体实现方案
- 数据库分库分表策略的具体实现方案
- 数据库性能优化的五种方案(mycat,基于阿里coba开源的数据库中间件,很容易实现分库分表、主从切换功能。另一个当当网开源的一个库 sharding-jdbc)
- 170123、数据库分库分表策略的具体实现方案
- 数据库分库分表策略的具体实现方案
- MySQL 高可用:mysql+mycat实现数据库分片(分库分表)
- 【数据库中间件】MyCat分表分库规则实现
- 数据库分库分表(sharding)(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
- 数据库为什么要分库分表及实现策略
- 秋色园QBlog技术原理解析:性能优化篇:数据库文章表分表及分库减压方案(十五)
- 数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
- 数据库分表和分库的原理及基于thinkPHP的实现方法
- 数据库分表和分库的原理及基于thinkPHP的实现方法
- 秋色园QBlog技术原理解析:性能优化篇:数据库文章表分表及分库减压方案(十五)
- 数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案
- 组合spring jdbc 实现分表分库的数据库访问构思
- 数据库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案