Abp VNext 分表分库

ShardingCore

ShardingCore

Gitee Star 助力dotnet 生态 Github Star

背景

你是否在使用efcore,你是否在使用abp，你是否对目前的分表十分厌恶，手动指定表让你的代码无辜多出很多胶水代码，那么这次的文章可以很好的帮你解决掉当前的困难点，sharding-core 针对efcore的分库分表读写分离的痛点进行扩展,可以完美集成到efcore生态的系统里面,无论你是abp还是其他使用efcore的框架,你确定真的不看一下吗,如何集成abp当时我发布这个库的时候就有很多人问我是否支持，我的回答是支持的，只是个人没有时间去实现。这次已经实现了我这边将分享下如何集成

sharding-core

abp vnext

距离上一篇博客已经两周了，在这两周期间本人还是做了很多事情，针对优化

sharding-core

sharing-core

abp vnext

如何集成

abp项目创建/下载

我这边是通过github进行了例子的todoapp 进行下载,下载后是一个集合例子，我们获取TodoApp项目进行单独处理，打开然后编译。

注意如果你自己会新建那么也是一样的

集成abp思路

用过abp的用户都应该知道abp的dbcontext没有什么不一样，唯一需要注意的就是

• abp:只要你的dbcontext继承至

  public class TDbContext:AbpDbContext<TDbContext>

  那么就可以完美使用. 但是sharding-core的使用我们通过readme来查看发现
• sharidng-core:只要你的dbcontext继承至

  public class TDbContext:AbstractShardingDbContext

  那么你就可以完美使用.

好家伙直接给想自己集成的同学搞蒙蔽了，c#又不是c艹没有多继承啊那怎么办，但是这边其实是有一个误区的就是abp确实需要继承abpdbcontext但是sharding-core是已接口作为依赖来开发的，所以我们只需要实现

ISharingDbContext

ISupportShardingTransaction

注意：这边sharing-core让你们继承AbstractShardingDbContext是因为重复写这些接口的实现会很麻烦所以给你们写了一个抽象方便你们使用

abp集成注意事项

• 通过源码可以看出abp集成需要赋值lazyserviceprovider 因为abp的dbcontext是交由uow自己处理并且需要支持很多特性所以我们在创建dbcontext的时候需要对此处进行赋值注意点。
• 注意abp默认提供了

  IEntity<Guid>

  ,

  IHasCreationTime

  属性较为常用所以我们需要注意如何支持这两种，因为当你用id取模分表或者创建时间分表的使用场景还是比较常见的所以我们需要支持。 因为在insert时如果sharding-core发现对应的分表字段为null就无法继续执行下去，所以为了兼容abp需要支持两个比较常见的需求

赋值依赖注入支持domain event等事件

自动属性

了解sahrding-core针对dbcontext的分表支持

首先我们需要知道sharding-core是如何对一个普通的dbcontext进行支持的

如果你的dbcontext有用到以下任意一个接口那么集成起来可能需要自己去实现对应的接口

• IDbSetSource 用来接管dbset
• IQueryCompiler 用来接管查询编译
• IDbContextTransactionManager 用来接管事务开启
• IRelationalTransactionFactory 用来接管事务的提交、回滚 和加入
• IModelCacheKeyFactory 用来接管dbcontext的模型缓存
• IModelCustomizer 用来接管dbcontext的模型初始化前后自定义

如果你的efcore想接入sharding-core并且如果你没有对dbcontext的上述任何接口进行替换那么可以很容易就接入，如果你的efcore在创建的时候有针对上述的接口进行替换，就需要你自己手动进行两边的实现合并。

如何接入sharding-core

这边我们假设你没有对上述的dbcontextoptionbuilder的创建进行接口的替换那么你只需要进行如下操作就可以简单接入sharding-core

• 首先就是默认创建dbcontext替换为sharding-core的配置

原先:

public void ConfigureServices(IServiceCollection services)

services.AddDbContext<DefaultShardingTableDbContext>(o => o.UseSqlServer("Server=.;Database=TodoApp;Trusted_Connection=True"));

现在:

public void ConfigureServices(IServiceCollection services)

//1.先检查dbcontext构造函数只允许 DbContextOptions<TodoAppDbContext> options
ShardingCoreHelper.CheckContextConstructors<DefaultShardingTableDbContext>();
//2.添加UseSharding<DefaultShardingTableDbContext>()让依赖注入创建的dbcontext支持查询插入事务的管理
services.AddDbContext<DefaultShardingTableDbContext>(o=>o.UseSqlServer("Server=.;Database=TodoApp;Trusted_Connection=True").UseSharding<DefaultShardingTableDbContext>());
//3.添加分表配置
new ShardingCoreConfigBuilder<DefaultShardingTableDbContext>(context.Services,((s, builder) =>
{
builder.UseSqlServer(s);
} )).Begin(o =>
{
o.CreateShardingTableOnStart = false;
o.EnsureCreatedWithOutShardingTable = false;
o.AutoTrackEntity = true;
})
.AddShardingTransaction((connection, builder) =>
builder.UseSqlServer(connection))
.AddDefaultDataSource("ds0", "Server=.;Database=TodoApp;Trusted_Connection=True")
.AddShardingTableRoute(o =>
{
o.AddShardingTableRoute<ToDoItemVirtualTableRoute>();
}).End();

public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
//4.初始化分表配置
var shardingBootstrapper = app.ApplicationServices.GetRequiredService<IShardingBootstrapper>();
shardingBootstrapper.Start();

综上所述我们接入任何efcore的系统只需要进行4步(第一步都可以去掉只需要3步)就可以完美接入了，可以保证使用

abp正式接入替换

修改将todoitem表作为id取模来进行分表演示

修改TodoItem实体

默认TodoApp有一个TodoItem实体对象我们首先创建两个空接口

//标识对应分表对像的i分表字段是id,是自动创建的guid
public interface IShardingKeyIsGuId
{
}
//标识对应的分表对应的分表字段是创建时间
public interface IShardingKeyIsCreationTime
{
}
//修改TodoItem
public class TodoItem : BasicAggregateRoot<Guid>,IShardingTable,IShardingKeyIsGuId
{
[ShardingTableKey]
public override Guid Id { get; protected set; }
public string Text { get; set; }
}

创建TodoItem的分表路由

通过继承默认分表取模路由

AbstractSimpleShardingModKeyStringVirtualTableRoute

//id取模虽然是string但是guid也是一样的最多两位就是00_99，按5来取模
public class ToDoItemVirtualTableRoute:AbstractSimpleShardingModKeyStringVirtualTableRoute<TodoItem>
{
public ToDoItemVirtualTableRoute() : base(2, 5)
{
}
}

实现抽象类修改TodoItemDbContext

实现 AbstractShardingAbpDbContext

public class TodoAppDbContext :AbstractShardingAbpDbContext<TodoAppDbContext>,
IIdentityDbContext,
ITenantManagementDbContext,
IShardingTableDbContext

修改实体TodoItem

public class TodoItem : BasicAggregateRoot<Guid>,IShardingTable,IShardingKeyIsGuId
{
[ShardingTableKey]
public override Guid Id { get; protected set; }
public string Text { get; set; }
}

其中别的接口都和sharding-core一致,为了支持abp的部分自动属性这边进行了新的接口添加用来标识当前的对象是通过什么方式来进行分表的,然后可以高效的通过接口来进行赋值，比如

IShardingKeyIsGuId

public abstract class AbstractShardingAbpDbContext<TDbContext>...
{
......
private void CheckAndSetShardingKeyThatSupportAutoCreate<TEntity>(TEntity entity) where TEntity : class
{
if (entity is IShardingKeyIsGuId)
{

if (entity is IEntity<Guid> guidEntity)
{
if (guidEntity.Id != default)
{
return;
}
var idProperty = entity.GetProperty(nameof(IEntity<Guid>.Id));

var dbGeneratedAttr = ReflectionHelper
.GetSingleAttributeOrDefault<DatabaseGeneratedAttribute>(
idProperty
);

if (dbGeneratedAttr != null && dbGeneratedAttr.DatabaseGeneratedOption != DatabaseGeneratedOption.None)
{
return;
}

EntityHelper.TrySetId(
guidEntity,
() => GuidGenerator.Create(),
true
);
}
}
else if (entity is IShardingKeyIsCreationTime)
{
AuditPropertySetter?.SetCreationProperties(entity);
}
}
}

添加虚拟路由

既然你讲TodoItem进行了分表，那么你这边需要告诉系统你是按怎么个规则进行分表的，假设我们默认按id取模那么可以继承sharding-core默认提供的取模路由

public class ToDoItemVirtualTableRoute:AbstractSimpleShardingModKeyStringVirtualTableRoute<TodoItem>
{
public ToDoItemVirtualTableRoute() : base(2, 5)
{
}
}

简单说明就是分表后缀为2位数00-99,5代表模5也就是00,01,02,03,04 注意：

IShardingTableDbContext

IShardingTableDbContext

选中

TodoApp.EntityFrameworkCore

TodoAppDbContextFactory

EFCore.Sharding

static TodoAppDbContextFactory()
{
var services = new ServiceCollection();
var configuration = BuildConfiguration();
services.AddShardingDbContext<TodoAppDbContext>(
(conn, o) =>
o.UseSqlServer(conn)
.ReplaceService<IMigrationsSqlGenerator, ShardingSqlServerMigrationsSqlGenerator<TodoAppDbContext>>()
).Begin(o =>
{
o.AutoTrackEntity = true;
})
.AddShardingTransaction((connection, builder) =>
builder.UseSqlServer(connection))
.AddDefaultDataSource("ds0",
configuration.GetConnectionString("Default"))
.AddShardingTableRoute(o =>
{
o.AddShardingTableRoute<ToDoItemVirtualTableRoute>();
}).End();
services.AddLogging();
var buildServiceProvider = services.BuildServiceProvider();
ShardingContainer.SetServices(buildServiceProvider);
new ShardingBootstrapper(buildServiceProvider).Start();
}

public TodoAppDbContext CreateDbContext(string[] args)
{
return ShardingContainer.GetService<TodoAppDbContext>();
}

主要代码就是告诉efcore.tools如何创建对应的dbcontext 然后打开nuget控制台 选中需要生成迁移的项目 启动项设置为

执行命令

PM> Add-Migration InitTodoApp

PM> update-database

到此为止我们的code first已经完成了,系统会自动根据分表的配置来进行创建对应的sql语句

abp启动

因为

sharding-core

sharding-core

• 自定义替换DbContextOptions的部分服务
• dbcontext的构造函数是DbContextOptions或者是他的泛型类

修改

TodoAppEntityFrameworkCoreModule

public override void ConfigureServices(ServiceConfigurationContext context)
{
......
Configure<AbpDbContextOptions>(options =>
{
/* The main point to change your DBMS.
* See also TodoAppDbContextFactory for EF Core tooling. */
options.UseSqlServer();
options.Configure<TodoAppDbContext>(context1 =>
{
context1.DbContextOptions.UseSqlServer("Server=.;Database=TodoApp;Trusted_Connection=True").UseSharding<TodoAppDbContext>();
});
});
ShardingCoreHelper.CheckContextConstructors<TodoAppDbContext>();
new ShardingCoreConfigBuilder<TodoAppDbContext>(context.Services,((s, builder) =>
{
builder.UseSqlServer(s);
} )).Begin(o =>
{
o.CreateShardingTableOnStart = false;
o.EnsureCreatedWithOutShardingTable = false;
o.AutoTrackEntity = true;
})
.AddShardingTransaction((connection, builder) =>
builder.UseSqlServer(connection))
.AddDefaultDataSource("ds0", "Server=.;Database=TodoApp;Trusted_Connection=True")
.AddShardingTableRoute(o =>
{
o.AddShardingTableRoute<ToDoItemVirtualTableRoute>();
}).End();
}

public override void OnPostApplicationInitialization(ApplicationInitializationContext context)
{
context.ServiceProvider.GetRequiredService<IShardingBootstrapper>().Start();
}

稍微解释下

options.Configure<TodoAppDbContext>(context1 =>
{
context1.DbContextOptions.UseSqlServer("Server=.;Database=TodoApp;Trusted_Connection=True").UseSharding<TodoAppDbContext>();
});

用来告诉abp，TodoAppDbContext的创建需要使用useSharding， 之后就是

sharding-core

context.ServiceProvider.GetRequiredService<IShardingBootstrapper>().Start();

这个千万不能忘

运行TodoApp.Web

通过添加efcore的日志我们可以清晰地看到abp能够正确的将对应的数据插入进去,并且完全不需要修改现有代码,基本上的零基础使用,简单的配置, 如果您喜欢本库就点点star点点赞，来都来了点个推荐不过分吧。为.net生态做一份贡献,希望各位个多多提issue，和pr十分感激

项目demo

AbpVNextShardingTodoApp

分表分库组件求赞求star

• Github ShardingCore
• Gitee ShardingCore

博客

QQ群:771630778

个人QQ:326308290(欢迎技术支持提供您宝贵的意见)

个人邮箱:326308290@qq.com

特别感谢

• EFCore.Sharding的迁移思路