CosId 通用、灵活、高性能的分布式 ID 生成器
2021-06-26 22:00
1141 查看
CosId 通用、灵活、高性能的分布式 ID 生成器
介绍
CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS
性能:409W JMH 基准测试)、RedisIdGenerator (单机 TPS 性能(步长 1000):1268W JMH 基准测试)。
SnowflakeId
SnowflakeId 使用
Long(64 bits) 位分区来生成 ID 的一种分布式 ID 算法。
通用的位分配方案为:timestamp(41 bits) +machineId(10 bits) +sequence(12 bits) = 63 bits 。
- 41 位
timestamp
= (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳,即可以使用的绝对时间为EPOCH
+ 69 年,一般我们需要自定义EPOCH
为产品开发时间,另外还可以通过压缩其他区域的分配位数,来增加时间戳位数来延长可用时间。 - 10 位
machineId
= (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分,这里直接沿用 Kubernetes 的定义) 实例,一般情况下没有必要使用这么多位,所以会根据部署规模需要重新定义。 - 12 位
sequence
= (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID,全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。
从 SnowflakeId 设计上可以看出:
- 👍
timestamp
在高位,所以 SnowflakeId 是本机单调递增的,受全局时钟同步影响 SnowflakeId 是全局趋势递增的。 - 👍 SnowflakeId 不对任何第三方中间件有强依赖关系,并且性能也非常高。
- 👍 位分配方案可以按照业务系统需要灵活配置,来达到最优使用效果。
- 👎 强依赖本机时钟,潜在的时钟回拨问题会导致 ID 重复。
- 👎
machineId
需要手动设置,实际部署时如果采用手动分配machineId
,会非常低效。
CosId-SnowflakeId
主要解决 SnowflakeId 俩大问题:机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。
MachineIdDistributor (MachineId 分配器)
目前 CosId 提供了以下三种
MachineId分配器。
ManualMachineIdDistributor
cosid: snowflake: manual: enabled: true machine-id: 1
手动分配
MachineId
StatefulSetMachineIdDistributor
cosid: snowflake: stateful-set: enabled: true
使用
Kubernetes的StatefulSet提供的稳定的标识 ID 作为机器号。
RedisMachineIdDistributor 2f5c
cosid: snowflake: redis: enabled: true
使用
Redis作为机器号的分发存储。
ClockBackwardsSynchronizer (时钟回拨同步器)
默认提供的
DefaultClockBackwardsSynchronizer时钟回拨同步器使用主动等待同步策略,
spinThreshold(默认值 20 毫秒) 用于设置自旋等待阈值, 当大于
spinThreshold
时使用线程休眠等待时钟同步,如果超过
brokenThreshold(默认值 2 秒)时会直接抛出
ClockTooManyBackwardsException异常。
LocalMachineState (本地机器状态存储)
public class MachineState { public static final MachineState NOT_FOUND = of(-1, -1); private final int machineId; private final long lastTimeStamp; public MachineState(int machineId, long lastTimeStamp) { this.machineId = machineId; this.lastTimeStamp = lastTimeStamp; } public int getMachineId() { return machineId; } public long getLastTimeStamp() { return lastTimeStamp; } public static MachineState of(int machineId, long lastStamp) { return new MachineState(machineId, lastStamp); } }
默认提供的
FileLocalMachineState本地机器状态存储,使用本地文件存储机器号、最近一次时间戳,用作
MachineState缓存。
ClockSyncSnowflakeId (主动时钟同步 SnowflakeId
)
默认
SnowflakeId当发生时钟回拨时会直接抛出
ClockBackwardsException异常,而使用
ClockSyncSnowflakeId会使用
ClockBackwardsSynchronizer
主动等待时钟同步来重新生成 ID,提供更加友好的使用体验。
SafeJavaScriptSnowflakeId (JavaScript
安全的 SnowflakeId
)
SnowflakeId snowflakeId = SafeJavaScriptSnowflakeId.ofMillisecond(1);
JavaScript的
Number.MAX_SAFE_INTEGER只有 53 位,如果直接将 63 位的
SnowflakeId返回给前端,那么会值溢出的情况,通常我们可以将
SnowflakeId转换为
String 类型或者自定义
SnowflakeId位分配来缩短
SnowflakeId的位数 使
ID提供给前端时不溢出。
SnowflakeIdStateParser (可以将 SnowflakeId
解析成可读性更好的 SnowflakeIdState
)
public class SnowflakeIdState { private final long id; private final int machineId; private final long sequence; private final LocalDateTime timestamp; /** * {@link #timestamp}-{@link #machineId}-{@link #sequence} */ private final String friendlyId; }
SnowflakeIdState idState=snowflakeIdStateParser.parse(id); idState.getFriendlyId(); //20210623131730192-1-0
RedisIdGenerator
单机 Redis 的 TPS 性能极限大概在 10W+ 左右,如果在部分场景下我们对性能有更高的要求,那么可以选择使用增加每次
ID分发步长来降低网络IO请求频次,提高
IdGenerator性能,使用
RedisIdGenerator生成
IDTPS 极限约等于
10+W * Step。
IdGeneratorProvider
cosid: snowflake: provider: bizA: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12 bizB: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12
在实际使用中我们一般不会所有业务服务使用同一个
IdGenerator,而是不同的业务使用不同的
IdGenerator,那么
IdGeneratorProvider就是为了解决这个问题而存在的,他是
IdGenerator的容器,可以通过业务名来获取相应的
IdGenerator。
Examples
安装
Gradle
Kotlin DSL
val cosidVersion = "0.8.3"; implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")
Maven
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <artifactId>demo</artifactId> <properties> <cosid.version>0.8.3</cosid.version> </properties> <dependencies> <dependency> <groupId>me.ahoo.cosid</groupId> <artifactId>spring-boot-starter-cosid</artifactId> <version>${cosid.version}</version> </dependency> </dependencies> </project>
application.yaml
cosid: namespace: ${spring.application.name} snowflake: # stateful-set: # enabled: true # manual: # enabled: true # machine-id: 1 redis: enabled: true provider: order: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12 user: # epoch: # timestamp-bit: # machine-bit: sequence-bit: 12 enabled: false redis: enabled: true provider: order: step: 100
JMH-Benchmark
SnowflakeId
Benchmark Mode Cnt Score Error Units SnowflakeIdBenchmark.millisecondSnowflakeId_generate thrpt 4093924.313 ops/s SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate thrpt 511542.292 ops/s SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate thrpt 511939.629 ops/s SnowflakeIdBenchmark.secondSnowflakeId_generate thrpt 4204761.870 ops/s
RedisIdGenerator
Benchmark Mode Cnt Score Error Units RedisIdGeneratorBenchmark.step_1 thrpt 86243.935 ops/s RedisIdGeneratorBenchmark.step_100 thrpt 1718229.010 ops/s RedisIdGeneratorBenchmark.step_1000 thrpt 12688174.755 ops/s RedisIdGeneratorBenchmark.step_10000 thrpt 13995195.387 ops/s
相关文章推荐
- 分布式全局ID生成器设计
- 编写一个springboot start 类型的分布式全局id生成器
- ZooKeeper 实现命名服务(分布式的ID生成器)
- Twitter的Snowflake 分布式自增长Id生成器
- 高性能高可用的分布式唯一ID服务——mooon-uniq-id
- 分布式ID生成器(来源:架构师之路,2017-06-25 58沈剑 架构师之路)
- 分布式id生成器
- Jedis使用总结【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
- 分布式ID生成器的解决方案
- c#分布式ID生成器
- 分布式ID生成器解决方案
- 分布式ID生成器snowflake
- 分布式ID生成器-雪花算法(snowflake)
- Jedis使用总结【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
- 分布式的Id生成器
- 基于redis的分布式ID生成器
- Jedis使用总结【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
- 基于redis的分布式ID生成器
- 分布式ID生成器
- 互联网通用架构技术----分布式系统ID生成器