CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器：SnowflakeId （单机 TPS
性能：409W JMH 基准测试）、RedisIdGenerator (单机 TPS 性能(步长 1000)：1268W JMH 基准测试)。

SnowflakeId

Long

timestamp

machineId

sequence

• 41 位

  timestamp

  = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳，即可以使用的绝对时间为

  EPOCH

  + 69 年，一般我们需要自定义

  EPOCH

  为产品开发时间，另外还可以通过压缩其他区域的分配位数，来增加时间戳位数来延长可用时间。
• 10 位

  machineId

  = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分，这里直接沿用 Kubernetes 的定义) 实例，一般情况下没有必要使用这么多位，所以会根据部署规模需要重新定义。
• 12 位

  sequence

  = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID，全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

从 SnowflakeId 设计上可以看出:

• 👍

  timestamp

  在高位，所以 SnowflakeId 是本机单调递增的，受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
• 👍 SnowflakeId 不对任何第三方中间件有强依赖关系，并且性能也非常高。
• 👍 位分配方案可以按照业务系统需要灵活配置，来达到最优使用效果。
• 👎 强依赖本机时钟，潜在的时钟回拨问题会导致 ID 重复。
• 👎

  machineId

  需要手动设置，实际部署时如果采用手动分配

  machineId

  ，会非常低效。

CosId-SnowflakeId
主要解决 SnowflakeId 俩大问题：机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

MachineId

ManualMachineIdDistributor

cosid:
snowflake:
manual:
enabled: true
machine-id: 1

MachineId

StatefulSetMachineIdDistributor

cosid:
snowflake:
stateful-set:
enabled: true

Kubernetes

StatefulSet

RedisMachineIdDistributor 2f5c

cosid:
snowflake:
redis:
enabled: true

Redis

ClockBackwardsSynchronizer (时钟回拨同步器)

默认提供的

DefaultClockBackwardsSynchronizer

spinThreshold

spinThreshold

brokenThreshold

ClockTooManyBackwardsException

LocalMachineState (本地机器状态存储)

public class MachineState {
public static final MachineState NOT_FOUND = of(-1, -1);
private final int machineId;
private final long lastTimeStamp;

public MachineState(int machineId, long lastTimeStamp) {
this.machineId = machineId;
this.lastTimeStamp = lastTimeStamp;
}

public int getMachineId() {
return machineId;
}

public long getLastTimeStamp() {
return lastTimeStamp;
}

public static MachineState of(int machineId, long lastStamp) {
return new MachineState(machineId, lastStamp);
}
}

默认提供的

FileLocalMachineState

MachineState

ClockSyncSnowflakeId (主动时钟同步

SnowflakeId

)

默认

SnowflakeId

ClockBackwardsException

ClockSyncSnowflakeId

ClockBackwardsSynchronizer

SafeJavaScriptSnowflakeId (

JavaScript

安全的

SnowflakeId

)

SnowflakeId snowflakeId = SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScript

Number.MAX_SAFE_INTEGER

SnowflakeId

SnowflakeId

SnowflakeId

SnowflakeId

ID

SnowflakeIdStateParser (可以将

SnowflakeId

解析成可读性更好的

SnowflakeIdState

)

public class SnowflakeIdState {

private final long id;

private final int machineId;

private final long sequence;

private final LocalDateTime timestamp;
/**
* {@link #timestamp}-{@link #machineId}-{@link #sequence}
*/
private final String friendlyId;
}

SnowflakeIdState idState=snowflakeIdStateParser.parse(id);
idState.getFriendlyId(); //20210623131730192-1-0

RedisIdGenerator

单机 Redis 的 TPS 性能极限大概在 10W+ 左右，如果在部分场景下我们对性能有更高的要求，那么可以选择使用增加每次

ID

IdGenerator

RedisIdGenerator

ID

10+W * Step

IdGeneratorProvider

cosid:
snowflake:
provider:
bizA:
#      epoch:
#      timestamp-bit:
#      machine-bit:
sequence-bit: 12
bizB:
#      epoch:
#      timestamp-bit:
#      machine-bit:
sequence-bit: 12

在实际使用中我们一般不会所有业务服务使用同一个

IdGenerator

IdGenerator

IdGeneratorProvider

IdGenerator

IdGenerator

Examples

CosId-Examples

安装

Gradle

val cosidVersion = "0.8.3";
implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

<modelVersion>4.0.0</modelVersion>
<artifactId>demo</artifactId>
<properties>
<cosid.version>0.8.3</cosid.version>
</properties>

<dependencies>
<dependency>
<groupId>me.ahoo.cosid</groupId>
<artifactId>spring-boot-starter-cosid</artifactId>
<version>${cosid.version}</version>
</dependency>
</dependencies>

</project>

application.yaml

cosid:
namespace: ${spring.application.name}
snowflake:
#  stateful-set:
#    enabled: true
#  manual:
#    enabled: true
#    machine-id: 1
redis:
enabled: true
provider:
order:
#      epoch:
#      timestamp-bit:
#      machine-bit:
sequence-bit: 12
user:
#      epoch:
#      timestamp-bit:
#      machine-bit:
sequence-bit: 12
enabled: false
redis:
enabled: true
provider:
order:
step: 100

JMH-Benchmark

SnowflakeId

Benchmark                                                    Mode  Cnt        Score   Error  Units
SnowflakeIdBenchmark.millisecondSnowflakeId_generate        thrpt       4093924.313          ops/s
SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate  thrpt        511542.292          ops/s
SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate       thrpt        511939.629          ops/s
SnowflakeIdBenchmark.secondSnowflakeId_generate             thrpt       4204761.870          ops/s

RedisIdGenerator

Benchmark                              Mode  Cnt         Score   Error  Units
RedisIdGeneratorBenchmark.step_1      thrpt          86243.935          ops/s
RedisIdGeneratorBenchmark.step_100    thrpt        1718229.010          ops/s
RedisIdGeneratorBenchmark.step_1000   thrpt       12688174.755          ops/s
RedisIdGeneratorBenchmark.step_10000  thrpt       13995195.387          ops/s