跳到主要内容

分布式ID生成器揭秘,保障数据唯一性的核心组件

plus 版本专属

此章节是黑马点评 Plus 版本中专有的内容,而在整套文档中将普通版本和 Plus 版本都融合在了一起,让大家更方便的学习。

分布式ID在构建大规模分布式系统时扮演着至关重要的角色,主要用于确保在分布式环境中数据的唯一性和一致性。以下是分布式ID的几个主要作用:

  1. 确保唯一性:在分布式系统中,可能有成千上万个实例同时请求ID。分布式ID生成系统能保证即使在高并发的情况下也能生成全局唯一的ID,避免数据冲突和覆盖
  2. 便于水平扩展:分布式系统通常需要水平扩展以支持更多的用户和业务。分布式ID生成机制允许系统在不同的机器、数据中心甚至地理区域中扩展,同时仍然能够生成唯一的ID,无需担心ID冲突
  3. 提高性能:通过避免依赖中心化的数据库序列生成ID,分布式ID生成机制可以显著提高应用性能。这些机制通常在内存中进行,减少了网络延迟和磁盘I/O,从而加快了ID的生成速度
  4. 减少系统依赖:分布式ID生成不依赖特定的数据库或存储系统,减少了系统组件之间的耦合。这种独立性使得系统更加健壮,减少了因数据库故障导致的ID生成问题
  5. 时间有序性:某些分布式ID生成策略(如雪花算法)能够生成大致按时间顺序递增的ID。这对于需要跟踪记录创建顺序或进行时间序列分析的应用来说是一个重要特性
  6. 支持事务和日志追踪:在复杂的分布式系统中,分布式ID可以用来追踪和管理跨多个系统和组件的事务和日志。每个操作都可以关联一个唯一ID,使得问题定位和性能监控变得更加容易。
  7. 安全性和隐私保护:通过生成不可预测的唯一ID,分布式ID机制还可以增加系统的安全性,防止恶意用户通过ID预测和访问未授权的数据

而对于分布式id应用最出名的莫过于经典的雪花算法了,本人也有对雪花算法做了详细的介绍,想了解的小伙伴可跳转

雪花算法完全解读

雪花算法中,最需要考虑的就是 datacenterIdworkerId 了,datacenterId 表示机房ID,workerId 表示机器ID。而在 MybatisPlus 中,对这两个字段都有进行了配置,但这种配置在 K8s 的环境下,依然会发生重复问题,本人也有介绍,可跳转文档查询

为什么Mybatis-plus生成的id在k8s环境会发生重复

在黑马点评 Plus 中,分布式id生成器MybatisPlus 中的雪花算法进行了改造优化,通过依靠 Redis 来配置datacenterIdworkerId,从而解决这个重复的问题,下面来详解的介绍此组件的原理和使用

分布式id组件的使用

依赖

<dependency>
<groupId>org.javaup</groupId>
<artifactId>hmdp-id-generator-framework</artifactId>
<version>${revision}</version>
</dependency>

Redis配置

spring:
data:
redis:
database: 0
host: 127.0.0.1
port: 6379

使用

@Resource
private SnowflakeIdGenerator snowflakeIdGenerator;

public void testId(){
long id = snowflakeIdGenerator.nextId();
}

分布式id组件的原理

首先我们来介绍对 MybatisPlus 中雪花算法的改造,这里没有选择去适配 MybatisPlus 的接口IdentifierGenerator