弹性伸缩-京东云开发者社区

# 概览
## 背景

Apache ShardingSphere 提供了数据分片的能力，可以将数据分散到不同的数据库节点上，提升整体处理能力。
但对于使用单数据库运行的系统来说，如何安全简单地将数据迁移至水平分片的数据库上，一直以来都是一个迫切的需求；
同时，对于已经使用了 Apache ShardingSphere 的用户来说，随着业务规模的快速变化，也可能需要对现有的分片集群进行弹性扩容或缩容。

## 简介

ShardingSphere-Scaling 是一个提供给用户的通用数据接入迁移及弹性伸缩的解决方案。

从 **4.1.0** 开始向用户提供。

![](//img1.jcloudcs.com/developer.jdcloud.com/f99bc1bc-7fe0-43cb-b78d-d6fbc2103d8720210119103037.png)
## 挑战

Apache ShardingSphere 在分片策略和算法上提供给用户极大的自由度，但却给弹性伸缩造成了极大的挑战。
如何找到一种方式，即能支持各类不同用户的分片策略和算法，又能高效地将数据节点进行伸缩，是弹性伸缩面临的第一个挑战；

同时，弹性伸缩过程中，不应该对正在运行的业务造成影响，尽可能减少伸缩时数据不可用的时间窗口，甚至做到用户完全无感知，是弹性伸缩的另一个挑战；

最后，弹性伸缩不应该对现有的数据造成影响，如何保证数据的可用性和正确性，是弹性伸缩的第三个挑战。

## 目标

支持各类用户自定义的分片策略，减少用户在数据伸缩及迁移时的重复工作及业务影响，提供一站式的通用弹性伸缩解决方案，是 Apache ShardingSphere 弹性伸缩的主要设计目标。

## 状态

当前处于 **alpha** 开发阶段。

![](//img1.jcloudcs.com/developer.jdcloud.com/4663988b-728c-4e09-8143-225e2767996b20210119103107.png)

# 核心概念

## 弹性伸缩作业

指一次将数据由旧分片规则伸缩至新分片规则的完整流程。

## 数据节点

同数据分片中的[数据节点]

## 存量数据

在弹性伸缩作业开始前，数据分片中已有的数据。

## 增量数据

在弹性伸缩作业执行过程中，业务系统所产生的新数据。
# 实现原理
## 原理说明

考虑到 Apache ShardingSphere 的弹性伸缩模块的几个挑战，目前的弹性伸缩解决方案为：临时地使用两个数据库集群，伸缩完成后切换的方式实现。

![](//img1.jcloudcs.com/developer.jdcloud.com/bc3068e1-72fc-4d3e-bd48-a8e53e2bcdea20210119103510.png)

这种实现方式有以下优点：

1. 伸缩过程中，原始数据没有任何影响
1. 伸缩失败无风险
1. 不受分片策略限制

同时也存在一定的缺点：

1. 在一定时间内存在冗余服务器
1. 所有数据都需要移动

弹性伸缩模块会通过解析旧分片规则，提取配置中的数据源、数据节点等信息，之后创建伸缩作业工作流，将一次弹性伸缩拆解为4个主要阶段

1. 准备阶段
1. 存量数据迁移阶段
1. 增量数据同步阶段
1. 规则切换阶段

![](//img1.jcloudcs.com/developer.jdcloud.com/1eb875be-ac7b-4a3b-b552-e4c6771ede7a20210119103317.png)

## 执行阶段说明

### 准备阶段

在准备阶段，弹性伸缩模块会进行数据源连通性及权限的校验，同时进行存量数据的统计、日志位点的记录，最后根据数据量和用户设置的并行度，对任务进行分片。

### 存量数据迁移阶段

执行在准备阶段拆分好的存量数据迁移作业，存量迁移阶段采用 JDBC 查询的方式，直接从数据节点中读取数据，并使用新规则写入到新集群中。

### 增量数据同步阶段

由于存量数据迁移耗费的时间受到数据量和并行度等因素影响，此时需要对这段时间内业务新增的数据进行同步。
不同的数据库使用的技术细节不同，但总体上均为基于复制协议或 WAL 日志实现的变更数据捕获功能。

- MySQL：订阅并解析 binlog
- PostgreSQL：采用官方逻辑复制 [test_decoding](https://www.postgresql.org/docs/9.4/test-decoding.html)

这些捕获的增量数据，同样会由弹性伸缩模块根据新规则写入到新数据节点中。当增量数据基本同步完成时（由于业务系统未停止，增量数据是不断的），则进入规则切换阶段。

### 规则切换阶段

在此阶段，可能存在一定时间的业务只读窗口期，通过设置数据库只读或ShardingSphere的熔断机制，让旧数据节点中的数据短暂静态，确保增量同步已完全完成。

这个窗口期时间短则数秒，长则数分钟，取决于数据量和用户是否需要对数据进行强校验。
确认完成后，Apache ShardingSphere 可通过配置中心修改配置，将业务导向新规则的集群，弹性伸缩完成。
# 使用规范
## 支持项

* 将外围数据迁移至 Apache ShardingSphere 所管理的数据库；
* 将 Apache ShardingSphere 的数据节点进行扩容或缩容。

## 不支持项

* 不支持无主键表的扩容和缩容。