CESA-2020-2-017 分布式平台技术规范 征求意见稿

ICS

团体标准

T/CESAXXXX—2020

分布式平台技术规范

Technicalspecificationofdistributedplatform

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申

请证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利

申请号和申请日期。

2020-XX-XX发布2020-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX-2020

前  言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

本文件由神州数码融信软件有限公司提出。

本文件由中国电子工业标准化技术协会归口。

本文件起草单位：神州数码融信软件有限公司、金税信息技术服务股份有限公司、上海计算机软件

技术开发中心、上海软中信息技术有限公司。

本文件主要起草人：于宏志、沈伟、薛春雨、潘紫娟。

III

T/CESAXXXX-2020

分布式平台技术规范

1范围

本文件规定了面向联机交易系统的分布式平台应覆盖的范围及应具备的基础功能。

本文件适用于联机交易系统所使用的分布式平台的建设。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理

注：可以通过人工或自动手段处理数据。

[GB/T5271.1-2000，01.01.02]

3.2

分布式distributed

<计算机>物理上由多个不同的机器参与执行，但在逻辑上完成的是一个任务

注：对使用者来说，就像一台计算机在执行一样。

3.3

微服务microservice

<计算机>职责单一的、轻量化的服务单元

注：一个微服务有自己独立的应用和数据库。

3.4

事务transaction

<计算机>访问并可能更新事务资源中各种数据项的一个程序执行单元(unit)

注：一个事务如果执行成功就全部提交，如果有一个失败就全部回滚。

4概述

分布式平台需要为系统提供全方位的分布式能力，当性能遇到瓶颈时可通过横向扩展的机制予

1

T/CESAXXXX-2020

以解决，并且需对分布式带来的事务问题提供完备的解决方案。不同领域的联机交易系统对分布式

的需求存在一定差异，在进行系统建设时可按需选择，分布式联机交易系统的参考架构见图1，其

中分布式平台应包括：

a)微服务平台：提供应用层的分布式能力，将一个复杂系统拆分为多个微服务，每个微服务可

同时运行多个实例，不仅提升了系统的扩展性、可用性，还可以快速灵活的应对业务变化；

b)分布式数据：将大数据量表中的数据进行水平拆分，用多个物理库来承载，不仅降低了单表

的数据量，还增加了可用的物理资源；

c)分布式缓存：对于大量的数据查询请求，采用分布式缓存进行存储，降低对数据库的交互次

数，缩短服务的响应时间；

d)全局序列：提供跨多个微服务实例的序列服务，以防止不同实例中的序列重复；

e)分布式调度：提供统一的分布式调度机制，协调多个微服务节点及数据库节点共同参与运行，

充分利用物理资源，将批量处理的时间控制在有效范围内；

f)分布式事务：由于微服务和分布式数据，就会带来分布式事务的问题，所以需提供跨数据库、

跨微服务的事务一致性的保证机制。

图1分布式联机交易系统架构

5微服务平台

5.1概述

微服务平台的主要目的是为联机交易系统提供应用分布式的运行机制，以及配套的管理体系，

主要包括：接入网关、微服务引擎和运维监控三大部分。

5.2接入网关

接入网关为外部系统访问提供统一的接入及控制，应包括：

a)服务鉴权：对服务的访问进行控制，只有在权限范围内的才可以访问，否则将被拒绝；

b)流量控制：对请求的总量进行控制，如果超过限制，后续的请求将会被拒绝或者等待，还可

以按具体的业务维度进行更细粒度的控制，例如：按交易渠道进行控制；

2

T/CESAXXXX-2020

c)熔断降级：如果某个服务的失败率比较高，或者发现一些明确的异常情况，有可能影响到其

他服务的正常运行，自动切断该服务的所有请求（直接抛错或者返回约定信息），以保护

系统整体的可用性。

5.3微服务引擎

微服务引擎为微服务平台提供运行保障，应包括如下功能：

a)服务注册/发现：服务提供者在启动时将服务相关信息注册到“注册中心”，服务消费者通

过“注册中心”获取到最新的服务列表，当服务提供者下线时，注册信息从“注册中心”

删除，服务消费者更新服务提供者列表；

b)负载均衡：服务消费者调用提供者时，根据本地列表并依据指定的算法选择具体的提供者进

行调用，整体需保证到多个提供者上的负载相对均衡，平台需提供多种常用的负载均衡策

略，例如：轮训、随机、最小并发数等；

c)自动隔离/恢复：当服务提供者出现异常情况（例如宕机），自动从“注册中心”删除，当

其恢复后又自动加入，期间消费者同步获取到最新的服务提供者列表；

d)集群容错：当服务调用发生异常时，提供多种容错机制，例如：重试（可以设定重试次数）、

直接抛错等机制。

5.4运维监控

运维监控为微服务平台提供管理能力，应包括：

a)灰度发布：服务有新的版本发布时，可通过灰度发布只对部分用户开放，运行一段时间如果

达到预期，再对所有用户开放；

b)统一配置：通过统一的配置中心快速完成多个微服务实例相关参数的调整，同时提供配置信

息的版本管理，防止配置出现问题时统一回退；

c)服务治理：服务治理主要对服务运行态的情况进行动态调控。

1)负载策略调整：对多个服务提供者的负载均衡策略进行调整，防止某个提供者上的负载

过高；

2)流控策略调整：根据实际需要，对流量控制的策略进行动态调整；

3)熔断降级控制：对服务的熔断及降级的策略进行调整；

4)路由控制：通过配置对服务的路由策略进行干预，例如：暂时把某一个服务提供者屏蔽。

d)调用链跟踪：支持查看服务调用过程的完整链路信息，以主动发现和追踪业务系统的调用关

系，快速定位系统瓶颈；

e)分布式日志：把分布式系统下的相关日志信息进行采集、汇总，并把跨多个微服务的日志串

接起来，提供统一的页面按不同维度进行日志信息的查询；

f)监控告警：对相关的监控对象制定对应的告警策略，当达到告警条件时产生告警信息，以便

运维人员及时处理。

注：监控对象应至少包括系统运行资源、服务的运行情况。

6分布式数据

3

T/CESAXXXX-2020

6.1概述

分布式数据的主要目的是将大数据量的关系型表通过水平拆分的方式，将数据分布式的存储到

多个不同的节点，查询时可以到具体的节点快速访问。行业内主要包括技术架构层实现和采用独立

的“分布式数据库”两种模式。考虑到分布式数据库是一个单独的领域，该部分不包含在本文件内，

本文件仅涉及技术架构层实现模式，主要包括：数据路由、语法兼容性、数据库关联性及运维监控

几个方面。

6.2主要用语说明

分布式数据涉及到的术语主要包括：

a)数据分片：简称分片，将一张表的数据按照一定规则进行拆分，经过拆分后的每一部分数据

叫做一个数据分片；

b)分片键：也称为拆分键，具体的拆分过程应针对某一个业务属性，按照一定规则进行，这里

的业务属性就是分片键，分片键一般都是表中的字段，例如，对“客户信息”表按照“客

户号”取模的方式进行拆分，“客户号”就是分片键；

c)拆分算法：也称为分片算法，指用于计算相关数据在哪个分片的算法，b）中的取模是一种

常用的拆分算法；

d)路由：按照拆分算法将SQL发送到具体的分片上执行的过程称为路由；

e)数据节点：简称节点，其概念类似分片，但分片是从数据的视角来看的，属于逻辑概念，而

节点则泛指分片的物理体现；

注：物理体现的方式有多种，最常用的就是一个分片对应一个数据库实例。

f)分库：当一个分片对应一个数据库实例的时候，这里的每一个数据库称为分库；

g)分表：当一个分片对应一个数据库表的时候，这里的每一个表称为分表。

6.3数据路由

数据路由是该部分的核心功能，主要为数据的拆分提供策略性支持，应包括：

a)提供成熟的拆分算法：应包括取模、日期、范围、枚举、哈希等常用算法；

b)支持自定义拆分算法：在上述基本的拆分算法之外提供扩展机制，支持开发人员根据实际业

务需要自定义更加匹配的算法；

c)同时支持分库和分表：不仅支持分库，还支持在分库的基础上进行分表，以防止在某些情况

下分库数过多，造成运维的不可控；

d)指定路由：对某些特殊的SQL支持指定节点执行；

e)间接路由：对于一些使用率较高的SQL，但其WHERE条件又不包含分片键的情况（例如：客

户信息表按客户号分片，用手机号查询），应提供间接通过分片键路由的机制；

f)多维路由：支持同时按多个维度进行拆分及路由。

6.4语法兼容性

该机制应支持常用的SQL语句类型，主要包括：

a)支持包含分片键的增加、删除、修改和查询；

4

T/CESAXXXX-2020

b)跨库的聚合函数、关联查询、排序、分页、分组、联合查询等常用组合；

c)支持字符串、数学、日期、格式化、聚合等常用函数。

6.5数据库关联性

该机制不应跟具体的数据库绑定，应支持常用的关系型数据库。

6.6运维监控

应提供全面的运维监控能力，降低运维的复杂度，主要包括：

a)可视化的对数据的拆分策略进行调整；

b)对后端的数据库进行管理；

c)提供数据管理员的数据操作及管理功能；

d)提供在线扩容机制。

7分布式缓存

本文件提到的分布式缓存主要指对缓存的分布式访问，并不是指提供一个缓存服务器（隶属于

基础设施范畴）。主要提供低侵入的分布式缓存（行业内目前基本以redis为主）的访问机制，但

需要考虑对数据准确性的要求。具体应包括：

a)基础的分布式访问的API：提供缓存分布式访问的基础API，为业务框架及特殊情况使用提

供支持；

b)跟数据库配合的读写支持：对于跟数据库配合的查询时，优先从缓存中查询，如果缓存中没

有再查数据库，并把结果放到缓存中；对于写操作，提供机制保证缓存跟数据库的数据一

致性。上述操作应降低对业务的侵入，如果是基于Java的实现宜采用注解的模式；

c)脏数据的控制：如果并发的对缓存中的同一个数据进行更新，或者一个缓存的更新跟查询交

叉在一起的极端情况下，有可能造成脏数据，应提供完善的应对机制。

8全局序列

全局序列为分布式系统提供统一的序列服务，防止微服务的各个实例自己实现，造成业务层面的序

列重复。应提供如下三种类型的序列：

a)只保证唯一性，应支持嵌入到应用系统中使用；

b)不仅保证唯一性，还保证序列递增；

c)不仅保证序列的唯一性和递增特点，还需保证序列完全连续。

9分布式调度

分布式调度主要应对分布式系统各种任务的协同工作，最大限度发挥分布式系统的特性，以更

高效的方式完成待处理任务。具体应包括：

a)可视化的定义要执行的任务及其依赖关系；

5

T/CESAXXXX-2020

b)依据上述定义的依赖关系进行执行，执行过程出现异常的任务可查看异常信息，并支持重新

执行。执行时可将任务分配到多个节点，如果节点有异常应切换到其他节点；

c)提供机制保证在任何时间都至少有一个调度节点可用；

d)对涉及大数据量的表的任务，支持对数据进行分段，将其拆分为多个小的任务并行到多个节

点执行；

e)至少支持手动和定时执行两种方式；

f)可视化的查看任务的执行情况，并进行相关操作。

10分布式事务

10.1概述

分布式事务是分布式领域重点关注的问题，不同的业务场景对事务的关注点也有一定差异，主

要体现在隔离性、一致性保证度、风险、性能及业务复杂度几个方面，所以分布式平台需要提供多

种不同的分布式事务处理机制，以适配不同的业务场景。

10.2处理机制

分布式事务的处理机制应包括如下几种模式：

a)补偿模式：该模式在框架级提供统一的机制，避免每个开发人员重复实现，规避技术风险。

其主要应用于一个事务跨多个服务的场景，要求每个服务都提供对应的补偿服务，当后续

的服务执行失败时，框架自动执行前面服务的补偿服务，将已经执行成功的服务回退到执

行前的状态；

注：这种模式是分布式系统中最基本的一种模式，适合一些不是非常关键、或者低频的交易，即使出现不

一致造成的影响也不大，可以通过业务手段进行处理。

b)TCC模式：一个完整的TCC模式由一个主业务服务和若干个从业务服务组成，主业务服务发

起并完成整个业务活动，从业务服务应实现如下三个接口：

•Try：完成所有业务检查、预留必须的业务资源；

•Confirm：真正执行业务不作任何业务检查，只使用Try阶段预留的业务资源，操作满

足幂等性；

•Cancel：释放Try阶段预留的业务资源，操作满足幂等性。

如果所有的从业务服务的Try都执行成功，就会分别进行各自的Confirm；如果有一个失

败，则分别执行各自的Cancel；

注：该模式主要提供总体事务的控制机制，具体的逻辑由业务实现，比较适合有极致性能需求的、对一致

性要求比较高的业务场景。

c)无侵入模式：该模式通过模拟数据库内部的机制，对事务（跨服务、跨数据库）中的所有

SQL操作自动构建UNDO、REDO的相关信息，并对相关记录进行锁定。当后续的执行出现异

常时，事务管理器通过UNDO日志对前面已经执行的SQL操作进行回滚。

注：该模式在保证隔离性的前提下，提供了很高的一致性，并且对业务系统无侵入，适合于大部分的业务

场景，是分布式事务落地的一个重要模式。

6

T/CESAXXXX-2020

11异常处理

分布式大幅提升了系统的扩展性、性能及可用性，但复杂度也有所提升，在具体的实践过程中

需对以下情况提供应对机制：

a)系统运行资源不足：在系统运行过程中，当发现系统运行资源不足（例如：CPU长时间大于

80%）时，宜自动增加运行实例，以提升系统整体的处理能力；

注：如果有云平台的话，建议采用容器化的方式进行自动扩容。

b)数据量超出系统承载能力：当系统运行一段时间后，由于数据量的快速增长，已有的分库数

已经不能满足业务需要时，应对数据库进行扩容，在扩容过程中应尽可能的减少对业务的

影响；

c)物理故障造成的事务异常：由于分布式事务涉及多个独立的事务资源，所以不管是哪种模式，

在部分事务资源出现物理故障的情况下，都面临不一致的风险，针对于这种情况，应提供

如下的应对措施：

1)自动恢复：当物理故障解除后，系统可以自动检测，并对受影响的事务提供自动处理机

制，尽最大可能保证事务的一致性，避免相关事务由人工处理；

2)人工干预：当出现极端异常情况，自动恢复机制也无法恢复的情况下，应支持人工干预，

并提供必要的事务信息（例如：全局事务状态、出现问题的分支信息、事务的上下文

等）以供分析。

7

T/CESAXXXX-2020

参考文献

[1]GB/T10113-2003分类与编码通用术语

[2]GB/T5271.1-2000信息技术词汇第1部分：基本术语

[3]GB/T29246-2012信息技术安全技术信息安全管理体系概述和词汇

8

T/CESAXXXX-2020

目  次

目  次.............................................................................................................................................................II

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4概述...................................................................................................................................................................1

5微服务平台.......................................................................................................................................................2

5.1概述...........................................................................................................................................................2

5.2接入网关...................................................................................................................................................2

5.3微服务引擎...............................................................................................................................................3

5.4运维监控...................................................................................................................................................3

6分布式数据.......................................................................................................................................................3

6.1概述...........................................................................................................................................................4

6.2主要用语说明...........................................................................................................................................4

6.3数据路由...................................................................................................................................................4

6.4语法兼容性...............................................................................................................................................4

6.5数据库关联性...........................................................................................................................................5

6.6运维监控...................................................................................................................................................5

7分布式缓存.......................................................................................................................................................5

8全局序列...........................................................................................................................................................5

9分布式调度.......................................................................................................................................................5

10分布式事务.....................................................................................................................................................6

10.1概述.........................................................................................................................................................6

10.2处理机制.................................................................................................................................................6

11异常处理.........................................................................................................................................................7

参考文献.........................................................................................................................................................8

II

T/CESAXXXX-2020

分布式平台技术规范

1范围

本文件规定了面向联机交易系统的分布式平台应覆盖的范围及应具备的基础功能。

本文件适用于联机交易系统所使用的分布式平台的建设。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理

注：可以通过人工或自动手段处理数据。

[GB/T5271.1-2000，01.01.02]

3.2

分布式distributed

<计算机>物理上由多个不同的机器参与执行，但在逻辑上完成的是一个任务

注：对使用者来说，就像一台计算机在执行一样。

3.3

微服务microservice

<计算机>职责单一的、轻量化的服务单元

注：一个微服务有自己独立的应用和数据库。

3.4

事务transaction

<计算机>访问并可能更新事务资源中各种数据项的一个程序执行单元(unit)

注：一个事务如果执行成功就全部提交，如果有一个失败就全部回滚。

4概述

分布式平台需要为系统提供全方位的分布式能力，当性能遇到瓶颈时可通过横向扩展的机制予

1

T/CESAXXXX-2020

以解决，并且需对分布式带来的事务问题提供完备的解决方案。不同领域的联机交易系统对分布式

的需求存在一定差异，在进行系统建设时可按需选择，分布式联机交易系统的参考架构见图1，其

中分布式平台应包括：

a)微服务平台：提供应用层的分布式能力，将一个复杂系统拆分为多个微服务，每个微服务可

同时运行多个实例，不仅提升了系统的扩展性、可用性，还可以快速灵活的应对业务变化；

b)分布式数据：将大数据量表中的数据进行水平拆分，用多个物理库来承载，不仅降低了单表

的数据量，还增加了可用的物理资源；

c)分布式缓存：对于大量的数据查询请求，采用分布式缓存进行存储，降低对数据库的交互次

数，缩短服务的响应时间；

d)全局序列：提供跨多个微服务实例的序列服务，以防止不同实例中的序列重复；

e)分布式调度：提供统一的分布式调度机制，协调多个微服务节点及数据库节点共同参与运行，

充分利用物理资源，将批量处理的时间控制在有效范围内；

f)分布式事务：由于微服务和分布式数据，就会带来分布式事务的问题，所以需提供跨数据库、

跨微服务的事务一致性的保证机制。

图1分布式联机交易系统架构

5微服务平台

5.1概述

微服务平台的主要目的是为联机交易系统提供应用分布式的运行机制，以及配套的管理体系，

主要包括：接入网关、微服务引擎和运维监控三大部分。

5.2接入网关

接入网关为外部系统访问提供统一的接入及控制，应包括：

a)服务鉴权：对服务的访问进行控制，只有在权限范围内的才可以访问，否则将被拒绝；

b)流量控制：对请求的总量进行控制，如果超过限制，后续的请求将会被拒绝或者等待，还可

以按具体的业务维度进行更细粒度的控制，例如：按交易渠道进行控制；

2

T/CESAXXXX-2020

c)熔断降级：如果某个服务的失败率比较高，或者发现一些明确的异常情况，有可能影响到其

他服务的正常运行，自动切断该服务的所有请求（直接抛错或者返回约定信息），以保护

系统整体的可用性。

5.3微服务引擎

微服务引擎为微服务平台提供运行保障，应包括如下功能：

a)服务注册/发现：服务提供者在启动时将服务相关信息注册到“注册中心”，服务消费者通

过“注册中心”获取到最新的服务列表，当服务提供者下线时，注册信息从“注册中心”

删除，服务消费者更新服务提供者列表；

b)负载均衡：服务消费者调用提供者时，根据本地列表并依据指定的算法选择具体的提供者进

行调用，整体需保证到多个提供者上的负载相对均衡，平台需提供多种常用的负载均衡策

略，例如：轮训、随机、最小并发数等；

c)自动隔离/恢复：当服务提供者出现异常情况（例如宕机），自动从“注册中心”删除，当

其恢复后又自动加入，期间消费者同步获取到最新的服务提供者列表；

d)集群容错：当服务调用发生异常时，提供多种容错机制，例如：重试（可以设定重试次数）、

直接抛错等机制。

5.4运维监控

运维监控为微服务平台提供管理能力，应包括：

a)灰度发布：服务有新的版本发布时，可通过灰度发布只对部分用户开放，运行一段时间如果

达到预期，再对所有用户开放；

b)统一配置：通过统一的配置中心快速完成多个微服务实例相关参数的调整，同时提供配置信

息的版本管理，防止配置出现问题时统一回退；

c)服务治理：服务治理主要对服务运行态的情况进行动态调控。

1)负载策略调整：对多个服务提供者的负载均衡策略进行调整，防止某个提供者上的负载

过高；

2)流控策略调整：根据实际需要，对流量控制的策略进行动态调整；

3)熔断降级控制：对服务的熔断及降级的策略进行调整；

4)路由控制：通过配置对服务的路由策略进行干预，例如：暂时把某一个服务提供者屏蔽。

d)调用链跟踪：支持查看服务调用过程的完整链路信息，以主动发现和追踪业务系统的调用关

系，快速定位系统瓶颈；

e)分布式日志：把分布式系统下的相关日志信息进行采集、汇总，并把跨多个微服务的日志串

接起来，提供统一的页面按不同维度进行日志信息的查询；

f)监控告警：对相关的监控对象制定对应的告警策略，当达到告警条件时产生告警信息，以便

运维人员及时处理。

注：监控对象应至少包括系统运行资源、服务的运行情况。

6分布式数据

3

T/CESAXXXX-2020

6.1概述

分布式数据的主要目的是将大数据量的关系型表通过水平拆分的方式，将数据分布式的存储到

多个不同的节点，查询时可以到具体的节点快速访问。行业内主要包括技术架构层实现和采用独立

的“分布式数据库”两种模式。考虑到分布式数据库是一个单独的领域，该部分不包含在本文件内，

本文件仅涉及技术架构层实现模式，主要包括：数据路由、语法兼容性、数据库关联性及运维监控

几个方面。

6.2主要用语说明

分布式数据涉及到的术语主要包括：

a)数据分片：简称分片，将一张表的数据按照一定规则进行拆分，经过拆分后的每一部分数据

叫做一个数据分片；

b)分片键：也称为拆分键，具体的拆分过程应针对某一个业务属性，按照一定规则进行，这里

的业务属性就是分片键，分片键一般都是表中的字段，例如，对“客户信息”表按照“客

户号”取模的方式进行拆分，“客户号”就是分片键；

c)拆分算法：也称为分片算法，指用于计算相关数据在哪个分片的算法，b）中的取模是一种

常用的拆分算法；

d)路由：按照拆分算法将SQL发送到具体的分片上执行的过程称为路由；

e)数据节点：简称节点，其概念类似分片，