信息技术 大数据 批流融合计算技术要求

ICS35.240

CCSL67

中华人民共和国国家标准

GB/TXXXX—XXXX

信息技术大数据批流融合计算技术要求

Informationtechnology—BigData—Technicalrequirementsforintegratedbatch

andstreamingcomputing

（征求意见稿）

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

XXXX-XX-XX发布XXXX-XX-XX实施

GB/TXXXX—XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由全国信息技术标准化技术委员会（SAC/TC28）提出并归口。

本文件起草单位：

本文件主要起草人：

II

GB/TXXXX—XXXX

引言

随着数据量的增长，分布式计算模式逐渐成为大数据处理和计算的主流架构。为了满足程序的健壮

性和实时性要求，设计出了许多分布式计算框架，以屏蔽底层复杂的任务划分和集群调度细节，其中最

常用的两种是批计算技术和流式计算技术，二者有着迥异的编程模型和编程接口，适用于不同的计算场

景。批计算技术适合需要访问全套记录才能完成的计算工作，流计算技术很适合用来处理必须对变动或

峰值做出响应，并且关注一段时间内变化趋势的数据。

在实际应用中，经常会遇到两种计算技术共同工作的情况。简单的将两种计算框架进行简单的叠加，

则需要在两个不同的引擎上实现相同的执行逻辑，还需要手工合并不同引擎的输出结果。如果需要更改

查询逻辑，两个系统也需要同时进行改动。这会极大地增加工程的开发和维护成本。因此，统一的批流

融合计算技术成为了大数据领域的重要发展趋势。

III

GB/TXXXX—XXXX

信息技术大数据批流融合计算技术要求

1范围

本文件给出了大数据批流融合计算技术要求，包括：系统架构、技术要求、扩展性要求、兼容性要

求等。

本文件适用于批流融合计算系统的设计、开发和部署提供指导，为用户理解、采用和建设批流融合

计算技术提供支撑，为相应的产品和服务评估提供参考依据。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T35295-2017信息技术大数据术语

3术语和定义

GB/T35295-2017界定的一级下列术语和定义适用于本文件。

分布式关系型数据库distributedrelationaldatabase

建立在关系模型基础上的分布式数据库，借助于集合代数等数学概念和方法来处理数据库中的数

据。

批处理batchprocessing

将一个大型作业分解成为多个任务交由多个节点分别处理，再将分解后多个任务处理的结果汇总

起来得出最终的分析结果的计算框架。

流处理streamprocessing

针对处理高速并发且时效性有较高要求的大规模计算场景，能够对具有实时、高速、瞬时性等特性

的流式数据进行实时处理的计算框架。

批流融合计算integratedbatchandstreamcomputing

能够同时支持批处理和流流处理等的计算框架。

分散-聚集Map-Reduce

大数据集的处理形式，其中所需的计算被划分并分布在多个节点上，整体结果由每个节点的结果合

并而成。

示例：MapReduce（包含Map和Reduce两个计算过程的一种计算模型）就是采用分散-聚集的处理形式。

4

GB/TXXXX—XXXX

租户tenant

对一组物理和虚拟资源进行共享访问的一个或多个云服务用户。

多租户multi-tenancy

通过对物理或虚拟资源的分配实现多个租户以及它们的计算和数据彼此隔离和不可访问。

4缩略语

下列缩略语适用于本文件。

API：应用程序编程接口（ApplicationProgrammingInterface）

CEP：复杂事件处理（ComplexEventProcessing）

CPU：中央处理器（CentralProcessingUnit）

DAG：有向无环图（DirectedAcyclicGraph）

DDL：数据定义语言（DataDefinitionLanguage）

GPU：图形处理器（GraphicsProcessingUnit）

QPS：每秒查询率（Queries-per-second）

SQL：结构化查询语言（StructuredQueryLanguage）

UDAF：用户定义聚集函数（User-DefinedAggregationFunction）

UDF：用户自定义函数（UserDefinedFunction）

UDTF：用户定义表格生成函数（User-DefinedTableFunction）

5系统架构

批流融合计算是一种分布式计算技术，可以在有界或无界数据流上进行有状态的计算，并可以快速

进行大批量的计算。如图1所示，批流融合计算技术的应主要具备如下能力：

a)统一资源管理，提供统一的资源管理能力，支持各类基础设施，包括单机、分布式集群、虚拟

资源等，能够提供在分布式模型下对于机器的调度管理能力；

b)统一计算框架，用于进行批流融合计算的能力；

c)统一API和SQL能力，对外提供业务高阶抽象的API和SQL，方便用户完成业务数据流程编

排，并翻译为底层执行计划。支持在统一的API之上，构建包括复杂事件处理、机器学习、图

计算等作业的管理；

d)统一作业管理，能够通过相同的客户端进行批、流融合计算作业提交、管理、停止等操作；

e)统一权限管理，能够针对批流作业业务提供统一的租户管理和鉴权能力。

5

GB/TXXXX—XXXX

图1批流融合计算框架图

6技术要求

统一资源管理

批流融合计算技术应具备统一的资源调度和分配能力，包括：

a)应支持使用同一套资源调度和分配系统，以满足资源互相共享或削峰填谷；

b)应支持CPU、内存、GPU等异构资源调度和配置；

c)应支持任务优先级调度:能够定义不同优先级的任务，可实现部分场景中后启动的高优先级任

务能够获取运行中的低优先级任务释放的资源；

d)应支持静态资源分配策略和动态资源分配策略；

e)应提供匹配组织的层次结构，支持多层次的队列资源管理；

f)应实现队列的资源实现严格的隔离，即不超过分配给该队列的资源上限；

g)应支持弹性资源与抢占：当有空闲资源时，租户可以使用超过其配置资源，以提高系统资源整

体的利用率；

h)应支持租户的资源抢占：当系统繁忙时，其它租户无法拿到配置应得的资源时，当前租户超过

配置部分的闲置资源可以被其它租户抢占，保证各租户的服务质量；

i)应支持根据作业需求动态分配计算资源，自动管理回收资源；

j)应支持作业级别资源隔离，资源类型包括CPU、内存、GPU等；

k)应支持多种运行模式，包括本地（local）模式和集群（cluster）模式；

l)宜支持独立部署模式。

统一计算框架

批流融合计算技术应具备统一的计算框架，以支持批、流计算，包括：

a)应支持采用一定措施保证数据量超出处理能力的情况下，不会崩溃或丢失数据，措施包括并不

限于：限流、缓冲、自然反压等；

b)应支持状态数据的管理，具备容错机制，能够恢复状态数据，且不影响作业性能，状态数据包

含但不限于网络缓存、流系统内部状态变量数据或流数据；

6

GB/TXXXX—XXXX

c)应支持数据完整性操作:支持至少处理一次（at-least-once）；支持恰好处理一次（exactly-

once）；

d)应支持窗口切分：支持按事件时间进行窗口切分、支持按处理时间（或入口时间）进行窗口切

分；

e)应支持水印操作；

f)应支持触发器来处理事件时间相关的操作；

g)应支持算子并行度设置，包括对SQL/JAR任务各个算子并行度设置；

h)应支持CEP复杂事件：支持流式CEP，复杂事件的模式匹配；

i)应支持事件驱动；

j)应支持DAG作业流程编排描述，包括各个执行作业的具体描述以及作业执行顺序；

k)应支持设置时间字段的格式；

l)应支持多种时间定义，如事件时间、处理时间、或入口时间；

m)宜支持机器学习的能力；

n)宜支持图计算的能力；

o)宜具备处理乱序的能力；

p)宜具备迭代处理的能力；

q)宜支持批流融合计算系统统一的容错策略。

统一SQL接口

批流融合计算技术应具备使用统一的SQL描述批流两类作业的抽象接口，包括：

a)应支持使用标准的SQL；

b)应在批/流数据集合之上统一支持常用的数据类型，涵盖可变长字符串（VARCHAR）、字节型

（BYTE）、布尔型（BOOLEAN）、整型（INT）、大整型（BIGINT）、单精度浮点型（FLOAT）、

双精度浮点型（DOUBLE）、小数（DECIMAL）、日期（DATE）、时间戳（TIMESTAMP）、数组（ARRAY）、

行（ROW）等常用数据类型；

c)应支持使用DDL语句定义引用上述存储系统；

d)应支持针对批/流数据集合的抽取、筛选、投影；

e)支持针对批/流数据集合的聚合（GroupBy）操作，包括：

1)在窗口聚合场景下，应支持常见的窗口，如滚动窗口（TumbleWindow）、滑动窗口（Hop

Window）、会话窗口（SessionWindow）、累积窗口（CumulativeWindow）；

2)在非窗口场景下的聚合操作，应支持针对（批/流）数据集合，如在常见基础数据结构（如

INT、BIGINT、VARCHAR等）上的聚合操作；

3)宜支持高级聚合语句。

f)支持针对批/流数据集合的连接（JOIN）操作，包括：

1)应支持多条数据流使用任意关联条件的连接（JOIN）、时间区间连接（JOIN）、维表连接

（JOIN）、静态维表连接（JOIN）、动态维表连接（JOIN）、窗口连接（JOIN）；

2)应支持多条数据流使用任意关联条件的内连接（INNERJOIN）、左外连接（LEFTOUTER

JOIN）、右外连接（RIGHTOUTERJOIN）、全外连接（FULLOUTERJOIN）。

g)应支持针对批/流数据集合的集合操作，包括合并（UNION）、合并所有（UNIONALL）、取交集

（INTERSECT）、取差集（EXCEPT）、包含（IN）、不包含（NOTIN）、存在（EXISTs）、不

存在（NOTEXISTS）；

7

GB/TXXXX—XXXX

h)应支持针对批/流数据集合的排序操作，包括排序（ORDERY）、限制（LIMIT）；

i)应支持针对批/流数据集合的最大N条记录（TOPN）操作，包括基于窗口的TOPN计算和基于

任意普通字段的TOPN计算；

j)支持针对批/流数据集合的去重操作，包括基于窗口的去重和基于任意普通字段的去重，去重

手段包括：

1)应支持保留最新的数据；

2)应支持保留最老的数据。

k)应支持针对批/流数据集合的对外结果归档操作，如插入（INSERT）；

l)应支持自定义函数，包括UDF、UDTF、UDAF函数；

m)应支持丰富的系统函数，领域覆盖字符串处理、时间处理、数学处理等内容。

统一API

批流融合计算技术应具备同一套API描述批流两类作业的抽象接口，包括：

a)应内置支持常用的数据类型，如字节型（BYTE）、布尔型（BOOLEAN）、整型（INT）、长整型

（LONG）、单精度浮点型（FLOAT）、双精度浮点型（DOUBLE）等；

b)应支持用户自定义数据类型；

c)应在批/流数据集合之上统一支持常见的开源以及商用数据存储系统对接，如：

1)消息队列；

2)键值存储；

3)复杂数据结构存储；

4)关系型数据库；

5)搜索引擎；

6)分布式文件系统。

d)应支持用户自定义和第三方存储系统对接的连接器；

e)应支持针对批/流数据集合的过滤操作；

f)应支持针对批/流数据集合的一对一变换；

g)应支持针对批/流数据集合的一对多变换；

h)应支持针对批/流数据集合的聚合操作；

i)应支持针对批/流数据集合的分裂操作；

j)应支持针对多路批/流数据集合的连接操作；

k)应支持针对批/流数据集合的排序操作；

l)应支持针对批/流数据集合的多样化窗口操作，包括滚动窗口（TumblingWindow）、滑动窗

口(Slindingwindow)、会话窗口（SessionWindow）、全局窗口（GlobalWindow）等；

m)应支持针对批/流数据集合的用户自定义算子的操作，并提供一些辅助工具帮助用户进行自定

义；

n)宜支持复合数据类型。

统一作业管理

批流融合计算技术应具备统一的作业管理能力，包括：

a)应支持统一配置管理能力，系统能够提供统一的管理平台对系统参数进行配置管理的操作；

b)应具备批流作业统一管理能力，支持作业编辑状态下增删改查、支持线上作业启停操作；

8

GB/TXXXX—XXXX

c)应具备批流作业统一监控能力，能够对作业状态进行监控，支持监控作业级别的数据输入输出、

处理耗时、数据延时、QPS、调度信息、数据倾斜等；

d)应支持批流任务统一度量指标上报功能，使用统一的度量指标接口支持流批作业的自定义监

控；

e)应支持在一个作业中执行批流任务，先通过批任务计算存量数据，初始化状态，再通过流任务

消费无界数据，支持批流任务状态无缝切换；

f)宜支持用户通过计划任务、固定时间间隔、执行一次等模式对作业进行定时或一次调度。

统一权限管理

批流融合计算技术应具备统一的租户管理和鉴权能力，包括：

a)应支持统一多租户管理，具备对集群内的各节点进行资源分组配置的能力，包括：

1)应支持租户成员管理，以租户的方式实现用户及用户组管理，实现资源管控及数据权限控

制的目的；

2)应支持租户资源管理，统一对租户进行计算资源的分配，分配完的参数部署到实时分析模

块，包括CPU、内存等；

3)应支持租户隔离，不同租户之间相互不可知不可见，租户间的资源和数据相互隔离，且互

不影响。

b)应支持统一的权限管理功能，统一对系统内操作进行权限验证工作；

c)应支持身份鉴别功能，对接入系统用户进行身份鉴别；

d)应支持作业间CPU、内存、GPU等资源的完全隔离，并支持资源的分配和回收管理；

e)应具备统一的计算资源监控能力，具备对集群内各节点资源的总量、消耗量进行监控的能力，

包括CPU、内存、GPU、硬盘、网络等，能根据作业和租户进行资源的监控和统计；

f)应支持通过API方式获取监控信息的能力；

g)宜支持操作审计，系统内操作均有审计日志，记录外部干预操作和系统内自动操作，记录内容

包括并不限于：事件名称、操作人、时间、操作名称。

7扩展性要求

批流融合计算技术应具备弹性扩展能力，包括：

a)应具备任务均衡能力，任务均衡能力，具备将接入的计算节点的计算压力进行平衡的能力；

b)宜具备资源动态调整能力，运行时资源不足时，支持作业动态新增资源；

c)支持集群在线扩缩能力，包括：

1)应具备在线扩容能力，融合系统集群具备集群扩展能力，且性能能够随之提升；

2)宜具备在线缩容能力，在资源富裕时，集群可以缩减资源以节约用户成本。

8兼容性要求

批流融合计算技术应具备相应的兼容能力，包括：

a)应支持分布式列存储数据库；

b)应支持关系型数据库；

c)应支持全文检索；

9

GB/TXXXX—XXXX

d)应支持内存式数据库；

e)应支持分布式文件系统；

f)应支持物理机集群模式部署；

g)宜支持容器部署；

h)宜支持边缘设备；

i)宜支持跨集群部署任务。

9性能指标

a)批流融合计算技术的性能评价指标包括：

1)检查集群在特定条件下的吞吐量；

2)每秒处理的事件数；

3)调度性能，包括：不同并发度下作业的调度耗时；作业彼此无影响的情况下支持的任务并

发度；

4)考察单作业的并发量；

5)单作业深度，包括支持DAG深度较大的复杂作业；检查大流量时的作业稳定性。

b)系统故障切换性能，检查不同状态下的故障切换时的批流融合计算系统耗时，包括：

1)无状态数据；

2)少量状态数据；

3)大量状态数据。

10

GB/TXXXX—XXXX

目次

前言.................................................................................II

引言................................................................................III

1范围...............................................................................4

2规范性引用文件.....................................................................4

3术语和定义.........................................................................4

4缩略语.............................................................................5

5技术架构...........................................................................5

6技术要求...........................................................................6

统一资源管理...................................................................6

统一计算框架...................................................................6

统一SQL接口...................................................................7

统一API接口...................................................................8

统一作业管理...................................................................8

统一权限管理...................................................................9

7扩展性要求.........................................................................9

8兼容性要求.........................................................................9

I

GB/TXXXX—XXXX

信息技术大数据批流融合计算技术要求

1范围

本文件给出了大数据批流融合计算技术要求，包括：系统架构、技术要求、扩展性要求、兼容性要

求等。

本文件适用于批流融合计算系统的设计、开发和部署提供指导，为用户理解、采用和建设批流融合

计算技术提供支撑，为相应的产品和服务评估提供参考依据。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T35295-2017信息技术大数据术语

3术语和定义

GB/T35295-2017界定的一级下列术语和定义适用于本文件。

分布式关系型数据库distributedrelationaldatabase

建立在关系模型基础上的分布式数据库，借助于集合代数等数学概念和方法来处理数据库中的数

据。

批处理batchprocessing

将一个大型作业分解成为多个任务交由多个节点分别处理，再将分解后多个任务处理的结果汇总

起来得出最终的分析结果的计算框架。

流处理streamprocessing

针对处理高速并发且时效性有较高要求的大规模计算场景，能够对具有实时、高速、瞬时性等特性

的流式数据进行实时处理的计算框架。

批流融合计算integratedbatchandstreamcomputing

能够同时支持批处理和流流处理等的计算框架。

分散-聚集Map-Reduce

大数据集的处理形式，其中所需的计算被划分并分布在多个节点上，整体结果由每个节点的结果合

并而成。

示例：MapReduce（包含Map和Reduce两个计算过程的一种计算模型）就是采用分散-聚集的处理形式。

4

GB/TXXXX—XXXX

租户tenant

对一组物理和虚拟资源进行共享访问的一个或多个云服务用户。

多租户multi-tenancy

通过对物理或虚拟资源的分配实现多个租户以及它们的计算和数据彼此隔离和不可访问。

4缩略语

下列缩略语适用于本文件。

API：应用程序编程接口（ApplicationProgrammingInterface）

CEP：复杂事件处理（ComplexEventProcessing）

CPU：中央处理器（CentralProcessingUnit）

DAG：有向无环图（DirectedAcyclicGraph）

DDL：数据定义语言（DataDefinitionLanguage）

GPU：图形处理器（GraphicsProcessingUnit）

QPS：每秒查询率（Queries-per-second）

SQL：结构化查询语言（StructuredQueryLanguage）

UDAF：用户定义聚集函数（User-DefinedAggregationFunction）

UDF：用户自定义函数（UserDefinedFunction）

UDTF：用户定义表格生成函数（User-DefinedTableFunction）

5系统架构

批流融合计算是一种分布式计算技术，可以在有界或无界数据流上进行有状态的计算，并可以快速

进行大批量的计算。如图1所示，批流融合计算技术的应主要具备如下能力：

a)统一资源管理，提供统一的资源管理能力，支持各类基础设施，包括单机、分布式集群、虚拟

资源等，能够提供在分布式模型下对于机器的调度管理能力；

b)统一计算框架，用于进行批流融合计算的能力；

c)统一API和SQL能力，对外提供业务高阶抽象的API和SQL，方便用户完成业务数据流程编

排，并翻译为底层执行计划。支持在统一的API之上，构建包括复杂事件处理、机器学习、图

计算等作业的管理；

d)统一作业管理，能够通过相同的客户端进行批、流融合计算作业提交、管理、停止等操作；

e)统一权限管理，能够针对批流作业业务提供统一的租户管理和鉴权能力。

5

GB/TXXXX—XXXX

图1批流融合计算框架图

6技术要求

统一资源管理

批流融合计算技术应具备统一的资源调度和分配能力，包括：

a)应支持使用同一套资源调度和分配系统，以满足资源互相共享或削峰填谷；

b)应支持CPU、内存、GPU等异构资源调度和配置；

c)应支持任务优先级调度:能够定义不同优先级的任务，可实现部分场景中后启动的高优先级任

务能够获取运行中的低优先级任务释放的资源；

d)应支持静态资源分配策略和动态资源分配策略；

e)应提供匹配组织的层次结构，支持多层次的队列资源管理；

f)应实现队列的资源实现严格的隔离，即不超过分配给该队列的资源上限；

g)应支持弹性资源与抢占：当有空闲资源时，租户可以使用超过其配置资源，以提高系统资源整

体的利用率；

h)应支持租户的资源抢占：当系统繁忙时，其它租户无法拿到配置应得的资源时，当前租户超过

配置部分的闲置资源可以被其它租户抢占，保证各租户的服务质量；

i)应支持根据作业需求动态分配计算资源，自动管理回收资源；

j)应支持作业级别资源隔离，资源类型包括CPU、内存、GPU等；

k)应支持多种运行模式，包括本地（local）模式和集群（cluster）模式；

l)宜支持独立部署模式。

统一计算框架

批流融合计算技术应具备统一的计算框架，以支持批、流计算，包括：

a)应支持采用一定措施保证数据量超出处理能力的情况下，不会崩溃或丢失数据，措施包括并不

限于：限流、缓冲、自然反压等；

b)应支持状态数据的管理，具备容错机制，能够恢复状态数据，且不影响作业性能，状态数据包

含但不限于网络缓存、流系统内部状态变量数据或流数据；

6

GB/TXXXX—XXXX

c)应支持数据完整性操作:支持至少处理一次（at-least-once）；支持恰好处理一次（exactly-

once）；

d)应支持窗口切分：支持按事件时间进行窗口切分、支持按处理时间（或入口时间）进行窗口切

分；

e)应支持水印操作；

f)应支持触发器来处理事件时间相关的操作；

g)应支持算子并行度设置，包括对SQL/JAR任务各个算子并行度设置；

h)应支持CEP复杂事件：支持流式CEP，复杂事件的模式匹配；

i)应支持事件驱动；

j)应支持DAG作业流程编排描述，包括各个执行作业的具体描述以及作业执行顺序；

k)应支持设置时间字段的格式；

l)应支持多种时间定义，如事件时间、处理时间、或入口时间；

m)宜支持机器学习的能力；

n)宜支持图计算的能力；

o)宜具备处理乱序的能力；

p)宜具备迭代处理的能力；

q)宜支持批流融合计算系统统一的容错策略。

统一SQL接口

批流融合计算技术应具备使用统一的SQL描述批流两类作业的抽象接口，包括：

a)应支持使用标准的SQL；

b)应在批/流数据集合之上统一支持常用的数据类型，涵盖可变长字符串（VARCHAR）、字节型

（BYTE）、布尔型（BOOLEAN）、整型（INT）、大整型（BIGINT）、单精度浮点型（FLOAT）、

双精度浮点型（DOUBLE）、小数（DECIMAL）、日期（DATE）、时间戳（TIMESTAMP）、数组（ARRAY）、

行（ROW）等常用数据类型；

c)应支持使用DDL语句定义引用上述存储系统；

d)应支持针对批/流数据集合的抽取、筛选、投影；

e)支持针对批/流数据集合的聚合（GroupBy）操作，包括：

1)在窗口聚合场景下，应支持常见的窗口，如滚动窗口（TumbleWindow）、滑动窗口（Hop

Window）、会话窗口（SessionWindow）、累积窗口（CumulativeWindow）；

2)在非窗口场景下的聚合操作，应支持针对（批/流）数据集合，如在常见基础数据结构（如

INT、BIGINT、VARCHAR等）上的聚合操