《电力企业数据中台总体架构和技术要求》

ICS点击此处添加ICS号

点击此处添加中国标准文献分类号

T/CEC

中国电力企业联合会标准

T/CECXXXXX—XXXX

电力企业数据中台总体架构和技术要求

Generalarchitectureandtechnicalrequirementsofdatamiddlegroundofelectric

powerenterprises

点击此处添加与国际标准一致性程度的标识

文稿版次选择

XXXX-XX-XX发布XXXX-XX-XX实施

中国电力企业联合会发布

T/CECXXXXX—XXXX

I

T/CECXXXXX—XXXX

电力企业数据中台总体架构和技术要求

1范围

本文件规定了数据中台技术和功能要求，包括总体架构、功能要求和非功能要求三部分，从数据接

入、存储计算、数据应用和数据管理等方面明确了相关组件的功能规范和技术要求。

本文件适用于电力企业数据中台规划、设计、开发、建设、运维等环节。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB17859—1999计算机信息系统安全保护等级划分准则

GB/T20984信息安全技术信息安全风险评估规范

GB/T22239—2008信息安全技术信息系统安全等级保护基本要求

GB/T28827.6-2019信息技术服务运行维护第6部分：应用系统服务要求

3术语和定义

下列术语和定义适用于本文件。

3.1

业务中台businessmiddleground

后台资源进行抽象包装，转化为前台友好的可重用共享的核心能力。

3.2

数据中台datamiddleground

从后台及业务中台获取数据，完成海量数据的存储、计算、产品化包装，为前台基于数据的定制化

创新和业务中台基于数据反馈的持续演进提供支撑。

3.3

列式存储columnarstorage

按单列而不是多行进行的数据连续存储方式。

3.4

时序数据库timeseriesdatabase

存储与时间相关的数据，该数据是在时间上分布的一系列值。

1

T/CECXXXXX—XXXX

4缩略语

下列缩略语适用于本文件。

API：应用程序编程接口（ApplicationProgrammingInterface）

ETL:数据抽取转换加载(ExtractTransformLoad)

FTP：文件传输协议（FileTransferProtocol）

GB：吉字节（Gigabyte）

GE：千兆以太网（GigabitEthernet）

HTTP:超文本传输协议（HyperTextTransferProtocol)

JDBC：Java数据库连接（JavaDataBaseConnectivity）

JMS：Java消息服务（JavaMessagingService）

JS：一种直译式脚本语言（JavaScript）

MB：兆字节（Mbyte）

MPP：大规模并行处理（Massivelyparallelprocessing）

ODBC：开放数据库连接（OpenDataBaseConnectivity）

OLAP：联机分析处理（On-LineAnalyticalProcessing）

PB：拍字节（PetaByte）

POSIX:可移植操作系统接口（PortableOperatingSystemInterfaceofUNIX）

QPS：每秒查询率（QueryPerSecond）

RESTFUL：一种网络应用程序的设计风格和开发方式（RepresentationalStateTransfer）

5数据中台架构

5.1总体架构

数据中台包含贴源层、共享层、分析层、统一数据服务、数据资产管理、运营管理和安全管理，总

体架构如图1所示：

2

T/CECXXXXX—XXXX

图1数据中台总体架构

5.2总体描述

云平台：为数据中台、业务中台提供计算、存储、网络、安全、数据库及中间件资源；数据中台：

汇聚全局数据资源，为前端业务应用及业务中台提供数据服务，支撑面向各专业、各基层单位和外部合

作伙伴的数据共享分析服务；业务中台：整合公司核心共性的业务服务能力为中台共享服务，支撑前端

应用灵活、快速构建，赋能前端业务应用并提升创新能力。业务中台为前端业务系统提供共性业务处理

能力，同时将数据同步至数据中台；应用层：通过应用服务层支撑前端各类业务应用。

5.3总体要求

数据中台总体技术要求包括数据共享及应用要求、服务输出能力要求和技术选型要求，具体如下：

a)数据中台应满足对结构化、非结构化、采集量测等多源异构的数据接入；

b)数据中台应提供满足批量离线计算、实时流式计算、数据挖掘等支撑能力，应满足多维数据分

析、报表分析、企业经营管理及运营数据分析、用户用电行为分析等分析能力，应满足主流应

用构建技术及算法自定义；

c)数据中台应用提供满足数据业务化以数据服务方式对外提供服务，灵活支撑企业级数据共享及

应用，并可实现在线调度监测、自动化执行、敏捷化应用等；

d)应满足多类型数据存储应用，包括结构化数据、非结构化数据、采集量测类数据和特定规约的

消息数据等；

e)应满足大规模数据量存储，并满足集群规模灵活扩展；

f)系统运行指标方面应满足与信息通信一体化调度运行支撑平台集成；

g)应具备完善的整体数据安全和隐私保护措施。

5.4功能架构

5.4.1功能架构图

数据中台的能力主要包括数据接入、存储计算、数据分析、数据服务、数据资产管理、运营管理、

安全管理七个方面，功能架构图如图2所示：

3

T/CECXXXXX—XXXX

图2数据中台功能架构

5.4.2功能描述

数据中台功能主要包括：

a)数据接入是指从数据中台外部将各类业务数据汇聚到数据中台贴源层的基本服务能力。数据种

类主要包括结构化数据、非结构化数据、采集量测数据和特定规约的消息数据。源端可以是各

类业务系统、终端设备和外部第三方服务提供商。其中数据交换能力应具备横向和纵向级联数

据传输能力；

b)存储计算是数据中台数据核心处理引擎。数据存储是指各类业务数据接入数据中台后的落地过

程。数据计算是指根据需求对数据进行计算加工的处理过程；

c)数据共享是统一管理公司数据共享、数据交换、数据集成服务，未来将数据交易服务纳入统一

管理；

d)数据分析是为分析模型和分析算法提供管理，为数据报表与可视化展示提供工具集；

e)数据服务通过数据服务目录实现安全、友好、可控的对内对外数据服务统一访问，提供Restful

等各类形式的API服务接口的统一注册、管理和调度；

f)数据资源管理对数据资产体系的模型、目录、数据标签等进行全面管控；

g)运营管理为数据中台的使用过程提供各种管理支撑工具，对数据服务进行参数配置和调度计

量，对数据开发提供在线交互功能，是实现数据全生命周期监控的基本工具集，数据运营能力

包括对模型、指标、标签、策略等开展持续运营的能力；

h)安全管理为数据中台提供安全支撑，配置脱敏规则对数据进行脱敏处理，对数据中台进行安全

监控和操作审计，保障数据中台安全性及稳定性。

6功能要求

4

T/CECXXXXX—XXXX

6.1数据接入

6.1.1消息队列

消息队列具体功能应包括：

a)满足为数据中台提供基于消息的事件类或采集量测类数据接入能力；

b)满足点对点、发布/订阅等多种通信模型；

c)满足可靠消息，代理节点保证消息收且只被接收一次；

d)满足保序消息，代理节点保证消息的顺序接收；

e)满足事务消息，多条消息应满足以事务方式发送；

f)满足持久化消息，消息在代理节点持久化到硬盘，防止丢失；

g)符合JMS规范，应满足字节流、字符串、二进制流、序列化对象等多种易处理消息类型；

h)满足同步发送/异步发送，源端与目标端可通过代理进行同步/异步通信；

i)满足多种语言版本的API，如java、c++等；

j)满足数据路由，多套消息中间件间可实现消息路由转发；

k)满足集群部署，应满足高可用，具备运行节点横向扩展能力。

6.1.2数据复制

数据复制具体功能应包括：

a)应满足通过在线日志或归档日志的数据增量捕获，非侵入式的实现数据库之间数据复制；

b)源端和目标端均应满足Oracle、MySQL等常见关系数据库；

c)具备多种比对策略，应满足表结构、表记录等多对象的一致性比对；

d)具备高比率的数据压缩，能够实现断点续传，并能在传输过程中进行安全的数据加密；

e)具备对复制过程各个环节的运行情况进行记录和监控的能力；

f)应满足多种接口与第三方系统对接，提供增量数据变化描述的中间数据；

g)应满足基于事务的数据同步。

6.1.3ETL

ETL具体功能应包括：

a)应满足ORACLE、MYSQL、POSTGRESQL、SQLSERVER、SG-RDB、DB2、GREENPLUM、

SYBASE、MSACCESS、SQLITE、GBASE8A等主流数据库；

b)应满足txt、csv、xml等主流格式文件；

c)应满足HBASE、HIVE、HDFS、KAFKA等大数据组件，并应满足KERBEROS安全认证机制；

d)应满足达梦、金仓、GBASE8A等国产数据库，应满足电力E文件等格式文件；

e)具备完善的数据整合处理能力，应满足值映射、拆分字段、合并字段、字段选择、排序、编码

转换、计算、行列转换、剪切字符串、去重、唯一行（哈希值）、增加常量、增加序列、字符

串替换、行扁平化、设置字段值、正则表达式替换等；

f)应满足对ORACLE、MYSQL、POSTGRESQL、GBASE8A等常见数据库的高效加载机制，

应满足批量加载、并行加载、增量加载、通过变量控制加载范围等；

g)应满足独立的线上调度监控能力，应满足定时执行、批量执行、依赖执行、增量执行、变量执

行、接口调用执行、手动执行等调度方式；应满足在线监控任务运行日志、运行进度、运行告

警、资源使用等；

h)应满足调度接口，应满足与第三方应用交互，并反馈运行结果；

i)应满足可视化任务编排，应满足可视化开发工具、可视化调度监控；

5

T/CECXXXXX—XXXX

j)应满足批量配置；

k)应满足集群部署，具备运行节点横向扩展能力；

l)应满足开发环境与生产环境分离能力，应满足在测试环境开发调试，将结果上传到生产环境运

行，并提供B/S架构对系统进行管理。

6.1.4数据交换

数据交换具体功能应包括：

a)满足单端口总线式通信，满足在安全网络体系下，两级间级联组网，避免大量开通通信端口，

消除安全隐患；

b)满足多种网络通信机制，应满足异步传输、分块传输、批量传输、断点续传、链路选择等机制，

解决两级网络高延迟、易断开、TCP滑动窗口不稳定等问题；

c)满足基于服务的数据交换方式，业务系统和数据中心之间可以通过WEBSERVICE方式进行数

据交换；

d)满足基于数据库表的数据交换，应满足ORACLE、MYSQL、POSTGRESQL、SG-RDB、GBASE

8A、DB2、GREENPLUM等常见关系库，应满足关系数据库和HADOOP的数据交换和同步；

e)满足基于文件的批量数据交换，不区分文件格式；

f)满足基于消息的高频数据交换，提供两级集群消息通道服务，应满足发布/订阅模式；

g)满足可视化配置，应满足数据交换任务可视化配置、两级任务可视化管理、可视化运行监控；

h)满足任务批量配置；

i)满足数据失败补偿机制、增量机制、人工干预机制；

j)满足交换任务调度接口，应满足与第三方应用变量交互，按需调用接口实现交换任务运行调度，

并反馈运行结果；

k)满足数据交换任务在线管理、应满足多种任务调度机制、应满足在线日志查看、异常告警等功

能；

l)满足集群部署，具备运行节点横向扩展能力；

m)满足多视角的数据流向和数据状态展现视图及分析报表功能；

n)满足数据质量检查功能；

o)满足交换任务自动检查功能；

p)满足交换任务智能统计分析功能。

6.2存储计算

6.2.1批量计算

批量计算具体功能应包括：

a)具备任务定义、提交、调度、监控能力；

b)满足多种数据来源及输出，包括关系数据库、分布式文件系统、分布式列式存储等，满足各业

务系统根据业务需求进行各类型统计分析任务的定义；

c)具备错误检测和恢复机制，具备节点自动重启技术，使集群和计算框架具有应对节点失效的健

壮性，能有效处理失效节点的检测和恢复；

d)业务应用能够通过调用批量计算服务API实现批量计算逻辑；

e)满足横向扩展，可动态扩展节点，用于批量计算。

6.2.2流计算

6

T/CECXXXXX—XXXX

流计算具体功能应包括：

a)满足多种内建的字符串、时间、统计、逻辑运算表达式等类型函数，满足用户自定义计算函数，

自定义输入、输出数据源；

b)满足消息驱动的实时计算，满足对接不同的数据源，以毫秒级时延实现数据的聚合、拆分、过

滤等处理；

c)满足在流上执行类SQL任务，满足多种输入、输出数据源及相关的序列化、反序列化方式；

类SQL能力至少包括：基于窗口的计算能力、提供窗口数据的统计能力、关联能力；

d)满足自动、手动性能调优和监控报警；

e)流计算集群应满足线性扩展，具备容错机制，满足作业级容错；

f)业务应用能够通过调用流计算服务API实现流计算逻辑。

6.2.3内存计算

内存计算具体功能应包括：

a)提供对事件处理的可靠保证；

b)满足冗余/高可用的配置，能够保证模块无单点故障；

c)业务应用能够通过调用内存计算服务API实现内存计算逻辑；

d)具备任务定义、提交、调度、监控能力；

e)满足使用JAVA、SCALA、PYTHON编程语言。

6.2.4国产数据库

国产数据库应包括：

a)支持GBASE8A国产数据库，并满足大规模集群部署；

b)支持达梦国产数据库，并满足大规模集群部署；

c)支持金仓国产数据库，并满足大规模集群部署；

d)支持神舟通用国产数据库，并满足大规模集群部署；

e)支持高斯国产数据库，并满足大规模集群部署；

f)支持POLARDB国产数据库，并满足大规模集群部署；

6.2.5分布式列式数据库

分布式列式数据库具体功能应包括：

a)提供列式存储、在线快速读写、线性扩展、监控管理等能力；

b)满足大规模集群部署、PB级数据存储；

c)满足组件API访问接口，满足扩展的SQL访问，满足ODBC、JDBC等开发接口；

d)满足二级索引，能够满足本地以及全局二级索引，并且能够满足组合字段索引，满足为已经存

在数据的表新增索引，满足索引删除能力，满足通过API和PHOENIX创建二级索引；

e)满足与全文检索服务对接，满足在数据库数据加载过程中实时生成全文索引，提供快速、简单

的内容检索方案；

f)满足MOB技术，满足小文件（比如图像数据、文档等）的高效存储和检索；

g)数据加密存储时，满足SM3/SM4国密算法。

6.2.6分布式关系型数据库

分布式关系型数据库具体功能应包括：

a)满足数据冗余存储、分库分表、透明读写分离、数据存储平滑扩容、分布式运维指令集、分布

7

T/CECXXXXX—XXXX

式事务等功能；

b)满足数据库在线扩容、在线备份；

c)满足数据库状态管理和监控能力；

d)满足数据库SQL标准访问接口，满足ODBC、JDBC等开发接口；

e)满足大规模集群部署，集群具备高并发响应能力；

f)数据加密存储时，满足SM3/SM4国密算法。

6.2.7图数据库

图数据库具体功能应包括：

a)满足以图数据结构进行存储、处理、查询等；

b)满足分布式部署；

c)满足并行处理；

d)满足关系型数据库导入或CSV、TXT等文件形式导入；

e)满足可视化展示图结果查询；

f)满足动态更新节点、边、属性；

g)满足对外提供标准的API功能,能够和其他平台完成对接和交互；

h)满足拓扑关系数据存储和分析能力；

i)满足在线备份（完整备份和增量备份），写操作应满足线程安全；

j)满足常用图算法AQL、PREGEL、CYPHER等，并应满足算法扩展。

6.2.8数据融合存储

数据融合存储包括数据分类、分层、分区和存储技术两部分：

a)数据分类、分层、分区包括：

1)数据分类是根据数据本身特点、分为结构化数据和非结构化数据；

2)数据分层是根据数据粒度以及数据ETL来划分数据层次，借鉴传统数据仓库建设方案和数

据中台平台实际需求进行数据分层次整合，层次包括：贴源层、共享层和分析层；

3)数据分区是对一个数据在特定维度上再次细化分类。

b)存储技术要求应包括：

1)满足在线查询或离线计算的数据访问需求；

2)满足高吞吐的数据读取和写入；

3)满足PB级大规模数据存储和查询；

4)提供更灵活的存储和计算资源管理手段，提高存储和计算的扩展性；

5)提供在线应用所需的低延迟业务数据查询。

6.2.9MPP数据库

MPP数据库具体功能应包括：

a)满足表、视图、函数、主键、约束、索引、存储过程、游标等数据库基础对象；

b)满足分组、排序、汇总、联合、子查询等功能；

c)满足分布式事务、全局事务等；

d)满足主流的LINUX操作系统，应满足主流硬件厂商的硬件；

e)满足基于节点间无共享的存储架构；

f)满足在线扩展(删除)节点服务器而不影响应用系统持续运行；

g)满足SQL92、SQL99、SQL2003、SQL2008等SQL标准；

8

T/CECXXXXX—XXXX

h)提供对C、C++、JAVA、C#、PYTHON开发语言和工具的支持；

i)提供对易用并具有广泛适应性的接口程序，如：JDBC、ODBC等；

j)满足PB级结构化数据存储；

k)提供数据备份和恢复机制；

l)满足多种数据容错机制，包括针对磁盘错误等硬件错误的容错手段；

m)提供统一的图形化数据库管理工具，可对多套数据库进行集中式的统一管理；

n)提供图形界面的数据库性能监控和动态性能调整等功能，能为管理员提供调优建议，提供系统

自动参数调优功能。

6.2.10时序数据库

时序数据库具体功能应包括：

a)满足实时、高并发写入，无须更新或删除操作，时序数据会按照指定的时间粒度持续写入；

b)满足分级存储、SQL查询；

c)满足数据压缩功能，降低存储成本；

d)满足分片，水平扩展；

e)满足历史查询、插值查询以及聚合计算，能满足各种复杂的业务数据查询场景；

f)满足高效的数据压缩技术，减少磁盘空间占用；

g)满足批量历史数据查询、历史时刻断面数据查询等多种数据访问方式。

6.3数据分析

6.3.1数据分析需求目录

数据分析需求目录具体功能应包括：

a)满足按专业对业务需求进行分类；

b)满足对业务分析挖掘需求信息的新增、删除、编辑、版本管理；

c)满足业务分析挖掘需求信息发布，包括业务分析背景、目标、范围、要求等信息发布；

d)满足业务分析挖掘需求信息查询、浏览、交流、标注、评价。

6.3.2自助式分析

自助式分析具体功能应包括：

a)满足数据源接入配置、管理，提供对各类数据源的维护，满足主流数据库、文件以及第三方

API接口等；

b)满足基于用户数据使用权限进行字段级的数据加密、脱敏；

c)内置常用的数据预处理算子，满足数据清洗、转换、集成、数据规约等功能；

d)满足对数据的使用行为、使用流程、方式等进行审计、标注；

e)满足对用户用电行为数据的分析，为用户画像提供基础支撑；

f)提供直观、易用的拖放式界面，能通过选择主题相关的表及相应的图表、文字等展现形式，设

置布局、样式等信息，形成相关图表分析功能,内置主流可视化图表控件，满足动态集成第三

方可视化控件，对数据进行探索分析和数据标注；

g)内置主流的数据挖掘算法，满足动态集成第三方算法，满足通过在线拖拉方式，实现分析挖掘

模型构建与训练、评估、优化；

h)满足模型以工具的形式部署到用户使用的平台或系统中。

9

T/CECXXXXX—XXXX

6.3.3数据可视化

数据可视化具体功能应包括：

a)满足数据源管理，提供对各类数据源的维护,可支持主流数据库、文件以及第三方API接口等；

b)满足对数据集进行数据类型转换、字符长度截取等简单的数据预处理；

c)满足可视化分析设计，提供图形化拖拽等简易配置可视化场景的能力，提供丰富的可视化组件

库，满足不同业务的展示需求；

d)满足基于模板快速构建可视化场景，预置多种业务典型模板；

e)满足对海量数据的快速响应、实时在线、详细展示；

f)满足对多种复杂数据格式和场景的展示，包括实景地图、3D建模、VR仿真建模等；

g)满足集成第三方可视化工具。

6.3.4报表分析

报表分析具体功能应包括：

a)满足数据源管理，提供对各类数据源的维护,可支持主流数据库、文件以及第三方API接口等；

b)满足报表的创建、数据自定义报送、报表数据自定义时间采集、执行任务列表查看等业务需求；

c)满足业务应用个性化自助报表设计、查询、图形化展现等业务需求；

d)满足机器人仪表盘、作业管理、运行监测、机器人配置管理、部署管理等能力。

6.3.5成果应用管理

分析成果管理具体功能应包括：

a)满足分析挖掘模型成果、可视化看板、报表成果的提交、审核、编辑、版本管理、发布、下架

等；

b)满足对分析成果进行下载、使用、分享；

c)满足分析成果信息浏览、查看、标注、评价；

d)满足对分析成果应用使用情况的跟踪、反馈、评估；

e)满足对分析成果的成果数量、浏览次数、下载及引用次数等进行多维分析。

6.3.6非结构化数据分析

非结构化数据分析具体功能应包括：

a)满足对数据源管理，提供对各类数据源的维护,可支持HBASE、HDFS等主流数据库、文件

以及第三方API接口等；

b)满足对非结构化数据进行下载、使用、分享；

c)满足对非结构化数据得浏览次数、下载及引用次数等进行多维分析；

d)满足非结构化数据得浏览、查看、评价；

e)满足图像的形状、色彩、格式等特征的获取，并进行自动分组建立索引；

f)满足对视频与音频数据的内容进行分析；

g)满足视频与音频的自动或人工分组。

6.4数据服务

6.4.1数据服务目录

数据服务目录具体功能应包括：

a)可基于元数据，构建数据服务目录、资源分类、编码管理等接口；

10

T/CECXXXXX—XXXX

b)满足对数据服务的统一注册与发布、编排（组合编排）、订阅、授权、检索以及应用接入管理

能力；

c)满足快速将数据通过封装配置生成数据服务API，并以WEBSERVICE、RESTFUL等接口形式

进行注册、发布等配置；

d)满足管理、绘制各个数据服务标签的能力，为调用方提供快捷的目录检索功能；

e)满足管理前端业务应用对数据服务的订阅，为已订阅的前端业务应用提供服务消息通知；

f)满足记录管理前端业务应用对数据服务的访问痕迹、访问状态、资源使用情况等；

g)可提供各类数据服务的授权配置功能，前端业务应用仅能访问已授权的数据服务，包括免认证、

TOKEN、BASIC等认证形式；

h)满足数据服务版本管理，可追溯数据服务变更记录；

i)满足对数据服务的运行状态、服务数量、服务调用频度等多维分析。

j)满足技术元数据与业务元数据相结合并形成数据画像，为调用方提供快捷的数据服务；

6.4.2RESTFUL服务

RESTFUL服务具体功能应包括：

a)满足单个资源、资源集合两种形式的URL；

b)满足验证来自客户端的所有输入，避免注入攻击；

c)满足会话机制，对客户端此次请求进行权限认证；

d)满足URL敏感数据监测；

e)仅支持GET方法，不支持更新、删除数据等操作。

6.4.3WEBSERVICE服务

WEBSERVICE服务具体功能应包括：

a)满足通过封装、规则、协议进行数据交换，并提供各类数据服务接口的生成、注册、发布等配

置功能；

b)满足身份认证、访问IP认证以及加密传输等。

6.4.4第三方接口服务

第三方接口服务具体功能应包括：

a)满足JS接口、HTTP接口等第三方集成接口服务，并提供各类数据服务接口的生成、注册、

发布等配置功能；

b)满足身份认证、访问IP认证以及加密传输等。

6.5数据资产管理

6.5.1数据资产目录

数据资产目录具体功能应包括：

a)满足主流数据库元数据动态采集；

b)满足在线动态创建不同类型数据资源目录及资源绑定；

c)满足数据资源目录和数据血缘关系的可视化展示；

d)满足数据资源检索、数据自助获取等功能。

6.5.2标签管理

11

T/CECXXXXX—XXXX

标签管理具体功能应包括：

a)满足对不同类型标签的增加、修改、下线等全生命周期管理功能，并自动创建相关标签信息库；

b)满足在建立标签主体对象后，通过配置规则自动对不同数据对象打标签；

c)满足查询单个数据对象的所有标签信息；

d)满足查询某个群体的标签信息。

6.5.3数据模型管理

数据模型管理具体功能应包括：

a)满足标准设计模型在线发布管理；

b)满足个性化数据模型的管理及模型多版本管理及版本间差异分析；

c)满足模型可视化展示及一键式查询；

d)满足设计态模型与运行态模型比对管理与分析。

6.5.4数据质量管理

数据质量管理具体功能应包括：

a)满足用户自定义数据质量规则配置（完整性、准确性、及时性等规则），动态构建质量核查规

则库、清洗规则库，支撑业务层和数据层的数据质量工作；

b)满足质量核查任务的动态创建及调度配置，根据调度策略执行核查任务，并生成相关核查结果；

c)满足数据剖析，自动检测数据内容、结构、关联关系，发现数据质量问题，概览大数据集数据

情况；

d)满足数据质量模型配置，提供业务级、算法级等质量模型接口，快速集成数据质量模型。

6.5.5主数据管理

主数据管理具体功能应包括：

a)满足对企业主数据对象的新增、变更、冻结、解冻、审批、分发等全过程管理；

b)满足将主数据服务能力统一发布至数据服务目录。

6.6运营管理

6.6.1数据开发

数据开发具体功能应包括：

a)满足构建涵盖数据整合、计算、挖掘、可视化、AI等工具集和开发管理于一体的数据开发能

力合集；

b)满足数据整合、数据脱敏、数据计算、数据挖掘、AI框架、可视化展示、数据服务开发等各

类任务的可视化流程配置功能；

c)满足快速完成数据开发，封装、发布数据服务，为数据开发用户提供便捷、开放、高效的开发

构建体验。

6.6.2服务管理

服务管理具体功能应包括：

a)满足管理、绘制各个服务的标签，为用户提供清晰的服务画像；

b)满足管理前端业务应用对数据服务的订阅，为已订阅的前端业务应用提供服务消息通知；

c)满足记录前端业务应用对数据服务的访问痕迹、访问状态、资源使用情况等；

12

T/CECXXXXX—XXXX

d)满足各类数据服务的授权配置功能，前端业务应用仅能访问已授权的数据服务；

e)满足各类数据服务的配置、注册、发布等管理功能，支撑数据服务。

6.6.3计量管理

计量管理具体功能应包括：

a)满足制定数据中台的收费标准；

b)满足提供数据服务的使用频率统计功能。

6.6.4链路监测

链路监测具体功能应包括：

a)满足吞吐量、响应时间、错误记录等监测功能；

b)满足链路追踪和故障快速定位可视化功能；

c)满足数据链路优化功能，对各个调用环节的可用性和服务依赖关系进行优化。

6.6.5监控告警

监控告警具体功能应包括：

a)满足对服务器监测，提供数据中台全部服务器的CPU、内存、IO、网络等基础资源监控告警

功能；

b)满足对应用场景监测，提供数据中台的各类应用场景运行情况监控告警功能。

c)满足对数据服务监测，提供服务运行状态、服务调用次数、是否调用成功等数据服务监测告警

功能。

6.6.6任务调度

任务调度具体功能应包括：

a)满足作业任务管理，提供作业任务添加、变更及删除等功能，满足数据接入、数据计算（内存

计算、离线计算、流计算）等作业任务配置管理；

b)满足任务持久化和定时任务；

c)满足日作业数大于等于10W个任务调度管理；

d)满足分布式任务调度功能、支持失效转移。

6.6.7需求管理

需求管理具体功能应包括：

a)满足各类需求的新增、删除、修改、查阅；

b)满足对需求工单自定义配置，通过权限控制实现工单按预定的业务流程进行流转；

c)满足需求工单与邮件、短信的集成，当指派需求工单或需求工单内容发生变动时自动推送相关

信息至相关负责人；

d)满足各类需求的自动或人工分类；

e)满足各类需求在结束后自动归档，通过自定义配置实现归档的留存时间；

6.7安全管理

6.7.1数据脱敏

数据脱敏具体功能应包括：

13

T/CECXXXXX—XXXX

a)满足对全局脱敏作业任务进行实时监控；

b)满足隐藏信息时保留其原始数据格式和特定属性要求，以实现基于脱敏数据的开发与测试要

求；

c)满足基于不同权限的差异化脱敏，实现运维人员实时访问数据时的敏感数据保护；

d)满足脱敏算法的启停控制、新增维护、在线测试功能及脱敏模板维护功能；

e)满足对敏感数据的结构信息和存储分布进行实时监控，应满足对敏感字段分布的在线查询与可

视化展现，同时在其定义与结构信息发生变化时自动推送变更信息至数据责任人。

6.7.2安全威胁监控

安全威胁监控具体功能应包括：

a)满足对各种基础架构、安全设备以及应用系统等日志的收集；

b)满足对日志进行综合关联安全分析，对可能发生的攻击行为，提供安全告警，并给出处理建议；

c)满足对各类基础架构以及应用程序的漏洞信息的收集；

d)满足以企业的资产重要等级、CVSS评分、利用难度、攻击矢量等度量值来确定漏洞风险级别；

e)满足对发现的漏洞，给出建议的漏洞修复时间窗口及可落地的漏洞修复方法。修复方法包含但

不限于打补丁、修改配置、严格的访问控制措施等。

6.7.3安全审计

安全审计具体功能应包括：

a)满足用户对数据的访问及操作记录日志的收集；

b)满足对日志的分类统计与分析，提供数据访问报表，满足数据安全时间溯源功能；

c)满足对数据的检索和分析；

d)满足对用户的违规访问和危险操作进行告警。

6.7.4安全开发资源库

安全开发资源库具体功能应包括：

a)满足为开发部门提供安全需求库、安全设计库、安全代码样例以及可直接调用的安全组件，安

全测试用例等资源库；

b)满足开发快速了解当前开发周期内得安全需求，实现方法以及验证方法，为应用开发安全提供

有力支撑。

6.7.5安全配置

安全配置具体功能应包括：

a)满足数据共享级别管理，依据数据分类分级的方法，能够对数据共享分级信息进行维护，实现

数据分级分类权限与访问控制管理，以及数据权限的规范管理及应用；

b)满足对中台中大数据基础软件的安全配置进行集中管理，满足等级保护第三级要求。

7非功能要求

7.1性能要求

7.1.1平台响应性能

数据中台进行多用户并发操作时，应满足如下要求：

14

T/CECXXXXX—XXXX

a)首页访问平均响应时间不得超过1秒；系统登录平均响应时间不得超过3秒；

b)平台同时在线用户并发大于200，数据接口调用类服务并发数大于2000个；

c)执行简单查询、添加和删除业务时，平均响应时间不得超过3秒；执行千万级数据量分析处理

时，平均处理时间不得超过10秒；

d)执行复杂的综合业务（同时包括查询、添加、删除等操作请求）时，平均响应时间不得超过7

秒；

e)应用服务器和数据库服务器的日常CPU平均利用率均不超过65%，且CPU利用率不得连续

30秒超过80%；

f)应用服务器的日常内存平均使用率不超过70%，且内存使用率满足不得连续60秒超过80%的

要求；

g)事务失败率不超过0.1%。

7.1.2数据采集性能

数据中台的数据接入组件数据采集性能应满足如下要求：

a)平均单节点文件解析采集写入消息队列速度大于30M/S；

b)平均单节点从消息队列采集写入列式存储速度大于10M/S；

c)平均单节点结构化数据的采集写入速度大于20M/S；

d)平均单节点非结构化数据的采集写入速度大于30M/S。

7.1.3数据读取性能

数据中台的数据存储组件数据读取性能应满足如下要求：

a)亿行级别的数据表间关联，关联结果在1千万条数据以内的情况下，响应时间在10秒以内；

b)平均单节点分布式文件系统对数据的下载速度大于25M/S。

7.1.4数据服务应用性能

数据中台的数据服务组件数据应用性能应满足如下要求：

a)数据中台发布的数据服务应满足数据传输速度大于10M/S；

b)数据服务调用失败率小于0.1%；

c)分布式的数据服务调用节点发生故障时，应确保数据服务正常可用。

7.1.5数据计算性能

数据中台的存储计算组件数据计算性能应满足如下要求：

a)流计算平均数据处理速度大于10万条/S，吞吐量大于50M/S；

b)内存计算平均数据处理吞吐量大于1GB每分钟；

c)批量计算平均数据处理吞吐量大于1GB每分钟。

7.1.6弹性式分布

弹性式分布应满足如下要求：

a)执行资源具有扩缩容功能，同时提供移除异常实例、自动关联负载均衡等功能；

b)容器具有自我保护模式的功能，当容器执行的任务占用资源过大，容器会开启自保护模式，防

止有新的任务进入，当容器恢复后再自动接收新的任务。

7.1.7高可用指标

15