全业务数据中心数据中台建设实施方案V2

全业务数据中心数据中台建设实施方案

目录

1总论............................................................4

1.1主要依据.....................................................4

1.2主要原则....................................................5

1.3必要性分析..................................................5

1.4效益分析....................................................6

2建设现状........................................................7

2.1全业务统一数据中心分析域建设情况..............................7

3项目需求分析....................................................9

3.1业务功能需求.................................................9

3.2非功能性需求................................................12

4建设方案.......................................................13

4.1项目目标及范围..............................................13

4.2项目建设内容...............................................14

4.3技术方案...................................................21

4.4项目实施计划...............................................25

5经济性和财务合规性.............................................26

6软硬件设计.....................................................27

7主要设备材料清册...............................................27

7.1编制说明...................................................27

7.2主要设备材料表（无）........................................28

8投资估算书.....................................................28

8.1概述.......................................................28

8.2编制原则和依据.............................................28

8.3投资分析...................................................28

8.4估算表及附件...............................................29

表-1.........................................................................................................................................30

项目投资估算示范表................................................30

表-2.........................................................................................................................................31

项目实施工作量明细表..............................................31

表-3.........................................................................................................................................34

项目投资其他费用表................................................34

1总论

本项目是信息化建设类新建项目。

项目基于初步建成的企业级统一云服务平台和全业务统一

数据中心基础上，探索建立数据中台服务机制。构建遵从

SG-CIM3.0的信息模型标准的数据质量治理和数据融通试点工

作，并探索提供基于标准的数据服务。推进XX电力整体数据质

量提升，丰富跨专业的数据共享机制，构建数据公共服务组件，

强化数据安全管控，建立常态化的企业数据管理新模式，实现

前端数据融合、后端数据共享的企业数据融通体系，培育XXXX

特色的企业数据文化，让数据成为驱动XXXX业务创新发展的源

动力。

1.1主要依据

(1)《公司“十三五”信息化发展规划》

(2)《国家XX公司信息系统上下线管理办法》

(3)《国家XX公司信息化建设管理办法》

(4)《国家XX智能化规划总报告》

(5)《国家XX公司数据中心典型设计》

(6)《国家XX公司公共数据模型(SG-CIM3.0)(试行)》

(7)《国家XX公司应用软件通用安全要求》

(8)《智能XX安全防御体系》。

4

1.2主要原则

(1)“统一性”原则

项目设计遵循四统一原则，即统一领导、统一规划、统一

标准、统一建设的原则。在按照公司全业务数据中心整体规划

的指导下进行，符合公司整体要求。

(2)先进性原则

确保平台架构设计先进性、技术路线先进性、测试技术先

进性以及组件选择先进性。

(3)安全、可靠性原则

服务体系建设应充分考虑服务的安全防护、容错能力和抗

干扰能力，保证数据服务长期稳定、安全、可靠、高效地运行。

(4)实用性原则

遵循以数据服务为核心的设计理念，提供一致性、人性化

用户体验，最大限度地满足客户的实际需要，操作便捷，功能

完善，界面友好。

(5)可扩展性原则

符合国际及国家通用标准，具备良好的开放性和可移植性。

采用标准开放平台接口。

1.3必要性分析

5

随着公司各业务发展与应用创新的不断深入，信息通信技

术在智能XX和现代公司中的关键核心作用已逐渐凸显，日常XX

运行和管理数据已经成为了公司的重要资产。根据公司“十三

五”信息化规划总体要求，按照“一平台、一系统、多场景、

微应用”的整体技术路线，经过两年半的建设，已基本建成“浙

电云”企业级统一云服务平台和全业务统一数据中心分析域，

初步实现平台资源和跨专业数据共享。但信息系统孤岛现象仍

然存在、企业业务数据质量不高、数据冗余、数据管理技术支

撑和管理机制不够完善、数据分级分类不够标准等问题制约着

公司的业务发展以及管理水平提升。企业数据的融会贯通是促

进公司业务发展的重要支撑，加强企业数据质量融通能力是未

来公司整体提高业务发展的一个重要抓手。因此开展数据治理

和优化，提升数据质量和数据融通已经刻不容缓。

1.4效益分析

(1)通过在全业务统一数据中心建设数据服务中台，确

保接入数据中台的模型数据符合SG-CIM3.0标准，并能提供符

合标准的数据服务，为全业数据中心标准化工作进行落地，从

而提高系统实用化水平。

6

(2)全业务统一数据中心的数据服务中台对接入的数据

进行数据拼接、数据清洗、数据校验，完成数据融合工作，提

高系统的数据质量。

(3)全业务数据中心的数据中台在标准化基础上，提供

高中压的XX台帐、拓扑、图形、用户的基础数据服务，为XX

公司微应用建设提供基于标准的数据支撑服务，从根本上解决

数据孤岛问题。

2建设现状

2.1全业务统一数据中心分析域建设情况

按照国家XX公司关于全业务统一数据中心的建设要求，XX

公司承担分析域专项试点建设工作，经过两年多来的建设，已

具备全业务数据统一存储、管理与分析的能力，基本满足各部

门(跨专业)的数据共享与应用技术需求。

在数据接入方面：按照接入原始业务数据的原则，分析域

已有效汇集了ERP、PMS2.0、营销等39套系统核心业务数据(包

括明细数据、部分统计数据)，覆盖了公司调控、生产、营销、

企业经营管理等核心业务，数据总量约为370T,其中结构化数

据总量为87.1T,非结构化数据总量207T；调度实时量测类数

据利用海量平台前端数据接口通道，接入省调以及温州、宁波、

台州、舟山、嘉兴五个地区2017年2月起的部分XX运行实时

7

数据（包括设备档案数据以及遥信、遥测数据），目前数据量约

为75.9T,该六个地区历史数据正在接入中，调度管理类数据、

保护以及遥脉数据调度部门尚未开放权限。

在数据加工处理方面:针对接入离线结构化数据库的28585

张数据表，基本完成业务明细层数据的梳理筛选、格式转换等

加工处理工作，截至目前，有8278张统一视图层数据表，9177

个数据加工任务定时运行，并初步完成814个数据仓库模型的

加工转换。

在数据对外服务方面：目前离线结构化数据库已基本完成

生产、营销、企业经营管理等核心主数据以及相关业务的明细

数据整理，依托数据管理工具，初步形成数据结构目录查询服

务；同时可借助BASE平台进行离线结构化数据的统一加工处理、

任务调度、运维监控。目前智能运检管控平台、配XX规划（温

州试点）、财务资产精益化平台（一期）、运监数据资产协同应

用、物资同业对标指标看板等应用已基于分析域上线试运行；

同时通过数据接口定时向PMS2.0以及国网运监推送设备、项目

等相关明细数据，并先后向人才模型培育、发展精准投资等多

个项目提供技术以及数据咨询服务。但是全业务数据中心分析

域属于基础数据平台，目前对外服务主要为应用开发团队提供

明细数据，基本上以一项目一服务模式为主，尚未在数据服务

8

团队横向构建企业数据服务共享沉淀层，大量数据服务由项目

应用厂商或源业务系统掌握，业务人员无法直接查询使用数据。

3项目需求分析

3.1业务功能需求

随着全业务数据中心系统的不断发展和深入，对数据的完

整性、精确性、合法性、一致性、唯一性提出了更高的要求。

具体的业务功能需求如下：

1、信息孤岛问题的解决

在不同业务系统中由于业务要求不同和技术手段限制，存

在同一业务数据多源存储、数据颗粒度及侧重点不同的情况，

因此各业务系统根据自身业务标准进行数据转换后存在差异性,

基层工作人员需要在不同业务系统间反复查询、比对、合并，

导致存在信息孤岛现象。

如：对于主变压器设备，生产PMS2.0系统重点关注设备名

称、电压等级、所属变电站、运行状态、容量、投运日期等；

ERP系统重点关注额定容量、投运日期、型号、运行状态等；OMS

系统重点关注设备名称、设备类型、所属变电站、运行状态、

有功、无功、电流电压、电容电抗参数等；营销重点关注对应

线路、台区名称、铭牌容量、运行状态、投运日期、型号等。

9

通过全业务数据中心的数据中台试点项目实施能够将现有

系统的模型数据按照标准化定义进行融合，并提供统一的标准

化服务来彻底解决信息孤岛问题。

2、数据冗余问题的解决

近年来国家XX公司及公司对业务专业管理的要求越来越

严格，造成各业务部门对业务数据的查询、统计、分析等方面

需求大增，目前主要通过业务系统增加功能模块、建设独立辅

助应用两种方式解决，也因此产生下列问题：

(1)建设独立辅助应用，造成数据多源存储

由于建设独立部署的专业性、辅助性的应用，每一个应用

都会备份存储业务系统的业务数据，再进行后续分析、统计，

造成同一业务数据进一步出现多源存储、多源应用的情况。

(2)业务系统内增加功能，造成数据冗余

在业务系统上增加大量的查询、统计和分析功能，对应产

生了大量的统计、分析数据使用的数据表，但缺乏相关的管理

机制，造成出现大量的冗余数据表、数据。

通过全业务数据中心的数据中台试点项目实施对接入数据

中心的模型数据按照标准化定义进行拼接、过滤、清洗来解决

模式数据中的冗余数据。

3、数据质量不高问题的解决

10

目前企业数据质量不高主要体现在数据正确性和完整性不

够、业务系统间数据同步不及时、数据集成接口不够规范等

(1)业务数据正确性和完整性不够

现有业务系统之间，仍然存在部分业务数据未实现贯通，

系统之间缺少相应的业务闭环管理流程，导致数据正确性和完

整性不够。

(2)业务系统间数据同步不及时

一是已贯通业务的存量数据匹配未完成。已实现数据同源、

业务贯通的业务系统中，由于贯通前各业务系统之间的业务标

准、技术结构存在差异性，造成部分存量数据匹配工作未完成。

二是系统功能升级前后业务标准不一致。各业务系统功能

升级过程中，由于代码变更、字段调整等原因，有部分历史数

据会出现与发布后的业务标准不一致的情况。

(3)数据集成接口不够规范

目前各业务系统之间虽然大部分业务数据通过系统集成方

式实现了数据贯通，但由于系统集成功能不完善、集成接口不

稳定等原因，造成数据不一致。

通过全业务数据中心的数据中台试点项目实施对接入数据

中心的模型数据按照标准化定义完成拼接和加入人工智能算法

11

的数据清洗工作后，对预处理数据进行数据质量校验来提高数

据中心的整体数据质量。

4、数据管理优化

数据管理目前处于粗放型、人治阶段，对数据的本身管理

尚未形成规范化的流程，管理机制不成熟，自动化辅助工具不

健全，仅能完成单独业务系统的数据管理工作。但目前各专业

的新增业务逐渐增多，各种跨专业、跨系统的业务贯通需求大

量出现，数据管理面临着多系统之间涉及几万张表协同管理的

需求，存在企业级数据中心架构规划无标准，数据准确性缺乏

审核机制，取数成果复用率低，数据架构变更联动机制不完善，

缺少企业级的数据专家团队等问题。

而且，现阶段各业务系统及辅助分析平台的数据管理，主

要依托整体数据比对、日志记录、异常告警和人工比对清理等

技术手段进行数据管理，对于多业务、跨专业、跨系统之间的

数据管理普遍存在手段单一、针对性过强、效率低下、响应过

慢等问题。

通过全业务数据中心的数据中台试点项目中的微服务运行

监测功能的实施，来完成对数据的自动监测、管理和维护。

3.2非功能性需求

(1)性能与可靠性

12

系统RDS数据量将达到1TB；

系统Redis数据量将达到1TB；

系统所需储存空间需求将达5TB；

响应时间要求小于500ms；

网络带宽需求：数据服务中台在并发用户数设计要求范围

内时，网络带宽平均利用率不超过60%；

可靠性：能够支持7*24小时连续运行，同时具有良好的容

错能力；

(2)信息安全

本次项目完全基于“浙电云”平台和全业务统一数据中心

系统进行建设，不改变原有系统安全架构和等级保护要求。

⑶灾备设计

本次项目完全基于“浙电云”平台和全业务统一数据中心

系统进行建设，沿用原有系统的灾备设计。

除上述非功能性需求内容外，其他非功能性需求相关内容

将严格按照《国家XX公司信息系统非功能性需求规范(试行)》

执行，在系统后续设计、建设过程中逐步完善。

4建设方案

4.1项目目标及范围

4.1.1建设目标

13

通过本项目的实施，基于浙电全业务统一数据中心的建设

成果上，围绕业务微应用建设迫切需要的共享数据服务，根据

SG-CIM3.0的信息模型规范，完成对XX生产管理业务需要对外

提供的数据开放服务规则的梳理；实现基于统一XX模型数据的

数据加工清洗；面向公司所有的内部微应用开发，提供开放的

XXXX高中压XX设备、拓扑、图形和用户等基本信息的数据服务;

建立对微服务在运的动态管理、审计功能和数据服务、数据质

量的回溯追踪能力。

4.1.2项目范围

本项目实施覆盖范围：

组织范围：国网XX省电力公司本部、11家地市公司、64

家县公司及所有直属单位。

数据范围：XX高中压、用电客户的基础数据

应用范围：基于“浙电云”的内部微应用、微服务

4.2项目建设内容

本项目建设内容如下：

1、构建统一XX模型

统一XX数据模型将使以后的业务设计、开发、部署更加简

单、清晰和可靠。使用统一XX数据模型可以使得应用开发不必

14

对数据获取、存储进行重复开发，而是将精力专注于业务应用，

提供业务应用质量，促进业务发展。会让业务进入很多新的、

有价值的发展方向。

由于统一XX数据模型涉及专业多、技术难度大，创新性强，

任务十分艰巨，为了满足对统一XX数据模型的要求，充分认识

其重要意义，加强合作，克服困难，全力推进。对XX的全业务

数据中心现行使用的高中压资源、资产、图形模型进行研究讨

论，并详细学习IEC61970-301IEC-CIM.IEC61968-11配网

模型扩展、IEC61970-552XX模型数据交换格式、IEC61968-13

配网模型数据交换格式、IEC61970-452XX模型子集、IEC

61970-451量测模型子集、IEC61970-456XX状态子集、IEC

61850系列自动化装置模型。

模型数据遵循标准规范，其基础模型结构及数据字典由

PMS2.0统一维护，并同步至模型中心，保障属性统一，并提供

元数据、字典管理功能。对全网设备按调度管辖统一编码，实

现设备ID唯一。

2、数据拼接

由于当前全业务数据中心的XX模型数据来源于多个系统,

其中最主要的一次设备台帐数据、资源数据、地理空间数据、

专题图（包括单线图、系统图、台区图等）来自于PMS2.0系统，

15

专线、专变、大用户、采集设备来自于营销系统，二次设备资

源资产数据来源于新一代四区主站。

数据拼接模块在统一XX模型定义基础上，分别先后接入不

同系统中的模型数据数据，依据各系统模型自身特点与差异进

行模型转换和拼接，以达到符合统一XX模型定义，完全融合各

系统模型数据。

3、数据清洗

项目将针对接入业务中台数据的数据质量以及用户的特别

需求，建立数据清洗过程的元数据模型，对清洗过程中用到的

数据库对象和知识库对象进行管理，并引入人工智能方法参与

数据清洗。使用人工智能中的贝叶斯识别方法，通过朴素贝叶

斯分类器识别特别需求自动是否符合正确样本特征，来发现可

疑数据，并通过深度学习提高可疑数据发现效率和成功率，从

而大大降低人员维护的工作量。

数据清洗主要是对系统中的异常数据进行处理，主要是对

接入数据中台的所有的XX模型数据、量测数据进行异常判断,

发现异常数据并进行相应的处理。异常数据主要包括了残缺数

据、错误数据和重复数据。

1）残缺数据

16

这一类数据主要是一些应该有的信息缺失，如设备的名称、

设备关键属性值、客户的区域信息缺失、业务系统中主表与明

细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分

别写入不同残缺数据事件向客户提交，要求在规定的时间内补

全。补全后才写入模型中心。

2）错误数据

这一类错误产生的原因是业务系统不够健全，在接收输入

后没有进行判断直接写入后台数据库造成的，比如数值数据输

成全角数字字符、字符串数据后面有一个回车操作、日期格式

不正确、日期越界等。这一类数据也要分类，对于类似于全角

字符、数据前后有不可见字符的问题，通过入库语句的方式找

出来，然后要求相关责任人在业务系统修正之后再走异动通知

流程。对于日期格式不正确的或者是日期越界的这一类错误会

导致ETL运行失败，这一类错误需要去业务系统数据库挑出来，

生成错误数据事件提交给相关业务主管部门，要求限期修正，

修正之后再走异动通知流程。

3）重复数据

对于这一类数据将重复数据记录的所有字段导出来，生成

重复数据事件消息，让客户确认并整理。

17

异常数据处理是一个反复的过程，不可能在几天内完成，

只有不断的发现问题，解决问题。对于是否过滤，是否修正一

般要求客户确认，对于过滤掉的数据，生成相应的异常数据事

件信息定时发送到模型中心管理平台，促使相关责任人尽快地

修正错误，同时也可以做为将来验证数据的依据。异常数据处

理需要注意的是不要将有用的数据过滤掉，对于每个异常判断

过滤规则认真进行验证，并要用户确认。

4、数据质量监控

XX模型数据从标准定义、获取、存储、共享、维护、应用

和消亡的整个生命周期的每个阶段里可能引发的各类数据质量

问题。因此需要提供数据质量监控工具来区别、度量、监控、

预警等一系列管理活动，并通过改善和提高组织的管理水平使

得数据质量获得进一步提高。

数据质量监控主要集中在两个维度，分别是数据质量评估

维度和管理质量评估维度。

1)数据质量评估维度

＞完整性(Completeness)：完整性用于度量哪些数据丢

失了或者哪些数据不可用。

＞规范性(Conformity)：规范性用于度量哪些数据未按

统一格式存储。

18

A一致性(Consistency)：一致性用于度量哪些数据的值

在信息含义上是冲突的。

＞准确性(Accuracy)：准确性用于度量哪些数据和信息

是不正确的，或者数据是超期的。

＞唯一性(Uniqueness)：唯一性用于度量哪些数据是重

复数据或者数据的哪些属性是重复的。

＞关联性(Integration)：关联性用于度量哪些关联的数

据缺失或者未建立索引。

2)管理质量评估维度

配置管理(ConfigManagement)：此维度用于度量数据在

其生命周期内的一切资源是否得到了控制和规范，即数据的定

义、产生、变更直至消亡的过程中，与数据相关的定义、规范、

描述是否受到控制。评估指标包括：评估配置项的细化粒度、

评估基线准确度和频度以及变更流程是否合理完善等。

培训(Training)：此维度用于度量数据的生产和使用者在

数据生命周期内的一切活动中是否经过了知识和技能的培训、

培训效果是否满足岗位需要；受训的知识和技能是否经过审核

和确认，受训的内容是否与企业文化和价值观一致；培训流程

是否合理完善等；

19

验证和确认(Verify&Validation)：此维度用于度量数

据在其生命周期内是否得到验证和确认。评估内容包括是否通

过验证流程确保工作产品(数据)满足指定的要求、是否通过

“确认”流程保证工作产品(数据)在计划的环境中满足使用

的要求；“验证”和“确认”的流程是否完善；

监督和监控(Monitoring)：此维度用于度量产生和使用数

据的流程在数据的整个生命周期内是否真正受控。脱离监控的

信息、技术、计划、流程、制度，会导致数据质量低下。监督

和监控的流程是否完善。

5、微服务应用与运行监控

微服务是在云技术基础上研发的，提供微服务的发布管理、

服务查询、服务使用审计、服务使用授权等管理功能，同时提

供日志采集、通知服务、服务管理、任务管理等基础公共服务

功能。

在微服务的基础上，本次项目实现XX统一XX模型数据的

基础服务，包括了XX统一资源服务、XX专题图服务、量测模型

服务和一二次设备资产服务。

微服务使用Restful方式进行服务发布，REST是一种软件

架构风格而不是标准，只是提供了一组设计原则和约束条件。

20

它主要用于客户端和服务器交互类的软件。基于这个风格设计

的软件可以更简洁，更有层次，更易于实现缓存等机制。

项目预计提供微服务接口数如下表所示：

序号微服务类型微服务数量

1一次设备资产服务20

2一次设备资源服务26

3二次设备资产服务18

4二次设备资源服务16

5二次设备装接服务12

6量测数据服务36

7日志增、查服务15

8XX拓扑分析服务48

4.3技术方案

(1)业务架构

全业务数据中心数据服务中台包括了数据汇集、数据处理、

模型管控、数据管控和服务共享。具体关系如下图所示:

21

数据中台以模型管控为中心，以数据汇集为基础，在数据

汇集基础上进行数据处理和数据管控，最终以服务共享方式提

供模型数据的服务。

(2)应用架构

应用架构是在业务架构基础上，为了完全实现和覆盖所有

业务而进行的软件功能结构设计。数据中台的功能架构有统一

XX模型定义模块、数据汇集与处理模块、数据清洗转换模块、

数据功能管理模块、基础服务模块和高级服务模块。

(3)技术架构

22

为了实现功能架构上的功能模块，设计如下图所示的技术

架构。在全业务数据中心系统的基础上，统一使用ka珠a分布

式发布订阅消息系统进行数据交互通道，来处理数据服务中台

的数据调度。

数据服务

H

)e

分

作

数ar

s布

冷

业t

据k

备

调

调es

平

数

度a

x服

据

台h

务

监

控(

z

系o

o

统k

e

e

p

g

在接收数据之后使用ODPS技术与人工智能结合的算法进行

实时数据清洗，发现并过滤问题数据和数据质量不高数据，并

将清洗后的数据再次存放到系统内部的缓存中备用。

在清洗完数据后对不同数据使用不同的数据库存储技术进

行数据存储，依托浙电云平台技术组件，提供离线计算、实时

计算和数据搜索引擎。并在此基础上提供微服务支撑体系用于

发布数据共享服务。

为了保证数据中台的数据处理稳定性和可靠性，数据服务

中台提供数据平台监控系统和分布式协调服务。

（5）信息安全防护

23

本次项目的实施工作是基于原全业务数据中心系统，信息

安全防护遵循原系统的信息安全防护要求。

2.关键技术与难点

(1)基于云平台的数据存储技术，数据中台的数据存储层

使用云平台的计算和存储资源，需要根据业务的差异性选择合

适的存储技术进行综合性管理。

(2)大数据加工技术，为了保证数据中台模型数据的完整

性、精确性、合法性、一致性、唯一性，必须对接入的模型数

据进行模型校验和拼接工作。

(3)微服务技术，为了改变传统系统在修改和发布方面存

在的困难，以及实现代价非常大等诸多不足，模型中心使用微

服务体系来建立能够快速开发及部署的应用服务基础平台，为

周边各应用系统提供可弹性伸缩的基于标准化服务接口定义的

服务。

(4)人工智能在电力数据清洗中的应用，为了保证数据清

洗质量与效率，在数据清洗过程中使用人工智能的贝叶斯识别

方法和深度学习来提高异常数据判别自动化程度、判别速度和

准确度。

3.项目风险分析及控制策略

风险分析:

24

统一XX模型，要建立一个电力各部门都认可的统一XX模

型存在较大风险。

应对策略：

邀请各电力部门专家，在国际标准体系下制定统一XX模型

定义。依据的参考标准有：

1)IEC61970-301IEC-CIM

2)IEC61968-11配网模型扩展

3)IEC61970-552XX模型数据交换格式

4)IEC61968-13配网模型数据交换格式

5)IEC61970-452XX模型子集

6)IEC61970-451量测模型子集

7)IEC61970-456XX状态子集

8)IEC61850系列自动化装置模型

4.4项目实施计划

4.4.1项目环境

承担本项目的单位有丰富的运行管理经验，有着丰富的信

息系统建设经验，有一支很强的生产专业管理的队伍，对XXXX

信息化管理提供了有力的技术和业务支持。

4.4.2项目人员

-

序

号项目

姓名工作年限职称专业工作单位

一分工

25

一

序

项目

专业

位

工作单

职称

限

工作年

号姓名

分工

副高

通

省信

负责

总体

术

信息技

陈彤

22

1

蒋鸿城

通

省信

技术

术

信息技

副高

20

2

通

省信

数据

术

信息技

中级

王凌

5

3

副高

潮

黄海

通

省信

架构

术

信息技

23

4

进度

3项目

4.4.

容

工作内

主要

段

时间

序号

案。

设方

目建

认项

：确

前期

项目

月

0.5个

1