电网企业大数据体系构建

1、电网企业大数据体系构建许唐云 张鹏飞 瞿海妮肖其师国网上海市电力公司摘要：木文在研究电网企业大数据现状的基础上，从大数据体系构建的研究出发，结 合电网企业大数据的应用目的，从数据层、分析层、功能层三个方面构建电网企 业大数据体系框架，明确电网企业大数据构建的核心为数据层的构建，从电网 企业数据来源、电网企业数据库构建的角度，重点研究数据层，实现构建电网企 业的大数据体系构建，以提高电网企业大数据的综合利用效率。一. 构建电网企业大数据体系的背景构建电网企业大数据体系将大数据和电网企业管理相结合，为电网企业在电网 规划、项目建设、电力预测、电网运行、运维和响应服务等方面提供数据支撑和 决策依据。

2、当前，电网企业对数据的利用主要从需求出发，在电网安全、供电能 力、用户信息等核心内容中，开展数据积累，进行数据分析、建模等，形成场景 研究、模型应用等各类以数据为基础的应用。这些应用在一定程度上实现了对数 据的利用，但处于零散状态，在数据利用方面具有明显的局限性。为提高大数据 的综合运用能力，有必要建立以各类数据为基础，融合生产、营销等电网系统的 大数据体系，将各类电网企业数据与数据分析方法相结合，对数据开展深度挖 掘，有利于提高电网企业的服务水平和质量，提升协同管理能力。当前，对电网企业大数据体系的研究主要集中在数据的处理。饶玮、蒋静和周爱 华从数据源、数据管理、数据计算和数据应用等4个层面

3、，提出一套适用于全球 能源互联网的电力大数据基础体系架构;瞿海妮、庞徐玮和尤鸣宇从电力数据的 管理、服务、交换、监护的角度出发，对电力大数据共享平台开展设计，侧重于 对数据处理的研究。以上研究对大数据体系构建的侧重点各不相同，从电网企业 数据源岀发，构建电网企业大数据体系的研究相对薄弱。本文第一部分主要研究当前电网企业的大数据利用应用现状及其主要问题点;第 二部分构建数据层、分析层、功能层电网企业大数据体系框架，并对框架内容展 开具体阐述，明确电网企业大数据体系构建的核心是数据层的构建;第三部分从 电网企业大数据来源、特点、数据库的构建的流程等角度，开展数据层的研究， 通过分布式实吋数据库和集

4、中式历史数据库，实现以电网企业数据为基础的数 据层构建。二. 电网企业大数据现状当前，根据电力预测、电网安全运行等不同的需求，电网企业止逐步开展大数据 的利用，主要体现:在电网规划运行方面形成电网安全防御应用；在资产运维管 理方面，配电设备运行效率和供电能力分析、台区重过载预警和风险评估及继电 保护设备分析与状态评价等应用;在用户和社会服务方面，形成电力数据资产标 签化、售电量预测及新能源政策评价和宏观经济分析等特色应用成果，并形成了 大数据在电力行业应用的五大阶段，即数据的抽取与整合、数据的基本特征分 析、数据的深度分析、数据的业务建模和数据模型的固化实现，针对不同的场景 解决问题。构建城市

5、电力地图，将电网业务数据与地理信息数据相结合，跨领域 融合电网拓扑、电网运行、设备生产运维、用户用电信息以及地理、气象、经济 和人文社会等电力系统内外部数据，将各类信息和分析结果在地图上直观展示 出来，实现了负荷典型发展模式分析、可靠性影响因素分析和基于车辆轨迹挖掘 的充电需求分析等应用。这些数据的利用，主要集中在内部数据和原始数据的利 用，与大数据相比稍显狭隘，在大数据综合利用方面尤显不足。电网企业的大数 据利用主要存在两方面的问题:一方面，从宏观的角度来说，大数据体系构建尚 未形成，大数据的利用也局限基于需求的应用；另一方面，从数据源头來说，数 据库的构建尚未实现，数据的综合利用效率不高。

6、三、电网企业大数据体系构建国内外的研究大数据体系架构大致可分为3个层次:第一层为数据层，包括数据 仓库、实时的数据处理等;第二层为软件层，主要包括云计算服务等;第三层为硬 件层，主要包括数据中心、网络、服务器等硬件。其中，软件层和硬件层是大数 据的数据处理中心，提供大数据服务。电网企业的大数据应用主要是为提高电力 预测、电网运行、服务能力等方面，根据其应用的不同，所需的数据、分析方法 也各不相同。基于人数据体系的基础研究，结合电网企业人数据应用目的，电网 企业大数据体系构建可分为三层，即数据层、分析层、功能层。数据层主要包括 两个数据库，分布式实时数据库和集成历史数据库，以电网企业内外部数据为

7、 基础，构成电网企业的主要数据来源。分析层主要通过对数据开展回归、聚类、 关联、人工智能等分析，开展建模，对数据进行深度挖掘，实现大数据的有效利 用。功能层主要是针对电网安全运行、电力预测、电网规划、营销应用等不同的 需求、目的，实现大数据的综合有效利用，具体如图1所示。大数据体系构建主要是通过对各类现存的数据开展分析挖掘，为电网企业的服 务品质的提升，管理效率的提高，提供数据支撑。因此，在大数据体系框架中， 数据源就显得尤为重要，是数据分析和数据应用的基础。电网企业需要结合自身 内外部数据的实际，建立适合电网企业发展的数据库。电网企业大数据体系数据层，从电网企业大数据来源、特点、数据库的构建

8、的流 程等角度，开展电网企业两大数据库的构建，即分布式实时数据库和集成历史 数据库，从而形成电网企业数据基础，是电网企业大数据体系构建的核心模块。 数据库数据的准确性、有效性、价值性等特点，直接影响人数据体系的分析层高 度、质量。电网企业大数据涵盖了电力行业及其相关领域的结构化、半结构化、非结构化数 据，其形式多样包括数字、文本、图形、音频等静态和动态的数据。根据数据获 取的渠道的不同，可分为内部数据和外部数据。内部数据主要来源于企业内部的 各个系统，如生产管理系统、用电采集系统、电力营销系统、客户服务系统和管 理平台系统等，包含设备信息、电网信息、电量数据、业扩报装数据、抄表数据、 电费数据

9、、电话服务数据和客户数据等大量数据。外部数据主要来源于政府机构、 相关行业、公共平台等系统，包括经济发展数据、气象地理数据、人口数据、城 市规划、能源行业和电力行业的相关数据，具体如图2所示。图2电网企业主要数据示意图下载原图电网企业大数据具有分散性、多样性、复杂性的特点，主要表现在以下儿方面： 首先，数据分散存在于各个系统中。牛产管理系统主要包含的数据包括电网、设 备、检修等数据，而电力营销数据主要包括客户用电数据、电费数据等;其次，数 据的种类多样，形式各异。经济数据以结构化数字数据居多，而客户服务系统中 的电话服务数据则是音频数据，地理气象数据又以图像数据居多；最后，各数据 之间存在的关

10、系复杂。营销系统的数据，既包含客户用电信息，也包含电量数 据、客户服务数据等，但同时这些数据乂存在于采集系统、客户系统等不同的系 统。在确定电网企业数据来源的基础上，根据电网企业数据分散性、多样性、复杂性 的特点，需要评价各类数据的价值，重点存储重点、主耍的数据，为构建价值质 量高的数据库奠定基础。其流程和方式如下:首先，需要盘点电网企业内外部数 据来源，确定与电网企业相关、直接或间接影响电网企业的数据;其次，对各类 数据展开评估，结合数据盘点的结果，以10分制对数据从重要性、关联性、质 量、有效性等角度展开评估，设立高、中、低三个等级。其屮，13分为低，4飞 分为中，710分为高（如图3）;最后，根据对数据评价的结果，对重点、核心、 关联等数据展开存储，为数据库的构建奠定数据基础。图3数据评价流程和方法下载原图在此基层上构建分布式实时数据库和集中式历史数据库，后续的数据分析、数据 应用奠定数据基础。分布式实时数据库以现有的电力营销系统、客户服务系统、 生产管理系统、管理协同系统等系统数据为基础，根据对数据的价值评价，对重 点、主要、关联数据存储形成。集中式历史数据库以历史数据为基础，包含基础 历史数据和经过分析加工的重要数据。五、结语电网企业大数据体系从大数据体系的构建出发，结合电