融合多源数据的智能配用电多时间尺度数据分析技术

摘要随着分布式发电、储能和需求侧响应负荷的不断发展，传统的被动型用电网正在逐步演变为具有主动调节能力的主动配电网。为了充分发挥主动配电网的主动调节能力，需要在配用电网中安装智能电表、远程测控终端和配电网同步测量等数据采集装置，建设配电、用电、客服、营销等信息管理系统。这些数据采集装置和系统的建设，在配用电领域产生了大量的数据。文章在讨论智能配用电大数据来源、生命周期及数据特征的基础上，从数据集成平台、智能电网统一数据模型、多源数据在线、数据分析算法库、用户画像、机器学习算法等角度分析了智能配用电大数据分析的关键技术，然后提出了智能配用电大数据分析在电网运行、社会服务和用户服务方面的典型应用。引言随着分布式发电、储能和需求侧响应负荷在配用电网中接入比例的不断提高，传统的被动型用电网正在逐步演变为具有主动调节能力的主动配电网。为了充分发挥主动配电网的主动调节能力，需要在配用电网中安装智能电表、远程测控终端和配电网同步测量等数据采集装置，建设配电、用电、客服、营销等信息管理系统。这些数据采集装置和系统的大规模建设，使得电网公司首次获得了数以亿计电力用户多时间尺度的在线用电信息，以及数以万计的电网运行状态监控信息。这些信息使我们获得了前所未有的可以从时间和空间多个角度，对用户实际用电过程和与电网密切互动过程进行全方位分析的大数据。近年来快速发展起来的大数据分析技术具有全数据分析、规律性分析、跨领域分析以及快速性分析的特点，为充分利用智能配用电系统中的多源数据，进行多时间尺度分析提供了强大的技术手段。区别于单一功能的电网公司业务部门的信息化系统，智能配用电大数据分析系统的研究目标是将多个信息化信息系统中的数据进行融合，解决依赖单一信息化系统解决不了或者解决不好的问题。本文首先讨论智能配用电大数据分析系统的数据源和生命周期；然后分析智能配用电系统中的数据在时间和空间中的相互关系、以及基本特征，据此分析出融合智能配用电多源数据所必须解决的关键技术；从数据集成平台、智能电网统一数据模型、多源数据在线、数据分析算法库、用户画像、机器学习算法等角度分析了智能配用电大数据分析的关键技术，最后提出了智能配用电大数据分析在电网运行、社会服务和用户服务方面的典型应用。智能配用电大数据分析的数据源与生命周期1.1

智能配用电大数据的来源根据来源的不同，可以将智能配用电大数据分为电力企业内部数据和外部数据。电力企业内部数据产生于配电管理/配电SCADA系统、生产管理系统、用电信息采集系统、电力营销系统、客户服务信息系统等。这些数据包括静态数据、实时数据和历史数据，其中静态数据包括电网设备模型参数、线路拓扑结构、电力用户资料数据等，实时数据包括遥信、遥测数据，如设备运行状态、电量计量等。外部数据来源于地理信息系统、气象预报系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据也为电网运行、管理、服务等提供支持。1.2

智能配用电大数据的生命周期数据的采样频率与生命周期也各不同，从微秒级、分钟级、小时级，一直到年度级。不同数据的数据源与生命周期见图1。配电PMU数据的数据采样频率为每10～20ms一次，可用于毫秒级的快速实时分析，主要应用于配电自动化系统的故障隔离、保护和控制；SCADA数据的采样频率为4～6s一次，可以首先存储在实时数据库中，进行秒级的实时分析，主要应用于配电管理系统的故障诊断、隔离和恢复、配电网状态估计及分布式电源优化和需求侧管理等；智能电表数据的采样频率为15min一次，可用于分钟级的在线分析，主要应用于在线大数据分析系统的数据质量、电能质量、网损的在线分析，以及多源数据融合状态估计，用电行为和负荷特性微增在线分析等，通过数据抽取、转换与载入为后续分析提供基础数据；智能电表数据与气象数据和其他数据融合可为从每日到多年的交互式大数据分析系统服务，提供用户、配变、变电站、系统多时间尺度数据分析等功能，以及系统用电行为分析，设备负载率分析，非常规用电行为分析和精准营销等功能。图1智能配用电分析数据源与生命周期智能配用电大数据分析的关键技术智能配用电大数据分析的关键技术共有4类，详见图2。第一类关键技术为数据集成平台与数据模型技术研究，主要用于集成不同数据源的数据，通过SPARK分布式内存架构并行完成数据清洗和数据转换等，并建立基于数据仓库的统一数据模型；第二类关键技术为智能配用电在线分析技术，基于SPARK的内存并行流处理技术处理新进入数据分析系统的数据，并且提供智能电表数据的数据质量和供电质量分析，以及用户的用电行为和静态负荷特性分析等功能，融合智能电表数据与配电SCADA和PUM数据来建立配电网状态估计算法；第三类关键技术为智能配用电交互式分析技术，主要基于K系列数据挖掘算法将时间序列的数据分类，并提供基于智能电表数据的日负荷形状和用电行为分析、配变负载率分析、大型电器用电行为分析、低压电网拓扑等分析，融合智能电表和SCADA数据的变电站网损分析，以及基于PMU数据的动态和静态负荷特性辨识；第四类关键技术为时空融合的配用电大数据分析应用，主要基于多时空、多时间尺度数据分析，进行变电站、配变数据等数据分析、负荷模型参数辨识等应用，基于用户智能电表的用户画像功能，和基于地理信息的用电行为分析、大型用电器行为分析、以及精准营销的应用。图2

智能配用电大数据分析的关键技术2.1

数据集成管理平台架构与统一数据模型技术智能配用电大数据的第一个关键技术是数据集成管理平台架构与统一数据模型技术。集成管理平台将若干分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合，即统一数据模型中，为后续分析存储一系列面向主题的、集成的、相对稳定的、反应历史变化的数据集合，从而为系统提供全面的数据共享，解决电力企业内部各系统间的数据冗余和信息孤岛的问题。配用电数据集成与管理平台的数据源包括内部数据和外部数据。内部数据包括智能电表数据、配电自动化/SCADA数据、配电网线路信息、设备运行信息、用户信息、空间位置信息等；外部数据包括地理信息数据、气象数据、人口数据等。这些数据根据其特性可以存储在传统数据仓库中，也可以存储在NoSQL数据库中或是图数据库中。数据集成的核心任务是要将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。配用电数据基础与管理平台根据智能电网统一数据模型SGDM，按照从上至下的设计理念，将来自多个数据源的数据按照资产信息、网络拓扑模型、用户信息和外部数据进行有机整合，覆盖网络运行、账户管理、资产管理、客户管理、停电管理、工作管理和天气模型等业务领域，结合包括KPI在内的智能电网大数据分析挖掘需求，针对支持电力公司的运营和发展、分析用户行为与服务优化、为政府与社会提供决策咨询与支持3类应用，设计8个业务域，49个主题域，定义包括实体及其关系在内的逻辑模型，并依据第三范式原则优化物理模型。针对配用电数据的来源多重性、实时交互性、时间相关性和多尺度性，见图3，SPARK中的弹性分布式数据集（RDDs）运用高效的数据共享概念和类似于MapReduce的操作方式，集成地理信息等静态数据，并通过通过离散流将动态流数据集成，在一段时间周期上进行一系列确定性的批处理计算。在数据仓库中分层处理不同的数据，其中包含基础数据层、数据分析层和核心展示层。在基础数据层采用标准化的公共信息模型（commoninformationmodel，CIM），用于描述能量管理系统中主要数据对象，是面向电力生产交易全环节相关对象及其关系的面向对象建模方法。在数据分析层，采用包括规则引擎、报表工具、挖掘工具、可视化互动分析工具等软件，为大数据实验室未来的各类专题研究提供数据分析手段。在核心展示层安装地理信息，按照从配电系统到变电站到配变最后到每个用户逐级展示负荷特性、有功功率和无功功率、电能质量和负载等信息。图3数据集成管理平台架构与统一数据模型技术2.2

多源数据在线分析技术智能配用电大数据的第二类关键技术是多源数据的在线分析技术，技术框架见图4。配电PMU数据与配电SCADA数据及智能电表数据融合，可以开发融合多源数据的配电网状态估计算法。将配电SCADA数据，智能电表数据与气象数据融合，可为智能配电大数据分析系统提供数据基础。首先数据通过SPARK的数据载入、转换和装载等操作，提供“即来即处理”的数据基础

。大数据分析系统支持以15min为周期的数据质量和电能质量在线分析，和以日为周期的微增用电行为分析和负荷特性分析。微增用电行为分析利用微增聚类分析等方式可以充分利用最新的数据资源，达到实现动态数据分析的目的。图4多源数据在线分析技术框架2.3

数据分析算法库与用户画像智能配用电大数据的第三类关键技术是智能配用电的算法库研究技术。配电大数据的算法库包含了3类算法，即K-系列数据分析算法、关联统计算法和机器学习算法。智能配电大数据中的智能电表数据具有时间相关性和空间相关性。智能电表的测量数据与时间纬度结合形成时间序列数据，分析时间序列的目的是通过对已有的历史数据进行分析，找出其中蕴含的规律，从而更准确地对未来的负荷进行预测。K-系列算法主要包含传统的K-均值算法、自适应K-均值算法、分层K-均值算法、K-子空间分析算法和K-形状分析算法。K-均值算法在已知分组数的情况下，可以快速的对用户每天的曲线进行分类。自适应K-均值算法可以在未知K值得情况下，对不同的用户曲线进行分类。分层K-均值可用于对自适应K-均值的聚类结果进行再聚类，将中心曲线距离较近的聚类进行合并，从而将聚类组数控制在所期望的范围内。将分层聚类算法与自适应K均值算法配合使用，可以在指定K值情况下，保证聚类分组的精度，是对自适应K-均值聚类算法的补充和完善。K-子空间分析算法则针对负荷模型大多数的P-V数据都有比较明显的条带状趋势这一数据特征对P-V与Q-V数据进行分类。K-形状分析算法侧重曲线形状特征的辨识，是发现时间序列数据所蕴含的形状特征的有效算法。关联统计算法是一种非参数统计方法，最常用的就是相关性系数（correlation

coefficient）。关联统计分析是通过智能电表读数各个物理量之间的关系判断数据质量。如果计算的相关性系数越高则说明数据质量越高，没有错数或异常情况。奇异点监测分析是将大型用电器引起的突变点当做数据中的异常值，按照识别异常值的统计方法来寻找突变点。此方法还适用于分析配变、变电站、系统中可移动负荷的分布，为电力需求响应项目奠定重要基础。机器学习算法主要侧重于数据驱动的算法来辨识配电网络的拓扑结构。其中Chow-Liu决策树算法可以用二阶分布来近似表示高维联合分布用的方法，对Chow-Liu树模型的合理应用能够极大的简化贝叶斯网状模型或是图形模型的复杂度，从而辨识辐射网的拓扑结构；另一机器学习算法GroupLasso可以用于根据智能电表数据，重建配电网中的母线连接以及辐射型和网状的网络拓扑结构，通过GroupLasso算法建立线性回归模型，求解母线连接和拓扑结构辨识的问题。数据分析算法与交互式分析见图5。图5数据分析算法与交互式分析融合时空信息的配用电大数据分析应用智能配用电大数据系统运用异构多数据源处理技术。配用电的各类数据来源于不同的地理空间和电网空间，通过数据抽取、数据转换和数据转载，将不同系统、不同结构的数据集成到基于图、关系和时序数据库的统一数据模型中，并通过数据清洗提高数据质量，然后应用数据模型分析该数据。目前智能电表等不同来源的数据在系统中融合、转换和分析后可实现用户画像功能、电网运行与资产管理功能、用户服务与社会服务功能。智能电网大数据的空间维度可分为基于地理数据（GIS）的地理空间维度和基于电网结构的电网空间维度。地理空间强调与电网规划、区域发展、综合能源网、需求响应之间的关系，地理空间数据指的是与地图相关的地理数据GIS；地理空间的数据可从国家细化到售电公司、小区最终到每个用电用户。电网数据的各数据源与地理空间维度和时间维度相融合，开发用于服务智能电网大用户、支持需求响应项目等功能以促进社会的发展。社会和用户服务功能主要融合智能电表和电价的数据，见图6。智能电表的采样频率为15min，可以集成多年的智能电表数据对用户、小区、售电公司各层级的的负荷及负荷形状分析和对大型电器的用电分析。根据用户的行业注册信息可以对某行业的用户行为进行分析，如工业用户的开启和关闭大型用电设备的时间，分析工厂的生产工作时间，寻找工作用电高峰的稳定性，为需求响应等政策提供基础。电价数据与智能电表数据融合可以为精准营销提供重要基础数据，根据用户的负荷形状对用户进行分组，并根据每组用户负荷形状的变化对系统总负荷的影响计算3个影响因素（即早爬坡影响因素、晚爬坡影响因素和峰值影响因素），并根据3个因素计算每组用户对系统总供电费用的影响，以此作为电费的重要组成部分。图6配用电大数据分析应用的社会/用户服务功能与上述地理空间对应的是电网空间，电网空间强调与电网运行、资产管理之间的关系，指的是电网结构数据。电网空间的数据可从配电区细化到变电站、配变、最终到每个用户的负荷。图7中，电网数据的智能电表数据、PMU数据和SCADA数据与电网空间相融合，支持电网运营与资产管理功能。在配电区这一层级，PMU数据与SCADA和智能电表数据融合可以用于分析多源数据融合状态估计，并分析PMU数据中P、Q、Um、Ua之间的关系。智能电表数据和温度等气象数据融合可以分析温度对系统有功功率