智能电表异常测量数据诊断方法综述

1、智能电表异常测量数据诊断方法综述裴茂林，黄洋界，赵伟，李世松(.国网江西省电力公司电力科学研究院，南昌；.清华大学电机系，北京)嘲箱闰属钞瘗出折尻赖摘要：智能电表作为用电户与电网的信息链接点，能为电网提供用电户的用电习惯和负荷特征等信息，对指导电网合理安排电力负荷、提高电网运行效率具有重要价值。但实际电网中，智能电表获得的大量测量数据中，不可避免地存在一部分由多种原因导致的异常数据，例如用电户或电网中的突发事件、传感器的暂时故障、数据传输或存储故障，甚至人为的网络攻击，等等。如何从智能电表测量数据中辨别、提取、剔除这些异常数据，是准确获取用户负荷信息的关键。针对这一问题，本文在参考国外国内相关

2、文献基础上，对智能电表测量数据诊断方法进行了梳理、归纳和综述，并对不同方法的数学原理、适用范围等进行了比较和讨论。沟帽金富爱稽谴净祸测。关键词：数据诊断；大数据；智能电表；负荷预测中图分类号：文献标识码：文章编号：()残鸯楼静翎梅翻猾O1短骤。r钢极镇桧猪锥n苣。弹贸摄尔霁毙蹒卤屁诒尔。,(.,.,)1S养拾箧飙志类蒋蔷黑由制、。为智能电网提供基础的数据和信息支持，是构建智能电*基金项目：国家公司科技项目(52182017001T),茕桢广助触选块网踊泪镀齐。引言过去的十年左右时间，智能电网从一个较为模糊的概念已发展成为世界电力工业发展的核心内容。如今，构建可靠、安全、经济、高效的智能电网，已

3、成为中国乃至世界其他很多国家电网发展的首要目标。以智能电表技术为主的高级量测系统，是负责测量、收集、储存、分析和利用电力用户用电信息的完整的网络和系统，能网的基础性技术支撑。智能电表是用电户与电网的信息链接点:智能电表一方面能为用电户使用电能提1供实时、智能信息，提高用电电户耗用电能的经济性；另一方面，可给电网提供用电电户的用电信息及其统计分析结果。电网依据这些数据信息，可以合理安排电力负荷，提高电网运行效率。鹅娅尽揖偶惨屣茏诘。近年来，大数据技术的快速发展，为智能电表在提高电网运行安全性和电能利用效率方面提供了契机口。在大数据技术支持下，对智能电表测量数据的深度挖掘和分析(，)，已成为智能电

4、网发展建设的核心内容之一口。电力用户的用电行为以及负荷的特征信息，如今已能够较准确地从智能电表海量测量数据中被提取出来，如此，电网可以更有针对性地进行负荷预测和管理，提高电网的运行效率口。于此同时，因智能电表联网所引起的网络攻击等安全问题，也可由大数据技术对其进行挖掘和加以防范，有助于提高电网运行的安全可靠性口。髓丛妈趣为瞻债蛭练浮桶挞。如上所述，若智能电表测量数据及其包含的信息被大量应用于电网的运行控制与管理，那么，智能电表测量数据本身的可靠性将对电网运行的安全和效率构成直接影响。然而在智能电表实际测量的结果中，不可避免地存在一些异常数据，例如，用电户或电网中发生的突发事件、传感器出现的暂时

5、故障、数据传输或存储的失败，甚至存在人为的网络攻击，等等，这些都能是产生异常数据的根源。从智能电表测量数据中辨别、提取出进而剔除这些异常数据，才能为电网运行中的信息挖掘提供更为准确的测量数据依据，这无疑具有十分重要的意义。针对这一问题，本文对目前国外国内文献中论及智能电表异常测量数据诊断的方法进行总结、归纳和梳理，并对不同诊断方法的数学原理、适用范围等进行比较和讨论，以期为深入、有效开展智能电表异常测量数据诊断统计法数据诊断技术通过统计分析测量数据确定异常测量数据的方法，也称统计法，是最早出现的数据诊断方法。统计法的基本思路是：假定测量数据的概率分布模型，通过不一致性检验，将严重偏离概率分布曲

6、线的测量数据视为异常数据。基于统计法的异常数据诊断的具体方法又有很多种，本节仅总结归纳其中一部分具有代表性的方法。渗彩呛俨匀渭鳖调砚金帛箱娥。法(，)法由.提出,该方法针对单一变量、接近正态分布函数的测量数据异常值进行检测。该方法的思路：寻找测量数据中最大偏离概率分布函数的测量值，并对其进行判定。法定义如下函数：钱卧泻噬圣骋睨圆缝勘。八max|y,-y|G=()s其中，为测量数据；y为测量数据的平均值；代表测量数据的标准偏差。当如下判据成立时，就判定最大偏离点为异常数据，即：拂金凤袜备音晴M轮烂蔷幸艮赢。G二N-1(tp(/(2N),Nq)()-N,N_2(t：/(2N),N2)其中，ta/(

7、2N),N2是自由度为、置信区间为a()的分布函数的临界值。法的优点是在未知用户参数信息情况下，就可对测量数据中的异常值进行检测；其缺点是只能对单值进行检测，阊邺钱汉。提供建设性指导。SiB(圣僮1t龈讶骅汆ms。故测量数据很多时，实施该方法效率较低。嬲熟俣画蕨直多极值点偏离算法（，）坛搏乡忏篓锲铃跻禹大。为克服法的缺点，.对法加以改进，提出了更为一般的多极值点偏离算法。该算法定义函数：蜡燮夥痛宰艮住铉锚金市赘建摹。八max|y,-y|Gi二（）s其中，。它的计算类似于法，但采用循环检测，即判定并除去最大异常数据后又重新进行计算，直至个异常数据被剔除。如此，它的判据为：K般而踪省昙JW遥闫撷凄

8、届嫡。Gi>（N一仇0.N-i-1（tp3）2（n-i1）其中，是自由度为、置信区间为“（）的分布函数的临界值。法看似是法的叠加，但与法叠加存在较大差异：首先，法可根据被测试数据的异常值数量对临界值进行适当调整，而法叠加则不具备这一特性。其次，除双向检测（最小值和最大值）外，法允许进行单向检测（最小值或最大值），而法仅限于双向检测。铺鹏踪韦辕耀飙铳。法法也是一种单变量、多异常点数据诊断算法，由.和.共同提出口。该方法的原理是，首先将测量数据按照绝对值大小进行排序，例如代表测量数据中绝对值第大的数据。将个最大值点（最小值点）的检测统计量定义为：H蹶震彦决绥吉商饴夏锦1g琼。n-k（Zj-Z

9、k）2Ek=（）''（Zj-z）2j1其中，Zk为剔除掉个最大值点（最小值点）后的样本的平均值。显然，的值介于与之间。如此，根据设定的值，可相应剔除测量数据中较为异常的值。法与法类似，只是所定义的判据有所区别。猫蚕!绘燎舶诛髅既尻献用鼠.又对法进行了改进口，具体改进的统计量：对个测量数据进行检测，若统计量显著，则删掉最大偏离点并进行下一轮检测，直至检测不到异常数据为止。锹籁饕迳琐奥鸥娅蔷口黯九法（）法是一类异常数据检测方法的统称，即具体实现算法有多种口，但其基本思想是一致的：将测量数据看作一维或多维空间中的点，某测量数据（点）与其他测量数据（点）的距离若都大于一个阈值，就被判定

10、为异常。情氽if簧硕饨琴龈话鸯咒激。但无论哪种具体的算法，首先都必须定义一个距离参数，以表征测量数据的偏离程度。常用的距离参数有欧氏距离和马氏距离（或马哈拉诺比斯距离）。欧式距离的定义为：®峰隔槿籥将区周偎虢荥蟒镯。di=归（xi-yi）20iT其中，和为测量向量。对于一个均值、协方差矩阵为的多变量向量，其马氏距离为：d2=V（x-N）TC-1（x-N）（）但马氏距离的一个缺点是当矩阵的维数较大时，计算效与欧氏距离不同，马氏距离考虑了各变量之间的联系。率明显降彳氐。尧侧闺H绛1A绚勘蜕督灌批。均值法（）均值法可将个测量数据划分到个子集中，并使得每个数据点都属于离它最近的均值对应的子集

11、。已知测量数据（，），均值法要将这个测量值划分到个集合中（W）使得集合内的平方和（，）最小，即优化合集分布，使其满足：识金昆缢螺竟嗜俨凄侬减。k_,2argsminZZ|x-4|（）i4x.Si其中，科是中测量数据的均值。经过训练的各个子集，均会产生一个中心点和正常覆盖该子集测量点的最大半径。若新的测量数据落在所有子集所覆盖范围之外，就被判定为异常数据口。相域劳肉皆痫嫦胫汆被照。均值法效率高，可在高维、大量测量数据挖掘中使用；但是一个输入参数，若选择不当，可能导致错误的结果。另外，均值法是收敛到局部最优解，相对全局分析算法，其在某些情况下对异常测量数据的诊断效果不佳。月除等箱灭萦欢蜴鹫金锢S樱

12、。中心点划分法（）中心点划分法与均值法的思想一致，即将测量数据打包划分到个子集中，然后确定每个子集正常测量数据的范围；再基于确定的范围边界，对所有测量数据进行诊断，以确定异常值。鲨警新出槌金甲涉隆剑t摇饬。与均值法的不同在于，中心点划分法采用实际测量数据中心点划分法的优化目标是某个集合内测量数据到中心（实际测量数据点）距离之和最小化：硕顽诒撵椁揣H颈鹭胶。kargsminZ2|x-Xi|（）iJx.S1基于上述，与均值法相比，中心点划分法能更稳定地诊断出噪声和异常测量数据，即具有更好的鲁棒性。阕擞赣媛竦迁择植秘ms垠。最小体积椭圆法（，）最小体积椭圆法通过对多数测量数据（）的概率分布模型进行拟

13、合，目标是以拟合出最小体积的椭圆边界来区分正常测量数据与异常测量数据口。量噜除富贸恳弹滤颔杲纷金L。若，是*维的测量数据，按照式（）可确定的马氏距离。已知测量数据满足维高斯分布，则该测量数据的马氏距离平方近似满足X分布。基于此结论，最小体积椭圆法比较马氏距离和X的方根值，即：数循瓷剌#孙流®赘麽猴。8（Xn,Cn,P）=4；d2（X）MJ"p（）从而确定最小体积椭圆的边界。以此边界为界限，落入边界外的测量数据即被诊断为异常测量数据。凸壳剥离法（）凸壳剥离法是用最外层的测量数据构建出一个凸壳。删除落在该凸壳上的测量数据后，继续向内构建第二层凸壳，如此反复，就能构建出一个多层的

14、类似洋葱的凸壳作为每个子集的中心，而非测量数据的等效中心。另外，的权重，即深度。深度与凸壳到数据中心的距离正相关,体。凸壳剥离法赋予落在各层凸壳上的测量数据不同在最外面的测量数据具有最小的深度。凉副鸨。凸壳剥离法通过设定深度或剥离数据量来确定应剔除的最外层数据即异常数据。剥离量化指标也可通过最小二乘法、最小中值二乘法或最小修整二乘法确定。谚辞担谄动律泻类鼠堇现。凸壳剥离法的优点是无需分类和设定条件以剔除异常数据，缺点是参数设置不当可能导致过多正常测量数据被误诊断为异常测量数据。啜觐言圭缘砌嗫俱触铃铸st恳。主成分分析法(，)在低维度下，最小体积椭圆法和凸壳剥离法能较高效地诊断出异常测量数据，但

15、测量数据维度高时，它们会显现出较大局限性。而主成分分析法则能较好地解决高维数据下的诊断效率问题口。受绐iBB圜1勒辎檄库圆ih主成分分析法的基本思想是：依据数据的相关属性，将高维测量数据映射到低维子空间，实现对高维测量数据的降维分析。从数学上看，主成分分析法采用一个正交化线性变换，将数据变换到一个新坐标系统中，使得数据的任何投影的最大方差在第一个坐标上；第二大方差在第二个坐标上，依次类推。如此，最大主成分的求解方程为：初渍蟆俾阅剜鲫普1藏阕簧。wi二argiiwiiamaxEwTX)2()其中，为标准正交基。主成分分析法的优势是将数据降维，但前提是假定子空间中测量数据的结构紧凑，如此，也限制了

16、它在测量数据为稀疏分布情况下的适用性。混合高斯分布(，)高斯混合分布是一种典型的混合概率分布算法，其基本思路是先将个测量数据划分到个子集中，如采用均值法,再将每个子集中的数据作为参数不同、彼此独立的高斯分布测量数据，即整体测量数据被表示为颖刍n蚊悖亿顿裳赔洸涨负。kp(t|x)=£ai(x)*i(t|x)()i-1其中，a为高斯分布的权重；为输入向量；为目标向量；?为高斯概率函数，即：''幻=(2ndlc产P卜"KI°(2n)5(x)_2j(x)_通过设定各子集的置信区间即给测量数据施加边界，即可判断测量数据是正常值还是异常值。极值分布理论(，)极

17、值分布理论仅关注测量数据中远离概率分布函数的极值点，并通过观察这些极值点的概率分布函数，确定测量数据是否异常口。滥，缪I詹盟骤翅Pits寝聪减栖。对极值点的选择，可以简单地取正态分布的极限，也可将数据分段处理，取每段中的最大值和最小值。极值点满足的概率分布函数为：联i跻鳗鸿钱寺迷1贬起Wp=exp-exp相对于直接由概率分布函数来确定异常测量数据，极值分布理论具有更广的适用范围，且在某些特殊情况下（如罕见异常数据）具有更高的检测分辨率。挤贴电爰结疑晴哓类芈噩。支持向量机法（，）支持向量机法的目标，是建立一个最大间隔超平面，即将测量数据分组的同时，还使得分组子集对应的各子空间之间的距离最大。一般

18、讲，测量数据在有限维空间中被区分，而用于区分的集合在该空间中通常线性不可分。为此，支持向量机法将原有限维空间映射到维数高得多的空间，并在高维空间中分离子集。支持向量函数可被表示为：赔茶余申谄病骤辽辈袜金卷趣噜。kSV=sign|ZaiLiK（xi,z）+b（）口其中，为核函数；是符号函数；代表类标；表示偏置量；为输入量；是训练后的输入量。支持向量机法实现高维映射的核函数不尽相同，常见的核函数包括线性点积、多项式非线性函数、高斯分布函数等。埴雕粼1决穗赛金卜册廛薮适。支持向量机法通过支持向量函数在区域中的密集程度判断数据是否异常一一通常，高密度区域数据是正常的，而稀疏区域则表示存在测量异常值。相对于传统的统计数据诊断法，支持向量机法具有更高的诊