（通信与信息系统专业论文）时间序列数据流预测技术与应用研究.pdf

华北电力大学硕士学位论文 摘要 数据流技术已成为当今数据处理领域的研究热点，但研究工作多数集中在数据流 上数据的查询，数据流上预测的研究工作相对较少。由于传统预测方法的局限性， 不能满足数据流处理的实时性需求。因此，本文提出了小波变换和l s s v m 结合的数 据流预测方法。采用小波变换对数据流进行分解，给每个分解层利用l s s v m 预测保 证了预测精度；提出了改进的s s w a t 小波分解增量算法，并结合l s s v m 预测的增量 算法满足实时数据流处理的速度要求。通过对电力负荷以及电力暂态稳定分析中发 电机功角数据的预测，验证了方法在预测精度和预测速度方面的有效性以及在电力 系统中应用的可行性。 关键词：数据流预测，小波概要结构，增量维护，最小二乘支持向量机 a b s t r a c t d a ：t as t r e 锄h 嬲g r a d u a l l yb e c o m em eh o tt o p i c so fd a t ap r o c e s s h gc i r c l e b u tm e m 匈o r i t ) ro ft h er e s e a r c hw o r ki so nq u e d ro f 坞d a ：c as t l c 锄s t u d yo np r e d i c t i o no fd a _ l a s t r e a mi sr e l 撕v e l yl i m e b e c a u o fm el i n l i t a t i o 璐o ft r a d i t i o n 2 i lp r e 击c t i o nn l e t h o d s ，n l e y 啪1 1 0 tm e e tt h en e e d sf o rr e a l t i i n ed e m 锄do fd a t as 仃e a mp r 0 c e s s i n g t h e r e f o r e ，a n e m c i e n tm e m o do f p r e d i c t i o no f 血es 嘶e s 纰妣锄i l s i n gw a v e l c t 嘶f o m l 趾dl s s v m i sp r e s e n t e d t oe l l s u r et l l ep r e d i c t i o na c c u r a c y 删e t 蛔n s f 0 姗i su s e dt od e o d m p o s et 1 1 e d a 胁妣锄i m os e v e r a l1 a y e r s ，a n dt h e nl s s v mi s 啪e dt 0p r e d i c te a c hl a y e r t h ew ，眦l e t t m s f 0 咖i n c r e m e n t a l 酊g o r i t l l i no fi m p r 0 v e ds s w a ti sp r e s e n t e d ，a n d 疵r e m e i l _ t a l m 9 0 r i t l l i no fl s s v mi sc o m b i n e dt 0m e e t 也en e e do f t h e n l ep r e d i c t i o no f t h ep o w e rl o a d 觚dr o t o r 孤培l e 缸ai i lm e 衄l s i e n t 虹b i l i 够锄a l y s i so fp o w e rs y s 钯mp r 0 v e st l l e e f f e c t i v e n e s so fm ep r o p o s e dm e t h o di 1 1 p r e d i c t i o na c c u r a c ya n ds p e e d ，嬲、v e l l 勰t h e f e a s i b i l i 够i np o w e rs y s t e ma p p l i c a t i o n s h iy a n c u i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f k o n gy i n g h u i k e yw o r d s ：d a t as t r e a mp r e d i c t i o n ，w a v e i e ts y o p s i ss t r u c t u r e ，l e a s ts q u a r e s s u p p o r tv e c t o rm a c h i n e l 华北电力大学硕士学位论文 摘要 数据流技术已成为当今数据处理领域的研究热点，但研究工作多数集中在数据流 上数据的查询，数据流上预测的研究工作相对较少。由于传统预测方法的局限性， 不能满足数据流处理的实时性需求。因此，本文提出了小波变换和l s s v m 结合的数 据流预测方法。采用小波变换对数据流进行分解，给每个分解层利用l s s v m 预测保 证了预测精度；提出了改进的s s w a t 小波分解增量算法，并结合l s s v m 预测的增量 算法满足实时数据流处理的速度要求。通过对电力负荷以及电力暂态稳定分析中发 电机功角数据的预测，验证了方法在预测精度和预测速度方面的有效性以及在电力 系统中应用的可行性。 关键词：数据流预测，小波概要结构，增量维护，最小二乘支持向量机 a b s t r a c t d a ：t as t r e 锄h 嬲g r a d u a l l yb e c o m em eh o tt o p i c so fd a t ap r o c e s s h gc i r c l e b u tm e m 匈o r i t ) ro ft h er e s e a r c hw o r ki so nq u e d ro f 坞d a ：c as t l c 锄s t u d yo np r e d i c t i o no fd a _ l a s t r e a mi sr e l 撕v e l yl i m e b e c a u o fm el i n l i t a t i o 璐o ft r a d i t i o n 2 i lp r e 击c t i o nn l e t h o d s ，n l e y 啪1 1 0 tm e e tt h en e e d sf o rr e a l t i i n ed e m 锄do fd a t as 仃e a mp r 0 c e s s i n g t h e r e f o r e ，a n e m c i e n tm e m o do f p r e d i c t i o no f 血es 嘶e s 纰妣锄i l s i n gw a v e l c t 嘶f o m l 趾dl s s v m i sp r e s e n t e d t oe l l s u r et l l ep r e d i c t i o na c c u r a c y 删e t 蛔n s f 0 姗i su s e dt od e o d m p o s et 1 1 e d a 胁妣锄i m os e v e r a l1 a y e r s ，a n dt h e nl s s v mi s 啪e dt 0p r e d i c te a c hl a y e r t h ew ，眦l e t t m s f 0 咖i n c r e m e n t a l 酊g o r i t l l i no fi m p r 0 v e ds s w a ti sp r e s e n t e d ，a n d 疵r e m e i l _ t a l m 9 0 r i t l l i no fl s s v mi sc o m b i n e dt 0m e e t 也en e e do f t h e n l ep r e d i c t i o no f t h ep o w e rl o a d 觚dr o t o r 孤培l e 缸ai i lm e 衄l s i e n t 虹b i l i 够锄a l y s i so fp o w e rs y s 钯mp r 0 v e st l l e e f f e c t i v e n e s so fm ep r o p o s e dm e t h o di 1 1 p r e d i c t i o na c c u r a c ya n ds p e e d ，嬲、v e l l 勰t h e f e a s i b i l i 够i np o w e rs y s t e ma p p l i c a t i o n s h iy a n c u i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f k o n gy i n g h u i k e yw o r d s ：d a t as t r e a mp r e d i c t i o n ，w a v e i e ts y o p s i ss t r u c t u r e ，l e a s ts q u a r e s s u p p o r tv e c t o rm a c h i n e l 声明尸明 本人郑重声明：此处所提交的硕士学位论文时间序列数流预测技术与应用研究， 是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究 成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的 说明并表示了谢意。 学位论文作者签名：璺堑翌 日期：至! ! ! ! ! ! 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 导师签名：至生数 日 期：兰塑：f ： 一 日期：竺! ：! ：i 二 华北电力大学硕士学位论文 1 1 选题背景及其意义 第一章绪论 预测是指人们在观察和分析客观事物发展过程的历史及现状的基础上，通过对 客观事物发展规律的认识，推断其未来状况的过程。预测方法可分为定性的经验预 测技术和定量的预测技术。经验预测方法主要是依靠专家或专家组的判断，仅给出 一个方向性的结论，预测结果也不是数值型的。定量预测技术比较常用的主要有时 间序列法、卡尔曼滤波分析法、回归分析法、指数平滑预报法、专家系统法、小波 变换法、模糊预测法、灰色模型法、人工神经网络法、优选组合预测法等。基于小 波变换的预测在经济等领域较多应用，最近已被用于网络流量的长期预测和中短期 预测，使预测准确性得到较大提高。预测可分为离线预测和在线预测，在线预测 可以提高预测的精度和速度。 时间序列预测在工程、经济、工业制造、金融和管理等许多领域有着广泛而重 要的应用价值。近年来，数据流处理逐渐成为数据库领域新的研究热点1 2 l 。数据流 可视为时间序列，它具有连续性、随时间变化性、无限性、快速性等崭新的特征， 它经常出现在许多应用领域中，包括电话通信数据管理、w e b 应用领域、传感器网 络、工业控制、股票交易【3 l 等。对于这些领域，数据流处理与分析技术研究有着十 分重要的意义，如数据流的查询、挖掘和实时数据流未来趋势的预测等1 4 】。目前的 研究工作多数集中在数据流上当前数据的查询，数据流上预测的研究工作相对较 少。然而，数据流上的预测研究对许多领域都有重要意义。 在电力系统中，电力系统的稳定运行要求发电量能随时紧跟系统负荷的变化， 即发电站发出的电能必须能够平衡线路负荷，如果不事先预测负荷，或负荷预测不 准，将会导致大量的电能浪费。准确预测负荷，不但对确定日运行方式有重要作用， 有助于确定机组组合方案、地区间功率输送方案和负荷调度方案。此外，电力负荷 预测直接关系到电力系统生产计划和电力系统运行方式的安排，具有重要的经济意 义和社会效益。 电力系统暂态稳定的快速预测作为一种启动安全稳定紧急控制的积极手段，可 以给电力系统带来明显的经济效益，如：预测可以快速、超前正确地启动紧急 控制，以维持系统的安全运行，在正常运行条件下减少对事故后安全的约束条件， 如可使有能力发电的电厂满发，网络按静态稳定极限送电，更合理经济地安排潮流 的流向路径：稳定控制装置有了预测模块，能始终监视系统的运行状态，自动 地做好安全稳定紧急控制的准备，可避免局部故障造成的大面积停电事故1 5 】。 华北电力大学硕士学位论文 故障预测维修是采用各种算法( 如小波变换、傅立叶变换、粗糙集、模糊逻辑、 专家系统、神经网络等) 对设备的运行的状态进行管理、监控，并对运行的设备将 要出现问题的部位及故障从萌芽到产生所经历的时间做出预测，以便及时地采用相 应的维修措施，降低生产者和使用者的设备维修故障时间和费用，提高产品的可靠 性，可以防止故障和事故的发生，尤其避免灾难性的故障所造成的人员伤亡和社会 影响，保证用户的安全和社会的稳定。 1 2 国内外数据流预测的研究现状 本选题的国内外动向分为三部分：预测技术的应用；小波和支持向量机在预测 领域的应用；数据流管理技术与数据流预测。 1 2 1 预测技术的应用 预测技术已经广泛应用于许多领域，这里只对电力系统负荷预测、电力系统暂 态稳定的预测和故障预测维修稍作介绍： ( 1 ) 电力负荷预测 西方发达国家如美国、英国随着电力市场的日益成熟，电力供应商为了获取最 大利润，十分重视电力负荷预测工作。为此，科研工作者一直在研究电力负荷预测 的新方法以提高精度。自从1 9 9 1 年美国学者p a r k 等人提出使用神经网络预测电力 负荷以来，人们对此表现出广泛的关注。在此基础上，美国k h ot a n z a d 博士领导 的科研小组经过几年的艰苦研究，提出了人工神经网络电力负荷短期预测系统( a n n s t l f ) 。这个系统已经在实用化方面取得了空前的成功。北美洲有3 5 个大发电系统 ( 公司) ，根据天气预报、工业和居民用电统计资料，利用a n ns t l f 系统预测发电 站必须提供的发电量，大大提高了电站的效益和安全运转。 目前国内电力负荷预测研究也备受瞩目，很多学者提出自己的看法。东南大学 的单渊达教授采用径向基函数( r b f ) 为神经网络预测系统前向网络的学习提供了一 种新颖而有效的手段。华北电力大学的牛东晓教授则引入了小波神经元网络电力负 荷预测模型。清华大学张伯明教授采用共毖梯度法训练预测系统的神经网络，在学 习算法上有所突破。国内著名人工智能学者蔡自兴教授则结合多层感知神经网络和 多分辨率遗传算法来进行电力负荷预测。华南理工大学的吴捷教授运用模糊逻辑和 时序特性来进行最优模糊逻辑推理。国家电力科学研究院的胡兆光老师将彳乃匡理和 模糊系统结合起来，建立彳瑚则库对电力负荷进行预测，虽然这些方法有着各自的 优越性，但都存在着不同的缺陷，如：要采集和处理的数据较多、工作量太大，不 具备很好的通用性等。 2 华北电力大学硕士学位论文 ( 2 ) 电力系统暂态稳定预测 对电力系统暂态稳定进行预测目前已经提出过多种方法，如：数值积分方法，直 接法以及人工智能方法等。近年来，随着计算机技术和通信技术的发展，尤其是全 球定位系统( g p s ) 的出现，使得对电力系统具有重要作用的相角测量得以实现。g p s 以其授时精度和高可靠性在电力系统中开始获得应用，其中最有意义的是开发了电 力系统相量测量技术，使得直接监视系统的相量成为可能，从而将对暂态稳定分析 与控制带来巨大的变革【6 l 。目前，许多国家的电力公司，科研机构和高校都相继研制 开发了同步相角测量装置( p m u ) ，并正在探讨其在电力系统各方面，尤其是暂态稳定 预测、控制和失步保护中的应用。美国和法国电力公司已安装了许多p m u 装置。我 国最近也开始进行p m u 的研制和应用工作。一个使用p m u 加强对电力系统暂态稳定监 控的热潮正在各国兴起【7 1 。 ( 3 ) 故障预测维修 预测维修是美军正在大力推行的一项新的维修政策，它是根据部件的实际状态 来决定对其进行更换或维修的过程，需要借助于先进的故障预测技术来实现。美国 国防部已开发了故障预测和状态管理系统( p h m ) 。目前已广泛的应用于大中型民用 直升飞机领域，在军用飞机领域也有一些应用。世界上许多国家如英国、加拿大、 荷兰、新加坡、南非、以色列等国都开发了相应的故障预测及状态监测系统。1 9 8 9 年美国的v e n k a t 等首先将神经网络用于故障诊断中，获得了理想的结果。此后， m a r k o 等把神经网络引入到汽车控制系统和柴油机的故障诊断中，实现了故障的快 速分析。s h a r k y 等在对柴油发动机的故障机理进一步研究的基础上，提出多神经网 络的诊断策略。 我国在p h m 方面的早期应用主要在民航，如c o m p a s s 、e c m 、a d e p t 等。自主研 发有一些，主要是飞机或发动机的性能状态监控的软件系统，但与硬件系统贯穿在 起的整套解决方案的可应用的成果较少。对于电子产品的p h m ，目前我国在这方 面的研究还极少。 1 2 2 小波和支持向量机在预测领域的应用 ( 1 ) 小波分析 小波分析的理论起源于伸缩与平移的分析方法，关于这一方法的研究可以追溯 至1 9 1 0 年h a a r 提出的小波规范正交基的思想。1 9 1 0 年，h a a r 根据一个分片常数函 数构造了一种正交小波。但用分片常数函数去近似一个光滑函数并不是最好的方 法。例如，用分片线性函数逼近光滑函数比用分片常数函数逼近而产生的误差更小。 1 9 8 0 年，s t r o m b e r g 发现分片线性函数也可以构成正交规范基。1 9 8 4 年，法国地球 华北电力大学硕士学位论文 物理学家m o r l e t 在分析地震波的局部性质时，把小波的概念引入到信号分析中，并 同理论物理学家g r o s s m a n n 重新促进了理论物理学与信号处理领域专家的合作，使 所谓的连续小波变换得以产生。针对m o r l e t 与g r o s s m a n n 的结果，m e y e r 试图证明 不存在正则的小波生成规范正交基，但是他却最终构造出了一组无限可微的小波 基。他的这项研究产生了极大的冲击，最终导致d a u b e c h i e s 发现了紧支集的规范正 交小波基，从此，小波理论开始得到迅速的发展和广泛的应用，在全球范围开始兴 起一场小波热。1 9 8 9 年m a l l a t 提出多分辨分析的思想，统一了这之前各种正交小 波基的构造方法，并给出了适用于正交小波基的快速小波分解与重构算法，极大地 推动了小波分析理论的应用研究，是一个里程碑式的成果。1 9 9 2 年，由c o i f m a n 和 w ic k e r h a u s e r 提出小波包理论，并在原有的小波理论的基础上提出了最佳基选择的 概念，这是对小波理论的又一个重大发展1 8 i 。 小波变换是数据流预测的一种方法。通过对经小波变化后不同尺度上的子序列 选用较佳的匹配模型进行预测并进行重构，得出预测结果【9 l 。该方法具有较高的精 度和很强的适应能力。 ( 2 ) 支持向量机 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是一种新的通用机器学习方法。 它是c o r t e s 和v a p n i k 于1 9 9 5 年首先提出来的。虽然支持向量机发展时间较短，但是 由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几年涌现出的 大量理论研究成果，更为其应用研究奠定了坚实基础。如a n t h o n y 等人给出了关于 硬领域支持向量机学习误差的严格理论限；s h a w e t a y l o r 等人也给出了类似的关于 软领域支持向量机和回归情况下的误差界限；w e s t o n 和v a p n i k 等研究了支持向量机 的推广性能及其在多值分类和回归问题的拓展问题；s m o l a 和s c h o l k o p f 提出了支持 向量机一般意义下的损失函数数学描述。由于支持向量机具有坚实的理论基础并在 很多领域表现出良好的推广性能，因此，国际上正在广泛开展对支持向量机的研究。 9 0 年代之后取得了许多突破性进展，许多改进的和新型的s v m 算法相继出现。目前 对支持向量机的研究主要包括：s v m 训练算法改进1 1 0 1 、大规模问题的求解l 、模型 选择f n l 、应用研究等方面1 1 3 l 。 支持向量机实现了风险最小化原理i l 引，对未来的样本有较好的范化功能。另外， 支持向量机的一个最显著的特点是其训练能够等价于解决一个线性约束的二次规 划问题，因此能够保证全局最小。该方法的预测精度和速度比现有方法有显著提高。 ( 3 ) 组合预测 近年来，随着现代预测理论与方法繁荣发展，各种预测方法应运而生，但目前 没有一种方法能够适用于所有问题，使预测者很难做出最佳选择。自从j m b a t e s 4 华北电力大学硕士学位论文 和c w j g r a n g e r 首次提出并证明两种无偏的单项预测可以组合出由于每个单项预 测的组合预测方法以来，组合预测就成为预测领域中的一个重要的研究方向，引起 了众多学者浓厚的兴趣，并取得了一系列研究成果。 组合预测使用两个或两个以上的预测方法对同一个预测对象进行预测，对各个 单独的预测结果进行适当的组合并作为最终预测结果的预测方法【”j 。组合预测集结 了所有单个预测方法包含的有用信息，从而使其具有对未来变化的适应能力，减少 预测的风险，提高预测的精度【1 6 j 。根据集结或组合各单项预测模型的方式不同，组 合预测一般可分为线性组合预测和非线性组合预测两大类。 考虑到数据流是由多个尺度( 频率) 成分组成的，不同尺度( 频率) 成分可能存在 不同的非线性规律，用单纯s v m 模型不一定能够最好地反映数据流的非线性规律， 因此我们使用小波变换和s v m 相结合的方法对数据流进行预测1 1 7 l 。 1 2 3 数据流管理技术与数据流预测 ( 1 ) 数据流管理技术 设计有效的数据流管理系统需要对传统数据库的几乎所有方面进行修改或扩 充。领域的热点问题有：在数据模式和查询语言中加入时间、顺序、窗口；实现近 似计算操作的方法如草图技术、滑动窗口技术等；在查询计划中组合基于推的操作 和基于拖的操作；设计可以重新优化的适应性查询：适合于流操作的调度策略：分 布式查询的处理等问题。研究涉及的数据处理技术相当广泛，数据流研究领域十分 活跃。 近期对上述问题的研究已经产生几个学术性的项目，均处于实验原型阶段，还 没有产品原型出现，著名的研究单位及数据流项目如下： 布朗大学，大型流监控系统a u r o r a ，是面向工作流的系统，用户可以通过 组合b o x e s ( 查询操作符) 和a r r o w s ( 查询操作符之间的数据流) 创建查询计划。斯 坦福大学，通用流系统s t r e a m 【1 8 1 ，是通用目的的基于关系的流系统，强调内存管理 和近似查询解答。加州大学伯克力分校，电信电话流t e l e g r a h p c q ，是一个连续 查询处理系统，着重于共享查询评价和适应性查询处理。流管理系统f j o r d i n g 是 处理传感器数据流查询的框架。维斯康星大学，w e b 流系统n i a g a r a ，是可以处 理基于动态w e b 内容的连续x m l q l 查询的连续查询系统。康乃尔大学，传感器 网络c o u g a r ，是使用a d t s 表示传感器模型，以时间序列表示输出的传感器数据库。 纽约大学，高速时间序列数据流在线统计s t a t s t r e a m ，是用于计算跨越多流的 在线统计流监控系统。g i g a s c o p e 是一个分布式网络监控结构，提出推某些查询 操作符到数据源( 例如路由器) 。o p e n c q 是另一个监控w e b 内容流的连续查询系 华北电力大学硕士学位论文 统，注重可伸缩的事件驱动的查询处理。t r i b e c a 是一个早期的i n t e r n e t 通信 量在线监控工具。 与国际上数据流领域极其活跃的研究态势相比，国内数据流技术的研究基本上 处于跟踪学习阶段，复旦大学、北京大学、哈尔滨工业大学、东北大学、东南大学 等一些研究机构已经针对数据流的各种相关问题展开了深入的研究。发表了一些有 关数据流技术的论文，但是具有国际影响的技术成果很少，有待迸一步提高。 ( 2 ) 数据流预测 近年来，在数据流应用领域中出现了许多新的预测需求。数据流可视为时间序 列，大多数应用产生的离散数据流s ( t ) 数学模型可以简化为：s ( t ) = a ( t ) + w ( t ) ，其 中a ( t ) 表示稳定性成分，w ( t ) 表示随机噪纠纷l 。a ( t ) 的变化规律是相对稳定的，只 受少量相关因素影响，可以精确预测，但预测周期一般较长。时间序列领域许多有 关预测的研究成果基本上可以提供a ( t ) 的精确预测，然而由于随机成分w ( t ) 通常容 易受到各种随机因素的影响，怎样精确地预测w ( t ) 就成为数据流预测研究中的关键 问题。人工智能方法适于预测时间序列数据流值中周期性稳定成分，其预测精度虽 高但速度较慢，而回归预测法速度却难以预测随机变化的非线性成分，预测精度较 低。众所周知，无论在传统的时间序列领域还是在新浮现的数据流领域，目前已经 提出的预测方法的预测步长都是固定的1 2 0 】。然而这种等间隔的预测策略是无法适应 流值在不同时段其波动情况下不相同的特点，不适合时间序列数据流在线自适应资 源管理和最优决策的需要1 2 1 1 。 文献 2 2 结合数据流的特征，研究了时间序列数据流的回归分析与预测技术， 以及一元线性回归方程的聚集技术，给出了时间序列数据流上的一元线性回归分析 模型。在此基础上，提出了一种数据流上的预测模型。最后，实试验分析展示了研 究结果能够有效地产生时间序列数据流的回归模型和实现数据流未来数据的预测。 文献 2 3 通过对7 种多分类支持向量机训练算法进行深入分析，得出其各算法 的优、缺点。还归纳了支持向量机在故障预测和识别、电力系统等方面的应用，特 别在电力系统暂态稳定评估与分析、电机故障诊断、高压输电线路故障诊断和定位、 双凸极永磁发电机非线性模型、火焰监测以及电力系统负荷预测等方面的成功应 用。研究表明，支持向量机克服了传统神经网络算法的局部最优、收敛难以控制、 结构设计困难等优点。 1 3 本论文的主要工作 本课题主要是研究目前新兴的数据流预测技术。采用小波变换、支持向量机以 及数据流处理技术实现快速、准确的在线预测。包括数据流处理模型的构建、数据 6 华北电力大学硕士学位论文 流概要构建、小波一支持向量机预测算法的研究，并探讨数据流预测技术在电力系 统中的应用。 ( 1 ) 数据流处理模型的构建 由于数据流是一个长期、动态的过程，部分算法在处理数据流时并不是将所有 的数据流数据作为处理对象，而是根据应用需求选取某个时间范围内的数据进行处 理。按算法处理数据流时所选取的时序范围，数据流模型可分为快照模型、界标模 型、滑动窗口模型。 在滑动窗口模型中，窗口随着数据的流入向前滑动，窗口中存在数据的插入和 删除。根据实际数据流的需求，需要选择长度不同的滑动窗口。根据滑动粒度不同， 滑动窗口分为连续更新滑动窗口和周期更新滑动窗口【2 4j 。当数据流速慢时，可以选 择连续更新滑动窗口，当数据流速快时，要选择周期更新滑动窗口，并且选取合适 的更新周期。 ( 2 ) 数据流概要构建 数据流的核心是概要构建。由于数据流的无限性，不可能在内存中存储所有数 据进行处理。使用一些近似算法来抽取数据的总体分布，在一个远小于数据规模的 内存空间里不断更新一个代表数据集特征的概要数据结构，使得在任何时候都能够 根据这个概要结构迅速获得处理结果，实现即时、在线分析。数据流处理近似算法 类型主要有随机抽样、草图、直方图和变换( 如离散傅立叶变换d f t 和离散小波变换 d w t ) 方法。 小波变换速度快，可用于计算无限流数据的近似值。它将流数据信号约减到一 个比原数据小得多的小波系数集，适合数据流的概要构建。当新的“元组 到达时， 通过滑动窗口的增量算法更新概要结构，从而达到在线预测的目的。 ( 3 ) 小波一支持向量机预测算法的研究 支持向量机回归通过核函数将低维的非线性空间映射到高维的线性空间进行 求解，巧妙地解决了在高维空间计算复杂点积运算的问题。采用这种方法可以较好 地进行非线性系统的建模与预测，在线训练一个突出的特点是支持向量机回归的学 习不是一次离线进行的，而是一个数据逐一加入反复优化的过程【25 1 。因此，这种学 习方法更要考虑训练的速度【2 6 1 。 最小二乘支持向量机( l s s v m ) 1 2 7 j 是标准支持向量机的一种扩展，优化指标采用 平方项，并用等式约束代替标准支持向量机的不等式约束，即将二次规划问题转化 为线性方程组求解，降低了计算复杂性，加快了求解速度1 2 8 】。 尽管最小二乘支持向量机算法在计算速度方面有了较大提高，但仍不能完全满 7 华北电力大学硕士学位论文 足在线预测的要求，主要因为：当滑动窗口滑动时，为使预测模型能准确反应系统 当前特征，就要用新数据进行拟合。在这种情况下，支持向量机训练过程中需要求 解的线性方程组将成为时变的，需要反复的矩阵求逆运算，计算量依然较大。本文 结合递推计算思想对标准算法进行改进。 ( 4 ) 数据流预测技术在电力系统预测中的应用探讨 本文分别以电力负荷数据和电力暂态稳定分析中的发电机功角数据为例，将小 波变换和最小二乘支持向量机预测方法相结合，先对时间序列数据流进行分解，然 后对每层用最小二乘支持向量机进行预测，最后把预测的结果进行重构。对该方法 的预测精度以及预测速度进行验证，并与神经网络预测以及线性预测进行比较。 华北电力大学硕士学位论文 第二章时间序列预测技术 时间序列是指同一种现象在不同时间上的相继观察值排列而成的一组数字序 列。时间序列预测方法的基本思想是：预测一个现象的未来变化时，用该现象的过 去行为来预测未来。即通过时间序列的历史数据揭示现象随时间变化的规律，将这 种规律延伸到未来，从而对该现象的未来做出预测。 时间序列预测方法分为两大类：一类是确定型的时间序列模型方法；另一类是 随机型的时间序列分析方法。确定型时间序列预测方法的基本思想是用一个确定的 时间函数j ，= 厂f ，来拟合时间序列。随机型时间序列分析法的基本思想是通过分析不 同时刻变量的相关关系，揭示其相关结构，利用这种相关结构来对时间序列进行预 测。本文讨论的时间序列预测法指的是确定型时间序列模型方法。时间序列回归预 测方法适合线性数据预测，而且预测简单，精度也比较好。但不适合非线性数据。 本文介绍适合线性预测的回归模型、指数平滑模型、自回归一滑动平均模型( a u t o r e g r e s s i o n m o v i n ga v e r a g e ，a r m a ) 参数估计以及适合非线性预测的小波变换算法、 神经网络算法、支持向量机算法。 2 1 回归模型 回归模型是揭示随机变量之间的相互关系，进行数据分析的有力工具。回归模 型利用己知数据，通过确定含有待定系数的特定函数表达式揭示自变量、因变量之 间的联系。根据函数表达式是线性或者非线性可以分为线性回归和非线性回归。 设z 。，x ：，z p 表示p 个不同的自变量，y 是因变量。属，届，砟可以通过最小化 鼹e ( s u mo fs q u a r e de r r o r ) 获得估计值， 性回归模型为公式( 2 1 ) ： 其中腿e = e 2 。) ，关于x 。，x ：，工尸的线 r = i y ，= r + s ，= 风+ 届x f l + 2 _ 2 + + j d x 伊+ q ( 2 1 ) 公式( 2 一1 ) 可以表示函数空间的一个线性无关组( 如多项式) ，还可以表示因素之间 的交互作用。 9 华北电力大学硕士学位论文 2 2 指数平滑模型 假定时间序列可以通过线性趋势y ，= 风+ 届，+ 毛描述，当用回归模型预测将来 值时，一般采用等权的最小二乘方法估计风，届的值，风，届可能会随时间发生变化， 等权估计在这时就不太合适了。指数平滑模型用来对时间序列的观测值加以不等 权，权值的调整是通过平滑系数来决定的，这种调整是有限制的。不等权重一般是 遵循“重近轻远 的原则，用一至两个平滑常数来决定权的分配的。当描述时间序 列的参数随时间变化不大的时候，指数平滑算法是很有效的。指数平滑法并不基于 任何正式的统计模型或理论。然而，这些方法比较直观，在一些应用中也取得了较 好的效果。 指数平滑模型有多种形式：简单指数平滑、单参数双指数平滑、双参数双指数 平滑、考虑季节性影响的累加性w i n t e r s 算法和乘积性w i n t e r s 算法等。 在预测时，因为近期数据和远期数据对预测结果的影响不同，对近期数据赋以 较大权值，而对较远的观察值赋以较小的权值，这种处理有助于提高短期预测精度。 简单指数平滑法的基本形式如公式( 2 2 ) ： 夕( h 1i ，) = 口( 1 一口) 。y ( ，- f ) l ；0 ( 2 2 ) 其中口叫衰减因子。口小时，是强调过去历史数据的作用；口大时，是强调新 近数据的作用。例如当a = 0 9 时，各权系数分别为0 9 ，0 0 9 ，o 0 0 9 ，。在极端 情形下，口= 1 ，则以往数据对预报没有任何影响，此时，夕( ，+ 1i ，) = 夕( r ) ，写成递推 预测公式为( 2 3 ) ： 夕( f + llf ) = 缈( f ) + ( 1 一口) 多ol ，一1 ) ( 2 3 ) 对于预测应用来讲，重要的是曲线越接近目前时刻，就应当越准确，而对于过 去很久的数据，不必要作很精确的拟合。 指数平滑预测方法计算公式表明：可利用前一时刻的预测值夕( fi f 一1 ) 和现在时 刻的实际值j ，( ，) 对未来，+ l 时刻进行预测夕( ，+ li ，) 因此，在预测计算中，只需存储 多( flf 一1 ) 值，并不断观测y ( f ) 值，就可不断进行下一步预测。显然，这种预测的速 度极快，适用于动态变形快速预测。不仅如此递推计算公式还具有校正预测的含义， 即新的预测值多( r + 1l ，) 等于原来的预测值夕( ，if 1 ) 与校正项之和，而校正项又等于 1 0 华北电力大学硕士学位论文 预测误差y ( r ) 一夕( fi ，一1 ) 与口的乘积。 指数平滑法的最大优点就是简单、经济、 简单，快速，所需的数据存储量等资源较少， 直观和容易理解。指数平滑算法计算 因此在很多预测问题中都有应用。 指数平滑法的一个重要缺点是没有正式的建模算法，指数平滑模型的选择经常 是借助时间序列散点图做出的，使用者必须考虑是否有趋势存在；是什么类型的趋 势；是否有季节性波动；是什么样的季节性波动等。经常使用的方法是同时采用几 种不同的模型，然后比较预测误差。 回归分析算法的一个重要的优势就是能够通过引入与待预测因子相关的外回 归变量提高预测精度。显然，指数平滑法不具备这种优点。指数平滑法只适用于变 化不大的平稳时间序列。当时间序列发生突变时，预测结果就不太理想，而且也不 适合较长时间序列的预测。 2 3a r m a 模型参数估计 a r m a 模型参数的精估计，一般采用极大似然估计，由于模型结构的复杂性，无 法直接给出参数的极大似然估计，只能通过迭代方法来完成。常用的参数估计有矩 估计、最小二乘估计、极大似然估计、采用遗传算法简化参数估计。 ( 1 ) 矩估计 矩估计在时间序列分析建模中是常用的初步估计方法，它是待定参数值的渐近 无偏估计。矩估计的基本思想是：假设随机变量x 的概率分布含有k 个未知数 b ，岛，吼，将分布的前k 阶矩表成舅，岛，幺的函数如公式( 2 4 ) ： ( 2 4 ) 根据x 的观察值，计算样本矩碗，；i ：，帆，代入上式得到q ，岛，幺的估计值 b ，岛，吼。 在矩估计算法中，a r 模型参数通过求解y u l e w a l k e r 方程得到：m a 模型参数 采用迭代算法求得矩估计值，如n e w t o n r a p h s o n 算法。a r m a 模型先对a r 部分参数 作估计，再对m a 部分作估计。 ( 2 ) 最小二乘估计 华北电力大学硕士学位论文 最小二乘估计是一种无偏估计。对于a r 模型，可以利用逆转形式将 b 一，( f - l ，小) 化为卅一牛。的线性组合。由于逆函数本身是口l ，6 l ，吒的函 数，所以最终得到的方程对q ，6 ，是非线性的，于是遇到非线性最小二乘的问题。 非线性最小二乘问题的主要处理办法是线性近似及迭代算法。 ( 3 ) 极大似然估计 极大似然估计是一种一致估计。设随机序列 ) 的有穷维概率密度 尸( 而，屯，h ) 能被一组参数口= ( q ，口：，) 唯一确定，希望选择口使得样本值 一，而，矗出现的概率p ( j c l ，z ：，hi 口) 达到极大，得到的a 值称为极大似然估计。 矩估计算法简单，精度最差，采用迭代算法时，一般将矩估计作为迭代的初值。 a r m a 模型参数的最小二乘估计与极大似然估计计算都比较复杂，当样本数量很大 时，得到的参数估计值也很接近。 ( 4 ) 采用遗传算法简化参数估计 可以用遗传算法计算a r m a 模型的参数估计，当遗传算法目标函数取为误差的 平方和时，得到最小二乘估计，目标函数取为似然函数时得到极大似然估计。当然， 一般要根据目标函数在遗传算法中采用的适当的适应度函数。 对时间序列的分析和建模是在大量观察数据业已获得之后进行的，通常数据和 计算所需程序占用的存储量较大，自适应模型在某种程度上能适时地根据量测数据 和估计结果自动调整模型参数，并随着数据的陆续到来，通过递推算法自动地对模 型参数加以修正，使其接近某种最佳值，即使在尚不完全掌握序列特性的情况下也 能得到满意的模型。已有的自适应模型递推算法很多，如k a l m a n 滤波、递推最小 二乘算法等。 2 4 小波变换算法 小波分析是一种时域一频域分析法，它在时域和频域上同时具有良好的局部 化性质，并且能根据信号频率高低自动调节采样的疏密，它容易捕捉和分析微弱 信号以及信号的任意细小部分。其优点是：能对不同的频率采用逐渐精细的采样率， 从而获得信号的细节，并能很好的处理微弱或突变的信号，其目标是将一个信号 的信息转化成小波系数，从而能够方便地加以处理、储存、传递、分析或被用于重 建原始信号。这些优点决定了小波分析可以有效地应用于预测问题的研究。 时间序列是一组离散的有序观测数据，因此一般采用离散小波变换对时间序列 进行分解与重构。重构公式为( 2 5 ) ： 华北电力大学硕士学位论文 ， s = a t + 了d ? o_一 。 i l ( 2 5 ) 其中，s 为一离散时间序列信号，为最大分解层数，4 为离散逼近信号，d l 为 s 的离散细节信号。采用d b 小波系列对原始时间序列进行多尺度分解和单支重构。 由于m a l l a t 算法将原始时间序列分解成不同的频率通道成分d i ，破，d ，和4 ， 将原始信号的趋势项、周期项和随机项分离，频率成分更单纯，相关性增强。因此 对d l ，b ，d ，和4 分别进行预测，最后合并重构出完整序列的预测结果。 2 5 神经网络算法 ( 1 ) 神经网络方法简介 神经网络方法是对生物神经系统的模拟，它的信息处理功能是由网络单元( 神 经元) 的输入输出特性( 激活特性) 、网络的拓扑结构( 神经元的联系方式) 、连接权 的大小( 突触联系强度) 和神经元的阈值( 可看作特殊的连接权) 等所决定的。神经网 络在拓扑结构固定时，其学习归结为连接权的变化。至今己经有数百种神经网络模 型，在许多学科领域都得到了广泛的应用。 很多预测系统都用到了神经网络模型，这是因为神经网络方法的特点很适合处 理预测问题。采用人工神经网络模型构建预测系统，必须考虑的几个方面是：决定 整个预测系统的结构( 系统采用几个神经网络模型、其它的预测及修正技术) 、采用 的神经网络类型、神经网络的结构( 每个网络的层数、每层的神经元数目、激活函 数、神经元之间的连接方式) 、神经网络的训练方法以及程序终止策略。 通常在训练神经网络模型时需要将样本数据分成两组，一组数据作为训练样 本，另一组数据作为测试样本。训练样本用于网络的训练，不断调整各层神经元之 间的连接权，直至达到训练算法的终止条件，测试样本用于对训练后的网络进行性 能测试。 关于神经网络的收敛条件，一般的算法中都采用以下两种终止条件。给定 一个训练迭代次数。当训练样本误差小于给定的容许误差。但是这样做的目的 仅能保证模型与训练样本真实值充分接近，并不能保证预测的有效性，预测数据的 精度事后才能得知。如果过度要求训练精度，则可能出现“过学习”，即虽然训练 样本逼近的很好，但是预测效果会下降。导致这种情况一般有两种原因：网络训练 过了头；网络结构太复杂。 绝大部分神经网络采用多层感知器模型，也有采用其它形式的网络模型的。关 华北电力大学