基于数据挖掘技术的负荷预测及主动设备维护可行性研究报告.doc

基于数据挖掘技术的负荷预测及主动设备维护项目可行性研究报告毕勍上海析数软件有限公司2010年6月12日目录目录2第1章.前言3第2章.项目概述32.1 项目名称42.2 项目承担单位42.3 可行性研究报告编写单位42.4 可行性研究报告编制依据42.5 建设目标、规模、内容、周期42.6 总投资、资金来源和用途52.7 社会效益和经济效益6第3章.项目建设的必要性和可行性73.1 项目背景73.2 现状与差距73.3 项目建设的必要性83.4 项目建设的可行性83.4.1 数据可行性83.4.2 技术可行性93.4.3 新技术的引进9第4章.需求分析94.1 负荷预测94.2 主动设备维护10第5章.实现概要115.1 体系架构115.2 模型与算法125.2.1 ARIMA125.2.2 指数平滑方法125.2.3 线性回归125.2.4 逻辑回归135.2.5 决策树算法135.2.6 神经网络135.3 数据挖掘生命周期14第6章.结论与建议15第1章. 前言“十二五”是我国全面建设小康社会的关键时期，经济社会持续健康发展、清洁能源大规模接入电网、特高压输电技术推广应用，给国家电网的发展带来了新的机遇和挑战。为落实国家能源战略，推动国家电网又好又快发展，新能源、新技术与新设备的应用将会提上日程。智能电网作为新兴技术，将实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，其主要特征包括自愈、激励、抵御攻击、提供满足各用户需求的电能质量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。在智能电网的体系中，电力负荷的预测是电力调度系统的一项非常重要的工作，它关系到电厂各机组的运行计划，预测结果的准确与否直接影响到电力部门的经济效益。同时，在现代化的电力系统中,实现电网故障在线实时智能辨识和预测、主动进行设备维护,对提高故障正确判断率、缩短停电时间、降低停电损失以及减轻运行人员的压力等方面都具有非常现实的意义。第2章. 项目概述负荷预测(load forecast of power system) ,是电力市场的重要组成部分,实质是对电力市场需求的预测。它主要是指在考虑系统运行特性、自然条件、社会条件和地区经济状况等重要因素影响的条件下,利用历史负荷值经过一系列的数学计算,在满足一定精度和速度的情况下,决定未来某特定时刻的负荷。主动设备维护，是根据故障辨识结果,对各类设备的健康状况进行统计分析,给出相应的指标,为设备维护提供参考。另外,对于辨识系统积累的大量故障历史数据,可以利用数据挖掘技术将这些数据中蕴藏着的许多潜在的重要因素、事实和关联等有价值的信息提炼出来,分析故障发生原因同其它因素(如温度、雨量、负荷等)的相关性,找出几类重要的、常发生故障的、具有相同模式的部件,根据故障模式找出该模式下尚未发生故障的部件,作为重点预维修的参考,真正做到高效、智能。2.1 项目名称2.2 项目承担单位2.3 可行性研究报告编写单位2.4 可行性研究报告编制依据2.5 建设目标、规模、内容、周期l 建设目标充分利用电力网自身现有数据以及外部数据，以事实数据为基础、强化数据及系统分析能力，深入分析电力网负荷及设备故障等的变化规律，有助提高运营效率，优化调度和设备维护。l 建设规模覆盖电力网系统所涉及到的所有负荷数据、设备监测指标数据；建立相应的数据集市，并在此基础上建立负荷预测模型以及主动设备维护预测模型。l 建设内容1. 基于数据挖掘的负荷预测模型1) 长期预测(一年以上,预测的基本时间单位是年) ,为电源电网规划提供决策依据。2) 中期预测(一月以上,预测的基本时间单位是月) ,为期货交易、水库调度、检修、燃料计划等提供决策依据。3) 节假日预测(提前115 天预测节假日期间连续10 天左右的负荷)。4) 短期预测(1 天1 周,预测的基本时间单位是小时或半小时) ,为现货交易(预调度计划)提供决策依据。5) 超短期预测(5 分钟60 分钟,预测的基本时间单位是5 分钟) ,为实时调度、实时电价预测提供决策依据。2. 基于数据挖掘的主动设备维护预测模型根据对历史数据的机器学习，将配电网在正常及事故情况下的各种状态进行预测，以更加主动地监测、保护、控制和计量电力设备。l 建设周期基于数据挖掘技术的负荷预测及主动设备维护项目建设周期为五个月。1) 完成项目的需求调研及分析，为期一个月；2) 依照CRISP-DM进行数据建模，为期二个月；3) 测试并优化模型，为期一个月；4) 模型发布及上线测试，为期一个月。2.6 总投资、资金来源和用途项目总投资：万元资金来源：用途：2.7 社会效益和经济效益作为智能电网的重要组成部分，基于数据挖掘的负荷预测，将更加科学、准确、有效地提高负荷预测技术水平，有利于计划用电管理，有利于合理安排电网运行方式和机组检修计划，有利于节煤、节油和降低发电成本，有利于制定合理的电源建设规划，有利于提高电力系统的经济效益和社会效益；基于数据挖掘的主动设备维护将有利于提供供电质量，减少停断电事故的发生、降低网损率、减轻维护人员的劳动强度。第3章. 项目建设的必要性和可行性随着经济发展的深入，用户对电力供应提出了越来越高的要求，国家安全、环保等各方面政策也对电网的建设和管理提出了更高的标准。在过去30年间，信息、通信技术发生了翻天覆地的变化，基础材料、电力技术、信息技术的研究中，出现了不少可以明显改善电网可靠性、效率等运行指标的突破。这些技术的推广应用为电网运行管理水平的提高创造了条件。3.1 项目背景3.2 现状与差距负荷预测是传统的能量管理系统( EMS) 的一个重要组成部分，如今的电力市场下对其提出了更新的要求：负荷预测软件要能与电力市场的各类软件有效的接口；在电力市场条件下，负荷预测的精度对市场中各实体的经济效益有直接的影响，对负荷预测的精度提出了更高的要求；同时为满足实时电力市场的需要，对负荷预测算法的速度也有较高的要求；在电力市场下负荷预测必需考虑负荷对实时电价的响应，这也是在电力市场下较新的研究课题。作为资产密集型的电网企业必须以提高资产可利用率、降低企业运行维护成本为目标，以优化企业维修资源为核心，通过信息化手段，合理安排维修计划及相关资源与活动。通过提高设备可利用率得以增加收益，通过优化安排维修资源得以降低成本，从而提高企业的经济效益和企业的市场竞争力。3.3 项目建设的必要性长期以来,负荷预测在实际生产运行中并没有得到应有的重视，近几年,随着电力市场化的发展,负荷预测问题的解决已成为电力科技工作者面临的重要而艰巨的任务。对于简单故障,智能故障辨识系统相对于调度员的优势仅仅体现在数据收集时间维度上。而对于复杂连锁故障,如二次设备误动拒动,基于目前可以获得的实时信息,往往并不足以收集整理出整个故障过程中所有相关一二次设备相继动作的过程,这就需要该系统在运行中不断地自动收集整理每一次已知故障的信息,通过数据挖掘和专家系统不断学习强化,不断提升系统对故障快速辨识的能力。随着信息化的不断延伸和渗透，社会的运转将越来越依赖于计算机软件的运算，其中数据变得不可或缺。因此，社会的历史将会通过数据的历史来反映，社会的状态无时无刻不影响着数据的状态，而社会的变化将最终成为数据的变化。社会的数据化进程演变到今天，数据在刻画和描述社会日常运行和演变的过程中，其重要性已经毋庸置疑。如何充分利用现有的数据资料，建立正确的预测理论和方法,建立相应的预测模型，提高预测速度和精度，以满足电网企业对负荷预测以及主动设备维护的要求，已成为电网企业不容忽视的研究课题。3.4 项目建设的可行性3.4.1 数据可行性就目前的情况来看，电网企业的数据已经非常详尽和全面。因此，就目前的数据现状，是值得进一步挖掘其统计价值，通过统计、数据挖掘以及系统仿真等技术手段来测算负荷以及设备故障发生的概率，帮助各级管理部门进行规划和管理。同时，前期项目所存在的数据范围、数据粒度、数据加工水平、信息品类等方面的问题和不足，是需要进行改进，才能更好地符合疾病预防控制和管理的需要。3.4.2 技术可行性日常工作产生的数据“洪流”不断地在网络间流动，这些数据中往往蕴含着大量有价值的信息，但是由于其内在的隐蔽性，很难被人们发现并直接利用。现在，为了充分利用这些有价值的信息，越来越多的组织机构将数据挖掘技术作为一个商业过程融入到其具体的业务运作中，以期获得持续不断的发展即将日常的数据流转换成更有价值的商业信息。 将数据挖掘技术应用于商业过程的思想由来已久，简单地说，就是将以往的“经验学习过程”自动化，帮助人们优化对未来的决策。唯一不同的是这种自动化经验学习过程是以庞大的数据量为基础的（常常是以兆兆来计量），这就使得对企业的优势分析更切合实际，也更具有指导意义。3.4.3 新技术的引进作为一个数据挖掘平台，结合电网应用需求可以快速建立预测性模型，进而应用到企业日常管理活动中，帮助人们改进决策过程。强大的数据挖掘功能和显著的投资回报率使得数据挖掘技术和产品在企业应用领域经久不衰、久负盛誉。数据挖掘其功能强大的多领域算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。第4章. 需求分析4.1 负荷预测负荷预测与气象预测一样具有一定程度的不可预见性，但从长期的运作实践中,可以总结出影响负荷预测的各种因素,诸如负荷水平、气象条件、季节因素、社会与经济环境等，每个地区的负荷受各种因素影响的比重大不相同，譬如,南方地区受气象条件和小水电状况的影响比北方地区受的影响要强烈些。为了提高负荷预测的精度，投产的项目必须提供如下几种科学的预测方法：l ARIMA时间序列l 指数平滑l 线性回归l 神经网络4.2 主动设备维护根据故障辨识结果，对各类设备的健康状况进行统计分析,给出相应的指标，为设备维护提供参考。同时，对于辨识系统积累的大量故障历史数据，可以利用数据挖掘技术将这些数据中蕴藏着的许多潜在的重要因素、事实和关联等有价值的信息提炼出来，分析故障发生原因同其它因素(如温度、雨量、负荷等)的相关性，找出几类重要的、常发生故障的、具有相同模式的部件，根据故障模式找出该模式下尚未发生故障的部件，作为重点预维修的参考，真正做到高效、智能、主动地进行设备维护。为了确保故障预测的准确性和可应用性，投产的项目必须提供如下几种数据挖掘算法。l 决策树算法l 逻辑回归l 神经网络第5章. 实现概要实现电网企业的负荷预测及主动设备维护是一项系统工程，必须遵循来源于实践的，并被广泛验证过的方法和项目管理，只有这样才能最大限度的保障项目的成功、模型的准确以及与各类管理系统进行对接，实现预测结果的及时应用，辅助各级管理人员的各项决策。5.1 体系架构基于数据挖掘技术的负荷预测及主动设备维护的系统框架如下图所示。l 数据导入层数据导入层对交易源文件预处理、数据源文件格式检查、数据源文件的临时存储层、转换、逻辑控制、调度管理及加载作业等。l 数据存储层在这里主要指的是数据仓库。按照逻辑模型预先定义，通过数据导入层进行数据存储，对中间服务层的各种请求进行响应。l 中间服务层中间服务是指基于数据、面向监测/决策要求的服务，主要由实现负荷预测及主动设备维护的模型和算法组成。l 访问控制层针对管理者或者其他应用系统的统一访问接口。使用者通过访问控制层进行各种操作；各类应用系统通过访问控制层获取来自中间服务层所计算、分析、挖掘生成的指标数据。5.2 模型与算法5.2.1 ARIMAARIMA分为自回归(AR) 、动平均(MA) 、自回归- 动平均(ARMA) 、累积式自回归- 动平均(ARIMA) 模型，模型辨识的基本途径是对原时间序列的相关分析也就是计算序列的均值、自相关和偏相关函数,从而确定模型的类型，模型辨识后,就要利用原序列有关的样本数据，对模型参数进行估计。5.2.2 指数平滑方法指数平滑是一种使用以前的序列观察的加权值来预测未来值的预测方法。因此，指数平滑不是以对数据的理论理解为基础的。指数平滑每次预测一个点，在输入新数据时可调整其预测。此技术有助于预测可展示趋势和/或季节性的序列。可以从对趋势和季节性有不同处理方式的多种指数平滑模型中进行选择。5.2.3 线性回归回归分析是试图从实际数据中寻找某种规律的方法。回归分析确立和分析某种响应变量 (因变量)和重要因素 (自变量)之间的函数关系。回归值代表任意一个条件期望值，在数据建模中，经常是给定条件变量下因变量的条件期望值。将预测属性视为自变量，预测目标视为因变量，则可使用回归技术进行预测。对于形如下式的线性模型常采用最小二乘法来估计参数。最小二乘估计是一切线性无偏估计类中方差一致最小的估计。只有当数据中存在孤立点或数据间存在较严重的复共线性时，最小二乘估计的性质才变坏。5.2.4 逻辑回归Logistic 回归（也称为名义回归）是一种用于依据输入字段的值对记录进行分类的统计技术。这种技术与线性回归类似，但用分类目标字段代替了数值字段。同时支持二项模型（用于具有两种离散类别的目标）和多项模型（用于具有两种以上类别的目标）。Logistic 回归的工作原理是构建一组方程式，使输入字段值与每个输入字段类别所关联的概率相关。生成模型后，便可以用它来估计新数据的概率。对于每条记录，将计算每种可能输出类别的归属概率。具有最高概率的目标类别将被指定为该记录的预测输出值。5.2.5 决策树算法决策树算法可以基于一组决策规则来预测或分类未来的观测值。如果将数据分成您关注的类别（例如，高风险和低风险设备、用户和非用户或细菌类型），则您可以使用自己的数据来构建规则，借此对新案例或旧案例进行准确性最大的分类。例如，可以基于H2和其他因素构建对设备状态进行分类的树。5.2.6 神经网络神经网络的基本单元是神经元，它是集数据输入、运算、结果输出于一身的装置，既可以做模型预测，也可以提供信息给其他神经元。神经网络就是众多神经元系统的连接在一起组成的结构。常用到的是前馈神经网络，也即多层感知器。神经元分布在各层中，通常有一个输入层、一个或多个中间处理层和一个输入层，并且每层中的神经元都跟相邻层的神经元充分连接。每个连接具有关联权重，描述神经元之间的影响力度。信息从输入层通过中间处理层到输出层的过程中，产生预测。并通过样本不断学习，自动调节关联权重，使预测越来越精确。RBFN (radial basis function network)是另外一种特殊的神经网络，包含三层：输入层、中间处理层和输出层。其中的中间处理层是聚类模式，类似于K-means模型中的聚类。神经网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本特性的某种理论抽象、简化和模拟而构成的一种信息处理系统，从系统观点看，人工神经网络是有大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统，即具有不可预测性、耗散性、不可逆性、高维性、广泛连接性与自适应性等。神经网络具有人脑功能的基本特征：学习、技艺和归纳。神经网络需要的经验知识比较少、适应性比较强、并行速度比较快，它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。5.3 数据挖掘生命周期一个完整的数据挖掘项目生命周期包括如图所示的六个阶段