基于时间序列的数据挖掘方法在电力负荷预测中的应用研究

辽宁工程技术大学硕士学位论文基于时间序列的数据挖掘方法在电力负荷预测中的应用研究姓名：张特来申请学位级别：硕士专业：计算机应用技术指导教师：刘万军20060101辽r丁程技术大学硕+学位论文 IIAbstractTime series are very common in datasetsTime Series Data Mining hasbeen one of the focuses of current data mining researchRecently the study OnTime Series Data Mining mainly concentrates on both the similarity search ina time series database and the pattern mining from a time seriesIn the patternmining，the trend prediction is a new domainIt mines the rules from timeseries data and makes USe of the rules in predicting what will happen in thefutureThis dissertation combines time series analysis technology with datamining theory，researches a new data mining method based on time seriesanalysis technology which can be used on forecasting the future dataThismethod can build an input sample pattern which i s suit for the BP NeuralNetworks of data mining and finally find the law of the system by studyingfrom time series again and againAt the same time，to counter the original BPalgorithm deficiency，the writer made a further improve on thatThe electricpower systemS live recording data is the research object of this textProceedfrom the local actual conditions of Fuxin electrified wire netting in motion，this text developed the relevant application software of electric power loadforecastingThe simulated test result indicates the rationalization of thepattern builded in this dissertation and it can greatly raise the accuracy degreeof electric power load forecastingThis dissertation have done helpfulexploration on popularizing data mining theory based on time series analysi stechnologyKey Words：Time series，data mining，BP Neural Networks，load forecast，ARMA，ARIMA创新点声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果：本文将时序分析技术与数据挖掘理论相结合，研究一种新的基于时间序列的数据挖掘方法用于对电力负荷数据的预测。该方法在挖掘过程中结合时序分析建模理论，建立起适于BP神经网络的输入样本的模型，通过神经网络的学习得到较为精确的预测结果。尽我所知，到目前国内外文献未见报道。作者： i筮亟整 日期：迎簋19丝旦辽宁工程按米大学硕士学位论文l绪论11选题的背景与研究意义自二十世纪八十年代开始，数据挖掘技术逐步发展起泉，并因为目前全世界所拥有了巨大数据资源以及将这些数据资源转换为信息莘曩知识浚源的巨大嚣求两迅速发展。数掇挖掘难怒在对数掘进行了全露丽深刻认识翡錾础上，辩箕内在豹本质避嚣胬度鑫象与概括魏邋程，同时也是对数据从理性认识到感性认识的升华。数据挖掘能为决策者提供非常重要的、极有价值的信息和知识，从而可以产生不可估量熬效藏。而从系统的角度出发对时间序列的分析则魑自上个世纪60年代就开始了，至上世纪80年代趋于成熟。本文是从数据挖掘的角度窭发夏重时阀彦列遂褥分毒厅，觚薅阕津列数据集中获褥正确豹、瞻含静、有潜在斑用价值和最终可理解的模式觌则。相对于数据挖搦较成熟的部分而畜(如关系数据库中关联规则和分类规则的挖掘等)，针对于时阕序列数据挖掘的研究是数攥挖握疆炎壤域中比较耘的一个分支。蝣闻序列数据存在予裢会的各个领域，翔科学磅究记录：雹捂天文观测结果、气象图像等。病历记激：包括病人的每次精病的病情记录以及心电图簿扫描仪器的数据记录等。金融和商业交易l已录：如股市每天豹交翕徐穰及交荔燕、超缀市场每耱蔼晶静销售情况等。时阕_|事弼数据几乎无处不在，随着科学技术的不断发展，计簿机以及存储设备的存储容擞R益增大，时间序列数据库也越来越犬，因此对于时间序列数据疼麓数攥挖熬繇衮显雩萼惫菱必要。嚣l誊数攒挖疆款大耧分磺究都集中在关联规则挖掘上，有必时间序列挖掘方面的研究尚礁待开展，本文的选题方向正是在这种髓景下确定的。同时，本文还结合实际，穆基予嗣。闻序歹I瓣数挺挖攘方法引入到瞧力系统中来，应罔到阜瓤发电厂的魄力负荷鞭测中，以便为电力行业服务，对时闽序捌数据挖掘的应用进行了有益的探索。1，2时阕痔裂数据挖握酶磷究迸曩及评述辽宁工稳技术大学硕士学能论文 2葬季阂淳歹l数攒挖掘技术囊 20超筑90年代以来有了快速的发展，由最初的相似性的分析到目前的人工智能的多学科交叉研究，时间序列的数据挖掘技术已经有了多个研究方向，下面就对国内、羚在我领域熬骚突媾撬终麓要奔缮。121国外研究概况1999年l 2是，茭国藏麓潦簦矮MarUeett e大学静Ri e hard JP0vi nell i在他的博士论文中，提出了一种基于时间序列的数据挖掘的框架，他将提出的数据挖掘称之为时间序列数据挖掘(TimeSerie s Data Mi班i119)。其实Povi nell i溪揍豹仪仗是时阉搴到数据挖掘中的一种。同数据挖掘中的关联规则挖掘等相比，对时删序列数据挖掘相关斡磅究莘鞋探讨在文献中并不多冤。弑i c hael TR0 8e nst ei n等人提出了一静瓤辩闻序确中发现“概念”(C0 El c ept)的方法，这可以算得上一种时间序列数据挖掘的雏形。这里“概念”鼹基于预测意义上的，概念就是模式的预测内容。在磅究遥程中，R0 sen stei n鞠焉了嚣寸翊穿餮数爨鹜嚣霹力学系统的性质，酋先对时间序列进行了延迟嵌入，然后对延迟后的数据进行了动态聚类。他们的实验袭明，通过这种方式形成的数掘分类，露鞋缀磐蟪对应耱瀵意义上熬壤念。恁们将其震予蕊器人懿囊学习过程中，取得了不错的效果。MGa S等人提出了一种从时间序列中发现规则的方法。这里他们采用了嚣瘸酶港褰技术对瓣序进萼亍设处理，然嚣对形成戆塞强向量集合进行聚类，褥用这些类对原来豹时序进行纛构。这样在完成了对时序离散化和符号化的过程之后，辩对于重构后的时序进行规则发现。鹾Gas的方法只是生硬遣将数据挖掘的方法应用子时序分橱中去，并没有考虑嚣尊旁藏蘧豹背景稻誊灵，蠢盈对往翻的工作龟没有给出合理的理论懈释。Hall lj i awe i等人采用数据挖掘技术对时间序列数据库中的时穿进行蠲麓片薮黧部分霜麓片断磷突。蘩予关联疑粥挖捐努法上，目的是发现周期性模式(指按固定时间间隔规律性出现的模式)。辽宁工程技术人学硕士学位论文 3H ei kki Ma rlni la等人在对无线通讯网络故障管理数据库进行处理时提出了从事件序列中进行模式发现的问题。当给定一个输入的事件序列、一类偏序事件集合模板时，事件模式发现的目的是从序列中发现满足频度阈值的符和偏序模板的模式。其中的串行模板是一种序列模式，但是他们的算法并不适用于时间序列。如前所述，Ri C ha r d JP0vi n ell i提出了一种时间序列数据挖掘框架。这种数据挖掘的处理对象可以是一个时I刨序列或多个时间序列：在他的研究中，他并没有将整个时间序列作为预测和分析的目标，而是仅对时序中事件(E v ent)的出现加以模式发现和预测。首先， 要定义事件标志函数(Event C haWact e ri Zat i 0nFull Ct i 0n)，然后在其基础之上定义数据挖掘的目标函数，进行数据挖掘。其中事件标志函数标志着对应时间予序列属于某事件的程度。通过挖掘所得的模式，可以用来预测事件的“发生”。122国内研究概况通过以上的各类研究情况可以看出，国外已经逐渐开始将数据挖掘的思想运用到时间序列研究中去，作为一种新的时序问题处理方法。国内相关领域的文献对时间序列的数据挖掘研究尚不多见，比较重要的工作有1 998年欧阳为民、蔡庆生在计算机科学上发表的数据库中的时态数据发掘研究，他们从理论框架的角度对时态数据挖掘做过介绍和分析。2002年张保稳等人提出了一种模糊时序数据挖掘的框架，即将模糊集理论与时间序列数据挖掘结合起来，应用模糊集对挖掘过程中的不确定性进行处理。13时间序列数据挖掘的主要研究方向时间序列的数据挖掘技术已经有了多个研究方向，但主要集中在以下两个方面。131相似性搜索给定一个时序数据序列，相似性搜索问题就是发现所有与要查辽宁上程技术人学硕士学位论文 3H ei kki Mannil a等人在刘无线通讯网络故障管理数据库进行处理时提出了从事件序列中进行模式发现的问题。当给定一个输入的事件序列、一类偏序事件集合模板时，事件模式发现的目的是从序列中发现满足频度闽值的符和偏序模板的模式。其中的串行模板是 种序列模式，但是他们的算法并不适用于时间序列。如前所述，Ri C ha r d J Povi n el l i提出了一种时问序列数据挖掘框架。这种数据挖掘的处理对象可以是一个时恻序列或多个时f序列：在他的研究中，他并没有将整个时l训序列作为预测和分析的目标，而是仅对时序中事件(E v ent)的山现加以模式发现和预测。首先，要定义事件标志函数(Event c haract e ri zaZi 012FU ncti o n)，然后在其基础之上定义数据挖掘的目标函数，进行数据挖掘。其中事件标志函数标志着对应时间子序列属于某事件的程度。通过挖掘所得的模式，可以用柬预测事件的“发生”。122国内研究概况通过以上的各类研究情况可以看出，国外已经逐渐丌始将数据挖掘的思想运用到时间序列研究中去，作为一种新的时序问题处理方法。国内相关领域的文献对时间序列的数据挖掘研究尚不多见，比较重要的工作有l 9 98年欧阳为民、蔡庆生在计算机科学上发表的数据库中的时态数据发掘研究，他们从理论框架的角度对时态数据挖掘做过介绍和分析。2002年张保稳等人提卅了一种模糊时序数据挖掘的框架，即将模糊集理论与时间序列数据挖掘结合起来，应用模糊集对挖掘过程中的不确定性进行处理。13时间序列数据挖掘的主要研究方向时问序列的数据挖掘技术已经有了多个研究方向，但主要集中在以下两个方面。131相似性搜索给定一个时序数据序列，相似性搜索问题就是发现所有与要查给定一个时序数据序列，相似性搜索问题就是发现所有与要查辽宁工程技术人学硕士学位论文 3H ei kki Ma rlni la等人在对无线通讯网络故障管理数据库进行处理时提出了从事件序列中进行模式发现的问题。当给定一个输入的事件序列、一类偏序事件集合模板时，事件模式发现的目的是从序列中发现满足频度阈值的符和偏序模板的模式。其中的串行模板是一种序列模式，但是他们的算法并不适用于时间序列。如前所述，Ri C ha r d JP0vi n ell i提出了一种时间序列数据挖掘框架。这种数据挖掘的处理对象可以是一个时I刨序列或多个时间序列：在他的研究中，他并没有将整个时间序列作为预测和分析的目标，而是仅对时序中事件(E v ent)的出现加以模式发现和预测。首先， 要定义事件标志函数(Event C haWact e ri Zat i 0nFull Ct i 0n)，然后在其基础之上定义数据挖掘的目标函数，进行数据挖掘。其中事件标志函数标志着对应时间予序列属于某事件的程度。通过挖掘所得的模式，可以用来预测事件的“发生”。122国内研究概况通过以上的各类研究情况可以看出，国外已经逐渐开始将数据挖掘的思想运用到时间序列研究中去，作为一种新的时序问题处理方法。国内相关领域的文献对时间序列的数据挖掘研究尚不多见，比较重要的工作有1 998年欧阳为民、蔡庆生在计算机科学上发表的数据库中的时态数据发掘研究，他们从理论框架的角度对时态数据挖掘做过介绍和分析。2002年张保稳等人提出了一种模糊时序数据挖掘的框架，即将模糊集理论与时间序列数据挖掘结合起来，应用模糊集对挖掘过程中的不确定性进行处理。13时间序列数据挖掘的主要研究方向时间序列的数据挖掘技术已经有了多个研究方向，但主要集中在以下两个方面。131相似性搜索给定一个时序数据序列，相似性搜索问题就是发现所有与要查辽宁J二稃技术人学硕士学位论文 4询序列相似的数据序列(称为子序列匹配)，或彼此相似的序列(称为全序列匹配)。相似搜索在时序数据分析中是非常有用的。如在金融市场分析中可以在股市中找到有相似波动的股票；在医疗诊断分析中心脏病专家通过查看患者的心电图来诊断是否心率异常。132模式挖掘模式挖掘的研究，其中主要包括时态模式挖掘和趋势预测。时态模式挖掘的一个主要技术是关联规则的挖掘。趋势预测采用的主要是分类规则的挖掘技术，即La st，M提出的首先对时间序列进行预处理， 然后从中抽取关键的预测属性(Pr e di ct i n gattri but e s)，这些属性对时间序列的发展趋势影响较大，将其组成属性集，这些预测属性表征了时间序列的某种特性，这种特性与时间没有关系，因此可以采用普通的静态的数据挖掘工具对时间序列进行行为趋势的分类预测。在模式挖掘方面，趋势预测是一个比较新的思路，也是本文研究的重点，是指通过挖掘静态模式从而对时间序列的行为发展趋势进行预测。首先从时间序列中抽取静态属性，这些静态属性往往决定了时间序列的发展趋势，将时间序列的这些属性组成数据库，可以用来进行分类预测。这种预测方法从动态的时问序列数据库中得到静态的模式，用静态模式的特征组成静态数据库，从而解决了时间序列数据库难于用普通的数据挖掘工具进行知识发现的问题。14本文的创新点本章首先从数据挖掘的角度出发简要回顾了时间序列的发展，然后重点介绍时间序列数据挖掘技术及当前国内、外的研究现状。同时介绍了有关时间序列数据挖掘的各个研究方向，并对此做出评述，指出今后的研究方向。普通的分类技术将不再适用于时变数据的挖掘。因此提出一种针对于时变数据的分类技术显然是很必要的，但迄今研究的人并不多，本文的创新点在于基于时间序列分析理论上建立起一种新颖的适合于数据挖掘算法的数学模型，通过此模型来获得BP神经网络的输入样本，通过神经网络的反复学习和辽宁工程技术大学硕士学位论文 5训练得到较准确的期望预测值。同时，将本文研究的方法应用于阜新电网的短期负荷预测实际之中，验证了此方法的可行性和优越性。本文的研究将成为以时变数据为挖掘对象的数据挖掘方法的一次有益探索。15本论文的主要研究内容和结构安排本论文在总结前人研究理论的基础上，提出了一个新的基于时间序列的数据挖掘方法，并在此基础上重点展开如何建立能够进行电力负荷预测的模型与方法的研究。基于研究内容，本文结构安排如下：第一章绪论，主要介绍选题的背景及国内、外的研究概况及本论文的研究内容与结构安排。第二章介绍总结时间序列分析和数据挖掘的一些基本理论，为之后的研究工作做好理论准备。第三章阐述了神经网络进行预测的原理及可行性，提出了一种新的基于时间序列数据挖掘实现电力负荷预测的有效方法。描述了具体的算法，并针对BP算法存在的局限性，提出了一些改进方法。第四章完成了基于时间序列BP神经网络预测挖掘系统的设计工作，其中主要包括具体的建模过程和神经网络结构的设计。第五章用Mat 1 ab进行了仿真试验，得出了试验结果并验证了本论文所提出方法的正确性。第六章用D e1Phi完成了系统的设计和实现。论文最后对全文所开展的研究工作进行了总结，并指明了未来的研究方向。辽宁J：程技术大学硕士学位论文2时间序列数据挖掘基本理论21时序分析技术211时间序列分析定义定义21时间序列(Ti me Seri es)：是指被观测到的观测值依时间次序排列而成的数据序列，其中每令观测值是在一特定的时刻记录下来的。离散时间序列记录观测值的时间集合是一个离散集：连续时间序列是当其观测值在某一时间间隔上连续汜录下来的时间序列。定义22时间序列数据库：是指由随时间变化的序列值或事件组成的数据库。从经济到工程技术，从天文到地理和气象，几乎在各种领域中都会遇到时间序列。例如，记录某地区各小时的用电平均负荷量，得到一串数据序列，就是一个时间序列。定义23时间序列分析(Ti me S e ri e s Anal Y s i S)：是概率统计学科的一个比较新的分支，它是运用概率统计的理论和方法来分析随机数据序列(或称动态数据序列)，并对其建立数学模型，进行参数估计，对模型定阶，以及进一步应用于预报、预测、自适应控制、最佳滤波等诸多方面。当前时间序列分析技术主要是根据概率统计理论对时序进行分析，所以也称为随机时序分析。从数学角度看，时间序列分析既涉及了随机过程知识，又涉及到数理统计知识。时间序列分析方法与随机过程理论有所区别，前者是先对实测数据建立数学模型，并在此基础上进一步分析随机数据的统计特性；后者是在对实测数据统计所得的先验概率知识基础上柬分析其统计特性。212几种主要的时序分析技术当前的时序分析技术主要包括随机时序分析和状态空侧重构等。下面，我们将对这两种主要的时序分析技术加以详细的介绍和辽jT程技术大学硕士学能论文 7分搴厅。(1) 随机时序分析对时间序列数搬进行分析，扶中获墩所蕴含的关于生成时间序列静系统戆滨铯纛箨，敬完袋对系统戆筑溅及葜泰来雩亍为瓣颓溅，这在工程应用中具商重要的价值和意义。时间序歹H的分析技术就起源于对市场经济的预测。当前时间序列分析技术主强是根据概率统计理论对融序进行分据，称为夔极霹廖努摄。随枫时序分祈技术，就麓传统意义上的辩净分析技术。常用的ARMA建模就是随机时序分析技术中的一部分。随机时序分析以随枫过程理论终为其数学基础，试图通过对时序数据送行分援，完成对醇痔系统豹预测、建模帮控制。凌方法的基本爨怒是将掰观l溪麴时序作为系统的一维或多维输出，同时把模型所描述的等价系统视为与输出网维的臼噪声驱动下产生该输出的系统。随机时序分析处理夔对象怒线淫系统和嗣囊线性系绫(帮可臣转亿为凌羧系统豹非线性系统)的时序数据。下面悬三种比较常用的线性时序横裂：溪动平均模麓(MA)；在MA中，时序溉是由白噪声序列8，)和带有系数bo，轨，bo的N一除滤波器生成(卷援滤波器)其侮公式如下：x，=b。e。=6。e，+61e。+6。e，一。(2一1)n=O这令式子说明序列x0懿当蔫妻出窿列e；觚当蠡蕊魏终长整为N的窗口内序列假决定。自回归模型(AR)：蕺=a。x。+最(22)m-1在AR模型中，_I睾列x，)的当前值由序列e，的当前值和序列x，的懿一令长度为赫瓣塞蜀蠹澎魏篷决是。自阐归一滑动平均模型(ARMA)：辽1j。1_程技术大学硕士学位论文 8ARMA由AR和MA两个部分组成，形式如下：M x，=a。)c。+b，g。(23)m-1 n=O在ARMA模型中，序列xf的当前值由序列舀的当前值从当前值前推长度为N的窗口内序列值及序列x，前一个长度为M的窗口内序列值一起决定。经典的时序分析有以下特点： 预测内容为系统未来的全部行为： 系统模型的形式由数学表达式表达； 假定随机性为时序数据的基本特征； 以线性假设为时序分析的前提。在一些比较简单的情况下。随机时序分析可以取得比较好的效果。但是出于在实际应用中时间序列具有不规则、混沌等非线性特征，使得预测系统未来的全部行为几乎不可能，对系统行为的精确预测效果也难以令人满意，很难完成对系统的真正理想预测。(2) 状态空间重构1 980年提出的时间延迟嵌入理论(Tim eDel a Y Emb e ddii19)是在时间分析研究的一次突破。时间延迟嵌入理论基于微分拓扑和动力学系统的一些思想提出，用于辨识由确定性系统产生的时序数据，并抽取蕴含在观察数据下的系统几何特征。它由RUl 1 e和Pa C kard等人于I 9 80年提出，然后rak e n s在1 98 1年证明了它的第一引理，接下来由Sau c er等人对其进行了深化和加强。其中Tak en S定理是其核心部分。他证明，在给定条件下，一个未知系统的状态空间可以按一种特定的方式重建。21。3时间序列分析的应用在工农业生产中，在自然科学和社会科学的各个领域中，我们会遇到许许多多的时间序列。对于这样诸多的时间序列进行分析，其目的也是多种多样的。我们将时间序列分析的应用归纳为以下几类：辽宁1：程技术大学硕士学位论文 9(1)预报分析：根据对某个变化量的一段观测数据，预报该量在未来时刻的取值，这便是预报问题。例如，人们希望通过总结1 9 8 0年到20 00年实际用电负荷量的发展规律，预报2 000年以后的用电量。将时间序列分析方法用于预报，是在时间序列分析的应用中最广泛的一类应用。(2) 控制分析：根据对一个量(或若干个量)的一段观测结果的分析，寻求对某些量的控制措施，以达到某种最优化的目的，这属于控制分析，或称最佳控制设计。例如我们记录了过去若小时伺服位置控制系统的输出数据，其目的在于通过对这些数据的分析，为系统提供某种最优化的控制方法。在近代的最佳控制设计中，使用时间序列分析中的有限参数模型的统计分析方法，是比较常用的方法。(3) 诊断分析： 根据两个不同时间序列的记录值，分析判断它们是否具有相同属性，或者根据一个时间序列的记录值，分析判断它是否具有某些指定的属性，这类分析称为诊断分析，也称为识别诊断。比如，我们分析地下水位的数据序列时，如果以预报地震为目的，则希望判断该序列是否出现异常现象。(4) 频谱分析： 根据时间序列的记录值，分析出此序列中的周期谐波分量，或者对此序列的频率特性进行统计分析，都称为频谱分析。比如，工作状态下机器会产生振动，由于振动的成因与轴承或传动装置有关，因此，在振动的记录中可能包含有周期分量。找出每个周期分量的频率及其相应的振幅，则要用到时间序列分析中的谱分析方法。214时间序列问题的本质及存在的问题从哲学意义上讲，进行预测所依据的原理有两类：基于演绎和基于归纳。从系统论的观点出发，时间序列可以视为系统输出的一部分，而大部分系统内部的动力学机制是未知的，或所知信息是有限的。因而本质上来说，时序分析是基于归纳的。时间序列分析就是对可以获得的部分的系统输出数据进行分析，提取其蕴含的系统特性，辽宁上程技术人学硕士学位论文 l 0构造对应的等价系统，从而完成对该系统的功能刻画，并依据相应的模型完成对系统未来行为预测的过程。从本质上讲，时序分析仍然是发现规律和运用规律的过程。虽然时间序列分析技术经过近一个世纪的发展已经耿得长足的成果，但是面对着工程中越来越复杂的情形，它仍然显现出自身的不足。尤其是在面对复杂的应用情形时，当前时序分析技术中还存在着不少问题。线性时序模型的建立需要满足两个基本的假设：系统是线性的和静态的。但是如果研究对象是现实中稍稍复杂一些的系统，这两个假设就常常难以满足。神经网络技术使得人们可以对一些非线性系统的行为作出预测，这在一定程度上弥补了随机时序分析技术的不足。但是用神经网络技术对时序进行预测时，性能还不十分稳定。另外，系统的模型由神经网络结构及其参数隐式表达，具有透明性，因而我们对时序系统的内部情况一无所知。还有，用神经网络进行预测存在着训练不足和训练过度的问题。另外，在对时间序列的预测上，无论是随机模型、相空间重构还是神经网络，当前它们都是通过全局或者局部的拟合来进行点预测(Poi nt Pr e di Ct i on)的，一般预测的结果以数据点的形式来表示。然而，通过以后的分析我们可以看出，在面对复杂系统时，对系统的未来状态作出基于区域的预测更合理。22数据挖掘技术定义24数据挖掘(Data Mi n i ng)：就是从数据中识别出有效的、新颖的、潜在有用的、以及最终可理解的模式的高级过程。其中：数据：是指一个有关事实F的集合，它是用来描述事物有关方面的信息，是我们进一步发现知识的原材料。新颖：经过数据挖掘提取出的模式必须是新颖的，至少对系统来说应该如此。模式是否新颖可以通过两个途径来衡量：其一是得到的数据，通过对比当前得到的数据和以前的数据或期望得到的数辽宁工程技术大学硕士学位论文 1I据之间的比较来判断该模式的新颖程度：其二是通过其内部所包含的知识，通过对比发现的模式与已有的模式的关系来判断。通常我们可以用一个函数来表示模式的新颖程度N(E，F)，该函数的返回值是逻辑值或是对模式E的新颖程度的一个判断数值。潜在有用：提取出的模式应该是有意义的，这可以通过某些函数的值来衡量。用U表示模式E的有作用程度，u=U(E，F)。可被人理解：数据挖掘的一个目标就是将数据中隐含的模式以容易被人理解的形式表现出来，从而帮助人们更好地了解数据中所包含的信息。数据挖掘不同于以往知识获取技术的一个特点是发现的知识是人们(至少是领域专家)可以理解的，如“Ift h e n”的形式，因此挖掘过程也是一个人机交互、螺旋上升的过程。而以往的方法，如人工神经网络，不论是知识发现过程还是知识应用过程，内部都是一个近“黑箱”过程。模式：对于集合中的数据，可以用语言来描述其中数据的特性。只有当表达式彼列举所有中元素的描述方法简单时，我们才可称之为模式。如：“如果股票涨幅在5l O之间，则认为涨幅很大”可称为一个模式，而“如果股票涨幅为5、6、7、8、9、1 O，则认为涨幅很大”就不能称之为一个模式。高级过程：数据挖掘是对数据进行更深层处理的过程，而不是仅仅对数据进行加减求和等简单运算或查询，因此说它是一个高级的过程。221数据挖掘的分类从不同的角度出发，对数据挖掘系统术有几种分类，主要是根据挖掘的数据库的种类、根据得到的知识分类和所使用的技术分类。(1)根据数据库分类数据挖掘所基于的数据库类型有：关系型、事务型、面向对象型、推论型(d e d e ct i ve)、空间型、时序型、多媒体型、异质型(h et erPgen eou s)、主动型(act i v e)、遗留型(1 ega C Y)、文本挖掘和基于网络信息的挖掘等。辽宁一jj程技术大学硕士学位论文 1 2(2)根据得到的知识分类包括关联规则、特征规则、分类规则、判别(di s cr i mi nant)规则等的挖掘和聚类、演变(ev ol ut i on)分析、偏差(d e v i at i on)分析、孤立点分析和相似性分析等，此外根据所挖掘的知识的抽象层次进行划分，可以包括原始层知识(在原始数掘层)、多层次知识和高层次知识的数据挖掘。(3)根据所采用的技术分类常用的数据挖掘技术有：人工神经网络、决策树、遗传算法、粗集理论、模糊逻辑、最近邻技术和可视化。222数据挖掘过程数据挖掘系统的体系结构如图2一i所示数图2一I数据挖掘体系结构图数据挖掘是一个高级的处理过程，它从大量的数据集中识别出以模式来表示的知识。高级的处理过程是指一个多步骤的处理过程，多步骤之问相互影响、反复调整。形成一种螺旋式上升过程，如图22所示。数据挖掘的过程主要包括以下四个步骤：1 数据采集数据挖掘的处理对象是大量的数据，这些数据般存储在数据库系统中，是长期积累的结果。这些数据不仅是本系统的内部数据，同时也包括辽。j1。I：程技术大学硕十学位论文相关的外部数据，数据越是全面，挖掘的效果越好，可信度也越大。2 数据预处理数据采集的数据往往不适合直接进行知识挖掘，因为这些数据实际上是一些“脏数据”，这些“脏数据”有以下几个特点：(1)杂乱性：因为各个系统的数据缺乏统一的标准和定义，数据结构差异较大。(2)重复性：对同一客观事物在数据库中存在其两个或两个以上完全相同的物理描述，有信息冗余的情况。(3)不完整性：由于实际系统设计时存在的缺陷以及一些使用过程中人为因素所造成的影响，数据记录中可能会出现有些数据属性的值丢失或不确定的情况。因此，一个完整的数据挖掘系统必须包含数据预处理阶段，它以发现任务作为目标，以领域知识作为指导，用全新的“业务模型”来组织原来的业务数据，丢弃一些与数据挖掘目标不相关的属性，为数据挖掘内核算法提供干净、准确、更有针对性的数据，从而减少数据挖掘内核的数据处理量，提高了挖掘的效率，提高了知识发现的起点和知识的准确度。3 数据采掘数据采掘是数据挖掘过程最关键的步骤，也是技术难点所在。研究DM的人员中大部分都在研究数据挖掘技术，采用较多的技术有决策树、分类、聚类、粗糙集、关联规则等等。数据挖掘根据知识发现的目标，选取相应的算法和合适的参数，分析数据，得到可能形成知识的模式模型。4 解释评估模式模型采掘过程得到的模式模型，有可能是没有实际意义或没有实用价值的，也有可能是其不能准确反映数据的真实意义，甚至在某些情况下是与事实相反的，因此需要评估，确定哪些是有效的、有用的模式。评估可以根据用户多年的经验，有些模式也可以直接用数据来检验其准确性。这个步骤还包括把模式以易于理解的方式呈现给用户，因此和可视化技术相结合。用户理解的、并被认为是符合实际和有价值的模式模型形成了知识。同时还要注意对知识做一致性检查，解决与以前得到的知识互相冲突、矛盾的地方，使知识得到巩固。发现知识是为了运用，如何使知识能被运用也是KDD的步骤之一。运用知识有两种方法：一种是只需看知识本身所描述的堑!：堡垫查奎堂堡主堂堕丝苎 !关系或结果，就可以对决策提供支持；另一种是要求对新的数据运用知识由此可能产生新的问题，而需要对知识做进步的优化。图22数据挖掘的基本过稃步骤图以上的数据挖掘过程是一个交互式的迭代的过程，其中需由用户作出许多选择每一个步骤一旦与预期目标不符，都要回到前面的步骤，重新调整，重新执行。223数据挖掘的技术和算法概述数据挖掘的方法通常可以分为两大类：一类是统计型，常用的技术有概率分析、相关性、聚类分析和判别分析等；另一类是人工智能中的机器学习型，通过训练和学习大量的样品集得出需要的模式或参数。由于各种方法都有自身的功能特点以及应用领域，数据挖掘技术的选择将影响最后结果的质量和效果，通常是将多种技术结合使用，形成优势互补。下面对数据挖掘中常用的决策树和神经网络等几种技术方法进行深入讨论，包括技术的基本思想、优势与缺点和主要应用领域。决策树：决策树主要是基于数据的属性值进行归纳分类，常用于分类的层次方法有“i ft h en”规则。决策树方法的最大优点就是可理解性，比较直观。其缺点是处理复杂性的数据时，分支数非常多，管理起来难度很大。同时，还存在数据的缺值处理问题。其算法有I D3，C45，cART和cHAI D等，目前出现的两种新算法sLIQ和SPRINT可以由非常大韵训练集进行决策树归纳，可以处理分类属性和连续性属性。遗传算法：遗传算法是一种全新的最佳化空间搜寻法，其最初概念是由Johl-1 Holl a13 d于1 9 75年提出，是一种基于生物进化理论辽宁工程技术大学硕士学位论文 1 5的技术，其基本观点是“适者生存”，在数据挖掘中，常把任务表示成一种搜索问题，利用遗传算法强大的搜索能力找到最优解。具体是模仿生物进化的过程，通过进行选择、交叉和变异遗传操作，直至满足最优解。遗传算法已在优化计算和分类机器学习方面显示出了明显的优势。贝叶斯网络：贝叶斯网络基于后验概率的贝叶斯定理，是建立在对数掘进行统计处理基础上的方法。将不确定事件通过网络连接起来，可以对与其他事件相关的事件的结果进行预测，其网络变量可以是可见的，也可以隐藏在训练样本中。贝叶斯网络具有分类、聚类、预测和因果关系分析的功能，其优点是易于理解，预测效果较好，缺点是对发生频率很低的事件预测效果不好。在医学和制造业等领域的应用具有较好的效果。粗糙集：该理论是波兰Pawl ak教授在1 982年提出的，它是一种新的数学工具。这一方法在数据挖掘中具有重要的作用，常用于处理含糊性和不确定性的问题，发现不准确数据或噪声数据内在的结构联系，也可以用于特征归约和相关分析。其主要优点就是不需要任何关于数据的初始的或附加的信息，因此广泛应用于不确定、不完整的信息分类和信息获取。神经网络：神经网络是最常用的数据挖掘技术之一，最早由心理学家和神经生物学家提出的，旨在寻求开发和测试神经的计算模拟。它类似于人类大脑重复学习的方法，先给出一系列的样本，进行学习和训练，从而产生区别各种样品之间的不同特征和模式。样本集应该尽量体现代表性，为了精确地拟合各种样本数据，通过上百次，甚至上千次的训练和学习，系统最后得出潜在的模式。当它遇到新的样品数据时，系统就会根据训练结果自动进行预测和分类。最大的特点是难于理解，即无法解释如何得出结果和使用了什么规则。它需要很长的训练时间，需要大量的参数，而且解释性较差。该算法的优点是对复杂问题能进行很好的预测，对噪声数据的承受能力比较高，以及它对未经训练的数据分类模式的能力。神经网络可细分为前馈式、反馈式和自组织神经网络，具有优化计算、聚类和预测等功能，在商业界得到广泛的应用。金融市场采用神经辽宁T程技术大学硕士学位论文网络建立信用卡和货币交易模型，用于识别信贷客户、股票预测和证券市场分析等方面。统计分析：统计分析的理论基础主要是统计学和概率沦的原理，是一种较为精确的数据挖掘技术。它是一种基于模型的方法，包括回归分析、因子分析和判别分析等，该方法的优点是容易理解，对结果描述精确。统计分析在时际应用中较为广泛，著名的统计产品供应商SPSS公司开发了SPS S和SY STAT统计软件包，同时，SAS公司也开发出相应的产品SAS和JMP，这些产品都占有一定的应用市场。224数据挖掘与其他技术的关系f1)数据挖掘与机器学习数据挖掘和机器学习都是从数据中提取知识。机器学习主要针对特定模式的数据进行学习，数据挖掘则是从实际的海量数据源(如数据仓库)中抽取知识。由于数据挖掘处理的数据量非常巨大，数据的完整性、一致性及正确性都难以保证，因此数据挖掘算法的效率、有效性和可扩充性都很重要。目前开发的很多挖掘系统还属于机器学习的范畴，在数据规模上还不能满足要求。(2)数据挖掘与传统的数据分析工具传统数据分析工具主要使用基于验证的方法，而数据挖掘不但使用基于验证的方法，还使用基于发现的方法，运用模式匹配和其他算法决定数据之间的重要联系。验证型的数据挖掘是指用户自己对于数据库中可能包含的知识提出假设，然后由数据挖掘系统进行验证。发现型的数据挖掘是指由挖掘系统为用户产生假设。传统的决策支持系统中，知识库中的知识和规则是由专家或程序人员建立的，是由外部输入的，而数据挖掘的任务是发现大量数据中尚未被发现的知识，是从系统内部自动获取知识的过程。对于那些决策者明确了的信息，可以用查询、0LAP或其他工具直接获取，而另外一些隐藏在大量数据中的关系趋势可以用数据挖掘实现。(3)数据挖掘与数据仓库数据挖掘和数据仓库作为决策支持新技术，在近十年来得到迅辽宁工程技术大学硕士学位论文 j 7速发展。作为数据挖掘对象，数据仓库技术的产生和发展为数据挖掘技术丌辟了新的战场，同时也提出了新的要求和挑战。数据仓库和数据挖掘是相互结合起来一起发展的，二者是相互影响、相互促进的，具体可概括为以下几点：数据仓库为数据挖掘提供了更好的、更广泛的数据源。数据仓库为数据挖掘提供了新的支持平台，数据仓库的发展不仅仅是为数据挖掘开辟了新的空间，更对数据挖掘技术提出了更高的要求。数据仓库为更好地使用数据挖掘工具提供了方便。数据挖掘为数据仓库提供了更好的决策支持，数据挖掘的数据仓库中的数据进行模式抽取和发现知识，这些正是数据仓库所不能提供的。数据挖掘对数据仓库的数据组织提出了更高的要求。数据挖掘还为数据仓库提供了广泛的技术支持。23时间序列数据挖掘原则上讲，数据挖掘可以应用于任何类型的信息源。这包括关系数据库、数据仓库、事务数据库、其他高级的数据库系统、平面文件(f1 at fil e s)和WWW上的数据。在这些数据集之中，有一类数据集，它的数据之间存在着时间上的关系，我们称这类数据为时态数据(T emporal Data)。在对时态数据进行数据挖掘的过程中，必须考虑数据集之中数据间存在着的时阃关系。我们称这类数据挖掘为时态数据挖掘(TemPoral Data Mi ni ng)。由于时态数据的普遍性，时态数据挖掘己成为数据挖掘研究的一个重要分支。在时态数据挖掘研究中，时态数据主要可以分为时间序列、事务序列和事件序列。这里所说的时间序列是指狭义上的时问序列，它的序列元素是数值型的。比如，某地区各小时的用电负荷量、股票价格的历史数据、网站的点击次数等等。广义上的时间序列可以是任何按时问顺序排列的一组数据。本文的研究对象主要是狭义上的时间序列。顾名思义，构成事务序列的元素是事务。比如，某顾客在某段时间内在超市中购买的商品的记录序列。事件序列的构成辽宁1：程技术火学硕士学位论文 l 8元素是事件(ev e nt s)。比如无线通信网中的故障序列，用户的界面交互行为序列。这样说来，时间序列数据挖掘应属时态数据挖掘的一种。本文的研究主要是围绕着时间序列数据挖掘进行的，力求从理论框架上找到针对时间序列数据进行数据挖掘的有效手段。定义 25 时间序列数据挖掘(TSDM，Tilfle S e r i e s DataMi ni ng)：基于一个或多个时间序列的数据挖掘，它可以从时序中抽取时序内部的规律用于时序的数值、周期、趋势分析和预测等。对时间序列的研究已经开展了很长时间，特别在利用时间序列数据来进行建模、预测等方面，已经有了相当多的研究成果。但随着人工智能、机器学习等信息科学的飞速发展，越来越多的对时间序列进行信息知识方面的研究，比如时间序列的预测、查询、编码、分类等等。Cheun g等采用神经网络分析时间序列，对未来的金融数据进行预测；Ri etman等用神经网络检测反应器故障发生，并和经典的AR模型进行了比较；Ow s1 ey等用时一频分析实现时间序列进行聚类；VanWi jk等提出一种将聚类结果可视化的方法；Ni等用BaYe s i an分类来预测电力市场的价格情况。时间序列也是一种数据。结合前面的分析可以看出，如果将数据挖掘的思想引入到时序分析中，对时序进行挖掘，从中发现蕴含的系统规律，将其用于时序系统的分析和预测，这将很好地弥补原有时序分析方法的不足，为时序问题的研究提供了一种新的思路和手段。在本文，我们将把数据挖掘的思想和方法引入时间序列分析中，围绕时间序列的挖掘与预测技术展开研究，重点研究了如何将时间序列分析理论与数据挖掘技术结合起来并应用于现实问题。在技术路线上，本文首先采取了时间序列分析中的建模理论建立起适合实际应用的准确模型，再利用数据挖掘理论中BP神经网络技术来实现对电力系统负荷进行预测，解决了有关的实现技术等一系列关键问题。本文研究的方法针对电力系统负荷进行预测，理论和研究表明这些方法不仅使用简单，而且在效果与效率上也有很好的实际意义，可广泛应用于与时间序列分析相关的诸多领域中，具有广辽宁上程技术大学硕士学位论文 9泛的应用前景。辽宁上程技术大学硕士学位论文3实现对电力系统短期负荷预测的方法研究31引言电力系统是一个运行高度统一的大系统，由于电能不能大量储存，其生产和消费必须同时进行，因此预知负荷的需求对于电力系统运行具有十分重要的意义。所谓预测，就是借助于对已知、过去和现在的分析，得出对未来的了解。科学的预测方法和预测手段被称为预测技术。对于企业来讲，管理就是决策的理念已经被普遍接受，而科学的预测是正确决策的保证。负荷预测是从已知的用电需求出发，考虑政治、经济、气候等相关因素，对未来的用电需求做出的预测，包括电力需求预测和电能需求预测两部分内容。对系统规划而言，电力需求预测决定发电、输电、配电系统新增容量的大小；电能预测决定发电设备的类型(如调峰机组、基荷机组等)。对系统运行而言，负荷预测用来合理安排机组起停、检修、以及确定系统的旋转备用容量。电力系统的负荷预测按照预测期的长短可以分为长期、中期、短期预测和超短期负荷预测。长期负荷预测，一般是指1 0年以上并以年为单位的预测(数年数十年的负荷预测)；中期负荷预测指5年左右并以年为单位的预测(1月1年的负荷预测，用于水库调度、机组检修、交换计划、燃料计划等长期运行计划的编制)；短期负荷预测(1日1周的负荷预测，用于编制调度计划)；超短期负荷预测(未来 1 h以内的负荷预测其中5l 0 S的负荷预测用于质量控制；15mi n的负荷预测用于安全监视；1 060mi iq的负荷预测用于预防控制和紧急状态处理)。在本文中我们重点讨论电力系统短期负荷预测。而短期负荷预测的意义在于：(1) 为了能对运行中的发电厂出力做出分配安排，使得对发电机组出力变化的情况事先得以估计，对于装机容量不大的独立电网，短期负荷预测尤为重要；(2)对于大电网，为了经济和合理地安排网内各发电机组的启停，以使系统在要求的安全范围内，为保持系统必要的旋转备用容辽j。工程技术人学硕+学位论文 21量的耗费最小，短期负荷预测也是必须的；(3) 当电网进行计算机在线控制时，应当用短期负荷预测的信息来实现发电容量的合理调度，以满足给定的运行要求，同时使发电成本最小；(4)对于联营电网，准确的负荷预测是制定恰如其分的送售电计划，保证电网的最经济运行亦不可或缺的。32传统的负荷预测方法及存在的问题经过长期的摸索与实践， 已逐步形成了几十种适用于不同部门、不同时期的负荷预测方法。传统的负荷预测方法主要有：经典的回归分析法、时间序列预测法、电力弹性系数法、产值单耗法、综合分析法等等。同时，科学家们正在研究新的预测方法，最有代表性的方法有：灰色预测法、模糊数学法、利用人工神经网络的预测方法、优选组合法和小波分析法，它们都有各自的研究特点和使用条件。下面对几种重要的方法作简要的介绍。321时间序列分析方法常用的传统时间序列分析法主要是建立自回归模型(AR)、滑动平均模型(MA)、自回归一滑动平均模型(ARMA)和自回归求和滑动平均模型(ARIMA)，其中ARIMA是较成熟的模型，常用来对短期负荷进行预测，通过选择模型的参数和辨识模型的系数实现对时间序列的拟合，进而用拟合好的模型对未来进行预测。时间序列法的局限性表现在：(1) 历史数据准确性要求高，脏数据对预测影响很大，对脏数据处理要求严格；(2) 时间序列法预测步数越长，预测精度越差；(3) 对天气因素不敏感，难以解决因气象因素造成的短期负荷预测不准确的问题。故传统的时间序列分析方法进行预测时的不可避免的缺点是：这种方法对短期负荷预测的预测精度越差、准确性不高。辽7rf：程技术大学硕士学位论文322数据挖掘中的神经网络预测方法神经网络预测方法主要包括前馈神经网络预测方法(FNN)、时间延迟神经网络预测方法(TDNN)和自回归神经网络预测方法(RNN)。定义31人工神经网络(Art i fi c i al N eural N etw 0rk S)：从结构上模仿生物神经网络，由其基本单元一一神经元按照一定的排列顺序组成，其神经元有多个输入、一个输出，各个神经元之间以一定的连接权重相连接，并且权重的值可以以一定的规则来调整。神经网络方法是模拟人脑信息储存与处理的检索机制和功能，由大量的处理单元(称为神经元)，通过广泛地互相连接而形成的复杂的网络系统，信息通过神经元之间的相互连接进行传递，它是一种通过训练来学习的非线性预测模型，可以完成分类、聚类、特征挖掘等多种数据挖掘任务。神经元结构如图3一l所示。神经网络系统由一系列类似于人脑神经元一样的处理单元组成，我们称之为节点(N0d e)。输入x输出Y图31神经兀结构例该神经元的输入输出关系为：s，=w，x，一臼，=Zw，x。(31)其中(Xo=0，W：o=-1)y，=厂(乳) (32)其中_为神经元3的输入，Y，为神经元j的输出，为神经元j的权值，通常限制在(0，1)(一1，1)之间，Oj称为外部的偏差，用闽值来表示，偏差有增大或者减小激活函数的净输入作用，耿决于该偏差是负值还是正值。f($)称为激活函数，也称激励函数，用来限制神经元输出值的幅度。激励函数的形式有以下几种：(1) o，I阶梯函数r 1 xof(x)= (33)l 。 xo(2) 1，1阶梯函数f， 删f(x)=0。预测可以看作这种意义上的一种模躞，我们所作的预测的偏差越小，神经网络作为实际的负责生成数据蛉物理过程的模型裁工作敢越姆。预测续梅图觅图32。辫32基予ANN颈测豹结鞠潮由此我们得到用神经网络决解决预测问题的新思路：(1)酋先，用神经网络去模拟Y=f(X，x：x1)中的I(xIx2x1)。然嚣，鼹搴率经羁终颧测代替爨数颈溺。第一疹，构造舆体的神经网络(如BP神经嘲络)，神经网络的层数是3，每一层的神经元符合理论要求。第二步，逶过谜练已有酌数据的方法礁定耪经网络躬终梅参数，使其满足：当输入x，x：虮时，神经嘲络的输出接近Y(理论上辽宁工程技术大学硕士学位论文 26可任意精度接近)。第三步，用己训练好的神经网络来进行预测，即给出预测因子X，X2X。的一组值，通过神经网络得到预测目标Y的预测值。因此，用神经N络进行预测不需要知道y=I(Xx：X。)的数学结构，而且理论上可任意精度地实现模型Y=f(X，x：x。)，也就是说预测的精度可以非常高。332神经网络对时间序列预测的可行性神经网络技术通过模仿大脑神经元工作的机制对系统历史、经验的数据进行学习，从而建立研究系统的等价模型。K01mog 0rov连续性定理为神经网络奠定了坚实的理论基础。它证明了存在一个三层网络，其隐单元输出函数为非线性函数，输入及输出单元函数为线性的函数，此网络的总输入输出关系可以逼进任意一个非线性函数。因为任何一个时间序列都可以看成一个由非线性机制确定的输入输出系统，所以K01 m090 ro v定理从数学上保证了用神经网络对时间序列预测的可行性。333方法的基本思想实验表明，多层前馈神经网络与其他结构的神经网络在估计精度、收敛性等方面性能相当，而且具有结构简单、算法稳定等特点，因此在实际中得到广泛的研究与应用。本文中也主要讨论前馈神经网络。前馈神经网络用于时间序列预测的基本思想，用过去的时间序列样本值作为网络的学习数据，未来的时间序列样本值作为输出来训练网络。当网络训I练完成，此网络即可作为非线性预测器。对于新的时间序列值，经过相应的网络计算即可得出相应的预测值。定义32前馈神经网络：各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入结点和计算节点。计算结点包括中间各层结点和输出结点，可有任意个输入，但只有一个输出(它可以耦合到任意多个其他结点作为其输入)。计算结角 网络可分为不同的辽。r工程技术人学硕士学位论文 27层，第i层的输入只与第i一1层输出相连，输入和输出结点与外界相连，分别称作输入层和输出层，而其他中间层称为隐藏层(隐含层)。神经网络具有很强的自学习和自适应能力，是进行电力负荷预测的有效手段，基于神经网络的负荷预测方法研究是目前该领域的主要研究方向之一。神经网络在解决电力负荷预测的建模问题时具有很大的优势。强大的自学习、自适应能力使应用神经网络进行负荷预测不需要有关数据的任何先验知识，能够从数据样本中自动地学习以前的经验，并自动地逼进那些最佳刻画了样本数据规律的函数。同时，神经网络是大规模并行分布处理的，决定了它具有较快的处理速度和容错能力。因此，九十年代以来，基于神经网络的电力负荷预测模型与方法的研究兴起，目前比较典型的是基于三层前馈神经网络并采用BP算法的电力负荷预测方法，并在实际中得到应用。这种神经网络模型通常称为BP神经网络模型。本文基于时间序列的数据挖掘用于电力系统的短期负荷预测的模型就是采用三层前馈网络结构和BP算法实现的。334具体算法描述1 9 86年Rume l hart等在并行处理研究中针对前馈神经网络重新提出的误差反向传播训练算法，即Error Ba ck Pr0Pagat i 012Trai ni ng，简称BP算法。其主要意思是利用实际输出与期望输出之差对网络的各层的连接权由后向前逐层进行校正的一种计算方法。BP算法理论依据坚实，推导过程严谨，所得公式对称优美，物理概念清晰，通用性强。由于这些优点，它至今仍是多层前馈神经网络的最主要学习算法。多层前馈神经网络是一种信息从输入层进入网络后逐层向前传递至输出层的网络。由于多层前馈神经网络的训练经常采用误差反向传播算法，因此人们常把多层前馈神经网络直接称为BP神经网络。1BP神经网络模型三层BP神经网络是最常用的一种神经网络，本文中就以三层BP神经网络为研究对象，其模型如图33：辽宁上程技术大学硕十学位论文XY图33三层BP神经网络模型2BP学习算法的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐藏层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转入误差的反向传播阶段。误差反传时将输出误差以某种形式通过隐藏层向输入层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号并将其作为修正各单元权值和阈值的依据。这种信号正向传播与误差反向传播是循环进行的。权值和阈值的不断调整过程就是网络的训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。3 BP算法的具体实现步骤：(1) 初始化选定一结构合理的网络，即确定网络层数和各层单元数；对输入层与隐藏层之间的连接权口进行赋值，对隐藏层与输出层之间的连接权，进行赋值，对隐藏层各神经元阈值u，进行赋值，对输出层各神经元闽值，进行赋值，确定输入样本值x(X1，Xz，x；，X”)，辽宁工程技术大学硕士学位论文确定目标输出值Ct=(凸，凸，Ck a)一 女 R确定网络最大学习次数C。，确定网络最大允许误差，也就是网络精度E。，确定学习步长玎。(2)将各输入样本值提供给网络输入层的各神经元。(3)计算网络隐藏层各神经元的输入(激活值)J，也就是输八层吾单兀的输出。其中：Sj=善w，一0，(4)计算隐藏层各神经元的输出值b，。bj=f(s，)一其中f(x)为激活函数，f(x)=l+P。所以 b。=1+P一乳(5)计算网络输出层各神经元的输入藏层各单元的输出。其中：，r2蔷矿肭b一”(38)(39)(激活值)，也就是隐(6)计算输出层各神经元的响应(即输出值)Y，。y，=厂(，)(312)其中，(x)为激活函数，O)=l+P。所以 y，2刁1(3-1 3)(7)计算输出层各神经元的校正误差d：(t：1，2，q)。辽。j。1：程技术大学硕士学位论文d，k=(c，ky，)，(8)计算隐藏层与输出层之间的新权值V。(+1)和新阈值厂，(|v+1)，N为学习次数，其中：V，(+1)=V，()+，7d：西，y，(+1)=y，()+町d：k(9)计算隐藏层校F误差ej(j=1，2，p)喜d。=I窆仃。矿，Ib力一b，)，；】 t=l (1 o)计算输入层与隐藏层之间的新权值W。(+1)和新阈值日，(+1)。其中：形，(+1)=矿F()+叮已：x臼，(+1)=臼，()+即g：(11)随机从输入样本中再取一组样本或再取原样本值从(2)步开始重复此过程，直至网络全局误差小于预先设定的限定值乜min(网络收敛)或学习回数大于预先设定的数值乙illS*(网络无法收敛)。(1 2)学习结束在以上的学习步骤中(3)(6)为输入学习模式的“顺传播过程”，(7)(1 0)为网络误差的“逆传播过程”，(11)则完成训练和收敛过程。335 BP算法的局限性我们可以看到将13P算法用于非线性转移函数的三层前馈网辽宁工程技术大学硕士学位论文 3I络，可以以任意精度逼进任何非线性函数，这一优势使它得到越来越广泛的应用。然而，在实际应用中算法也存在不少内在的缺陷。(1) 收敛速度慢。BP算法的收敛速度与好多因素有关，比如算法参数的选择。还与BP算法自身的局限性有关，BP算法的误差曲面存在平坦区域，在这些区域中，误差的梯度变化较小，即使权值的调整量很大，误差仍然下降缓慢。所以如果进入了误差曲面的平坦区域，就会使训练次数大大增加，学习效率降低，从而影响了收敛速度。(2) 函数存在局部极小值点。在学习过程中有时会发现，当学习反复进行到一定次数后，网络的全局误差减小的非常缓慢，或是根本不再减小了，而此时网络的实际输出与期望输出还有很大的误差，这种情况就是陷入了局部极小值点。导致这种现象的原因是由于网络采用的激活函数是一种非线性的函数，这个函数激活后的值是全局误差的输入，因此导致全局误差会存在多个极小值，而网络收敛时很有可能陷入其中的某一个而不是全局的最小值。多数的极小值点都是局部极小，即使全局最小值往往也不是唯一的，但其特点都是误差梯度为零，因此BP网络训练时常常会陷入某个局部极小值点而不能自拔。(3) 训练时学习样本之间存在着影响。由于每输入一个样本，网络权值和阈值就要修正一次，后面输入的学习样本势必影响到前面学习好的样本，所以网络在训练新样本时有遗忘旧样本的趋势。其中(1)(2)都是BP算法固有的缺陷，其根源在于基于误差梯度下降的权值和阈值调整原则每一步都取局部最优。针对上述问题，已有不少的改进算法，比如加上惯性项的BP算法、利用高阶导数、递推最小二乘法、公轭梯度法、L e v enbergMar quamdt优化及神经元空间搜索等方法。下面我们将在己有改进算法的基础上探讨一种根据误差改变转移函数陡度因子和学习步长自调节达到改进13P算法。辽宁1程技术大学硕士学位论文336原有算法的改进1加快迭代收敛公式BP算法中的权值迭代公式的般表达式为w(t+1)=W(t)+w(t+1)(320)其中： 矿(f+1)=r一黜(f)