（计算机软件与理论专业论文）基于过程神经元网络的动态预测模型及其应用.pdf

基于过程神经元网络的动态预测模型及其应用 摘要 动态预测是实际工程领域和科学研究中普遍存在的问题在应用中，很多系统都可以看作是 一类复杂的非线性时变问题，一些问题由于缺乏先验理论和知识，以及内部变换和环境因素相互 作用的复杂性很难用确定的机理模型进行精确描述和分析例如，飞行器发动机性能衰退预测 预报、化工生产p i i ) 控制、油田开发产能预报预测等。在实际应用中，需要建模和预测的多为非 线性动态系统，而利用传统的神经网络只能预先确定系统的静态模型基于此，动态网络建模和 预测的研究，是近年来神经网络建模和预测的新发展方向。 在发展过程神经网络理论方面，本文从连接方式和逼近特性角度出发，研究了具有较好适应 性的过程神经网络模型非层次化过程神经网络，构建了3 种不同时域聚合机制的输入输出均 为时变函数的过程神经元网络，其时空聚合运算和激励可同时反映时变输入信号的空问聚合作用 和输入过程中的阶段时间累积效应这三种网络分别是：时变输入输出过程神经元网络，延时过 程神经元网络，阶段时变输入过程神经元网络。文中为提及的网络模型开发了各自适用的学习算 法，并对各网络模型及其学习算法的相关性能进行了分析和仿真验证。 本文提出的基于过程神经网络的动态预测理论主要基于过程神经网络的过程预测理论。本文 从泛函分析的角度出发，将时间序列短期预测看作是一个泛函逼近问题，将时间序列长期预测看 作是一个算子逼近问题。文中讨论并证明了过程神经网络对任意连续泛函或算子的逼近能力为 过程神经网络用于动态预测提供了理论上的支持。文中以m a c k e y g l a s s 混沌时间序列预测为例验 证了基于过程神经网络的时间序列预测方法的有效性文中所提出的基于过程神经元网络的动态 预测模型能同时满足对动态系统的非线性辨识和过程预测，在机制上对动态预测预报问题有较好 的适应性，分析了过程神经元网络模型的信息传递机制和理论性质，构造了一种基于广义距离泛 数的训练误差函数，并以电力负荷预测为例验证了模型和算法的有效性。 关键词；动态顶测；过程神经元网络；学习算法；时间序列预测；电力负荷预测 d y n a m i cp r e d i c t i o nm o d e lb a s e do np r o c e s sn e u r a l n e t w o r k sa n di t sa p p l i c a t i o n a b s t r a c t t h a td y n a m i cp r e d i c t i o ni st h ep r o b l e me x i s t si nr e a l i t yc o m m o n l yi nt h ep r o j e c tf i e l da n ds t u d yo f s c i e n c e b ei na p p l y i n g , m a n ys y s t e m sa r ea l ln o tb a dl o o ku p o na sb et ob ec h a n g e di n t op r o b l e m t i m e - v a r i e dak i n d o fc o m p l i c a t e dn o n l i n e a r i t y , al i t t l ep r o b l e mc o m p o s e si nr e p l yk n o w l e d g es i n c e b e i n gs h o r to fap r i o r it h e o r y , a n di n s i d ea l t e r n a t i o na n de n v i r o n m e n t a lf a c t o rc o a e t i o n sc o m p l e x i t y , t h e p r e c i s eb e i n gi np r o g r e s sd e s c r i b e sa n da n a l y s e st h em o d e lv e r yd i f f i c u l tt ou s et h em e c h a n i s m a s c e r t a i n i n gt h a t f o ri t b t a n c e , t h ea e r e c m f ie n g i n ef u n c t i o n d e c l i n e st of u r e c a s t 。c h e m i c a li n d u s t r y p r o d u c ep i dc o n t r o l ；o i lf i e l dd e v e l o p m e n tp r o d u c e se n e r g yf o r e c a s t i n g b u ti nt h er e a l t ya p p l y i n g ， r e q u i r i n gt ob u i l dam o d e la n df o r e c a s t i n gi sn o n l i n e a r i t yd e v e l o p m e n ts y s t e m m a k i n gu s co ft h e t r a d i t i o nn e u r a ln e t w o r k sm a j o rp a r tt on e e dt og i v et h eo r d e rf i x i n gas t a t i cm o d e li na d v a n c e r e c e n t l y t h er e s e a r c hb u i l d i n gam o d e la n df o r e c a s t i n ga b o u tb e c a u s eo fd y n a m i cn e t w o r k ，h a v er e p r e s e n t e d n e u r a ln e t w o r k sb u i l d i n gam o d e la n df o r e c a s t i n gn e wd e v e l o p m e n td i r e c t i o n i nt h ea s p e c to ft h ed e v e l o p m e n to ft h ep r o c e s sn e u r a ln e t w o r kt h e o r y , o d et y p i c a lp r o c e s sn e u r a l n e t w o r km o d e l sw i t hg o o da d a p t a b i l i t yt op r o b l e ms o l v i n gi np r a c t i c a le n g i n e e r i n ga r e p r o p o s e d r e s p e c t i v e l yi nt h i sd i s s e r t a t i o nf r o mt h ep o i n tv i e wo ft h ec o n n e c t i o ns t y l ea n dt h ea p p r o x i m a t i o n c a p a b i l i t y , w h i c h a r ee a l l e dn o n h i e r a r c h i c a l p r o c e s sn e u r a ln e t w o r km o d e l 3t y p e sp r e c e s sn e u r a l n e t w o r k sw i t l ld i f f e r i e n tt i m ea g g r e g a t i o nm e c h a n i s mw h o s ei n p u ta n do u t p u tb o ma l et i m e v a r y i n g f u n c t i o n sa r ec o n s t r u c t e da n dt h e i rs p a t i a l - t e m p o r a la g g r e g a t i o no p e r a t i o na n da c t i v a t i o nc a nr e f l e c tt h e s p a c ea g g r e g a t i o nf u n c t i o no ft h et i m e v a r y i n gi n p u ts i g n a l sa n dt h es t a g et i m ec u m u l a t i o ne f f e c ti nt h e i n p u tp r o c e s sa tt h es a m et i m e t h et h r e en e t w o r ka r en o n h i e r a r c h i c a ln e u r a ln e t w o r kw i t ht i m e v a r i e d i n p u ta n do u t p u t , n o n h i e r a r c h i c a ln e u r a ln e t w o r kw i t hd e l a y e d ，n o n h i e r a r c h i c a ln e u r a ln e t w o r kw i t h s t a g et i m e v a r i e di n p u t t h ee f f e c t i v e n e s so ft h e s ef o u rp r o c e s sn e u r a ln e t w o r km o d e l sw i t ht h e i r c o r r e s p o n d i n gl e a r n i n ga l g o r i t h m sa r ep r o v e db yt h es i m u l a t i o nt e s t s t h ec o n d i t i o np r e d i c t i o nt h e o r yp r o p o s e di n t h i sd i s s e r t a t i o nm a i n l yi n c l u d e st h ed y n a m i c p r e d i c t i o nt h e o r yb a s e do nt h ep r o c e s sn e u r a ln e t w o r ka n dp r o c e s sp r e d i c t i o nt h e o r yb a s e do nt h ep r o c e s s n e u r a ln e t w o r k a tt h es a m et i m e , t h et i m es e d e sp r e d i c t i o nt h e o r yb a s e do bt h ep r o c e s sn e u r a ln e t w o r k i sa n a l y z e di nt h i sd i s s e r t a t i o n f r o mt h ep o i n tv i e wo ff u n c t i o n a la n a l y s i s ，t h et i m es e r i e ss h o r t t e r m p r e d i c t i o nc a r lb es e e o af u n c t i o n a la p p r o x i m a t i o np r o b l e m a n dt h et i m es e r i e sl o n g - t e r mp r e d i c t i o n i i c a l lb es e e na sa g lo p e r a t o ra p p r o x i m a t i o np r o b l e m t h ef u n c t i o n a la p p r o x i m a t i o nc a p a b i l i t ya n dt h e o p e r a t o ra p p r o x i m a t i o nc a p a b i l i t yo f t h ep r o c e s sn e u r a ln e t w o r ka g ed i s c u s s e da n dp r o v e d ，w h i c hs e tt h e t h e o r e t i cf o u n d a t i o nf o rt h et i m es e r i e sp r e d i c t i o nt h e o r yp r o p o s e di nt h i sd i s s e r t a t i o n t h ee f f e c t i v e n e s s o ft h et i m es e r i ep r e d i c t i o nt h e o r yb a s e do nt h ep r o c e s sn e u r a ln e t w o r ki s v a l i d a t e db yt h ec h a o t i c m a c k e y g l a s st i m es e r i e sp r e d i c t i o n d y n a m i cp r e d i c t i o nm o d e lb a s e do np r o c e s sn e u r a ln e t w o r k sc a l l m e e tn o n l i n e a rr e c o g n i t i o na n dp r o c e s sp r e d i t i o no fd y n a m i cs y s t e m ，a n dh a sb e t t e ra d a p t a b i l i t y t o d y n a m i cf o r e c a s t i n ga n dp r e d i c t i o np r o b l e mi nm e c h a n i s m t h ep a p e ra n a l y z e st h ei n f o r m a t i o nt r a n s f e r m e c h a n i s ma n dt h e o r yp r o p e r t yo ft h ep r o c e s sn e u r a ln e t w o r k s ，c o n s t r u c t sat r a i n i n ge r r o rf u n c t i o n b a s e do ng e n e r a ld i s t a n c ef u n c t i o n a l ，g i v e s3t y p e sn e t w o r km o d e l sl e a r n i n ga l g o r i t h m sb a s e do n f u n c t i o nb a s i se x p a n s i o ni n t e g r a t e dw i t hg r a d i e n td e s c e n tb yt i m eg r a n u l a r i t ys e g m e n t a t i o n ，a n dp r o v e s t h ee f f e c t i v e n e s so fm o d e l sa n da l g o r i t h m sb yt h ee x a m p l e so fm a c k e y g l a s sc h a o t i ct i m ep r o c e s s p r e d i c t i o na n dp o w e r l o a df o r e c a s t i n g k e yw o r d s ：d y n a m i cp r e d i c t i o n ；p r o c e s sn e u r a ln e t w o r k s ；l e a r n i n ga l g o r i t h m ；t i m es e r i e sp r e d i c t i o n ； f o r e c a s t i n go f e l e c t r i cl o a d 学位论文独创性声明 本人所呈交的学位论文是我在指导教师的指导下进行的研究工作及取得的研究 成果据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或 撰写过的研究成果对本文的研究做出重要贡献的个人和集体，均已在文中作了明确 说明并表示谢意 作者签名：霉；盛 日期：冱z ：主：12 ， 学位论文使用授权声明 本人完全了解大庆石油学院有关保留，使用学位论文的规定，学校有权保留学位 论文并向国家主管部门或其指定机构送交论文的电子版和纸质版有权将学位论文用 于非赢利目的的少量复制并允许论文进入学校图书馆被查阅有权将学位论文的内容 编入有关数据库进行检索有权将学位论文的标题和摘要汇编出版保密的学位论文 在解密后适用本规定 学位论文作者签名：匀i & 日期：1 7 ，弓1 1 ， 导师签名：湃妒乞f导师签名：忤妒x 日期： 1 伊t7 iz 创新点摘要 1 本文提出的基于过程神经网络的动态预测理论主要基于过程神经网络的过程预测理论。 2 本文讨论并证明了过程神经网络对任意连续泛函或算子的逼近能力，为过程神经网络用于动态 预测提供了理论上的支持。 3 本文所提出的基于过程神经元网络的动态预测模型能同时满足对动态系统的非线性辨识和过程 预测，在机制上对动态预测预报问题有较好的适应性 v 大庆石油学院硕开究生学位论文 引言 过程神经元模拟外界对生物神经系统的刺激可能会持续一段时间，生物神经元根据 所接收到的多个时变信号在时间延迟区间上的综合、协调与累积作用来进行信息处理的 动力学原理进行工作。过程神经元的输入和相应的连接权可以是时变函数或过程，并在 传统人工神经元空间加权聚合运算的基础上，增加了一个对时间的累积聚合运算算子， 使过程神经元同时具有对时空二维信息的处理能力。在结构上过程神经元与传统人工神 经元类似。由若干过程神经元和传统人工神经元按一定的拓扑结构组成的网络称为过程 神经网络。过程神经网络放宽了对系统输入的同步瞬时限制，从而使问题更为一般化， 进一步拓宽了人工神经网络的应用领域。同传统人工神经网络一样，按照神经元之间的 连接方式以及信息传递有无反馈，可将过程神经网络分为前馈型和反馈型两种类型。目 前比较常用的是多层前馈过程神经网络模型。对于任意的连续泛函必存在个过程神经 网络能以任意精度逼近之：传统人工神经网络是过程神经网络的一种特例；过程神经网 络的计算能力与图灵机等价。 动态预测可以看作是一类十分复杂的非线性时变问题难以用确定的机理模型进行 描述，利用积累的丰富的性能参数样本进行预测、预报分析就成为一种现实而有效的方 法。通过预测系统未来运行状态，能够达到合理安排生产调度计划，从而在保证可靠性 的前提下最大程度地提高生产效率并降低成本的目的。因此，应用和发展动态预测理论 与技术不仅具有较强的社会意义，而且也具有重大的经济效益。 人工神经网络是近年来被广泛采用的一种非线性系统建模方法，由于对于问题求解 无需事先建立精确的数学模型和物理模型，可利用所积累的丰富实际样本数据构建系统 模型，因此，采用人工神经网络对系统进行预测预报分析就成为一种现实而有效的方法， 现已在许多领域内取得了成功的应用，如经济预测、电力负荷预测、故障预报等。基于 人工神经网络的预测模型实现了非线性映射关系的隐式表达，容错性好、自适应能力强、 易于建立模型，在信息处理机制上适合非线性复杂系统的智能预测和控制。目前，人工 神经网络的预测能力已经受到了充分的重视，其理论与应用研究也在不断的发展之中。 基于人工神经网络建立的预测模型属于数据驱动的预测方法，目前普遍采用的网络 模型大都是基于m p 神经元模型构建的，本质上属于种静态模型。在处理动态过程预 测问题时，一般足先将连续输入在时域上进行离散，得到若干组离散序列值作为输入， 引言 再对网络进行训练，即这些网络模型在解决系统过程式输入和时间顺序依赖性问题时， 是将时间关系转化为空间关系( 时间序列) 后、再以外部延时环节实现系统输入输出之 间的动态映射，即构成一个时间离散化的循环网络，但这样将使网络规模扩大，影响网 络泛化能力，同时，这种用非时变网络模型处理时变信息的方法忽略了系统过程输入对 系统输出的时间累积效应，也难于满足系统的实时性要求。 本文根据生物神经系统的信息处理特性和实际应用问题需求，将传统人工神经元的 聚合运算机制和激励方式向时间域扩展，建立了过程神经元和过程神经元网络模型。过 程神经元与传统神经元m p 模型不同之处在于过程神经元的输入和连接权都可以是时 变函数，并在m p 神经元空问加权聚合运算的基础上增加了一个对于时间的累积算子， 使过程神经元的聚合运算和激励能同时反映时变输入信号的空间加权聚合和时间累积 效应，并证明了过程神经元网络的连续性、泛函数逼近能力、计算能力等理论问题。过 程神经元网络把传统人工神经网络输入输出间的映像关系从函数映像推广为泛函映像， 增强了人工神经网络对实际问题的表达能力。 针对动态预测的实际需求，本文首次将基于过程神经网络的时间序列理论应用于这 个重要领域中。利用基于过程神经网络的时间序列预测方法完成了对m a c k e y g l a s s 混 沌时间序列预测，验证了该方法的有效性。还利用基于阶段时变输入过程神经元网络方 法完成了对某市的电力负荷的预测。用基于过程神经网络的动态预测理论解决上述问题 均取得了满意的结果。综上所述，基于过程神经网络的动态预测理论在为生产或管理部 门提供科学决策支持的同时也进一步丰富了过程神经网络理论体系，因而具有一定的理 论和实用价值。 大庆石油学硫颈士研究生学位论文 第1 章人工神经网络理论 1 1 人工神经网络理论的发展及应用领域 1 1 1 人工神经网络理论的发展 早在电子计算机出现以前，人类就己经开始探索智能的秘密，并且期盼着有一天可 以重新构造人脑，让它去代替人类完成相应的工作。从总体上讲，人类对人工智能的研 究可以分成两种方式，这两种方式可以对应两种不同的技术，即传统的人工智能技术和 基于人工神经网络的技术。人工神经网络的发展大致可以分为5 个时期： ( 1 ) 2 0 世纪4 0 年代信息科学的开创时期是人工神经网络的萌芽时期。1 9 4 3 年，心 理学家麦克卡洛克( m c c u l l o c h ) 和数学家匹茨( p i t t s w h ) 建立了著名的阈值加权和模型 ( m p 模型) ；1 9 4 9 年心理学家d o h e b b 提出了神经元之间突出的联系是可变的假说， 即h e b b 学习率，是人工神经网络学习训练算法的起点和里程碑。 ( 2 ) 1 9 5 0 1 9 6 8 年从单级感知器( p e r c e p t r o n ) 的构造成功到被否定是人工神经网络的 第次高潮期。这个时期的研究以m a r v i nm i n s k y 、f r a n kr o s e n b l a t 、b e r n a r dw i d r o w 等 为代表人物，成功的构造了单级感知器，并被人们用于各种问题的求解中。 ( 3 ) 1 9 6 8 - 1 9 8 0 年是人工神经网络研究的低潮期。神经网络研究工作受到了现代计 算机和人工智能快速发展所带来的冲击，基于仿生学的结构主义用硬件来模拟人脑的企 图，不可避免的受到了严重的阻碍，但世界上仍有一部分学者献身于神经网络的研究， 为后期的复兴奠定了基础。如威德罗( w i d r o w b ) 的自适应线性元件( a d a l i n e ) 模型；安德 森( a n d e r s o n ) 的线性联想记忆理论；冯德曼尔斯博格( v o nd e rm a k b u r g ) 的竞争学习理论， 以及格罗斯博格( g - r o s s b e r g ，s ) 的自适应共振理论( a r t ) 等。 ( 4 ) 2 0 世纪8 0 年代的第二次高潮期。基于十几年迅速发展起来的以逻辑符号处理 为主的人工智能理论和并行分布处理模式的神经网络自身的研究结果，神经网络研究又 一次进入了高潮期。美国加州理工学院的物理学家h o p f i e l d j j j 将神经网络理论分析与 动力学系统稳定性分析方法相结合，引入了“计算能量函数”的概念，提出了网络稳定 性判断依据，开拓了神经网络用于联想记忆和组合优化等计算的新途径，由此掀起了神 经网络研究的热潮。比较重要的研究成果还有：柯贺尼( k o h o n e n ) 的特征影射理论；菲尔 第1 章人工神经网络理论 德曼( f e l d m a n ) 和巴拉得( b a l l a r d ) 的连接模型等。 ( 5 ) 2 0 世纪9 0 年代以后的发展时期。这一时期大多数学者的研究集中在三个方面： 开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网 络的训练速度和运行的准确度：希望在理论上寻找新的突破，建立新的专用或通用的模 型和算法；进一步对生物神经系统进行研究，不断的丰富对人脑的认识。 1 1 ，2 人工神经网络技术的应用领域 人工神经网络技术可用于函数逼近、感知觉模拟、联想记忆和数据恢复等。从8 0 年代初神经网络的研究再次复苏并形成热点以来，由于它的计算能力、对任何连续映射 的逼近能力、学习理论以及动态网络的稳定性分析能力，在应用上已经扩展到了许多领 域，主要的应用领域有： ( 1 ) 模式识别与图象处理 印刷体和手写字符识别，语音识别，签字识别，指纹识别，人脸识别，r n a 与d n a 序列分析，癌细胞识别，目标检测与识别，心电图和脑电图分类，油气藏勘测，加速器 故障检测，目标检测与识别，图象压缩，图象复原等。 ( 2 ) 控制与优化 化工过程控制，机械手运动控制，电弧炉电极控制，半导体生产中掺杂控制，石油 精练和食品工业中优化控制，v l s i ( 超大规模集成电路) 布线设计等。 ( 3 ) 时间序列预测 时间序列预测问题在工程实践中具有重要意义。在国民经济以及国防工程等诸多重 要领域中都存在着在已取得的历史观测数据基础上预测未来的问题。传统的时间序列预 测方法主要以回归分析【m 】为主，这种方法在理论上十分成熟，但其精度不高，且容错 性差。 由于时间序列数据的信息不完整性和影响因素的多样性，使得非线性时间序列预测 系统必须具备一定的智能信息处理能力。目前。应用人工神经网络进行时间序列预测已 经引起了广泛的关注【3 卅。人工神经网络作为一种新的时间序列预测方法以其良好的非 线性映射能力、并行分布的存储结构以及高容错等特点，在许多领域中都获得了应用。 1 9 8 7 年，l a p e d e s 等人首先将人工神经网络用于时间序列预测，他们利用人工神经 网络对由计算机产生的仿真时间序列数据进行了学习和预测 5 i ，自此人工神经网络被广 泛应用于时间序列预测领域。此后，w e r b o s 和h a l b e r t 等人分别独立地对实际的经济序 4 大庆石油学院硕j 。研究生学位论文 列数据进行了预测研究1 6 - 7 1 。y d s i t e 则成功地展示了人工神经网络在控制回路过程预报 中的应用j 。 1 9 8 9 年h o m i k 和f u n a h a s h i 等人分别独立地证明了人工神经网络能以任意精度逼 近任意非线性函数| 9 “1 0 】，为人工神经网络用于时间序列预测提供了坚实的理论基础。 在统计学文献中，太阳黑子数时间序列被当作是评价和比较各种预测方法的一个标 准时间序列。w e i g e n d 等人利用人工神经网络研究了太阳黑子的年平均活动情况，并将 人工神经网络预测方法与回归分析预测方法进行了比较，其研究结果表明人工神经网络 具有优于统计预测的能力【l l 】。p a r k 等人利用感知器网络模型进行了类似的研究工作， 并提出了一种确定人工神经网络隐层节点数的方法，从而提高了预测精度【l “。 f o s t e r 等人利用人工神经网络对带有噪声的时间序列进行了短期预测，其研究结果 表明利用带有噪声的历史数据训练过的网络其性能较差，此时的网络容易产生过拟合现 象，从而映射出本不应该映射出的噪声【l3 1 。f o s t e r 等人提出的改进意见是用过去一段时 间内的平均值而不是用原始数据来训练网络。s u 和c o n n o r 等人分别利用回归神经网络 进行了时间序列预测研究【l 扣”1 ，但其训练过程过于复杂。c h n g 等人利用梯度径向基函 数神经网络对非线性及非平稳时间序列进行了预测，通过时间序列的梯度信息来确定隐 层节点数目提高了预测的精度。 基于人工神经网络的时间序列预测研究在国内也己引起了比较广泛的重视f 1 。 石山铭研究了人工神经网络的预测能力并将其应用于股票预测【”1 。杨璐等人在文献 中指出基于b p ( b a c kp r o p a g a t i o n ) 算法的人工神经网络的一个主要缺点就是不能在线学 习，需要积累足够的样本后才能统一进行训练，因此不能对时间序列进行实时建模预测。 为解决这一问题；文献【1 9 提出了一种将时差方法( t e m p o r a ld i f f e r e n c em e t h o d s ) 和人工 神经网络相结合进行时间序列实时建模预测的方法。 类似的相关研究还有很多，从中不难看出时间序列预测问题在本质上可以看作是一 个函数逼近问题。应用人工神经网络进行时间序列预测实际上就是根据时间序列 的历史观测数据，+ 对+ ( o ) 进行估计，也就是认为_ + 。与其前面的数据 靠，+ 之间存在某种函数映射关系，可用下式表达： = g ( x m ，)( 1 1 ) 此时时间序列预测问题就转化为对函数g ( 的逼近问题。通常，当h = 1 时称为一步预 测或短期预测问题，当h 1 时称为多步预测或长期预测问题。 第1 章人工神经网络理论 目前，虽然人工神经网络可以解决很多用传统统计学预测方法不能或不易解决的预 测问题，但其自身也存在一定的缺陷。由式( 1 1 ) 可以看出，由于受输入的瞬时同步限制， 在利用传统人工神经网络对靠+ 进行预测时，矗+ m 对的影响以及。 对k 一的影响难以得到有效地表达，即难以表达时日j 序列中实际存在的时间累积效应， 因而其预测精度不高。同时，传统人工神经网络实际上还难以解决较大样本的学习和泛 化问题，因此传统人工神经网络在解决复杂非线性时间序列预测问题时还存在一定的局 限性及不适应性。由于过程神经网络中的过程神经元增加了一个对时间的累积聚合运算 算子，且网络的输入及相应的连接权都可以是时变函数，因而能够充分考虑时间序列中 实际存在的时间累积效应并能对其进行直接处理，能够进一步提高对实际预测问题的适 应性和预测精度。基于过程神经网络的时间序列预测及其在工程中的实际应用是今后值 得进行深入研究的一个方向。 ( 4 ) 通信 自适应均衡，回波抵消，路由选择，a t m ( a s y n c h r o n o u s t r a n s f e r m o d e ) 网络中的呼 叫接纳识别及控制等。其他应用如导航，光学望远镜聚焦，运载体轨迹控制，电机故障 检测以及多媒体技术等。 人工神经网络理论在其应用领域主要用于解决以下问题：模式信息处理和模式别， 最优化问题的计算，信息的智能化处理，复杂控制和信号处理等。 1 1 3 人工神经网络的特点 尽管人工神经网络只是人脑的低级近似，但是神经网络不同于一般的计算机和人工 智能，它的很多特点和人类的智能相似。单个神经单元的功能很弱，但是大量的神经元 集体的、并行的活动处理功能却十分强大。其具有以下特点： ( 1 ) 固有的并行结构和并行处理。人工神经网络与人脑相似，在结构上是并行的， 在处理顺序上也是并行的和同时的。同一层内的处理单元都是同时操作的，也就是说， 神经网络的计算功能是分布在多个处理单元上的。 ( 2 ) 知识的分布式存储。在神经网络中，知识不是存储在特定的存储单元中，而是 所有记忆的信息都存储在神经元之间互连的权值中，从单个权值中看不出其存储信息的 内容，因而知识的存储是分布式的方式。 ( 3 ) 容错性强。人脑具有较强的容错性，每天脑细胞的自动死亡，不会影响我们的 6 丈庆缸油学院硕卜研究生学位论文 记忆能力和思考能力。同样，人工神经网络具有很强的容错性，即局部的或部分的神经 元损坏后，不会影响全局的活动。 ( 4 ) 具有自适应性。人工神经网络可以通过学习获得各种能力。把输入与理想输出 模式输入到网络中，网络根据给定的学习算法，提取样本中的基本信息，来调整系统各 层神经元之间的连接权值，把这些基本信息以神经元之间的连接权的形式存储在网络系 统中，直至网络达到稳定状态。 ( 5 ) 具有综合推理能力。这一特点又称为泛化能力。对于一个己经训练好的网络， 当输入新的数据时，网络可以根据已有的知识识别新的信息，对信息进行分类，而不需 要重新训练网络。 1 2 人工神经网络模型 人工神经网络的信息、处理是通过处理单元( 神经元) 之间的相互作用来实现的，知 识与信息的存储是通过处理单元互连分布式的物理联系，网络的学习和识别则决定于处 理单元的动态演化过程。 1 2 1 人工神经元模型 在人工神经网络中，人工神经元是最基本的信息处理单元，是以大脑神经元结构为 参照，用众多简单的人工神经元构造的复杂神经网络系统。因此，人工神经元及其连接 结构是进行神经元网络研究的基础。仿照生物神经元建立的人工神经元的数学模型可用 图1 1 表示。 x x 2 i ； x j i 圊。 图1 - 1 人工神经元数学模型 图1 1 中，工( ，= 1 , 2 ，月) 为外部玎个神经元向第f 个神经元的输入信号，h ，为第f 个神经元与外部第j 个神经元的连接权值，谚为第f 个神经元的激励阈值，为激励函 数( 又称传递函数，一般为非线性) ，只为该神经元的输出。神经元的输入与输出之间 的关系为 笋 第l 章人工神经网络理论 n 乃= ( w j i 工一只) ( 1 2 ) = l 这里，可为s g n 符号函数或s i g m o i d 型连续函数等非线性的激励函数。 1 2 2 人工神经元网络模型 由若干个人工神经元按照一定的拓扑结构连接在一起便构成了各种人工神经网络 模型。目前，人工神经元网络的主要模型已有几十种，根据神经元之间连接方式和网络 中信息流向的不同，神经元网络模型可分为两大类：没有信息反馈的前向型网络和具有 信息反馈的相互结合型网络，或称反馈神经网络。前馈神经网络由输入层，中间层( 隐 层) 和输出层组成，典型结构如图l 一2 所示。 输入层隐层输出层 图1 2 具有一个隐层的前馈神经网络模型 前馈神经元网络的中间隐层可有若干个，每一层的神经元只接受来自前一层神经元 的输出信息。目前研究最多和最有成效的是前馈神经元网络，它在模式识别、分类聚类、 自适应控制和学习等领域获得了成功应用。 反馈神经网络中的任意两个神经元之间都可能有连接，包括神经元到自身的反馈， 种典型结构如图1 3 所示。 输出 输出 输入输入输入 图l 一3 反馈型神经网络模型 在反馈神经网络中，输入信号要在神经元之间进行反复往返传递，从某一初态开始， 经过多次的变换处理，逐渐趋于某一稳定状态或进入周期振荡等其它状态。由于反馈神 经网络结构复杂，运行模式必须考虑对反馈信息的处理问题，因而应用时困难较多，相 丈庆石油学院硕士研究生学位论文 应的成果也较少。 i 2 3 人工神经网络的学习方法 神经网络卓越的学习能力来源于神经元之间的连接权。连接权一般不能预先准确地 确定，故神经网络应具有学习功能，即能根据样本模式逐渐调整权值，使神经网络具有 卓越的处理信息的功能。 神经网络的学习方法有两大类：有教师学习和无教师学习。对于有教师学习，网络 的输出和希望输出进行比较，然后根据两者之间的差的函数( 如：差的平方和) 来调整 网络的权值，最终使其值达到最小。对于无教师学习，当输入样本模式进入网络后，网 络按照预先设定的原则( 如竞争规则) 自动调整权值，使网络最终具有模式分类等功能。 常见的无教师学习方法是h e b b 学习规则：当两个神经元同时处于兴奋状态时，它 们之间的连接权应加强。令。，( 七) 表示神经元f 到神经元_ ，的连接权当前值，j 、，表 是神经原i 、j 的激活水平，则h e b b 规则可描述成： 珊。( k + 1 ) = 珊。( ) + f ( 1 ：) 厂( ，。) ( 1 - 3 ) 对于神经元j 可表示： 于是，h e b b 规则进步可表示成： ，= ，x ，一p ( 1 4 ) y ，= ，( ，) = 瓦丽1 丽 彩f ( t + 1 ) = c o f ( 七) + y y j 0 - 5 ) ( 1 6 ) 最常见的有教师学习方法是梯度下降法，其基本思想是根据希望输出和实际输出之 间误差的平方和最小原则来修改网络的权向量。 定义误差函数j ( w 1 ： j ( 矿) ：三( y ( 女) 一可( ，是) ) ：0 - 7 ) 式中：r ( k ) 表示希望输出，y ( 矿，k ) 表示实际输出，是网络所有权值组成的向量。梯 度下降法就是沿着j ( w ) 的负梯度方向不断修正w ( k ) 的值，直至w ( k ) 达到最小值。梯 度下降法用数学公式表述为： q 第1 章人工神经髑络理论 w ( k + 1 ) 川卅似) ( - 乞釉( 1 - s ) 式中，可( ) 是控制权值修改速度的变量。 1 2 4 神经网络的函数逼近能力 人工神经元网络作为一种计算模型，其计算能力有多大、适合于解决哪方面的问题 是人们在应用时首先关心的问题。其次，神经网络的学习可视为一种特殊的函数拟合或 逼近，其计算问题的解一般来说并不是精确解，这就自然要考虑解的精确性和函数逼近 能力问题。现已证明，任何有限问题( 即可用有限自动机求解的问题) 都可用神经元 网络求解，所以一个神经元网络的求解能力等价于一个有限自动机口o l 。对于连续情况， 多层前馈网络可以逼近任意的厶多元函数厂：r ”斗月“。由此可见。神经元网络的计 算能力是很强的。下面不加证明地介绍其中一些著名的逼近定理： ( 1 ) h e c h t - n i e l s o n 逼近定理【2 1 】 设。为有界闭集，给定任意的c o 和定义在q 上的任意厶函数：r ”一矗“，存 在两层的前馈神经元网络，使得8 f y8 o ，存在k 层前馈神经网络厂：d r “( 其中t 3 ，隐层单元的激励函数为g ( ) ) ，使得 m a xi i ，( x ) 一f ( x ) 0 占 其中， | | 为霞1 中的任意范数。 o 大庆石油学院硕 研究生学位论文 1 3 过程神经网络模型 1 3 1 过程神经元 人工过程神经元与m p 神经元相似，也是由加权、聚合和激励运算三部分组成。与 传统神经元不同之处在于过程神经元的输入和权值等都可以是时交的，即可以是依赖于 时间或一个过程的函数。其聚合运算既有对空间的多输入聚集，亦有对时间过程的累积。 因此，它是传统神经元在时间域上的扩展，传统神经元可以看成是过程神经元的特例。 单个过程神经元的结构如图l - 4 所示。其中，蜀( d ，xx 2 ( o ，( f ) 为过程神经元输 入函数向量；w i ( f ) ，w 2 ( f ) ，( f ) 为相应的权函数；瞰f ) 为过程神经元的时间聚合基 函数；，【) 为激励函数，可取线性函数、s i g m o i d 函数、g a u s s 型函数等。 x l m 局m ： 墨俐 图l _ 4 过程神经兀 过程神经元的输入与输出之间的关系为 y = 厂( ( ( f ) o x ( f ) ) o k ( ) 一口) ( 1 - 9 ) 这里“o ”表示某种空间聚合运算，“9 ”表示某种时间 1 的情形。假设过程神经元网络的权函数可被基函数占( f ) 展开， 即将权函数的形式限制在一类较简单的函数类中来考虑问题。基函数b ( f ) 可以是有限 基，也可是可数基，可以是正交的，也可以是非正交的。这种过程神经元网络如图1 5 所示。其中第1 层为输入层，第2 层为权函数与输入函数的乘积，第3 层为时间聚合运 算层，第4 层为空间聚合输出层。整个结构相当于一个两层传统神经网络多输入单输出 感知机。各层的运算如下： 五( f ) x 2 ( f ) i z 。( f ) 图1 5 基展开过程神经元网络模型 w ( ，) = 以( r ) ( 1 - 1 3 ) q = f w ，( ，) t ( t ) d t ( 1 - 1 4 ) y = ，( q 一 ( 1 - 1 5 ) 其中p 为第4 层单元的阈值，厂为第4 层的激励函数。将( 1 1 3 ) - - - ( 1 1 5 ) 复合在一起， 则输出与输入过程的关系为如下泛函 j ，= 厂( n i fb k ( t ) x , ( t ) d t 一口) ( 1 - 1 6 ) l = lt = l 丈庆石油学院硕士研究生学位论文 下面考虑投影组合模型，如图1 6 所示，其中第l 层为输入单元，第2 层