（计算机应用技术专业论文）bp网络结构确定算法的研究及仿真.pdf

摘要 神经网络发展迅速，经过各国学者多年的研究创新，许多具备不同信息处理能力的 神经网络已被提出并应用于各种信息处理领域。其中以b p 神经网络的应用最为广泛， 据统计，8 0 - - 9 0 的神经网络模型采用了b p 网络或者它的变化形式。 已有理论证明，三层结构的b p 网络可以逼近任意的非线性映射关系。但在实际的训 练过程中，常会因为网络结构不合理或初始权值的选取不当导致训练精度达不到要求， 引起网络的重新训练，降低了训练效率。针对此不足，本文设计了一种动态扩展b p 网络 隐层的方法，旨在提高训练精度，同时解决训练效率问题。本算法在神经网络的训练过 程中，可以根据实际需要动态扩展一个隐层，由于它采用了线性激活函数，使得本文算 法可以在不影响网络表达能力和泛化能力的基础上提高训练精度；结合蚁群算法全局寻 优，易于与其它算法相结合的优点，将蚁群算法融入其中，用于对扩展隐层的权值和阈 值进行局部训练，有效的解决了训练效率的问题。 最后，在理论研究的基础上设计了一组相关实验对本文设计的算法进行检验。根据 化工企业实际生产的需要和生产过程中各个参数之间的关系构造相应的b p 神经网络模 型，在m a t l a b 环境下编写相应的算法程序，用来预测催化剂活性值，最后将结果仿真出 来。实验结果证明，本文设计的动态扩展隐层技术与蚁群算法相结合是切实可行的，减 少了不必要的操作步骤，在不影响表达能力的基础上提高了神经网络的训练精度和训练 效率，具有重要的现实意义。 关键词：网络预测，隐层扩展，训练算法，线性激活函 t h er e s e a r c ha n ds i m u l a t i o no ft h ea l g o r i t h mi na s c e r t a i n i n gt h e s t r u c t u r eo ft h eb pn e t w o r k t a n gl e i ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i ux i n p i n g a b s t r a c t t h ea r t i f i c i a ln e u r a ln e t w o r k sd e v e l o p e dq u i c k l y h a v i n gb e e nr e s e a r c h e df o rm a n y y e a r s ， m a n yk i n d so fa r t i f i c i a ln e u r a ln e t w o r k sw i t hd i f f e r e n ta b i l i t i e st od e a lw i t hi n f o r m a t i o nh a d b e e nf o u n da n da p p l i e dt om a n ya r e a so fi n f o r m a t i o n b pn e u r a ln e t w o r ki su s e dw i d e l y , i ti s r e p o r t e d t l l a t8 0 9 0 p e r c e n to ft h e n e u r a ln e t w o r k sa r eb pn e u r a ln e t w o r k so ri t s 仃a n s m u t a t i o n i th a sb e e np r o v e dt h a tt h eb pn e u r a ln e t w o r k sw i t l lt h r e el a y e r sc a ni m p l e m e n t sa n y n o n l i n e rp r o j e c t i o n b u ti na c t u a lt r a i n i n g ，t h er e s u l ti sn o ts a t i s f i e db e c a u s ei t ss t r u c t u r ei s n o tr e a s o n a b l eo rt h ei n i t i a lw e i g h t sa r ei n a p p r o p r i a t e t os o l v et h ep r o b l e ma n di m p r o v et h e a c c u r a c ya n dt r a i n i n ge f f i c i e n c y , am e t h o d ，d y n a m i c a l l ys p r e a d i n gt h eh i d d e nl a y e r s i s d e s i g n e di nt h i sa r t i c l e i nt h ep r o c e s so ft r a i n i n g ，ah i d d e nl a y e rc a nb ea d d e dt ot h eb p n e t w o r ka c c o r d i n gt ot h ea c t u a ls i t u a t i o n , t h eh i d d e nl a y e ra d o p t e dl i n e rf u n c t i o n ，s oi tw o n t c h a n g et h ee x p r e s s i o na b i l i t yo ft h eb pn e u r a ln e t w o r k c o n s i d e r i n gt h ea d v a n t a g eo ft h e a g e n ta r i t h m e t i c - - - e a s yt ow o r k 诵mo t h e ra r i t h m e t i c ，a n dc a nf i n dt h er e s u l ti ng l o b a lp r o c e s s ， a g e n ta r i t h m e t i ci su s e dt ot r a i nt h ep a r a m e t e r so ft h en e u r a ln e t w o r k s a tt h ee n do ft h i sa r t i c l eac o r r e l a t i v ee x p e r i m e n ti sd e s i g n e dt ot e s tt h ec o 玎e c m e s s ab p n e u r a ln e t w o r ki se s t a b l i s h e da c c o r d i n gt ot h en e e do ft h ee n t e r p r i s ea n dt h er e l a t i o n s h i p b e t w e e ne a c hp a r a m e t e ri i la c t u a lp r o d u c tp r o c e s s t h e nt h er e l a t i v ec o d eo ft h ep r o g r a mi s w r i t t e ni i lm a u a be n v i r o n m e n tt op r e d i c tt h ev a l u eo ft h ec a t a l y s t ，a n dt h ep r o c e s si ss i m u l a t e d a c c o r d i n gt ot h er e s u l t ，i t sc o n c l u d e dt h a tc o m b i n i n gt h ea g e n ta r i t h m e t i ca n dt h em e t h o do f d y n a m i cs p r e a d i n gt h eh i d d e nl a y e r si sf e a s i b l e ，w h i c hw i l li m p r o v et h ep r e e i s i o no ft h eb p n e u r a ln e t w o r k sa n dh a sa ni m p o r t a n tm e a n i n g k e yw o r d s ：n e u r a ln e t w o r kf o r e c a s t ，h i d d e n - l a y e re x t e n d i n g ，t r a i n i n ga l g o r i t h m ， l i n e a ra c t i v a t i o nf u n c t i o n 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：趣鑫 日期： 。够年乡月形日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机 构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、 借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、 缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：乞髦盘 指导教师签名： 日期：口彦年夕月留日 日期： o 多年乡月z 日 中国石油大学( 华东) 硕士学位论文 第一章绪论 1 1 课题的提出、背景及意义 美国心理学家麦卡洛克( w m c c u l l o e h ) 和数学家皮茨( w p i t t s ) 于1 9 4 3 年建 立了m p 神经元模型，近十几年时间，神经网络迅速发展，许多具备不同信息 处理能力的神经网络已被提出并应用于各个信息处理领域佗1 11 。 目前神经网络发展的重点是以应用为导向，研究和利用大脑神经网络的一些 特性，设计出了具有类似的某些大脑功能的智能系统。神经网络正在蓬勃发展， 其理论研究结果和应用范围一时还无法准确预料，下面几个方面的研究显得非常 有意义【3 j ： ( 1 ) 模式识别如图象识别、语音识别及雷达声纳一类目标识别等。 ( 2 ) 信号处理如特征提取、噪声抑制、数据压缩、自适应均衡、自适应滤波、 话音插空、预测估值、自适应控制等。 ( 3 ) 判识决策如模糊评判、系统诊断、差错控制、加密破译等。 ( 4 ) 实时优化控制如机器人控制系统【4 l 、列车自动驾驶、智能计算机实时信 息处理等。 ( 5 ) 组合优化如s t p 解法、任务分配、货物调运、组合编码、路由选择等。 ( 6 ) 知识工程如知识表达、专家系统、自然语音处理和实时翻译系统等。 神经网络的理论研究是一门新兴的边缘和交叉学科，它的产生和发展一方面 受其他学科的影响，反过来又势必影响其他学科的发展。神经网络从信息论角度 看，它是另一种信息处理的工具，对它的研究将涉及许多学科和专业，如数学、 物理学、信息科学、心理学、神经生物学、认知科学、计算机科学、微电子学甚 至哲学等。另一方面，直接应用现代科学的新理论和新方法，如信息论、系统论、 控制论、协同论和耗散结构理论等。对神经网络进行研究，可同时为这些学科提 出许多新问题，将会推动这些学科理论和其他方面的发展。 b p 网络是神经网络的精华部分，大部分的神经网络都采用了b p 网络结构， 其应用领域十分广泛。总括起来，b p 网络有如下优点：只要有足够多的隐层和 隐结点，b p 网络可以逼近任意的非线性映射关系；b p 网络的学习算法属于全局 逼近的方法，因而有较好的泛化能力。b p 网络的主要不足之处在于：收敛速度 慢；容易产生局部极值；难以确定隐层数和隐结点的数量等。目前国内外学者对 神经网络的改进大都是针对收敛速度与局部极值进行的，而网络结构的确定尚无 1 第一章绪论 科学有效的方法【5 i 6 1 。 在研究b p 神经网络的过程中发现，网络结构的设计与初始随机值的选取对 训练结果和泛化能力的影响较大，虽然已经有理论证明三层结构的b p 网络可以 逼近任意的非线性映射关系，但隐结点数的选取尚无科学的方法做指导，一般都 是凭经验或者试凑，另外，初始权值的随机选取对训练结果也有较大影响。在对 b p 网络的实际训练中，常会因为隐结点数的选取不当或随机初始权值的不合理 导致训练结果不理想，训练精度达不到要求。要提高训练精度，要么重新生成随 机初始权值，使之趋于合理，要么考虑改变神经网络的结构。无论哪种选择，都 将引起整个神经网络的重新训练。本文的主要目的就是针对神经网络的这一缺 陷，找出解决方案，这是本课题研究的出发点，也是本文重点研究的内容。 针对神经网络的上述缺点，本文在大量理论研究的基础上对现有的b p 网络 进行了改进，设计了一种动态扩展b p 网络隐层的方法，使其在工作过程中能够 根据实际情况动态的扩展隐层。结合蚁群算法的全局寻优与易于与其它算法相结 合的特点，将其融入b p 神经网络，用于对扩展隐层各项参数的训练，该方法无 须改变其它层已经训练好的权值、阈值，不会引起整个网络的重新训练，仅通过 对扩展隐层的局部训练即可提高神经网络的训练精度，有效的解决了b p 网络的 上述缺点，本文还用数学方法对该算法的可行性与有效性进行了推导证明。 最后，本文在理论证明的基础上设计了一组相关实验对算法进行检验，将本 文提出的方法应用于化工企业催化剂活性值的预测。实验结果证明，本文设计的 算法能进一步提高b p 网络的训练精度和训练效率。b p 网络被广泛的应用于各个 领域，因此对它的改进能提高其实用价值，具有重要的现实意义，值得推广。 1 2 相关技术的研究现状 1 2 1 收敛速度的研究现状 b p 网络的一个严重的缺点是收敛速度太慢，它影响了该网络模型在许多方 面的实际应用1 7 】。为此，许多学者对b p 网络的学习算法进行了研究，提出了许 多改进的算法，主要目的是加快训练速度。加快b p 网络收敛速度的方法有很多， 这里只介绍几种主要方法。 ( 1 ) 附加动量法 附加动量法使b p 神经网络在修正其权重和阈值时，不仅考虑误差在梯度上 的作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化 2 中国石油大学( 华东) 硕士学位论文 特性。该方法是在反向传播法的基础上1 8 1 ，在每一个权重和阈值的变化上加上一 项正比于前次权重和阈值变化量的值，并根据反向传播法来产生新的权重和阈值 的变化。该方法所加入的动量实质上相当于阻尼项，它减小了学习过程的振荡趋 势，改善了收敛性，这是目前应用比较广泛的一种改进算法。 ( 2 ) 共轭梯度法 标准的b p 学习算法所采用的是一阶梯度法，因而收敛较慢【9 】f l o l 。若采用二阶 梯度法，则可以大大改善收敛性，但是计算量较大。所以，一般不直接采用二阶 梯度法，而常常采用共轭梯度法，它具有如二阶梯度法收敛较快的优点。在共轭 梯度法中，沿着共轭方向进行行搜索，收敛速度将比一般的梯度下降法要快得多。 在一般的训练算法中，是利用学习速率决定权重和阈值更新步长，而在多数共轭 梯度算法中权值步长各自反复地调整，沿着共轭梯度用行搜索来决定权值步长以 减少在行中的完成功能。共轭梯度法可以不必计算或存储二阶导数信息就具有二 阶方法的功能，与拟牛顿法相比，它的计算代价很低，因此在较大规模问题中十 分有用。 ( 3 ) 自适应学习速率法 自适应调整学习速率有利于缩短学习时间。标准b p 算法收敛速度慢的重要 原因是学习速率选择不当。学习速率选得太小，收敛太慢；学习速率选取得太大， 则有可能修正过头，导致发散。因此出现了自适应调整的改进算法。在使用该算 法时，由于步长在迭代过程中自适应进行调整【1 1 1 4 ”1 ，因此对于不同的连接权系数 实际采用了不同的学习率。 ( 4 ) l e v e n b e r g m a r q u a r d t 优化方案 在牛顿算法中，如果海森矩阵不是正定的，牛顿方向可能指向局部的最大值， 可以通过在海森矩阵上加一个正定矩阵，使海森矩阵变为正定【1 4 1 【1 6 1 。 l e v e n b e r g - m a r q u a r d t 在最4 - 乘问题中引入这一概念，随后，g o l d f e l d 人等首次 将这一算法应用于b p 算法中。采用l e v e n b e r g m a r q u a r d t 优化方案可以使学习时 间更短，在实际应用中效果更好。一般来说，网络具有几百个权值时，采用 l e v e n b e r g - m a r q u a r d t 优化方案收敛速度最快。 ( 5 ) 拟牛顿法( 变尺度法) 拟牛顿法，也叫变尺度法【1 7 1 f 2 0 1 ，较共轭梯度法收敛速度快，但在前馈反向 网络中海森矩阵计算复杂，耗时。拟牛顿法不用计算二阶导数，在导数信息的基 3 第一章绪论 础上，试图通过迭代逐渐建立对海森矩阵的近似。这种算法适用于小型网络。 1 2 2 局部极值的研究现状 b p 算法通常采用的逼近方法是梯度下降法，它是在给定初值的情况下寻找 极值。因为b p 网络的能量函数可能存在多个极值点，按照这种方法得到的极值 很可能不是全局最优，它一般收敛到初值附近的局部极值。为了得到b p 网络的 全局最优解，许多研究者对基本b p 网络进行了改进【2 1 1 【2 2 1 ，如： ( 1 ) 通过调整初始权值避免陷入局部极值。如果这些权值太大，一开始就可 能使网络处于s 型函数的饱和区，使网络陷入局部极值。为防止这种情况，初始 权值在输入累加时使每个神经元的状态值接近于零，权值一般取较小的随机数。 ( 2 ) 利用模拟退火算法。为了克服b p 算法容易陷入局部极值的缺点，人们 从退火现象中得到启发，引入模拟退火算法，在用梯度法进行迭代的过程中，可 以不完全按梯度下降的方向进行迭代，这样就有可能“跳”出局部极值的陷阱。 开始采用较高的温度t ，此时各状态的差异不大，比较容易跳出局部极小点进入 全局极小点附近，然后再逐渐降低温度t ，各状态出现概率的差别逐渐拉大，从 而可较准确地运动到能量的极小点，同时阻止它跳出该极小点。 ( 3 ) 利用遗传算法。它摒弃了传统的搜索方式，模拟自然界生物进化过程， 采用人工进化的方式对目标空间进行随机化搜索。它将问题域中的可能解看作是 群体的一个个体或染色体，对群体反复进行基于遗传学的操作( 遗传，交叉和变 异) ，根据预定的目标适应度函数对每个个体进行评价，依据适者生存，优胜劣 汰的进化规则，不断得到更优的群体，同时以全局并行搜索方式来搜索优化群体 中的最优个体，求得满足要求的最优解。 1 2 3 网络结构的研究现状 若输入层和输出层采用线性转换函数，隐层采用s i g m o i d 激活函数，则含一 个隐层的b p 网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结 论。在设计b p 网络时可参考这一点，优先考虑三层结构的b p 网络。一般地， 靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现， 但是目前理论上还没有一种科学的和普遍的确定方法。目前多数文献中提出的确 定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不 利的情况，一般工程实践中很难满足，不宜采用。 4 中国石油大学( 华东) 硕士学位论文 对于b p 神经网络，其网络结构的确定尚无理论上的指导，一般是根据经验 或者通过反复实验确定1 2 3 1 1 2 4 1 。若网络规模过小，神经网络逼近能力不足，容易导 致“欠拟合”现象；网络规模过大，神经网络逼近能力过剩，则容易导致“过拟 合”现象，因此有人称神经网络的结构是一门艺术而非技术。 综上所述，b p 网络有很多优点，在各个领域有着广泛的应用，同时它也存 在着一些缺陷，虽然很多国内外学者都对其进行了改进，但大都是针对收敛速度 和局部极值的改进，其网络结构，特别是隐结点数的确定方法还有待进一步的研 究和改进。 1 3 本文研究思路和结构安排 1 3 1 本文研究思路和过程 本文的研究思路源于b p 网络的以下缺点：在b p 网络的训练过程中，常会因 为网络结构的不合理或初始权值的随机选取不当导致训结果不理想。因此，本文 提出了一种解决方案一动态扩展隐层技术，其主要研究过程如下： ( 1 ) 深入学习人工神经网络的有关知识，特别是b p 网络部分，主要研究其工 作原理、优缺点及各国学者对其进行的改进算法，了解最新动态。 ( 2 ) 着重分析b p 网络的缺点，探索解决方案。在进行了大量理论研究的基础 上，本文提出了一种动态扩展隐层的方法来解决上述训练精度和训练效率问题， 并利用掌握的数学知识对该算法进行了数学推导，在理论上证明算法的正确性和 可行性。 ( 3 ) 为了对扩展隐层进行训练，提高训练精度，同时减小因增加隐层而引起 的负作用，本文对群集算法进行了学习和研究。研究中发现群集智能中蚁群算法 具有全局寻优，易于与其它算法相结合的特点，很容易与神经网络相结合。因此 将蚁群算法用于b p 网络扩展隐层的训练中，提高训练精度。 ( 4 ) 对算法的可行性，有效性进行验证。本文在最后设计了一组相关实验， 将本文提出的算法应用于具体的实例中，用实例进一步证明算法的有效性与可行 性，加强了算法的可信度。 1 3 2 论文的结构安排 课题所研究的内容主要包括以下几个方面： 第一章主要介绍了神经网络的发展过程，优缺点及主要应用领域。 5 第一章绪论 第二章对神经网络理论进行深入地学习和研究，介绍了神经网络的定义， 发展现状，分类，主要特点。着重介绍了b p 神经网络，包括其训练算法的分析， 优点及有待改进的地方；介绍了b p 网络模型的难点和重点。 第三章主要介绍蚁群算法。描述了蚁群算法的基本思想，生物学基础，蚁 群算法的数学模型建立，以t s p 问题为例介绍了算法的实现过程，分析了该算法 的优缺点。 第四章提出动态扩展隐层技术，这是本文的重点，是对传统b p 网络的一种 改进，它将具有线性激活函数的隐层引入b p 网络，对蚁群算法进行了改进，将 蚁群算法与该技术相结合，在不改变b p 网络表达能力的基础上进一步提高了神 经网络的训练精度，同时避免了因重新训练导致的效率问题。用数学方法对该理 论进行了证明，这一章的重点是算法的理论证明与推导。 第五章设计了一组相关实验对本文提出的动态隐层扩展技术进行实际验 证，用m a t l a b 编写了相应的程序对构造的神经网络进行实验、仿真，用实例说明 算法的正确性与有效性，同时分析了算法的优点与缺点。 第六章对全文进行总结，及对未来的展望。 1 4 课题的创新之处 ( 1 ) 本课题设计了动态扩展隐层技术，使得b p 网络可以根据需要灵活的扩展 一个隐层，进一步提高神经网络的训练精度。更重要的是，增加的扩展隐层采用 了线性激活函数，因而不会改变神经网络的表达能力，不会对泛化能力产生影响。 ( 2 ) 将蚁群算法与神经网络有机的结合起来，用于对扩展隐层的训练，它结 合了两种算法各自的优点，克服以往训练过程中单一算法的不足。本课题设计的 方法属于局部训练算法，无须重新训整个练神经网络，减少了不必要的操作步骤， 保证了训练效率。它将b p 网络与蚁群算法有机的结合起来，对蚁群算法进行了 改进，用于神经网络的局部训练，这种方法可以在训练过的神经网络基础上进行， 避免了重复训练，有效的提高了训练效率，进一步提高了神经网络的训练精度。 6 中国石油大学( 华东) 硕士学位论文 第二章b p 网络概述 2 1 神经网络概述 2 1 1 神经网络简介 人工神经网络是由具有适应性的简单单元组成的广泛并行、互连的网络，它 的组织能够模拟生物神经系统对真实世界物体所作出的交互反应，具有存储经验 知识和使之可用的特性。众所周知，人脑是一个高度复杂的、非线性的和并行的 计算机器，其组成成分神经元以比今天已有的最快的计算机还要快许多倍的速度 进行特定的计算( 如模式识别、感知和运动神经控制) 。神经网络在两个方面与人 脑相似【2 5 】：( 1 ) 神经网络获取的知识是从外界环境中学习得来的；( 2 ) 互连神经元 的连接强度，即突触权值，用于储存获取的知识。 神经网络是一门活跃的边缘性交叉学科。研究它的发展过程和前沿问题，具 有重要的理论意义。神经网络理论是巨量信息并行处理和大规模平行计算的基 础，神经网络既是高度非线性动力学系统，又是自适应组织系统，可用来描述认 知、决策及控制的智能行为。它的中心问题是智能的认知和模拟。从解剖学和生 理学来看，人脑是一个复杂的并行系统，它不同于传统的n e u m a n n 式计算机， 更重要的是它具有“认知”、“意识 和“感情”等高级脑功能。我们以人工方法模拟 这些功能，毫无疑问，有助于加深对思维及智能的认识。8 0 年代初，神经网络 的崛起，已对认知和智力的本质的基础研究乃至计算机产业都产生了空前的刺激 和极大的推动作用。 事实上，探究大脑一思维一计算之间的关系还刚刚开始，道路还十分漫长， 关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方 面的研究已受到人们的关注，它未来的发展必将是激动人心的。神经网络理论的 前沿问题将渗透在2 1 世纪科学的挑战性问题中，可能取得重大的突破。 2 1 2 生物神经元系统 从生物控制与信息处理角度，神经元主要由细胞体、轴突、树突、突触等成 分构成，见图2 1 。从生物控制论的角度，神经元作为控制和信息处理的基本单 元。 7 第二章b p 网络概述 图2 1 生物神经元模型 f i g l - 1 t h em o d e lo fb i o l o g yn e u r o n 细胞体是神经元的中心，它一般由细胞核，细胞膜等组成。树突是神经元的 主要接受器，它用来接受信息。轴突的主要作用是传导信息，它将信息从轴突起 点传到轴突末梢，轴突末梢与另外一个神经元的树突或细胞体构成一种突触的机 构。 人工神经元是对生物神经元的一种模拟与简化，它是神经网络的基本处理单 元。如图2 2 所示为一种简化的人工神经元结构。它是一个多输入、单输出的非 线性元件。 其输入、输出关系为： 押 = w # x 厂q j - 图2 - 2 人工神经元模型 f i 9 2 2t h em o d e lo fa r t i f i c i a ln e u r o n ( 2 - 1 ) 乃= ( )( 2 - 2 ) 其中，0 21 , 2 ，3 ，刀) 是从其他神经元传来的输入信号；嘞表示从神经元 8 中国石油大学( 华东) 硕士学位论文 j 到神经元i 的连接权值：最为阈值；厂( 柳称为激发函数或作用函数。方便起见， 常把一只也看成是恒等于1 的输柏的权值，因此上式可写成： i t = w c x ， ( 2 3 ) j - - o 其中：嵋。一只，x o = l 。 输出激活函数f ( x ) 又称为变换函数，它决定神经元( 节点) 的输出。该输出为l 或0 ，取决于其输入之和大于或小于内部阈值只。( x ) 函数一般具有非线性特 性。 2 1 3 人工神经网络的分类 人工神经网络依照结构、神经元状态、学习方式及运行特性的不同，有不同 的分类方式。 ( 1 ) 从结构上，人工神经网络通常可分为前馈网络( f e e df o r w a r d 彤和反馈 网络( f e d b a c kn e t w o r k ) 两大类。前馈网络中有明显的层次关系，信息单方向地从 输入层向输出层流动，常用的有多层感知器、b p 网络等。其中视其局部是否有 反馈或互联，前馈网络又可分为输入输出有反馈的前馈网络( 如认知机网络等) 和 前馈内层互联网络( 如自组织网络等) ；反馈网络没有明显的层次关系，信息的传 输存在反馈机制，常用的h o p f i e l d 网络就属于这种网络。 ( 2 ) 从状态上，按神经元取值状态的连续与离散，可将神经网络分为离散型 神经网络和连续型神经网络，如h o p 丘e l d 网络中有离散型的h o p f i e l d 网络( d m q n ) 和连续型h o p f i e l d 网络( c h n n ) 。按神经元取值状态的确定与随机，可将神经网络 分为确定型神经网络和随机型神经网络。一般来讲，大部分神经网络模型属于确 定型神经网络，而g a u s s i a nm a c h i n e ，c a u c h ym a c h i n e 等网络属于随机型网络。 ( 3 ) 按照学习方式的不同，神经网络可分为两大类：即有监督学习网络和无 监督学习网络。有监督学习指的是需要知道训练样本期望输出的学习方式，而无 监督学习则不需要。一般来说，前馈网络大多属于有监督学习网络，自组织网络 则基本属于无监督学习网络。 ( 4 ) 从系统观点上看，神经网络可分为非线性映射网络和非线性动力学系统 网络。非线性映射网络是一种静态网络，它着重于通过大量简单的非线性映射单 元的多次复合获得很强的非线性处理能力；而非线性动力学系统网络则关注系统 9 第二章b p 网络概述 的动力学行为，具有比前者更强的能力。前馈网络多属于非线性映射网络，反馈 网络则属于非线性动力学系统网络。 2 1 4 神经网络的特点 神神经网络之所以能取得巨大的发展，是由于神经网络具有以下特点。 ( 1 ) 非线性：单个神经元可以是线性或者是非线性的，一个由非线性神经元 互连而成的神经网络自身是非线性的，并且非线性是一种分布于整个网络中的特 殊性质。非线性是神经网络的一个很重要的性质。 ( 2 ) 神经网络具有分布式存储信息的特点，并行分布处理使得运用计算机和 特定的硬件快速进行大量的运算成为可能。神经网络是用大量神经元之间的连接 及对各连接权值的分布来表示特定的信息。 ( 3 ) 神经网络对信息的处理过程具有并行的特点，每个神经元都可以根据接 收到的信息作独立的运算和处理，然后将结果传输出去，这就体现了一种并行处 理的概念。 ( 4 ) 神经网络对信息的处理具有自组织、自学习的特点，神经网络中各神经 元之间的连接强度用权值大小来表示，这种权值可以事先给定，也可以为适应周 围环境而不断地变化，这种过程称为神经元的学习过程【2 6 1 。 ( 5 ) 可学习和自适应未知的或不确定的系统，能够同时处理定量和定性的知 识 2 7 1 _ 【3 0 1 。神经网络用于图像识别的优点是：神经网络的信息分布式存储于连接 权值中，使网络具有很高的容错性，而图像识别中往往存在噪声干扰或输入图像 的部分损失，因此神经网络可以较好解决图像识别问题。另外，神经网络的自组 织和自学习功能，大大放宽了传统图像识别方法所需的约束条件，使其对图像识 别问题显示出极大的优越性。 ( 6 ) 适应性1 3 1 】1 3 2 】：神经网络具有调整自身突触权值以适应外界变化的能力。 特别是，一个在特定运行环境下接受训练的神经网络，对环境条件不大的变化可 以很容易的重新进行训练。而且，当它在一个时变环境中运行时，网络突触权值 就可以设计成随时间变化。 ( 7 ) 证据响应：在模式识别的问题中，神经网络可以设计成既提供不限于选 择哪一个特定模式的信息，也提供决策的置信度的信息。后者可以用来判断那些 出现的过于模糊的模式，这样网络的分类性能就会改善。 ( 8 ) 容错性：一个以硬件形式实现后的神经网络有天生容错的潜质【3 3 】【3 4 1 ，比 1 0 中国石油大学( 华东) 硕士学位论文 如，一个神经元或它的连接损坏了，存储模式的记忆在质量上被削弱，但是，由 于神经网络信息存储的分布特性，在网络的总体响应严重恶化之前这种损坏是分 散的。 2 1 5 神经网络的发展历程 神经网络诞生半个多世纪以来，经历了5 个阶段： ( 1 ) 奠基阶段。早在4 0 年代初，神经解剖学、神经生理学、心理学以及人脑 神经元的电生理的研究等都富有成果。其中，神经生物学家m c c u l l o c h 提倡的数 字化具有特别意义。他与青年数学家p i t t s 合作，从人脑信息处理观点出发，采 用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理 特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称m p 模 型，他们认识到了模拟大脑可用于逻辑运行的网络，一些结点，及结点与结点之 间相互联系，构成一个简单神经网络模型。其主要贡献在于，结点的并行计算能 力很强，为计算神经行为的某些方面提供了可能性，从而开创了神经网络的研究。 这一革命性的思想，产生了很大影响。 ( 2 ) 第一次高潮阶段。1 9 5 8 年计算机科学家r o s e n b l a t t 基于m p 模型，增加 了学习机制，推广了m p 模型。他证明了两层感知器能够将输入分为两类，假如 这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛 定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提 出的感知器模型，首次把神经网络理论付诸工程实践。 ( 3 ) 坚持阶段。神经网络理论那遥远但并非遥不可及的目标着实吸引了很多 人的目光，美国军方认为神经网络工程应当比“原子弹工程”更重要，对它的投资 兴趣非常大，而对其实践的效果也比较满意。这时，m i n s k y 警觉的是人工智能 的发展与前途问题。以顺序离符号推导为其基本特征与神经网络大相径庭。他引 发学术界的争议，导致对人工智能投资的增加。他从感知器的功能及局限性入手， 在数学上进行了分析，证明了感知器不能实现x o r 逻辑函数问题，也不能实现 其它的谓词函数。他认识到感知器式的简单神经网络对认知群不变性无能为力。 ( 4 ) 第二次高潮阶段。k o h o n e n 提出了自组织映射网络模型，映射具有拓扑 性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例所展示的自 适应学习效果显著。他认为有可能推广到更高维的情况。当时，他的自组织网络 的局部与全局稳定性问题还没有得到解决。值得一提的是，h i n t o n 和a n d e r s o n 第二章b p 网络概述 的著作p a r a l l e lm o d e l so f a s s o c i a t i v em e m o r y 产生了一定的影响。由于理想的神 经元连接组成的理论模型也具有联想存储功能，因此特别有意义。 ( 5 ) 新发展阶段。从神经网络理论的发展史看，它的高潮阶段是很容易度过 的。i j c n n 9 1 大会主席r u m e l h a r t 意识到这一点，在他的开幕词中有一个观点， 神经网络的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几 乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模， 神经网络到了新发展阶段，需要不断完善和突破，使其技术和应用得到有力的支 持。 2 2 典型的前向型网络- - b p 网络 2 2 1b p 网络的基本结构 误差反向传播神经网络，简称b p 网络( b a c kp r o p a g a t i o n ) ，是一种单向传播的 多层前向网络。b p 网络是一种多层前向反馈神经网络，其神经元的变换函数是s 型函数，因此输出量为o 到1 之间的连续量，它可以实现从输入到输出的任意的非 线性映射，b p 神经网络是神经网络中应用最广的一种网络模型，是神经网络的 精华所在。b p 网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、 最优预测和自适应控制等领域有着较为广泛的应用。图2 3 是b p 网络的示意图。 谖差魔向传播 输入层；：稳羼j 输出羼 图2 - 3 bp 网络示意图 f i9 2 - 3 g r a p ho fb pn e u r a ln e t w o r k s 1 2 中国石油大学( 华东) 硕士学位论文 2 2 2b p 网络的学习算法 误差反向传播的b p 算法简称b p 算法，其基本思想是最小二乘算、法【3 5 】【3 引。它 采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最 小。 b p 算法的学习过程由正向传播和反向传播组成【3 9 1 。在正向传播过程中，输 入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元( 节点) 的状态只 影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播， 将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最 小。 设b p 网络的结构如图2 3 所示，有m 个输入节点，输入层节点的输出等于其 输入。输出层有l 个输出节点，网络的隐含层有g 个节点，w 抒是输入层和隐含层 节点之间的连接权值。w 材是隐含层和输出层节点之间的连接权值，隐含层和输 出层节点的输入是前一层节点的输出的加权和，每个节点的激励程度由它的激活 函数来决定。 在训练该网络的学习阶段，设有p 个训练样本，先假定用其中的某一固定样 本中的输入输出模式x p 和 d 肚) 对网络进行训练。如果网络输出与期望输出值 以不一致，则将其误差信号从输出端反向传播，并在传播过程中对加权系数不 断修正，使输出层节点上得到的输出结果尽可能接近期望输出值以。对样劫 ( 矿1 ，2 ，3 ，一完成网络加权系数的调整后，再送入另一样本模式对，进行类似学 习，直到完成p 个样本的训练学习为止。 设每一样本p 的输入输出模式对的二次型误差函数( 能量函数) 定义为 q = 去( 一) ( 2 4 ) 系统的平均误差代价函数为 1p l ， e = 去艺( 嗽一) 2 = q ( 2 5 ) 。| 口= i 七= lp = i 式中，p 为样本模式对数，l 为网络输出节点数。 下面介绍基于一阶梯度法的优化方法，即最速下降法【4 0 j 【4 1 1 。为简便起见，略 去下标p ，有 1 3 第二章b p 网络概述 e = 去( 畋一q ) 2 ( 2 6 ) t = i 权系数应按e 函数梯度变化的反方向进行调整，使网络的输出接近期望的输出。 ( 1 ) 输出层权系数的调整 权系数的修正公式为 a e 吨2 1瓦(2-7) 式中，n 为学习速率，r l o ； a e o f , a n e t 。 一：= 一一 a w 准a n e t ko w 律 定义反传误差信号皖为 。 o eo e o u k d 。= 一= 一 o n e t 七o o , o n e t k 式中： 署_ - ( 以刮 盟：钞(netk)：ft(以ptk)on e t o n e t 、 吮= ( 矾一q ) 厂( n e t t ) = o k ( 1 一q ) ( 以一q ) 五o n i e t k = 瓦0 i ；q g ) = g 由此可得输出层的任意神经元权系数的修正公式为 厶w 准= 玎婶k o k ) j 。( n e t k ) o j = q 6 k o j 或者a w j k = , 7 0 1 0 一q ) ( 矾一o t ) o j ( 2 ) 隐含层节点权系数的调整 计算权系数的变化量公式为： 吣叩堕：一，7 旦堕：一巧旦q 嘶叫瓦一叩面百一刁瓦q 吲茜鼍) 0 ：f = 卅砻他t j ) o j 啦d 1 4 ( 2 - 8 ) ( 2 - 9 ) ( 2 - x o ) ( 2 - 1 1 ) ( 2 - 1 2 ) ( 2 - 1 3 ) ( 2 - 1 4 ) ( 2 - 1 5 ) 中国石油大学( 华东) 硕士学位论文 式中署不能直接计算，需通过其他间接量进行计算，即 a e乓o f o n e t i 一一= 一，一一 o o j - k = lo n e t k o j = 否lc 一盖，南c 喜c q ， = 善l ( 一嚣) = 瓯 ( 2 1 6 ) 显然有 力= f ( n e t ) 瓯 ( 2 - 1 7 ) 将样本标记p 记入公式后，有： 对于输出节点尼： i y x 肥畦d 肼加肚) d ( 2 - i s ) = r i o p k ( d 一0 p k ) d 对于隐结戊： a 卢w ，= 衫。( n e t ) ( 艿肚w 肛) d 。21(2-19) ， = r i o ( 1 0 ) ( 万肚w 业) d 式中，0 肚是输出节点尼的输出，o p j 是隐含节前的输出，o p ，是输入节点f 的输 出。 从上面推导的结果可得网络连接权值调整式： ( f 十1 ) = w ，9 ) + 刁色0 + 口 w ( f ) 一w o 一1 ) 】 ( 2 - 2 0 ) 式中，什1 表示第升1 步，a 为平滑因子，o q 1 。 2 2 38 p 网络的优缺点 ( 1 ) 多层前i h j b p 网络的优点： 1 ) 只要有足够多的隐层和隐结点，b p 网络可以逼近任意的非线性映射 关系。 1 5 第二章b p 网络概述 2 ) b p 网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能 力。 ( 2 ) 多层前向b p 网络的缺点： 1 ) b p 算法的学习速度很慢； 2 ) 网络训练失败的可能性较大； 3 ) 难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容 量的可能性与可行性的关系问题，即学习复杂性问题。 4 ) 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选 定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接 影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结 构是一个重要的问题。 5 ) 新加入的样本要影响已学习成功的网络，而且刻画每个输入样