（大地测量学与测量工程专业论文）基于神经网络的大坝变形分析模型的研究.pdf

桂林理工大学硕士学位论文 摘要 大坝的建设是工程建设的重要内容之一，大坝安全是一个关系到社会公共安 全的问题，因此大坝的变形监测分析与灾害预报已经成为工程变形监测分析与预 报的重要研究内容。随着大坝变形监测技术的迅猛发展，如何建立一种或多种变 形分析与预报模型，从大量的变形监测数据中，找出变形的规律，以提高预报精 度和可靠度，已经成为大坝工程建设和管理运营领域的重要研究内容。 大坝变形是一个复杂的非线性系统，而人工神经网络具有自适应、自组织、 并行计算和联想记忆等能力，特别适合于描述不确定的和复杂的非线性系统。所 以，本文尝试用人工神经网络建模的方法来预测大坝的沉降变形。在查阅大量国 内外相关文献的基础上，首先介绍了大坝变形预测的国映j j b 研究现状，然后分析 了人工神经网络的基本理论，介绍了神经网络预测的方法，并建立了基于神经网 络的多步滚动预测模型。 本文针对b p 神经网络和r b f 神经网络分别建立了大坝的沉降变形预测模型， 对两种模型进行了对比分析，实验结果表明r b f 神经网络预测模型在网络训练速 度和预测精度等方面明显优于b p 神经网络预测模型。最后，本文提出一种改进 的r b f 神经网络的学习算法，本文给出的r b f 神经网络学习算法包括两个过程： 首先用减聚类算法对学习样本聚类，得到合理的r b f 径向基函数的中心参数， 并用自动终止聚类判据确定径向基函数数目：然后利用共轭梯度法对输出权值 进行调节。该算法既能合理地对学习样本聚类，又可提高网络的映射能力。仿 真结果表明采用该方法进行大坝的变形预测可以取得良好的效果，对实际生产 具有一定的指导意义。 关键词：大坝变形：b p 神经网络：r b f 神经网络：滚动预测 桂林理工大学硕士学位论文 1 iii _ - r a b s tr a c t t h ed a mc o n s t r u c t i o ni so n eo fe n g i n e e r i n gc o n s t r u c t i o n si m p o r t a n tc o n t e n t s ， t h ed a ms e c u r i t yi so n er e l a t e st h es o c i a lp u b l i cs e c u r i t yt h eq u e s t i o n , t h e r e 触t h e d a md e f o r m a t i o nm o n i t o ra n a l y s i sa n dt h ed i s a s t e rf o r e c a s ta l r e a d yb e c a m et h e i m p o r t a n tr e s e a r c hc o n t e n tw h i c ht h ep r o j e c td e f o r m a t i o nm o n i t o ra n a l y z e sa n d f o r e c a s t s a l o n gw i n ld o e st h ed a md e f o r m a t i o nm o n i t o rt e c h n o l o g y sr a p i d d e v e l o p m e n t ，h o we s t a b l i s ho n ek i n do rm a n yk i n d so fd i s t o r t i o na n a l y s e sa n dt h e p r e d i c t i o nm o d e l ，f r o mt h em a s s i v ed e f o r m a t i o nm o n i t o rd a t a , d i s c o v e r s 血e d e f o r m a t i o nt h er u l e ，i n c r e a s e st h ef o r e c a s tp r e c i s i o na n dr e l ia b i l i t y , a l r e a d yb e c a m e t h ed a me n g i n e e r i n gc o n s t r u c t i o na n dt h em a n a g e m e n to p e r a t i o nd o m a i ni m p o r t a n t r e s e a r c hc o m e n t t h ed a md e f o r m a t i o ni sac o m p l e xn o n l i n e a rs y s t e m ，a n dt h ea r t i f i c i a ln e u r a l n e t w o r k sh a v ea u t o - a d a p t e d , f r o ma b i l i t i e sa n ds oo no r g a n i z a t i o n , p a r a l l e lc o m p u t i n g a n da s s o c i a t i v em e m o r y ，e s p e c i a l l yq u a l i f yi nd e s c r i p t i o ni n d e f i n i t ea n dc o m p l e x n o n l i n e a rs y s t e m t h e r e f o r e ，t h i sa r t i c l ea t t e m p t sw i t ht h ea r t i f i c i a ln e u r a ln e t w o r k s m o d e lm e t h o df o r e c a s t st h ed a mt h es u t i s i d e n c ed e f o r m a t i o n i nt h ec o n s u l tm a s s i v e d o m e s t i ca n df o r e i g nr e l a t e dl i t e r a t u r e sf o u n d a t i o n , t h i sa r t i c l ef i r s ti n t r o d u c e dt h e d a md e f o r m a t i o nf o r e c a s t sd o m e s t i ca n df o r e i g nr e s e a r c hp r e s e n ts i t u a t i o n , t h e nh a s a n a l y z e dt h ea r t i f i c i a ln e u r a ln e t w o r k se l e m e n t a r yt h e o r y ，i n t r o d u c e dt h en e u r a l n e t w o r kf o r e c a s t sm e t h o d ，a n dh a se s t a b l i s h e dm a n ys t e pr o l l i n gf o r e c a s tm o d e lb a s e d o nt h en e u r a ln e t w o r k t h i sa r t i c l eh a se s t a b l i s h e dt h ed a ms u b s i d e n c ed e f o r m a t i o nf o r e c a s tm o d e l s e p a r a t e l yi nv i e wo ft h eb pn e u r a ln e t w o r ka n dt h er b fn e u r a ln e t w o r k , c a r r i e do n t h ec o n t r a s t i v ea n a l y s i st ot w om o d e l s ，t h ee x p e r i m e n t a lr e s u l th a di n d i c a t e dt h a tt h e r b fn e u r a ln e t w o r kf o r e c a s tm o d e li nn e t w o r ka s p e c t sa n ds oo nt r a i n i n gs p e e da n d f o r e c a s tp r e c i s i o ns u r p a s s e dt h eb pn e u r a ln e t w o r kf o r ；c a s tm o d e lo b v i o u s l y f i n a l l y , t h i sa r t i c l ep r o p o s e do n ek i n do fi m p r o v e m e n t 。sr b fi l e u r a in e t w o r k sl e a r n i n g a l g o r i t h m ，t h i sa r t i c l eg i v e sr b fn e u r a ln e t w o r kl e a r n i n ga l g o r i t h mi n c l u d i n gt w o p r o c e s s e s ：f i r s tu s e st or e d u c et h ec l u s t e ra l g o r i t h mt os t u d yt h es a m p l ec l u s t e r , o b t a i n st h er e a s o n a b l er b fr a d i a ld i r e c t i o np r i m a r yf u n c t i o nc e n t r a lp a r a m e t e r , a n d w i t ht e r m i n a t e st h ec l u s t e rc r i t e r i o nd e t e r m i n a t i o nr a d i a ld i r e c t i o np r i m a r yf u n c t i o n n u m b e ra u t o m a t i c a l l y ；t h e nc a r r i e so nt h ea d j u s t m e n tu s i n gt h ec o n j u g a t eg r a d i e n t t i 桂林理工大学硕士学位论文 m e t h o dt ot h eo u t p u tw e i g h t ，n l i sa l g o r i t h mb o t hc a r ls t u d yt h es a m p l ec l u s t e r r e a s o n a b l y , a n dm a ye n h a n c et h en e t w o r km a p p i n ga b i l i t y t h es i m u l a t i o nr e s u l t i n d i c a t e dt h a tu s e st h i sm e t h o dt oc a r r yo i lt h ed a md e f o r m a t i o nf o r e c a s tt ob e p o s s i b l et om a k et h eg o o dp r o g r e s s ，h a st h eg u i d i n gs e n s ew h i c h ，a s8 0 0 1 1a st ot h e a c t u a lp r o d u c t i o nd e c i d e s k e yw o r d ：d a md e f o r m a t i o n ；b pn e u r a ln e t w o r k ；r b fn e u r a ln e t w o r k ；r o l l i n g f o r e c a s t i 桂林理工大学硕士学位论文 研究生学位论文独创性声明和版权使用授权说明 独创性声明 本人声明：所呈交的论文是我个人在童【殖互l l ：教授指导下进行的研究工作取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含他人已经发表或撰写过的研究成果，也不包含为获得桂林理工大学或其它教育 机构的学位或证书而使用过的材料。对论文的完成提供过帮助的有关人员已在论 文中作了明确的说明并致以了谢意。 学位论文作者( 签字) ：丝塑兰 签字日期：立雩- l 版权使用授权说明 本人完全了解桂林理工大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷 本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或 其它复制手段保存论文：在不以赢利为目的前提下，学校可以公布论文的部分或 全部内容。( 保密论文在解密后遵守此规定) 学位论文作者( 签字) ：力醯生 指导教师签字： g 旌鱼坠 签字日期：盟墨兰 ： 桂林理工大学硕士学位论文 。 本文研究意义与目的 第一章绪论 工程的变形监测分析与灾害预报是2 0 世纪7 0 年代发展起来的薪兴学科方 向。由工程建筑物及与工程建设有关的对象所可能引发的灾害( 工程灾害) ，关 系到国家和人民的生命和财产安全，越来越受到国际社会的广泛关注。许多国际 学术组织，如星际大地测量协会( i a g ) 、国际测量师联合会( f 薹g ) 、匡际岩石力 学协会( i s r m ) 、国际大坝委员会( i c o l d ) 和国际矿山测量协会( i s m ) 等，都 嚣常重视该领域的研究，以减少工程灾害的对策。对于工程安全来说：变形监测 是基础，分析是手段，预报是目的n ， 大坝的建设是工程建设的重要内容之一，出于水电建设事业盼高速发展，我 国已进入世界水电建设大国的前列，随着大坝数量的增加，时间推移、坝龄的增 长的同时，大坝失事的潜在危险的机率也在随之上升。在不到一个世纪的时间跨 度里，由予各种原因，凡乎所有国家都发生了大小不同的垮坝事件。其中，雩1 人 注目的溃坝事件有：法国高6 0 米的玛尔帕塞( m a lp a s s e t ) 双曲拱坝，建成予1 9 5 4 年，建成蜃由于没有安置观测仪器，对水工建筑物缺乏必要的晟测检查，坝体豹 变形情况未能充分及时了解，该坝子1 9 5 9 年1 2 月溃决；1 9 6 3 年美国高7 1 米的 波尔德湿由大坝失事；同年，意大利巍2 7 6 米的瓦依昂( v a j o n i ) 双蓝拱竣，库岸 发生大滑坡，只有7 分钟时间就毁灭一座城市和几个小镇，死亡3 0 0 0 余人：美 国的提堂土坝( t e t o ne a r t hf i l ld a m ) 是一座不透水心墙坝，坝高9 3 米，坝顶 长9 0 0 米，工程费用约8 6 0 0 万美元，大坝于1 9 7 5 年建成，由予建成后监测管理 不善，该坝于1 9 7 6 年溃决，淹没6 0 多万亩良田，总计损失约4 亿美元。 坝的失事不但直接危梳囡计民生，还严重影响社会安定和生态环境，世界各 国从水库、大坝的可怕失事后果中开始清醒，意识到保障大坝安全是何等重要， 认识到大坝安全是一个关系到社会公共安全的问题，必须加强大坝的安全监测与 管理。因此大坝的变形监测分析与灾害预报已经成为工程变形监测分析与预报的 重要研究内容。随着自动控制、精密机械、光电、微电子、计算机、航天、传感 和通讯等科学与技术的进步，大坝的变形监测技术得到了迅猛发展，特别是仪器 的发展，从单纯光学、机械、电子的仪器到光机电一体化的仪器集成系统。总的 来说，大坝的交形监测技术发展也已呈现出自动化、智能化、数字化、网络话及 高精度、高可靠性、实时、连续、动态、遥控和遥测的特点。这对大坝变形分析 桂林理工大学硕士学位论文 和预报理论的研究提出了更高的要求。如何建立一种或多种变形分析与预报模 型：从大量的变形监测数据中，找出变形的规律，以提高预报精度和可靠度，已 经成为大坝工程建设和管理运营领域的重要研究内容。 1 2 研究现状及存在问题 1 2 1 国内外研究现状 大坝变形分析与预报模型起源于五十年代，1 9 5 5 年，意大利范耐里( f a n e l l i ) 和葡萄牙的罗卡( r c h a ) 等人在变形观测资料的分析中采用了统计回归方法进行 定量分析。1 9 7 7 年b o n a l d i 和f a n e il i 等又提出了混凝土大坝变形的确定性模 型和混合模型，将有限元理论计算值与实测数据有机地结合起来，以监控大坝的 安全状况。此外，法国在资料分析方面，采用m d v 法，即在测值序列中分离出水 压分量和温度分量，然后对时效和残差的变化规律进行分析，进而评判大坝的安 全状况口1 。我国大坝安全监测的资料分析工作起步相对较晚，最初只以定性分析 为主，通过绘制实测过程线和统计最大和最小值等特征值来定性分析和评价大坝 的运行状况。2 0 世纪7 0 年代以后，河海大学陈久宇教授等开创了应用统计回归 建立统计模型来分析评价大坝安全状况。主要针对周期性监测的静态模型进行变 形的几何分析。自此，资料分析工作向纵深方面不断发展。目前应用较多的主要 有三类位移模型：( 1 ) 依赖于统计分析建立的统计模型( s t a t i s t i c a lm o d e l ) ，在 这类模型中，以多元回归分析模型、逐步回归分析模型和岭回归分析模型为主， 如徐培亮口1 使用逐步回归分析法对多观测点进行联合处理提出了多点回归分析 模型，刘国林h 1 建立了时不变和时变双线性混合回归变形模型与时不变和时变双 线性动态系统变形模型，冯兴常啼1 等也将回归分析引用到大坝的变形与预报中； 时间序列分析模型法中，徐培亮、章传银咖等将时间序列分析方法应用到变形分 析与预报中，取得了较好的预报精度：灰色系统分析模型中，王玲玲h 1 ，蒋刚嘲 等利用灰色系统理论建立变形观测资料的g m ( 1 ，1 ) 模型群，在建模中考虑了 观测资料的非等间隔性，模型较好地反映了变形的趋势：模糊聚类分析模型，李 沛鸿伽，李君婷n 町用模糊聚类分析法变形观测数据进行了分析，其结果与实际符 合较好；( 2 ) 靠力学关系和演绎推算建立的确定性模型( d t e r m i n i s t i cm o d e l ) ， 在这类模型中，以有限元方法( f e m ) 为主，杨喜中n 、李正国n 幻等基于有限元理 论，研究了变形参数的随机反演问题。( 3 ) 一部分靠物理力学关系、另一部分靠 统计分析建立的混合模型( h y b r i dm o d e l ) ，如魏德荣n 扣，吴子平n 町等建立了大坝 观测数据混合模型。此外，在变形分析预报中，邓跃进n 瓦蚓将卡尔曼滤波法和非 线性动力模型法应用到变形分析与预报中，建立了动态数据处理模型和整体上对 2 桂林理工大学硕士学位论文 大坝失稳模型的认识。毕海良n 刀采用信息处理法来分析变形监测数据二态变量信 息量法，对斜坡稳定性进行试评价。钟茂华n 引，顾冲时n 们，李雪红脚1 提出了利用 尖点突变模型分析大坝和岩基稳定状况的判据及计算模型，建立了基于突变模型 法的变形分析方法，文鸿雁昭1 1 将小波分析法应用到变形分析模型中，取得了较好 的效果。顾冲时池1 ，岳建平1 建立了大坝安全专家系统的结构并研究了各部分内 容和功能。赵斌口司等将人工神经网络引入到该领域中。也取得了一定的成果。 人工神经网络技术是近年发展起来的新技术成果，有着广阔的应用领域和很 好的应用前景，其较成功的用于语音识别、优化计算、智能控制及复杂系统的分 析、模式识别和预测等。它具有以下突出优点：( 1 ) 大规模并行处理和信息分布 式存储能力；( 2 ) 容错性和鲁棒性：( 3 ) 自学习能力和较快的学习速度：( 4 ) 较强 的非线性动态处理能力。尤其是较强的非线性动态处理能力的特性使得神经网 络无需知道自变量和应变量之间的显式关系，就可实现高度非线性映射，因而可 以处理复杂的、数量关系不确定的问题。对于大坝变形效应量的预测，本质上就 是一个复杂的、具有高度非线性的系统建模问题。利用神经网络本身反映事物的 非线性变化规律来直接对事物的非线性变化特性进行估计，使模型的精度有了很 大的提高。理论证明，一个具有一个隐含层的三层b p 网络，它可以以任意精度 逼近任意的非线性系统，这正是运用b p 神经网络进行预测的基本依据。利用神 经网络进行建模的另外一个优势是神经网络的容错性。虽然现在的大坝安全监测 技术已经具有相当高的水平，但是由于大坝系统的复杂性等各种原因，大坝安全 监测数据信息常常不完整或含有伤残或错误成分，这些都给通常的建模方法带来 极大的困难，而神经网络的容错特性可以对这样的不确定性信息通过不断的学习 做出合理的判断和决策。 b p 神经网络在滑坡变形预测和沉降预测中的应用效果较好，现在已有学者 将人工神经网络方法建模进行边坡和大坝的变形预报。赵斌汹1 、杨杰啪1 等分别利 用b p 神经网络建立了大坝变形监测与预报的神经网络模型，吴云芳田1 在经典b p 神经网络中加入学习率的自适应调整准则和附加动量法然后建立了大坝安全监 测的预测模型：刘福深啪1 等利用差异进化算法训练神经网络然后建立了大坝变形 预测的差异进化神经网络模型；张晓春等汹1 采用径向基函数( r b f ) 神经网络建立 了大坝安全监测资料分析处理模型；另外，李端有咖3 等还采用b p 网了空间多测 点监控模型，有效地解决了空间多测点多方向位移统计模型的弊端。 吴秀娟，李征航1 将b p 神经网络模型用于大坝变形的拟合分析和预报研究， 取得了很好的拟合和预报结果，金永强口别，将改进b p 神经网络模型应用于大坝 位移的观测数据进行拟合和预测。徐晖等汹1 ，采用正则化的算法优化网络规模， 避免b p 网络的固有缺陷，提高了精度和训练速度。 桂林理工大学硕士学位论文 何勇军等( 2 0 0 2 ) 呻1 在对土石坝渗流成因进行分析的基础上，应用b p 神经网 络建立了渗流监控模型；王德文等1 ；应用针对目前r b f 神经网络训练算法存在 的问题，提出了一种模拟人类学习方式的自动调整隐层节点数的在线训练方法， 对其理论依据进行了分析，并用实例对其进行了验证。结果表明，此种学习方法速 度快、拟合精度高、新旧知识均可记忆，克服了以往算法的不足，具有很大的实用 性。 1 2 2 存在问题 近几年来，随着对神经网络技术的深入研究，也发现了神经网络在实际应 用领域中也存在着一些问题，需要进一步的探讨。 1 ) 训练样本问题 神经网络的性能与训练样本的选取紧密相关。样本的复杂性和代表性将严 重影响网络训练的结果。确定训练样本好坏的因数有两个：一是训练样本的长度。 样本长度并非越长越好，过长的训练样本不仅影响计算速度，还会导致拟合精度 的下降。二是训练样本的代表性。这一问题受原始资料的约束较大。有的研究对 象本身就缺少资料，样本的代表性必然受到影响。对资料较丰富的问题，训练样 本以尽量包含大值为优。而且对于如何划分样本问题也是影响有效学习的重要因 素，国内学者一般将样本分为两部分：训练样本和检验样本。国外学者则提出应 分作三部分，即at r a i n i n gs e t ( 训练样本) 、at e s t i n gs e t ( 测试样本) 、a v a l i d a t i o ns e t ( 检校样本) 。该问题的研究在国外己经引起了重视嘲，另外网络 样本的归一化方法的选取也一定程度上影响着训练样本的质量。 2 ) 网络结构问题 在实际应用中，网络结构最难确定的是隐含层神经元个数。一般而言是依 靠试算的办法。给定较少的隐层个数，采用增长法来构造网络，或者给定较多的 隐层个数，采用修剪法来构造网络，但是这两种方法计算量大，且不易确定所得 结构的优劣。目前己有人尝试将网络结构和大坝变形的物理概念结合起来，根据 研究对象的具体情况构造网络结构，或者采用如s v d ( s i n g u l a rv a l u e d e c o m p o s i t i o n ) 法、混沌变量搜索法等来优化网络结构，该问题的研究还值得进 一步深入。 3 ) 网络算法问题 神经网络中常用的b p 算法是按梯度下降法进行推算，大量实践已发现该方 法存在计算速度较慢、不易找到最优解的缺点。目前有很多的改进，这在一定程 度上可以改善b p 算法上述缺陷，但是仍然存在一些问题。例如，标准b p 算法及 大多数改进算法通常是以计算值与教师值的误差平方和最小为目标函数，这里的 4 桂林理工大学硕士学位论文 “最小 是以事先给定的一个较小的误差允许值或一定的迭代次数求得的。而实 际的计算中，会遇到这样的情况：稍微改变训练样本，却可得到几组差别较大的 权重，使自标函数都满足要求。这说明算法的稳健性不强。若要从几组不同的权 值中挑选最优的，仅仅以计算值与教师值的误差平方和最小为目标函数似乎是不 够的，这就要求增加目标函数的约束条件。 4 ) 网络推广能力问题 网络推广( g e n e r a l i z a t i o n 或称泛化) 能力是指经训练后的网络对未在训练 集中出现( 但具有同一规律) 的样本做出正确反应的能力。一般提到的“过拟合 ( o v e r f i t t i n g ) 问题，实质就是指泛化能力低的表现。网络推广能力与样本资 料、网络结构、网络算法均有关系。因此充分挖掘资料信息、改善网络结构、改 进网络算法都可在一定程度上提高网络的推广能力。虽然神经网络技术已较广泛 的用于水文预报、电力负荷的预测和大坝的变形分析与预报中，但由以上所提问 题不难看出，该技术在实际应用中仍有较重要的研究意义。 1 3 本文的主要内容 本文针对神经网络存在的问题，在介绍神经网络的基础上，分析了神经网络 的缺点与不足，对网络结构进行优化，缩小网络的规模，改进了b p 算法，提高 了学习速度和算法的可靠性与精度。同时提高了网络的泛化能力，以加速网络权 值的调整，稳定网络的性能，并将改进网络的方法和改进的b p 算法应用于大坝 的监测数据分析中，并建立了相应的神经网络预测模型，并比较分析了该模型与 其他模型的优缺点，结果表明各种模型的预测效果良好。各章节的具体内容安排 如下： 第一章，提出了本文研究的背景，介绍大坝变形分析与预报的现状与发展， 重点阐述了人工神经网络的优点与不足，引出本文的的研究内容。 第二章，重点介绍b p 网络的原理、结构和算法，并对b p 网络存在的问题 进行了分析，提出b p 网络算法的改进方法。 第三章，建立基于b p 神经网络的大坝变形分析与预报模型，根据实际算例， 设计了网络结构，对样本与权值进行了规范化处理，结合变形的物理性质选取隐 含层神经元个数和响应函数。并实现了m a t l a b 的编程，结果显示，结合变形 的特征来设计网络结构和选取样本，对相应的参数进行控制，对模型的精度提高 有很大的帮助 第四章，主要介绍r b f 网络的原理、结构和算法，重点分析该网络的特点 及与b p 网络之间的比较。 第五章，建立r b f 网络的大坝变形分析与预报模型，采用大坝的变形监测 s 桂林理工大学硕士学位论文 数据，在m a t l a b 平台上，实现模型的分析与预报功能。提出了一种改进的r b f 算法，对其进行了理论推理，并建立了相应的预测模型，最后与一r b f 网络及 b p 网络的预报模型进行比较，验证模型的精度和逼近能力。 第六章，对本文的研究成果进行总结，并对今后这方面的研究提出一些建议。 1 4 本章小结 本章提出了本文的研究背景，主要介绍了大坝变形分析与预报模型的现状与 发展，从目前存在的问题中，引出本文的研究内容。 6 桂林理工大学硕士学位论文 第二章b p 神经网络原理 b p 神经网络通常是指基于误差反向传播算法( b a c k p r o p a g a t i o n ，简称b p 算法) 的多层前向神经网络( m u l t i - l a y e rf e e d f o r w a r dn e u r a ln e t w o r k s ) ，2 0 世纪8 0 年代中期d a v i dr u m e l h a r t ，g e o f f e r yh i n t o n 和r o n a l dw i l l j a m s ，d a v i d p a r k e r ，以及y a n n nl ec u n 分别独立发现了b p 算法，1 9 8 6 年r u m e l h a r t 和 m c c l e l l a n d 编写的 p a r a l l e ld i s t r i b u t ep r o c e s s i n g ：e x p l o r a t i o n si nt h e m i c r o s t r u c t u r e so fc o g n i t i o n 出版，该书的出版对b p 算法的应用产生了重 要影响硎。 2 1b p 神经网络结构 多层b p 网络不仅有输入结点、输出结点，而且有一层或多层隐节点，如图 2 1 所示。 x l x 2 ： x 胁 ： xm 输入层隐含层输出层 少2 ： y p ： y e 图2 1 含有二个隐含层的b p 网络模型结构 其输入层节点数为m ，输入变量为】【- ( m ：l ，2 ，m ) ：第l 隐层节点数为i ， 输入层节点与隐层节点间的连接权值为w - 。( i = l ，2 ，i ) ，第2 隐层节点数为j ， 第1 隐层节点与第2 隐层节点间的连接权值为w 。，( j - - 1 ，2 ，j ) ，输出层为p ， 第2 隐层与输出层的连接权值为w 如( p = 1 ，2 ，一。，p ) 。节点的作用函数一般采用可 微的s i g m o i d 型函数。 桂林理工大学硕士学位论文 2 2b p 算法原理州 b p 算法是建立在梯度下降法的基础上的，学习过程( 训练) 由正向传播和反 向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向 输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期 望的输出，则转入反向传播，逐层递归地计算实际输入与期望输入的差( 即误差) 。 将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号 最小。 2 2 1 印算法的一般步骤 第一步设置变量与参量。 第二步初始化权值。 第三步给定输入样本。 第四步对输入样本，前向计算b p 网络每层神经元的输入信号u 与输出信号v 。 其中 ，；( 刀) = y i ，n ) ，p = l ，2 ，p ( 2 1 ) 第五步由期望输出以和上一步求得的实际输出砭( 刀) 计算误差e ( 刀) ，判断其是 否满足要求，若满足转到第八步：不满足转到第六步。 第六步判断n + l 是否大于最大抚今迭代次数，若大于转到第八步，若隐若不大 于，对输入样本，反向计算每层神经元的局部梯度。其中 ( ，z ) = 蚱( 刀) ( 1 一蚱( 功) ( 咯( 功一昂( 功) ，p = 1 2 ，。，尸 ( 2 2 ) 艿歹( 玎) 兰厂( “歹( 一) ) 6 f ( 以p 印( 以) ，j = l 州2 ”， ( 2 3 ) j p i l 万。7 ( 以) = f ( “? ( ”) ) 6 歹( 刀p 口( 刀) ，f = l ，2 一，i ( 2 4 ) ，i i 第七步权值调整。按下式计算权值修正量a w ，并修正权值；n = n + l ，转至第四步。 ( 玎) = 7 7 ( 以) ( 玎) a w 驴( n ) = ，7 一( 刀) v ? ( 刀) ( 玎+ 1 ) = ( 以) + ( 玎) ( 2 5 ) = 1 ，2 ，j ；p = 1 ，2 ，p ( 刀+ 1 ) = ( 刀) + 屹( 刀) ( 2 6 ) 8 桂林理工大学硕士学位论文 i = 1 ，2 ，；= 1 ，2 ， a w e ( n ) = ，7 彭( 功( 功( 力+ 1 ) = ( 功+ 厶( 川 ( 2 7 ) m = 1 ，2 ，m ；i = 1 ，2 ，j 第八步判断是否学完所有的训练样本；是则结束，否则转到第三步。 b p 算法的流程图如下： 9 桂林理工大学硕士学位论文 2 3b p 算法存在问题和改进b p 算法 2 3 1b p 算法存在问题 标准的b p 网络算法是使用最广泛的训练算法，具有较强的输入、输出映射 能力，在实际应用中取得了较好的效果，但亦存在以下问题糊1 ： 1 、学习算法的收敛速度很慢。因为b p 算法是以梯度下降法为基础的，只具有 线性收敛速度，虽通过引入“态势项”增加了一定程度的二阶信息，但对算 法的性质并无根本的改变。 2 、学习因子与记忆因子没有一种选择的规则，若选得过大会使训练过程引起振 荡，若选得过小会使训练过程更加缓慢。 3 、网络对初始值的敏感性。同一b p 网络不同的初始值会使网络的收敛速度差 异很大。另外，若输入初始值不合适，训练起始阶段就会出现振荡。 4 、网络的隐层节点个数的选择尚无理论指导，而是根据经验选取。 5 、从数学上看b p 算法是一个非线性的优化问题，这就不可避免地存在局部极小 问题。 2 4b p 算法的改进 1 ) 模拟退火算法 模拟退火算法是模拟金属退火过程的一种全局寻优算法。网络的可调节 权值等效于金属中的粒子，而网络的输出误差( 代价函数) 则等效于金属的能量状 态。随机地取权值增量a w ，则按如下原则判断是否接受新的权值调整：若a w 使 网络的代价函数e ( w ) 减小，则接受这个增量a w ；若a w 使网络的代价函数 e ( w ) 增加，则按一定概率分布接受这个增量a w 。这实际上等效于给变量w 引入了“噪声 ，使网络有可能跳出代价函数的局部极小点，而向全局极小点收 敛。 2 ) 遗传算法m 1 遗传算法是一种通过模拟自然进化过程搜索全局最优解的算法，该算法同时 考虑了搜索空间上的许多点，并使用概率法则来引导其搜索。因此，避免局部极 小的可能性很大。 3 ) 附加动量法h 力 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考 虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略 网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小 1 0 桂林理工大学硕士学位论文 值，利用附加动量的作用则有可能滑过这些极小值。 该方法是在每一个权值的变化上加上一项正比于前次权值变化量的值，并根 据反向传播法来产生新的权值变化。带有附加动量项的权值调节公式为： a w ，( 七+ 1 ) = a aw ，( 七) + r 万，( 七+ 1 ) v ，( 七+ 1 ) ( 2 8 ) 式中，k 为训练次数，r l 为学习速率，口为动量因子，一般取0 9 5 左右。 训练中对采用动量法的判断条件为： 1 0 s s e ( 后) s s e ( 七一1 ) 1 04 口= 0 9 5 s s e ( k ) 苗 p - 图2 3r b f 神经网络取不同展开常数的拟舍结果 ( 3 ) 如何提高网络的泛化性能 为了提高网络的泛化( 或推广) 能力，需要网络在训练的过程中检验未知样 本集