（应用数学专业论文）基于人工神经网络的混凝土强度预测模型.pdf

中文摘要 混凝土2 8 天强度预测在实际工程生产中具有十分重要的意义，是一个典型 的多变量，非线性系统。传统的预测方法准确性较差，难以在实际中被普遍推 广应用。近几年有些人将人工智能算法，如人工神经网络应用到了混凝土强度 预测方面，取得了较为理想的效果，目前用于混凝士强度预测较为广泛的有两 种神经网络模型，即神经网络直接预测模型和基于统计的神经网络预测模型。 神经网络直接预测模型缺少对样本试验数据的前期预处理，存在定的局 限性。基于统计的神经髓络预测模型具有如下缺陷：其一，当原始样本数据之 间的相关性不大时，主成分分析方法不能有效压缩数据的维数，网络结构不能 得到有效简化：其二，主成分分析方法是一种线性算法，只能提取数据中的线 性特征，而不能提取其非线性特征，隐藏在数据间的更多统计信息未得到利用， 造成原始数据信息的丢失，影响网络模型的预测精度。 本文应用基于神经网络的非线性主成分分析方法对原始样本数据进行预处 理，将其与神经网络结合起来建立混凝士强度预测模型。非线性主成分分析方 法是一种改进的主成分分析方法，能够更好的提取原始数据中的线性及非线性 特征。目前应用最广泛的非线性主成分分析网络模型是一种五层神经网络模型， 具有如下缺陷：其一，网络结构复杂，训练时间长；其二，需要大量的训练样 本，当训练样本较少且有噪声时，不能很好的训练网络，网络泛化能力差；其 三，当映射层的神经元数目取不同值时，所提取的主成分不唯一。本文提出一 种简化的网络模型，减轻了上述问题出现的可能性。另外，由于标准b p 算法收 敛速度缓慢，本文提出一种收敛速度更快的改进b p 算法，仿真实例表明其收敛 速度较自适应附加动量项算法提高了近1 倍，文章中均应用改进的b p 算法训练 网络。需要特别指出的是，通过对样本数据预处理方法的改进，本文对不同瓶 颈层神经元数目所建立的混凝土强度预测模型的收敛时间均在2 0 秒以内，平均 预测误差均小于5 ，其性能比其它两种预测模型均有明显改进，得到了一种结 构更加简单，收敛速度更快，预测更加精确的网络模型。 关键词：人工神经网络，非线性主成分分析，混凝土，强度预测，预处理 a b s t r a c t p r e d i c t i o no f2 8d a y sc o n c r e t es t r e n g t h ，w h i c hi sv e r ys i g n i f i c a n tt oi n c r e a s et h e e f f i c i e n c yo fc o n c r e t ep r o d u c t i o n ，i sat y p i c a lm u l t i v a r i a b l e ，n o n l i n e a rs y s t e m t h e t r a d i t i o n a lm e t h o d so ft h ep r e d i c t i o na r ed i f f i c u l tt ob ea p p l i e dw i d e l yi np r a c t i c e b e c a u s ei t sa c c u r a c yi sl o w e r s oa r t i f i c i a li n t e l l i g e n c ea l g o r i t h mi sa p p l i e dt ot h e p r e d i c t i o no fc o n c r e t es t r e n g t hi nr e c e n ty e a r s ，s u c ha sn e u r a ln e t w o r ka l g o r i t h m w e c a ng e tm o r ei d e a lr e s u l t sb yi t t h e r ea r et w ok i n d so fn e u r a ln e t w o r km o d e l st o p r e d i c tc o n c r e t es t r e n g t h ，w h i c ha r ea p p l i e de x t e n s i v e l yn o w o n ek i n do fn e u r a l n e t w o r km o d e lo fp r e d i c t i o ni su s i n gt h en e u r a ln e t w o r kd i r e c t l y ，a n da n o t h e rk i n do f n e u r a ln e t w o r km o d e lo f p r e d i c t i o ni sb a s e do ns t a t i s t i c s t h ef i r s tk i n do fn e u r a ln e t w o r km o d e lo fp r e d i c t i o ni sn o tp e r f e c t ，b e c a u s ei t d o e sn o tp r e t r e a tt h ee x p e r i m e n t a ld a t af i r s t l y t h en e u r a ln e t w o r kp r e d i c t i o nm o d e l b a s e do ns t a t i s t i c sh a st w os h o r t a g e s f i r s t ，w h e nr e l a t i v i t yb e t w e e no r i g i n a ld a t ai s s m a l l ，w ec a nn o tr e d u c et h e d a t a sd i m e n s i o n e f f i c i e n t l yb yu s i n gp r i n c i p a l c o m p o n e n ta n a l y s i sa p p r o a c h a n dt h es t i u c 嘶o f t h en e u r a ln e t w o r km o d e lc a nn o t b es i m p l i f i e de f f i c i e n t l y s e c o n d , p r i n c i p a lc o m p o n e n ta n a l y s i si sal i n e a ra l g o r i t h m ， a n di tc a no n l ye x t r a c tt h el i n e a rc h a r a c t e r i s t i co fd a t a i ft h e r ei sn o n l i n e a r r e l a t i o n s h i pb e t w e e ne a c hd a t a s e t ，p r i n c i p a lc o m p o n e n ta n a l y s i sc a nn o te x t r a c tt h e c h a r a c t e r i s t i co ft h ed a t ae f f i c i e n t l y s o m ei n f o r m a t i o no ft h eo r i g i n a ld a t aw i l lb el o s t a n dn o tb eu s e de f f i c i e n t l y i tw i l li n f l u e n c et h ep r e c i s i o no ft h em o d e l t h i sp a p e rw i l lp r e t r c a tt h es a m p l ed a t ab yu s i n gn o n l i n e a rp r i n c i p a lc o m p o n e n t a n a l y s i sa p p r o a c hb a s e do nn e u r a ln e t w o r k , a n ds e tu p ap r e d i c t i o nm o d e lo fc o n c r e t e s t r e n g t hb yu s i n gn o n l i n e a rp r i n c i p a lc o m p o n e n ta n a l y s i sa p p r o a c ha n dn e u r a l n e t w o r k t h en o n l i n e a rp r i n c i p a lc o m p o n e n ta n a i y s i sa p p r o a c hi sa na d v a n c e d p r i n c i p a lc o m p o n e n ta n a l y s i sa p p r o a c h i tc a ne x t r a c t t h el i n e a ra n dn o n l i n e a r c h a r a c t e r i s t i co ft h ed a t am o r ee f f i c i e n t l y a3 一h i d d e n - l a y e rn e u r a ln e t w o r km o d e li s m o s te x t e n s i v e l yu s e dt oa n a l y s i st h es a m p l ed a t aa tp r e s e n t b u tt h em o d e lh a ss o m e s h o r t a g e sa sf o l l o w s f i r s t , t h es t r u c t u r eo ft h em o d e li ss oc o m p l i c a t e d ，t h a ti tw i l l t a k eal o to ft i m et ot r a i nt h en e t w o r k s e c o n d ，i tn e e d sal o to fs a m p l ed a t a ，a n dt h e t r a i n e dn e t w o r ki su n s t a b l ew h e nt h e r ea r en o te n o u g hs a m p l ed a t aa n ds o m en o i s y d a t a s e t si nt h es a m p l ed a t a t h i r d ，t h ep r i n c i p a lc o m p o n e n t st h a tw e 。g e ta r e n o n - u n i q u ew h e nt h en u m b e r so fe n c o d i n gl a y e rn e u r o na r ed i f f e r e n t s ot h i sp a p e r w i l lp r o p o s eas i m p l i f i e dn e u r a ln e t w o r km o d e l ，a n dt h es h o r t a g e sw i l lb ea l l e v i a t e d o w i n gt ot h es l o wc o n v e r g e n ts p e e do ft h et r a d i t i o n a lb pa l g o r i t h m ，w ep r o p o s ea l l a d v a n c e db pa l g o r i t h m ，w h i c hc a nc o n v e r g ef a s t e r t h en e u r a ln e t w o r ki nt h ep a p e r w i l lb et r a i n e db yt h ea d v a n c e db pa l g o r i t h m w es h o u l ds p e c i a l l yp o i n to u tt h a t ，a l l o ft h ep r e d i c t i o nm o d e l so fc o n c r e t es t r e n g t he s t a b l i s h e di n t h i sp a p e rw i t hd i f f e r e n t n u m b e r so fb o t t l e n e c kl a y e rn e u r o nc a nc o n v e r g eb e l o wt w e n t ys e c o n d s ，a n dt h e a v e r a g ep r e d i c t i o ne r r o r sa r ea l lb e l o w f i v ep e r c e n tb yt h ei m p r o v e m e n to fo r i g i n a l s a m p l ed a t ap r e t r e a t m e n tm e t h o d w ec a ng e tan e u r a ln e t w o r km o d e lw i t ham o r e s i m p l es t r u c t u r e ，f a s t e rc o n v e r g e n ts p e e da n dm o r ea c c u r a t ep r e d i c t i v er e s u l t s k e y w o r d s ：a r t i f i c i a ln e u r a ln e t w o r k ，n o n l i n e a rp r i n c i p a lc o m p o n e n ta n a l y s i s ，c o n c r e t e , s f r e n g t hp r e d i c t i o n , p r e t r e a t m e n t i l l 武汉理工大学硕士学位论文 第1 章引言 1 1 本文选题的出发点和现实意义 混凝土强度是混凝土质量控制的核心内容，是结构设计和旌工的重要依据， 是混凝土最重要的性能之一。混凝土的质量，直接关系到分项工程、分部工程 以及单位工程的评定验收。而作为混凝土质量管理特性的抗压强度，规范规定， 评定结构构件的混凝土强度应采用标准试件的混凝土强度，即按标准方法制作 的边长为1 5 0 唧的标准尺寸的立方体试件，在温度为2 0 _ + 3 c 、相对湿度为9 0 以上的环境或水中的标准条件下，养护至2 8 d 龄期时按标准实验方法测得的混 凝土立方体抗压强度。从采样到取得实验值需要较长时间，对于提高混凝土质 量管理效果方面，会存在以下问题“1 ： ( 1 ) 需要较长时间才能得到实验值，因此在该时该地的工程管理上，无法 应用与目前工程关系最密切的最新资料。一个月以前或者几天以前的工程状态 与现在工程状态的相关性究竟是什么? 目前尚不清楚。即使发现了旧有建筑工 程的不良状态，也无法确切地指导目前的工程。 ( 2 ) 在工程不良的情况下，发现得又较晚，就有可能在一个较长的时间内 做出质量不好的混凝土的危险。 ( 3 ) 小规模的混凝土工程，在没有取得足够实验数据的情况下就完工了。 ( 4 ) 夏季施工中，有不少养护槽的水温比标准养护温度高的多。 ( 5 ) 若建筑质量检测部门按照混凝土施工及质量检验评定标准评定某一批 次或若干批次混凝土质量不合格，将运用无破损或破损检测手段对构件进行复 核检测，提出加固改造措施甚至返工。这对加快施工进度、提高建筑质量和节 约资金材料都是不利的。 由于上述问题，多年来，为了满足施工中及时判定和尽早控制混凝土质量 的要求，通常采用经验公式预测混凝土的2 8 天强度，如对数公式、斯拉特公式、 德国经验公式等脚。也有采用对影响混凝土强度的主要因素通过大量实验求出近 似的线性回归方程。但这些方法都只是对某些定量因素的研究，对骨料品种、 养护条件与温度、实验条件等定性因素只能泛泛加以限制，检测结果与计算结 果偏差很大。而经验公式还要用到混凝土龄期3 天或7 天的抗压强度。而3 天 武汉理工大学硕士学位论文 和7 天强度与2 8 天强度相比波动性很大。 针对重要工程，主要是靠加大水泥用量给予保证混凝土的强度，如近海结 构工程用混凝土等。以大量使用水泥材料为代价，缺乏科学性。另一方面，如 果水泥用量过少，因混凝土强度问题造成工程隐患，将给工程建设带来很大的 损失，且很难予以修补。实际上，结构工程用混凝土的强度，达到设计规定的 指标就应该认为是达到了要求，否则，工程设计的经济意义就不存在了。解决 保证工程质量和节约材料这一矛盾的关键，在于有效地控制混凝土的最终强度。 因此，在诸多混凝土强度影响因素中找出其主要矛盾，发展并完善适应工程实 际的混凝土早期快速测定技术，提高混凝土早期预测的精度，具有重大的技术、 经济和社会意义。 鉴于传统的预测方法准确性较差，难以在实际中被普遍推广应用，近几年 有些人将人工智能算法，如人工神经网络应用到了混凝土强度预测方面【3 】_ 8 1 ，取 得了较为理想的效果，但其模型仍存在一定缺陷，有待进一步的改进，本文将 非线性主成分分析方法和神经网络结合起来建立一种改进的混凝土强度预测模 型。 1 2 国内外的研究动态 人工神经网络( a r t i f i e i a ln e u r a ln e t w o r k ，a n n ) 的研究始于2 0 世纪4 0 年代，近年来，在各个行业、各种研究领域中都获得了发展叫1 “，出现了许多 著名的神经网络模型，如反向传播网络( b a c kp r o p a g a t i o nn e t w o r k ，b p 网络) 、 径向基( r a d i a lb a s i sf u n c t i o n ，r b f ) 网络、h o p f i e l d 网络等。神经网络是 智能科学中的前沿热点，是模仿大脑机制的信息分析处理技术，属于隐式数学 处理方法，它将由网络训练从数据中概括出来的知识( 因果规律) 、以多组权值 和阈值的形式，分布式存储于各神经元中，即隐含在模型软件内。它用非线性 处理单元来模拟生物神经元，用多层、多个处理单元的网络构成一个大规律并 行的非线性系统，适合于表现多影响因子的非线性复杂因果规律。神经网络已 成功应用于军事、医药学、金融、石油工程等领域。在材料工程领域，已应用 于合金材料设计及性能预测等方面。 杨朝晖首次提出混凝土强度预测与设计的神经网络方法“”。对普通混凝土、 高强混凝土等多种混凝土建立了表现混凝土强度因果规律的神经网络方法，神 2 武汉理工大学硕士学位论文 经网络方法与传统的信息、数据处理方法比较，具有明显优势。它常用于处理 复杂的多维非线性问题。理论上也已证明，一个三层网络可以任意精度逼近任 意给定的连续函数“”。这说明其非线性映射能力极强。其次它可从已有的实验 数据中通过一定算法( 学习算法) 自动获取信息，总结规律，即具有自学习功能。 它还有很强的容错性、及一定的拓广能力和联想记忆。正是这些特点，使之成 为强有力的智能化信息处理方法。它可根据混凝土的实测强度及配比资料，通 过学习自动建立其强度规律和对应关系，因而从根本上克服了回归分析方法事 先给定数学形式，有可能丢失某些强度规律信息的缺点。杨朝晖“运用b p 算法 在已有混凝土试验资料基础上，进行了强度预测。并与通用的回归分析方法所 得结果对比，神经网络方法精度较高。 杨志远o ”在分析普通混凝土强度影响因素基础上，选取混凝土配料中7 个 因素作为输入值，混凝土2 8 d 标准养护强度作为输出值建立了混凝土强度预测 的b p 网络模型。并讨论了模型的学习样本、网络参数对预测精度的影响，选 出最佳网络参数配置。 王继宗呻1 在传统反向传播算法( 简称b p 算法) 的基础上，针对基本b p 算 法存在局部极小的缺陷，导出了基于输出空间的全局优化b p 算法( g o b p a ) ， 通过实例给出强度预测结果。 周瑞林等将神经网络中的r b f 网络应用于粉煤灰混凝土强度预测，预测 结果表明，r b f 网络方法是一种可以定量分析、简便易行、具有较高精度的预 测方法，在混凝土性能预测中具有广阔的应用前景。 而为了建立各种配料与其2 8 天强度之间的非线性关系，往往需要做大量的 试验，获取大量试验数据。对于高维数据，它们的一个重要特征就是数据量庞 大，但能从中得到的有用信息十分有限，而且都存在着不同程度的非线性关系， 如何从中提取其重要特征、消去误差及冗余信息，大大降低数据维数是数据处 理的一项重要任务，问题的关键在于如何对非线性数据进行有效的特征提取。 主成分分析方法是一种能够处理数据相关性的统计分析技术，现已被广泛 应用到各行各业中乜1 卜，文献 2 5 在建立混凝土强度预测时就应用了主成分分 析方法对原始样本数据进行预处理。 总体看来，目前国内外在建立混凝土强度的神经网络预测模型时，太都是 直接应用神经网络或将其和主成分分析方法结合起来进行混凝土强度的建模与 武汉理工大学硕士学位论文 预测问题的研究。 另外，在用神经网络对原始数据进行非线性主成分分析方面。 1 9 9 1 年k r a m e r 在文献 2 6 中提出了基于自组织神经网络的非线性主成分分 析方法，用一个五层自组织神经网络解决了无监督非线性主成分的提取问题， 这种神经网络训练时间较长，且各层的节点数难以确定。 1 9 9 4 年d d o n g 在文献 2 7 中提出了基于h a s t i e 主曲线理论和神经网络的非 线性主成分分析方法，但文献 2 8 中指出h a s f i e 提出的主曲线理论只适用于有限 几类非线性模型，不具有通用性。 随着主曲线理论的不断发展和完善，2 0 0 3 年m f a o u z ih a r k a t 等在文献 2 9 中应用主曲线和径向基网络解决非线性主成分问题。 2 7 和 2 9 中两种方法的基本思想都是应用两个三层神经网络建立提取非 线性主成分的模型，首先应用主曲线理论提取非线性主成分，然后将提取的非 线性主成分作为第一个网络的输出和第二个网络的输入，分别训练两个网络， 这样做显然加大了运算量，由于第一个网络的输出同时也是第二个网络的输入， 所以整个模型同样可以看成是一个五层神经网络模型。 此外，还有人提出将包含三隐含层的神经网络简化为仅含有一个隐含层， 从而大大简化网络结构，缩短训练时间，但b o u d a r d 和吼p 在文献【3 0 冲指出此 时传统的主成分分析方法能够以较少的数据维数更好的代替原有数据的信息。 1 。3 本文研究的主要内容 本文将从人工智能算法的角度出发对混凝土的强度预i 见0 进行研究，主要研 究内容为： 一、分析传统b p 算法存在的缺陷，并对其进行改进，提出一种预测精度更 高，收敛速度更快的b p 网络模型。 二、不对原始样本数据进行预处理，直接采用神经网络建立混凝士强度的 预测模型。 三、应用主成分分析方法和神经网络联合建立混凝土强度的预测模型。 四、介绍基于神经网络的非线性主成分分析方法的基本原理，并对其模型 作相应改进。 五、应用基于神经网络的非线性主成分分析方法提取原始样本数据的主成 武汉理工大学硕士学位论文 分，用得到的主成分训练神经网络，建立混凝土强度预测模型。 六、三种模型的综合比较。 1 4 本文的组织结构 根据上面所提到的研究内容，本文将从以下几个方面对其进行具体分析， 具体章节安排如下： 第一章为国内外的研究现状和选题的意义，提出本文的主要研究思路和主 要内容。 第二章介绍人工神经网络的基本原理和方法，对传统b p 算法进行改进。 第三章介绍目前基于神经网络的混凝土强度的传统预测方法，并分析了其 中存在的问题。 第四章介绍基于神经网络的非线性主成分分析方法的基本原理，分析了其 优点和缺点，并根据其缺点对传统用于非线性主成分分析的神经网络模型进行 了改进。 第五章将基于神经网络的非线性主成分分析方法和神经网络相结合建立混 凝土强度的预测模型，并将其结果和传统的神经网络预测结果进行了相应对比， 通过比较说明本文提出的方法的有效性、可行性和优越性，本章是本文的核心 部分。 第六章是本文的结论部分。 1 5 本文的特色与创新 首先，分析传统b p 算法存在的缺陷，提出了一种性能更好的b p 网络模型。 其次，本文采用基于神经网络的非线性主成分分析方法对原始样本数据进 行特征抽取，而不是采用传统的主成分分析方法，所提取的主成分能在最大限 度保持原有数据重要信息盼情况下，同时有效提取了数据的线性及非线性特征， 将高维数据映射到低维特征空间，有效降低原始数据的维数，并结合神经网络 建立混凝土强度的预测模型，从而有效简化网络拓扑结构，使模型结构更加简 单，收敛速度更快，预测结果更加精确。 武汉理工大学硕士学位论文 最后，在用神经网络对原始样本数据进行非线性主成分分析时，应用一个 简化的包含两个隐含层的前馈网络进行特征提取，而不是应用传统的包含三个 隐含层的前馈网络，并且删除网络中瓶颈层神经元的偏置，从而，进一步简化 了网络结构，减少了学习参数，一定程度上减轻了当训练样本数据量较少时， 出现过拟合现象，网络泛化能力差，以及由瓶颈层输出的主成分不稳定等问题。 武汉理工大学硕士学位论文 第2 章人工神经网络的基本原理和方法 2 1 神经网络技术概述 人工神经网络是对真实的人脑神经网络的结构、功能及基本特征进行理论 抽象、简化和模拟而构成的一种信息系统。人脑是由大量的神经细胞或神经元 构成，它们相互联结构成网络，综合外部的激励信号呈现出兴奋或抑制的状态， 并自动适应性的调节自身的状态，实现自我学习。人工神经网络模拟人脑的复 杂机制，大量的神经元高度互联，充分并行的工作，最终实现复杂的非线性的 各种运算。通过样本信息对神经网络的训练，能使其具有与大脑相类似的记忆 和辨识能力。 8 0 年代中期以来，人工神经网络以其独特的优点引起了人们的极大关注， 神经网络的吸引力在于： ( 1 ) 能够充分逼近任意复杂的非线性系统。 ( 2 ) 以分布方式存储知识，所以有很强的鲁棒性和容错性。 ( 3 ) 采用并行分布式处理方法，使其能够快速进行大量的信息处理和运算。 ( 4 ) 有良好的自学习、自适应、联想等智能，能适应系统复杂多变的动态 特性。 2 2 神经网络的基本概念 神经网络是由大量的神经元互连而成的复杂网络系统，单一神经元可以有 许多输入、输出，如图2 - 1 所示。 b i x l x 2 ： x n 图2 - 1 神经元模型 武汉理工大学硕士学位论文 图2 - 1 中为神经元的内部状态，红为闽值，置为输入信号，以表示从 “jn u ，的连接权值，“表示与“；相互连接的神经元，则神经元“；的输入为 i n p u t ( i ) 一吩，一包 ( 2 一1 ) 输出为 7 k 一，( f 坤“( f ) ) ( 2 2 ) 其中，是神经元的激励函数。 每一个神经元都从数十甚至数百个其它神经元接受信息产生神经兴奋和冲 动，对于连续输出模型常采用s 型函数来表征神经元的非线性输入输出特性，常 用的s 型函数有t o g s i g 函数和t a n s i g 函数，如图2 2 所示。 图2 - 2s 型激励函数 2 3 前馈神经网络模型 将很多个神经元组合成一个网络，并将神经元之间的相互作用关系模型化 就构成了神经网络模型。前馈神经网络是目前神经网络模型中最重要的模型之 一，图2 - 3 为单隐层的前馈网络结构图。前馈神经网络是众多神经元分成若干 层顺序连接而成，前馈网络中，输入信号从输入层经隐含层到输出层，其间完 成一次前馈计算。 武汉理工大学硕士学位论文 输入层 隐含层输出层 图2 - 3 前馈网络模型结构示意图 2 4b p 神经网络的基本原理 2 4 1b p 网络模型及主要思想一1 b p 神经网络是r u m e l h a r th i n t o n 和w i m a n i s 提出的一种人工神经网络的 误差反向传播训练算法( 简称b p 算法) ，是前馈神经网络最主要的学习算法， 系统地解决了多层网络中隐含单元的联接权及阈值的学习问题，该算法完整而 又简明，被认为最适用于模拟输入、输出的近似关系，它也是在a n n 中算法最 为成熟的一种。因此，b p 神经网络模型是近几年来应用最为广泛的一种人工神 经网络模型，主要用于函数逼近、模式识别、分类及数据压缩等领域。 b p 神经网络是神经网络中采用误差反传算法作为其学习算法的前馈网络， 通常由输入层、输出层和隐含层构成，层与层之间的神经元采用全互连的连接 芳式，通过相应的网络权系数矽相互联系，每层内的神经元之间没有连接。见 图2 - 4 。 误差反向传播算法算法的基本思想是最小二乘算法，它采用梯度搜索技术， 以期使网络的实际输出值与期望输出值的误差均方值为最小。误差反向传播算 法的主要思路是把学习分为两个阶段：第一阶段( 正向传播过程) ，给出输入信 息通过输入层经隐含层处理并计算神经元的实际输出值；第z - 个阶段( 误差反 向传播过程) ，如果在输出层没有得到期望的输出值，则逐层递归地计算实际输 出与期望输出的差值，并用此差值来调节权值和阈值。这两个过程反复运行， 9 武汉理工大学硕士学位论文 使得误差信号最小，直至达到设计容许的误差范围内，则学习过程结束。典型 结构如图2 - 4 所示。 调整权重 输入层 隐含层输出屡 图2 4b p 网络结构及反向传播算法原理 2 4 2b p 算法的数学描述 下面我们将按照前面所叙述的b p 算法的两个学习阶段推导权值和阈值的学 习公式。 用b p 算法训练神经网络有两种方式：串行方式和集中方式。串行方式中， 对每一个样本学习后，权值和阈值便更新；集中方式是严格意义上的最速下降 法，即对所有样本学习后组成一个训练周期，计算总的平均误差，然后更新权 值和阈值。下面我们讲述采用集中方式训练网络的b p 算法。 ( 1 ) 正向传播过程 设有个训练样本，当其中的一个样本输入网络时，设其输入向量为 x ，“，工2 ，薯，z 。) ，期望的输出向量为d 一 l ，d 2 ，d f ，一，d 。) ，输入层各 单元“；只纯粹传送输入信息，不起其它作用。 计算隐含层各神经元的“净输入”，； ，j 。善嵋”p ，瑚，p 心 1 0 武汉理工大学硕士学位论文 式中彬，是输入层第f 神经元与隐含层第，神经元间的连接权值，o j 是隐含层第， 神经元的阈值，p 是隐含层的神经元总数。 用s 型函数计算隐含层各神经元的输出y ，； 1 _ ) ，；，( ，) = 去，j = 1 ，2 ，p ( 2 4 ) 上+ e 。 式中y ，是隐含层第j 神经元的输出。 计算输出层各神经元的“净输入”j ； ；薹) 川，扣1 ，2 ，g 式中以，是隐含层第j 神经元与输出层第f 神经元之间的连接权值， 第t 神经元的阈值，q 是输出层的神经元总数。 计算输出层各神经元的实际输出y 。； ( 2 - 5 ) 以是输出层 只4 ，以) 2 寿，1 1 ，2 ，g ( 2 - 6 ) 式中y 。是输出层第f 神经元的实际输出。 ( z ) 误差反向传播过程 由于期望输出d ，与实际输出y 。不一致，因而产生误差，通常用方差来表示 这一误差： 巳一三霪以埘 伢，) 当所有样本都输入一次后，总均方误差为： e 一专耋- 丽1 善n 砉泔) - y ) 2 c z s ， 式中打表示训练样本的序号，为了书写方便在下面的公式推导过程中，我们将省 去符号弗。 按照误差e 来修改网络的权值w 和阈值0 ，权值w 和阈值0 的修改应使e 最 小，因此，w 和口应沿e 的负梯度方向变化，即修正量a w 及a 0 应满足下面的 关系式： 武汉理工大学硕士学位论文 a w 一- a - - 翥 9 ) 臼一一口历o e ( 2 1 0 ) 式中口为学习率。 以下分别计算输出层及隐含层各神经元的权值修正及阙值修正。 首先计算输出层的权值和阔值的修正量，其权值和阈值的修正量应满足下 面的关系式： 峨嚣一一号薹两o e n ( 2 - 1 1 ) 蜘一盖一c 。刍n 面o e n n 0 0 , ( 2 - 1 2 ) a 只龠 可见，计算权值及阈值的修正量关键是求崭及鲁，下面我们将着重求解这 两个值。 计算输出层任意神经元的，的输出y ，改变时，误差e 。的导数； 象= y , - d ， 协m 计算输出层任意神经元“，的“净输入”改变时，误差巳的导数5 鲁。篑善一t - d t ) ，一( y , - d t 堍( 1 咄) ( 弘1 4 ) 计算与输出层任意神经元群，的连接权值，及坼的阈值q 改变时，误差 乌的导数； 袭音甍吨“驴”功f ( 1 - y 舰( 2 - 1 5 ) 鲁；鲁等- 一吐) ，以) 1 = 一或溉( 1 叫) ( 2 - 1 6 ) 武汉理工大学硕士学位论文 在上面两式中令4 。鲁= 。一y ，) ，以) ； ，一) ，) ) 。( 1 一) ，t ) ，则可求得： 从而有 ( 2 - 1 7 ) ( 2 - 1 8 ) 哪一号耖w ( 2 - 1 9 ) b_昙耖(2-20)y葛 式中6 p 和) ，为当第栉个样本输入网络时按照上述公式计算出的具体值，称 d p 为输出层的调整误差。 由以上分析我们可得到输出层的权值和阈值的修正公式 彤，o 。+ 1 ) 一啊，o 。) + 号耋d _ ) ，p ( 2 2 1 ) + 1 ) | ) + 号弘( 2 - 2 2 ) 用同样的方法可以计算与隐含层各神经元“相连的权值修正量a 彬，和 “j 的闽值修正量口： w , ，l - 卢瓦o e = 一镛表( 2 - 2 3 ) a o j = - - 卢薏一f l - - - 删每a e n ，( 2 - 2 4 ) 式中口为学习率。易知， y 一 一 峨一哪 鸭一崛 武汉理工大学硕士学位论文 其中， 一彘一薏o l 老参a y 哿o ，老一鲁a y y ，o 啮kp z s ， a 磁，a 暇，d 彬“、“一 一堕a ；妻一争堕：扣 ( 2 _ 2 6 ) y t 缸a l ta y i 急j j jf f i _ o 矿e 2 一象_ ) ，肛嘲静则有 一彘卫n 中； ( 2 _ 2 7 ) a 彬 同理可求得 一瓦o e n 一旦n 6 ， ( 2 2 8 ) a 口。 从而有 岷一导抄( 2 - 2 9 ) a 口，一导薹d p c z s 。， 式中d j i i ) 和矿的含义同上，d 称为隐含层的调整误差 由以上分析我们可得到隐含层的权值和阈值的修正公式 w , i 。+ 1 ) t 形，。) + 导薹d p 世 ( 2 3 1 ) 巳1 ) = o j + 导薹妒 ( 2 - 3 2 ) 容易看出，b p 网络学习算法中，各层权值调整公式形式上都是一样的，均 由三个因素决定，即：学习率、本层的调整误差、以及本层输入信号。修改了 柙信两闷信岳百t 圳直冲计笛磐阜袖绨元的薪的揣小妖后直斗笪新的调蘑谭 1 4 武汉理工大学硕士学位论文 差，再计算新的权值修正量及新的阈值修正量，如此反复进行，直到误差满足 要求( 即小于某个给定值s ) 为止。 2 5 改进的b p 神经网络学习算法 2 5 1 传统b p 算法的缺陷 b p 算法为前馈神经网络提供了切实可行的学习算法，使前馈神经网络得到 了广泛的应用，目前是神经网络训练采用最多也是最成熟的训练算法之一，其 算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下 降方法，按误差函数的负梯度方向修改权值及阈值，因而通常存在以下问题： ( 1 ) 学习效率低，收敛速度慢 首先，b p 算法是利用误差函数对权值和阈值的一阶导数信息来指导权值和 阈值的调整，以求最终误差达到最小。在执行过程中，网络参数每次调整的幅 度，均以一个与网络误差函数或其对权值或阈值的导数大小成正比的项乘以固 定的因子a 进行。这样，在误差曲面曲率较高处，这一偏导数值较大，网络参 数调整的幅度也大，以至于在误差函数最小点附近会发生过调整现象，使参数 调节路径变为严重的锯齿形，难以收敛到最小点。为保证算法的收敛性，学习 率a 必须很小。这样在误差曲面较平坦处，由于偏导数值本身已很小，网络参 数调节的幅度就更小，以至于需要经过多次调整才能将误差函数曲面降低，这 是b p 算法学习速度慢的一个重要原因。 ( 2 ) 易陷入局部极小状态 b p 算法是以梯度下降法为基础的非线性优化方法，不可避免的存在局部极 小问题，且实际问题的求解空间往往是极其复杂的多锥曲面，存在着许多局部 极小点，更使这种陷于局部极小点的可能性大大增加。 2 5 2 传统b p 算法的改进 针对传统b p 算法的缺陷，目前已有不少人对此提出了改进的方法卜d 9 1 ，其 中，自适应附加动量项算法由于具有简单、实用的特点，获得了广泛的应用。自 适应算法总体上采用附加动量项的算法，其权值和阈值的更新公式如下所示： 艋+ 1 ) 一m c 蜢 ) 一( 1 一删f ，署 ( 2 _ 3 3 ) 武汉理工大学硕士学位论文 其中，e 是学习的均方误差m s e ，m c 是附加动量项系数，l r 为学习率。 其算法中的学习率扣的调整公式如下： 陋x t r ( k )舢e ( 七+ 1 ) a x m s e ( k ) ( 2 3 4 ) i l r ( k ) 其它 其中，a ， 为大于l 的常数，p 为小于l 的常数，咖( o ) 的选取可以有较大的随 意性。 该方法根据学习过程中误差的变化，有效的调整学习率，加快了网络的收 敛速度；此外，加入动量项使网络在修正权值对，不仅考虑误差在梯度上的作 用，而且考虑在误差曲面上变化趋势的影响，动量项实质上相当于阻尼项，它 减少了学习过程的振荡，改善了收敛性。 鉴于自适应附加动量项算法的思想，我们提出一种更加有效的学习率的改 进算法。 调整学习率的改进算法具体描述如下： 咖+ 1 ) = p t r ( k ) ，同时取l r k , y y t r ( k ) 8 x l r ) 扫) + f ，) m g e 体+ 1 ) a x l n s e ) ； 删 + 1 ) a x r o s e ) ， 并g t r ( k ) 扫鲫；( 2 - 3 5 ) m s e + 1 ) a x m s e ) ， 并且f r ) l r k e y ； m 卵 + 1 ) = a x m s e 佧) 其中口，a 为大于1 的常数， 卢，y ，“为小于1 的常数，f ，觑) 是l r 的临界 窗口。需要说明的是，为了保证学习公式2 - 3 5 的有效性，一般要求卢ty 。 在不引起误差函数震荡的条件下( m s e ( k + 1 ) ta 脚e 仕) ) ，使学习率l r 保 持在较大的值或者处于较高的增长速度，可使收敛精度提高并且加快收敛速度。 一旦误差增大( m s e ( k + 1 ) ，a m s e ( k ) ) ，将学习率降到当前的p 倍，从而使得 误差可以在很低的学习率下继续下降，同时将f ，厕一变为误差增大时刻l r 的一 半。l r t e y 用来控制l r 的增长速度，当i r 比l r j c e y 小的情况下，让l r 倍数增加， 造成l r 快速增加，提高l r 平均值的大小；反之，则让扣线性增加，使l r 尽量保 持为较高的值，目的是使这样缓慢的增长幅度不会造成误差突然上升，使得l r 在 这个区域待的时间足够长，提高l r 的平均值。 1 6 武汉理工大学硕士学位论文 2 6 改进b p 算法与传统b p 算法的性能对比研究 本小节将对本文提出的改进b p 算法与自适应附加动量项算法及传统b p 算法 进行数值实验对比分析。我们采用m a t l a b 6 5 作为仿真平台，利用神经网络强 大的非线性逼近的特性对正弦函数y s i n 0 ) 进行逼近。 我们取x 3 ：0 3 ：3 及其对应的y 值作为网络的训练样本，逼近正弦函数图 像；取xa - 3 ：0 1 5 ：3 及其对应的y 值作为检验样本。 我们把传统b p 算法、自适应附加动量项算法和本文改进算法放在一起进行 比较。训练中，采用1 - 3 1 三层b p 神经网络模型，隐含层的激励函数采用l o g s i g 函数，输出层采用线性函数，动量常项取0 9 ，以固定最大迭代次数1 0 0 0 0 ，或最 小均方误差0 0 0 0 1 为训练结束的标准。其它参数的取值如下，口- 1 0 5 ，- 0 4 ， y 一彰，a 一1 0 4 ，一0 0 1 ，b p 算法开始阶段学习率可以取较大值，所以我们取 ，j 学习率临界窗l r k e y 的初始值为1 。 考虑到每次对网络的权值与阈值的初始化结果不完全相同，因此对每种算 法应进行多次训练，表2 1 给出了三种算法收敛速度与精度的比较。表中前三项 指标数据均为十次训练的平均值。 表2 - 1 三种算法收敛速度及精度的对比 果。 图2 5 2 7 给出了三种算法中最小误差所对应的网络对检验样本的拟合结 1 7 武汉理工大学硕士学位论文 x 图2 5 传统b p 算法拟合结果 x 图2 6 自适应附加动量项算法拟合结果 1 8 武汉理工大学硕士学位论文 图2 - 7 本文改进算法拟合结果 由以上的实例分析结果可以看出，本文建立的b p 算法学习能力非常强，