（制糖工程专业论文）基于人工神经网络的微生物培养过程生物量软测量技术.pdf

摘要 摘要 在生化工业，通过微生物的培养而获得所需的生化产品是 一 种常用而有效的 手段。微生物的培养过程涉及一系列的非常复杂的生物、物理和化学反应，具有 高度的非线性、 非稳态性和时变性。 随着人们对生化产品的质量越来越高的要求， 有效且及时地控制与优化微生物培养过程变得越来越重要。在众多控制参数中， 又以生物量的监测与控制最为重要的。然而，目前缺乏 ;f 靠的生物量在线测量方 法，使及时、迅速的控制与优化难以实现。软测量技术是生化工业项新兴的研 究内容，是对传统传感器测量技术的有力补充:人工神经网络具有非线性映射能 力强、容错性好、可自学习的优点，近 一 年来在生化工业的应用受到越来越多的 关注。有鉴 飞 此，本论文采用人工神经网络作为数学模型对微生物培养过程的生 物量进行软测量，系统和全面地研究实验室规模的摇瓶培养和生物反应器分批培 养，以及土业化生产规模培养过程的生物量软测量技术，并建立了相关的软测量 模型及用其对过程进行优化。 首先，对实验室规模的微生物摇瓶培养过程的生物量浓度建立多层前馈网络 软测量模型。神经网络的输入参数为初始葡萄糖浓度和初始生物量浓度，隐层单 元数为6 ,输出参数为培养时 一 间分别为6 , 9 , 1 2 小时时的生物量浓度。所建网络 的泛化能力好，测试样本的平均相对误差为 1 . 9 1 %。另外，还验证了所建网络不 仅具有好的内推能力，而且具有定的外推能力。所以，由培养液的初始葡萄浓 度和初始生物量浓度通过网络软测量模n j 就可对摇瓶中微生物的生物量浓度进行 估算。 随后，对微生物生物反应器分批培养过程的生物量变化分别建立了静态和动 态神经网络的软测量模型。以结构为 5 - 5 - 1的静态多层前馈网络模型对生物量进 行估算， 网络的 输入参数包括了 培养时间、 温度、 p h , 溶氧量和葡萄糖浓度。网 络的估算精度较好，测试样本均方差达1 . 7 3 x 1 0 _ 3 ，但是，当微生物处j 几 生长的减 速期或静 卜 期时，网络的估算值与实测值就有一定的偏差。为解决此问题，将神 经网络建模技术分别与微生物生长机理模型和数据融合技术相结合。神经网络- 生长动力学混合模犁能很准确地对生物量进行t ili 算，测试样本的均方差为 0 .2 5 x 1 0 - ,其估算精确度远优于单独使用的神经网络。由四个子网络组成的数据 融合网络系统，能直接从培养过程在线可测量参数估算出微产 仁 物的生物量。数据 融合网络的泛化能力好，鲁棒性强， 对 p h传感器直线失效的情形也有较好的抗 干扰能力。然而，微生物的生 长是一个动态的过程，需运用其有动态性能的网络 建模刁 能更好地反映培养过程的动态实质。比较了延时神经网络和部分反馈网络 对分批焙养生物量动态软测量的效果，发现，以t - 1 和 t - 2时刻状态参数为输入的 华南理工大学博士学位论文 延时神经网络，以及以t - 1 和 t - 2时刻状态参数和 t - t , t - 2及 t - 3时刻网络输出的 生物量浓度反馈量为输入的部分反馈网络对生物量的软测量都有较高的精度，测 试样本的均方差分别为0 . 1 4 x 1 0 “ 和0 . 5 6 x 1 0 - 3 ， 优于静态网络; 但， 延时神经网络 的一步预测能力强，多步预测能力差，而部分反馈网络不仅动态性能强，多步预 测精度高，而月 _ 反馈网络的抗干扰能力也强。 最后，对i _ 业化酵母生产过程的生物量进行神经网络的软测量。考虑到工业 化生产中过程状态数据的粗糙性，对工厂报表数据进行了分析与筛选，确定网络 的输入参数为风机通气量、 乙 醇含量、 培养液体积、 温度和p h 。 以结构为1 1 - 1 6 - 1 的部分反馈神经网络对工业化酵母生产过程的酵母生物量浓度进行估算，网络的 估算值与实测量值能很好地吻合。 此外，利用人 i; 神经网络的生物量软测量模型反映了微生物培养过程生物量 变化与状态参数的关系，对培养过程进行优化。本论文基于生物反应器分批培养 过程生物量变化的部分反馈网络模型，利用遗传算法对培养过程的溶氧量控制进 行优化。遗传算法优化结果表明，对溶氧量优化控制可使微生物生长速率加快， 从而有利于提高产量。 可见，利用人下神经网络能对微生物培养过程的生物量变化进行软测量，测 量的精度较高，抗干扰能力较强，有助于实现对 一 微生物培养过程的控制与优化， 从而促进生化过程向工业化生产方向发展。 关键词:人 _ 神经网络;软测量;遗传算法;微生物培养;生物量 abs tr act abs trac t i n b i o c h e m i c a l i n d u s t r y , v a r i o u s u s e f u l b i o c h e m i c a l s u b s t a n c e s c a n b e u s u a l l y p r o d u c e d b y t h e c u l t i v a t i o n o f m i c r o o r g a n i s m s . d u r i n g t h e c u l t i v a t i o n o f m i c r o o r g a n i s m s , a s e r i e s o f c o m p l e x b i o l o g i c a l , p h y s i c a l a n d c h e m i c a l r e a c t i o n s o c c u r s . mi c r o o r g a n i s m c u l t i v a t i o n i s a n o n - l i n e a r , t i m e - v a r i n g a n d n o n - s t a t i o n a r y p r o c e s s . a s a r e s u l t , c o n t r o l a n d o p t i m i z a t i o n o f c u l t i v a t i o n a r e o f g r e a t i m p o r t a n c e d u e t o t h e e v e r - i n c r e a s i n g c o m p e t i t i o n a n d c o n s u me r d e m a n d s f o r h i g h q u a l i t y p r o d u c t s . a m o n g t h e p r o c e s s v a r i a b l e s , e s t i m a t i o n o f m i c r o b i a l b i o m a s s i s b y f a r t h e m o s t v i t a l p a r a m e t e r . h o w e v e r , t o d a t e t h e r e i s n o g e n e r a l l y a p p l i c a b l e m e t h o d f o r o n - l i n e m o n i t o r i n g o f b i o m a s s i n p r o c e s s e n v i r o n m e n t . s o f t w a r e s e n s o r s , w h i c h c a n p r o v i d e o n - l i n e e s t i m a t i o n s o f u n m e a s u r a b l e p r o c e s s v a r i a b l e s f r o m a v a i l a b l e s e n s o r s , a r e v e r y u s e f u l a n d p r o m i s i n g t o o l s i n b i o c h e m i c a l i n d u s t r y . i n r e c e n t y e a r s , a r t i f i c i a l n e u r a l n e t w o r k h a s a t t r a c t e d mo r e a n d m o r e i n t e r e s t w i t h i t s a d v a n t a g e s i n n o n - l i n e a r i t y , r o b u s t n e s s a n d s e l f - l e a r n i n g a b i l i t y . i n t h i s s t u d y , t h e s o f t w a r e s e n s o r b a s e d o n a r t i f i c i a l n e u r a l n e t w o r k w a s d e v e l o p e d t o e s t i m a t e t h e b i o m a s s o f m i c r o o r g a n i s m c u l t i v a t i o n . e s t i ma t i o n o f b i o m a s s i n t h e l a b o r a t o r y a n d i n d u s t r i a l s c a l e s w a s i n v e s t i g a t e d s y s t e m a t i c a l l y . n e u r a l n e t w o r k mo d e l s w e r e e s t a b l i s h e d a n d t h e c u l t i v a t i o n p r o c e s s w a s o p t i m i z e d . f o r f l a s k c u l t i v a t i o n , a f e e d f o r w a r d m u l t i p l a y e r n e u r a l n e t w o r k o f 2 - 6 - 3 t o p o l o g y w a s e m p l o y e d t o e s t i m a t e t h e b i o m a s s , w i t h t w o i n p u t s o f i n i t i a l g l u c o s e c o n c e n t r a t i o n a n d i n i t i a l b i o m a s s c o n c e n t r a t i o n a n d t h r e e o u t p u t s o f b i o m a s s c o n c e n t r a t i o n me a s u r e d a t c u l t u r e t i m e o f 6 , 9 a n d 1 2 h r . t h e n e u r a l n e t w o r k s h o w e d g o o d g e n e r a l i z a t i o n a n d m e a n r e l a t i v e e r r o r o f t e s t i n g s a m p l e s w a s 1 . 9 1 %. i t w a s d e m o n s t r a t e d t h a t t h e n e u r a l n e t w o r k s h o w e d i t s g o o d p e r f o r m a n c e o n i n t e r p o l a t i o n a n d e x t r a p o l a t i o n . t h e r e f o r e , t h e b i o m a s s c o n c e n t r a t i o n d u r i n g fl a s k c u l t u r e c a n b e p r e d i c t e d b y t h i s n e u r a l n e t w o r k m o d e l i f i n i t i a l g l u c o s e c o n c e n t r a t i o n a n d i n i t i a l b i o m a s s c o n c e n t r a t i o n w e r e p r o v i d e d . f o r b i o r e a c t o r b a t c h c u l t u r e , s t a t i c a n d d y n a mi c n e u r a l n e t w o r k s w e r e u s e d t o e s t i m a t e t h e b i o ma s s . t h e b i o ma s s c o n c e n t r a t i o n e s t i ma t e d b y t h e s t a t i c f e e d f o r w a r d m u l t i p l a y e r n e u r a l n e t w o r k o f 5 - 5 - 1 t o p o l o g y w i t h f i v e i n p u t s o f c u l t u r e t i m e , t e m p e r a t u r e , p h a n d d i s s o l v e d o x y g e n a n d g l u c o s e c o n c e n t r a t i o n w a s f i t t e d w e l l w i t h t h e a c t u a l v a l u e s , m e a n s q u a r e d e r r o r ( m s e ) o f t e s t i n g s a m p l e s 1 .7 3 x 1 0 -1 . h o w e v e r , i t wa s f o u n d t h a t t h e r e wa s s o me d e v i a t i o n b e t we e n e s t i ma t e d b i o ma s s a n d a c t u a l v a l u e s i i i 华南理土大学博士学位论文 w h i l e m i c r o b e w e r e g r o w i n g i n t h e s t a t i o n a r y p h a s e . t o i m p r o v e g e n e r a l i z a t i o n a c c u r a c y , t h e n e u r a l n e t w o r k w a s i n c o r p o r a t e d w i t h mi c r o b e g r o w t h m o d e l a n d d a t a f u s i o n t e c h n i q u e r e s p e c t i v e l y . o w i n g t o i t s i n v o l v e me n t o f a p r i o r k n o w l e d g e , h y b r i d n e u r a l n e t w o r k一 mi c r o b e g r o w t h m o d e l o f f e r e d a m u c h b e t t e r g e n e r a l i z a t i o n a c c u r a c y t h a n t h a t o f s i n g l e n e u r a l n e t w o r k m o d e l , w i t h m s e o f t e s t i n g s a m p l e s o f 0 .2 5 x 1 0 -3 . a f u s i n g n e t w o r k c o m p o s e d o f f o u r s u b n e t w o r k s c o u l d d i r e c t l y e s t i m a t e t h e b i o m a s s f r o m t h e o n - l i n e m e a s u r a b l e p r o c e s s v a r i a b l e s . t h i s f u s i n g b i o m a s s p r o v i d e d a v e r y g o o d e s t i m a t i o n o f b i o m a s s e v e n a l t h o u g h p h s e n s o r w a s f a i l e d . wi t h r e s p e c t t o t h e d y n a m i c n a t u r e o f m i c r o o r g a n i s m c u l t i v a t i o n p r o c e s s , d y n a m i c n e u r a l n e t w o r k s w e r e p r o p o s e d t o m o d e l t h e c u l t i v a t i o n p r o c e s s . t h e t i m e - d e l a y n e u r a l n e t w o r k w i t h i n p u t s o f p r o c e s s s t a t e v a r i a b l e s a t t w o p r e v i o u s t i m e s a n d t h e p a r t i a l r e c u r r e n t n e u r a l n e t w o r k w i t h i n p u t s o f s t a t e v a r i a b l e s a t t w o p r e v i o u s t i m e s a n d o u t p u t t i m e d e l a y s a t t h r e e p r e v i o u s t i m e s a l l g a v e a g o o d e s t i m a t i o n o f b i o m a s s , w i t h ms e o f t e s t i n g s a m p l e s o f 0 . 1 4 x 1 0 -3 a n d 0 .5 6 x 1 0 - r e s p e c t i v e l y . h o w e v e r , p a r t i a l r e c u r r e n t n e u r a l n e t w o r k w a s d e m o n s t r a t e d t o b e s u p e r i o r t o t i m e - d e l a y n e u r a l n e t w o r k f o r m u l t i p l e - s t e p p r e d i c t i o n a n d r o b u s t n e s s . f o r i n d u s t r i a l 一 s c a l e y e a s t f e r me n t a t i o n , i n p u t p a r a m e t e r s w e r e f i r s t l y d e t e r mi n e d a f t e r a n a l y z i n g t h e f a c t o r y d a t a , i n c l u d i n g v e n t i l a t o r y c a p a c i t y , a l c o h o l c o n t e n t , me d i a v o l u m e , t e m p e r a t u r e a n d p h . a p a r t i a l r e c u r r e n t n e u r a l n e t w o r k o f 1 1 一 1 6 - 1 w a s d e s i g n e d t o e s t i m a t e t h e y e a s t b i o m a s s . t h e r e w a s a g o o d f i t t i n g b e t w e e n e s t i m a t e d b i o ma s s a n d a c t u a l v a l u e s . b a s e d o n t h e n e u r a l n e t w o r k mo d e l , g e n e t i c a l g o r i t h m w a s u s e d t o o p t i m i z e t h e d i s s o l v e o x y g e n i n b i o r e a c t o r b a t c h c u l t u r e . t h e r e s u l t s h o w e d t h a t t h e m i c r o b e g r e w a t a f a s t e r r a t e u s i n g t h e o p t i m i z e d d i s s o l v e o x y g e n c o n t r o l s t r a t e g y . i n g e n e r a l , s o f t w a r e s e n s o r s b a s e d o n a r t i f i c i a l n e u r a l n e t w o r k a r e v e r y u s e f u l f o r e s t i m a t i n g b i o m a s s wi t h h i g h a c c u r a c y a n d g o o d r o b u s t n e s s , t h u s f a c i l i t a t i n g t h e r e a l i z a t i o n o f c o n t r o l a n d o p t i m i z a t i o n o f mi c r o o r g a n i s m c u l t i v a t i o n . k e y w o r d s : a r t i f i c i a l n e u r a l n e t w o r k ; s o f t w a r e s e n s o r ; g e n e t i c a l g o r i t h m ; m i c r o o r g a n i s m c u l t i v a t i o n ; b i o ma s s . i v 华南理工大学 学位论文原创性声明 木人郑重声明:所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完 全意识到木声明的法律后果山本人承担。 作 者 签 名 : 渗水 日期:2 0 0 3年 1 1月 2 8日 学位论文版权使用授权书 木学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编木学位论文。 保密cr，在一 土 年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以 卜 相应方框内扫 一 “d ) 作者签名 导师签名 : / k ; e,日期: 日期:2 0 0 3 年 1 1 月 2 8日 年 1 1月 2 8日 第一章绪论 第一章 绪论 微生物的培养过程是一种非常复杂的生物、物理和化学变化过程，其中既有 分子之问的转化又有细胞之间的转化，且初级代谢和次级代谢交叉进行，合成过 程复杂，影响因素众多，因此，具有高度的非线性、时变性和复杂的相关性。要 获得理想的产物，对复杂的培养过程进行及时、有效的控制是 i 一 分重要的。在众 多控制参数中，又以生物量的控制最为重要。 微生物的 i : 长是贯穿于 整个培养过程的，初级代谢和次级代谢产物的质与量 是与微生物细胞数 日及活力密切相关的。目前，最大的问题之一是缺乏可靠的在 线生物量测量方法，故而使及时、迅速的控制与优化难以实现，严重地阻碍了生 化工业向规模化、工程化方向发展的步伐，因此，寻找可靠的生物量在线测量力 法是当前生化工业急需解决的问题 。 1 . 1微生物培养过程生物量测量技术的现状 以微生物培养生产生化产品的过程中， 通常要求控制生产条件( 如温度、 p h . 溶氧量、搅拌速度等)以保证工作在其最佳的范围内，从而提高产品的产量与质 量。要实现对生产的有效控制就需要实时在线测量生产过程的状态参数，在这些 参数中，生物量是最重要的参数之一，它对监测与控制培养过程有着重要意义。 传统测量微生物生物量的方法包括干重法、光密度法 ( 浊度法)和染色计数 法等， 这些都是离线测量的， 需定时从生物反应器中抽取 一 定量的样本进行测量， 这样容易造成染菌;另外，离线测量生物量不能实现对微生物培养过程的自动控 制。虽然目前还没有种测量方法能广泛地适用于所有微生物培养过程实时在线 地检测生物量，但是，一些在线的测量方法己被研发出来，有些在实际应用中已 有成功的例了，这其中包括了浊度法、荧光法、电容率法和超声波法。 1 . 1 . 1浊度法 借助于自动取样系统以及对检测仪器的进一步改进，己研发出. 11 进行在线测 量的生物量浊度测量法。浊度法的原理是基于当光束照射含有微生物菌体的培养 液时，光的透射、散射和吸收特性会发生变化，使透过的光强度减小，而光5 1 t 减 小的程度与 培养液中的生物量浓度存在养线性关系的。 s a l g a d o l 1 用光 学传感器 连续地在线测量流动的自 来水及稀糖液中的酵母生物量，发现，在5 - 4 0 g 细胞/ l 的范围内光学传感器有很好测量精确度以及重现性。f o r c a t o 等 2 1 利用液相色谱的 装置改装了 一 套在线测量e s c h e r i c h i a c o l i b l 2 1 生物量的仪器，在2 8 0 n m 的波长而 不是常用的b 0 0 n m 波长下检测e s c h e r i c h i a c o l i 培养液的吸光度， 最大可测量的生物 量浓度为7 5 g / l ,感应量为3 . 5 m g / l ,测量结果与离线测量方法的结果很接近，而 华南理工大学博士学位论文 且-t - 复性好。但是，这种测量方法存在的问题是，培养液中其它悬浮的颗粒及气 泡都会影响光学传感器的性能，削弱测量结果的准确性。使用光纤传感器可一定 程度上解决此问题，光纤传感器接收的是氦气灯光源对菌体颗粒照射后的反向散 射和漫反射光信号o j a n e l t 等!1 1 验证了光纤传感器的光信号与菌体 卜 重与光密度有 很好地相关性，能在线和实地测量酵母培养过程的生物量。 1 . 1 . 2荧光法 荧光法最先应用于 1 9 5 7年，一 直不断发展，现己有商品化的荧光传感器。 微生物经染色后时进行培养，通过检测菌体所发出的荧光强度来表征生物量浓度 14 1 。 细胞有多 种发荧光物质如: 辅酶1 1 或还原辅酶1 1 ( n a d ( p ) h ) 、 色氨酸 毗 咯醇和核黄素。通常是检测n a d ( p ) h所发出的荧光，此荧光在3 6 0 n m时激发， 可在4 5 0 n m下检测。当n a d ( p ) h的浓度一 定时，荧光强度是直接i 生物量相关 的，这就是说，当微生物处于平衡生长，即组分不变化的情形 卜 ，荧光强度与生 物量有很好的相关性。这种力法不适合于监测微生物培养的整个过程。荧光法的 结果容易受细胞活性、 p h , 温度、 培养液粘度和测量背景等因素影响;另 外， 象 青霉素发酵时，由于青霉素本身就是发色物质，会造成于扰，荧光法也不适用。 1 . 1 . 3电容率法 电容率法的原理依据是m a x w e l l - w a n g e r 效应 ( 或称p 一 分布) 。 在无线电频率 范围内 ( o . 1 - i o mh z ) , 微生物细胞膜可以看成是一个小电容器， 如果培养液中微 生物数目越多，培养液的电容率就越大，两者存在线性关系。这就意味看可以通 过测量培养液的电容率来钡 d 量生物量浓度 5 1 活的微生物的细胞膜完整且是良好 的绝缘体， 一 般情况 卜 ，细胞内的带电离子很难穿过细胞膜到达细胞外部;细胞 外部的带电离子也很难渗透到细胞内部。如果外加电场时，在细胞膜内、外表面 就会积累的电荷，这样侮个细胞就象一个小电容器。p 一 分布是具有完整细胞膜的 微生物细胞特征的表现形式1 6 1 ，所以，电容率法仅测出活细胞的数目，而死的细 胞以及细胞碎片不会象浊度法那样影响测量结果。电容率法是非入侵式的测量方 法，不会干扰正常的微生物培养过程，可实现实时在线测量，但是电容率法的 个缺点是， 细胞形态的改变会影响细胞膜的电容， 从而影响培养液整体的电容率。 n e v e s等1 7 1 模拟工业化生产的培养条件下，利用电容率传感器测量 s t r e p t o m y c e s c l a v u l i g e r u 、 的生物量， 并与干重法等方法对比，认 为电 容率传感器 很适用-1 l 业化微生物培养过程的t l 物量实时测量。同样，z e i s e :等1 8 1 也 指出在 业化细胞高密度培养中，由电容率法测量出的生物p _ 浓度与离线测量的生物量 浓度很吻合。日前，工业 卜 常用的电容率传感器是a b e r b i o m a s s mo n i t o r ( a b e r i n s t r u m e n t s , u k)，它只限于测量电导率为4 0 ms / c m的培养液， 工作频率范围在 0 . 1 - - 1 0 mh z间。搅拌和通气所产生的气泡都会影响测量的结果，另外，在传感器 外表容易长有菌体群落1 a ,5 1 第一章绪论 1 . 1 .4超声波法 超声波法原理是高频低功率的超声波通过不同生物量浓度的培养液时，超声 波的传播速率会不同。 超声波的衰减量与培养液的生物量浓度是呈现线性关系的。 对细菌、酵毋和丝状真菌， 超声法的生物量浓度校正曲线的范围为。 - 1 0 g / l 1 1 . 冯斌等( 9 1 利用自 行设计的超声传感器对啤酒生产中的酵母浓度进行测量，确定了 酵毋细胞浓度与超声波传播速度与温度之间的对应关系，在啤酒厂的试用中取得 很好的效果。 超声传感器具有结构简单、精度高、成本低和能耗小等优点，但是，超声传 感器对培养液粘度的变化很敏感。 1 . 2人工神经网络简介 人s神经网 络 ( a r t i f i c i a l n e u r a l n e t w o r k , a n n ) ，简称神经网络，模拟了人 类大脑的神经网络部分结构和功能，是山多个非常简单的处理单元按某种方式相 h : 连接而形成的计算系统，具有学习、记忆、联想和计算功能。它可以有效地对 模型不确定的数据进行大规模非线性自适应信息处理，自动调节不同类型的非线 j性响应，是一种新型的黑箱方法。人约在二十世纪九 卜 年代，神经网络才应用到 生化l 业。山于其对处理非线性、非稳态系统独特的特性，受到科学研究者的注 意，在短短的十年间，神经网络在生化工业的应用己越来越广，并且生化 仁 业逐 渐成为神经网络主要应用领域1 1 0 1 人工神经网络是由大量处理单儿一一神经元广泛互连而成的。与传统的处理 方法不同，网络的信息处理是由神经元之间的相互作用来实现。它反映了人脑功 能的许多基木特性，但它并不是人脑神经网络的真实写照，而只是对其作某种简 化、抽象和模拟，是数学、计算机、神经生理学等众多学科相结合的产物。 二 十世纪四 年代初，美国mc c u l l o c h 和 p i t t s 从信息处理的角度研究了神 经细胞布 j 一 为的数学模型表达，提出 _ 值神经元模型 ( mp模型) 。mp模型的提出 开始了对神经网络的研究进展 1 1 , 1 2 1 。近年来，随着计算机、人_ 智能和人体生理 学的发展，神经网络在人工智能领域的巨大潜力日益受到人们的重视与关汁。神 经网络应用越来越广 ( 见表1 - 1 ) ,正 慢慢地向各个领域渗透i 1 ， 一 “ 。 1 . 2 . 1人工神经网络的基本原理 1 .2 . 1 . 1人工神经元模型“ 7 ,1 8 1 人 i . 神经网络是模仿生物神经网络设计出来的，它是由一系列的神经元及相 应的连接构成。神经元是人上神经网络构成的最基本的单儿。它一般是一个多输 入单输出的非线性器件，其 一 般的结构模型如图1 - 1 。在该图中的a t , a 2 ， 二， “ 。 表 示各种输入参数; w i i , w j 2 , . w i 表示各权值; 弓 为阂 值; v i 为神经元的 净输入， 定义为: 华南理土大学博士学位论文 表 1 - 1人工神经网络的应用 t a b l e 1 - 1 a p p l i c a t i o n o f a r t i f i c i a l n e u r a l n e t w o r k 应用领域 信息领域 具体应用 信号处理 自动 化 领 域 工 程领域 模式识别和图像 处理 系统辨识 故障诊断 智能检测 汽车工程 军事工程 化学工程 水利工程 医学领域数据分析 生物活性研究 医学专家系统 经济领域信贷分析 市场预测 信用 k 欺骗检测 部分应用实例 日标检测， 杂波去噪声或畸形波形的恢复， 运动 日 标的速度估计，多目标跟踪 雷达回波的多目标分类，印刷体和手写体字符识 别，语音识别，签字识别，指纹、人脸识别 电流变传动系统，电弧炉炼钢模型识别 电液伺服阀实时故障诊断 车牌的识别，温度、湿度、风向等检测 汽车刹车自动控制系统， 载重车柴油机燃烧系统方 案优化 军事日标识别，语音开关，指纹开关，武器系统效 能评估，滑模跟踪器 连续搅拌釜反应器控制， 流态化催化裂化单元故障 诊断，甲醛生产优化，催化剂配方优化， ，色谱数 据分析 水文分析， 汛期水位预报， 单桩竖向极限承受力预 测，岩体爆破地震效应模型，水资源规划 脑电图、胃肌电等信号处理， 基因数序列分析，中 药分类识别，药物动力学 蛋白质二级结构预测， 苯乙酞胺类化合物构效关系 医学图像分析与辅助诊断 证券组合投资，宏观经济投资模型 股票预测，价格预测 签名识别，人像识别 一茗 a iw , 十 “ 了 (一 1 ) 而” 习 ( v ; ) 是神经元的输出。 由此可见，神经元对输入信息的处理过程是，神经兀先对每个输入进行程度 小等的加权，然后对加权输入求和，最后通过转移函数f ( - ) 得出神经元输出。 人工神经网络就是由众多个这样的神经元组成，完成对输入信息的处理，实 现多种功能。 第一章绪论 图1 - 1人_ i二 神经元模型 f i g . 1 - 1 mo d e l o f a n e u r o n 1 .2 . 1 .2转移函 数 1 1 .1 8 -2 0 1 神经元的转移函数反映了神经元输出与 其激活状态之间的关系，影响着人_ !- 神经网络的整体性能。最常用的转移函数可归结为二种形式:ic j 值型、分段线性 型和 s型。 ( 1 )阂值型转移函数 闪值型转移函数又称阶跃响应函数，如图1 - 2 ( a ) ，用下式定义: 其输出状态取 烈转移函数。 xa0 x0 1 和 0值，分别代表神经元的兴奋和抑制。 ( 1 - 2 ) m- p模型就是采用阑值 丸q r、jl，.l i- 、.声 x 哎 fj ( 2 )分段线性型转移函数 分段线性型转移函数的输入输出关系如图1 - 2 ( b ) 。 该函数 特点是神经元的 输 入与输出在定区间内满足线性关系。山于 具有分段线性的特点，因而在实现上 比较简单。其表达式如下: 1 ， b x+ ， 0 , 戈 xx ,( 1 - 3 ) xx , f.!了les1 一- 、， x 了.气 r少 ( 3 )5型转移函数 5型转移函数的特点是它有 l、 界，且单调增长，函数木身及其 导数都是 连续可导，在处理上十分方便。s型转移函数又分为单极性和双极性 s型函数， 见图1 - 2 ( c ) 和( d ) e ( n + 1 ) e ( n ) e ( n + 1 ) ( 2 - 1 6 ) r.，之卫il - 、夕 一. 十 n 了 甲 式中，q , ,几 -几和几均为大于 零的 常数。 (3 ) l e v e n b e r g - m a r q u a r d t 法( l - m法) 15 8 -6 1 1 b p网络的训练实际上是 一 个非线性目标函数的优化问题。 标准b p算法使用 的是优化法中的最简单梯度下降法。在梯度算法中参数是沿着与误差梯度相反的 方向移动，使误差函数减小，a . 到取得极小值。在最初儿步下降较快，但随着接 近最优值，山j 几 梯度趋于零，致使目标函数下降缓慢。增加动量项法和学习率自 适应法也是针对梯度下降算法而提出的改进方法。 其实，还可以采用其它数值优化法，如 l - m法。l - m 法是种近似的高斯- 牛顿法，是高斯一 牛顿法 与梯度 下降法的结合，它既有高斯一 牛顿法的局部收敛性， 又具有梯度下降法的全局特性， 在网络权值较小时收敛非常迅速。 因此， 采用l - m 法的b p网络应用越来越广。 多层前馈神经网络的权值学习实质上是一个无约束极值问题，其误差日标函 数为e . ( w ) o网络权值的改变就是为了使误差目 标函数e ( w ) 尽可能小。 e ( w ) 对w 的 梯度v e ( w ) 1 11 表示为; v e ( w ) 一 j t ( w ) e ( w ) ( 2 - 1 7 ) 华南理:1 .大学博士学位论文 v e ( w ) 一 j t ( w ) e ( w ) + s ( w ) ( 2 - 1 8 ) 式 中 ， e (w ) 为 误 差 ， 是 期 望 值 与 网 络 计 算 值 间 的 差 值 ; s (w ， 一 菩 e ;(w )v e ;(w ) : ! t 为雅可比j a c o b i a n 矩阵，即: a e , ( w) a e , ( w) a w , a 姚 a e , ( w ) a w a e 2 ( w) j ( w) a w , a e ,v ( w ) a w , a e z ( w) a w 2 a e 2 ( w) a w a a e , ( w) a w ( 2 - 1 9 ) a e , ( w ) j w 2 reslesweseeseseseseseseseses卫 一 对高斯一 牛顿法， 假设s ( w ) 0 , 那么， 4 w一 j t ( w ) j 尸) 一 ， i ( w ) e ( w ) ( 2 - 2 0 ) 而l - m法是高斯一 牛顿法的改进，即: a w二 一 j ( w ) j ( w ) + u ! 一 ， j ( w ) e ( w ) ( 2 - 2 1 ) 式中，u 是大于0的常数，称为阻尼因子，1 是单位矩阵。 从公式( 2 - 2 1 ) 中可见， 阻尼因 子u = 0 时， 则为高斯一 牛顿法; 当“ 很小时， l - m 法接近于高斯一 牛顿法，当“很人时，l - m法则成为梯度下降法。在实际操作中， u是一个试探性的参数，根据i 算出的误差目标函数进行修正，如果由给定的 “ 求得的 w使误差h标函数e ( w ) 减小， 则“ 要减小些; 反之， 则“ 值要取大些。 l - m算法关键步是找到适合的u 值使误差目标函数趋十尽可能小的值。所以， l - m算法被称为 “ 信任区域高斯一 牛顿法” 。 l - m算法用于多层前馈神经网络的计算步骤如下: ( 1 )网络初始化:初始化权值和阐值，选取u 值。 ( 2 )向网络输入所有输入变量，计算相应的隐层输出和输出层输出、误差 e = d j 一以 及总误差f . ( w ) e ( 3 ) 按公式 ( 2 - 1 9 )训算j a c o b i a n 矩阵。 ( 4 )按 ( 2 - 2 1 )式计算出 w o ( 5 ) 按w _ ， = w , + 4 w更新权值，计算新的总误差。如果新的总误差小于 原来的总误差，将“ 除以 常数b ，将新的权值 w l