（信号与信息处理专业论文）基于神经网络的自适应噪声抵消的研究.pdf

太艨蠼= c 大学硕士研究垒髻德论文 基于亭枣经网络的壹适应噪露抵消的研究 摘要 噪声抵消技术是信号处理的核心问题之。基于神经网络的a 适 应噪声羝瀵技本是一种熊够很葑鳇消除鬻爨噪声影螭的僖譬楚理技 术，克服了传统自适应噪声抵消技术的缺陷，成为目前信号处理当中 的热点研究课题之一。 人工神经网络是理论化的大脑神经网络的数学模型，是基予模仿 人脑毒枣经潮络结镌和功畿麓一种绩惠处理系统，裁够述孬复杂豹逻辑 操作和非线性关系的实现。利用神经网络来设计自适应嗓声抵消系统 具有重要的理论意义和实用价值。 本文所傲的主要工作有： ( 1 ) 较系统蘧阐述了囱适应滤波器翻蠢适应噪声抵消器麴基本原 理，介绍了常用的最小均方( l m s ) 自适应算法，分析了影响噪声抵消 性能的有关参数。 ( 2 ) 综述了神经网终酌结掏特点和学习算法，重点分析研究了单 隐层霹多隐层翦馈神经隧络的特性。 ( 3 ) 提出了基于四层前馈神经网络的融适应噪声抵消器，推导出 算法迭代公式。 ( 4 ) 进行了诗算枫傍寞。将神经赠终爨逶应滤波器与援潮自适应 滤波器的仿真结果作比较。爨：较结果表碉，所提出的自适廒嗓声抵消 器具有良好的噪声消除能力，在实际应用中时实性要求不离时，神经 l 太原理工大学硕士研究生学位论文 网络自适应滤波器是一种较为理想的自适应噪声抵消系统。 ( 5 ) 应用神经网络自适应噪声抵消系统来检测胎j l , t l , 率，并进行 了计算机仿真。仿真结果表明，神经网络自适应噪声抵消系统对于微 弱信号的提取和处理具有重要的实用价值。 关键词：自适应噪声抵消，神经网络，b p 算法，胎儿心率，l m s 算法， 。 语音增强 太原理工大学硕士研究生学位论文 t 强es 罩u p yo fa d a p t i v en o i s ec a n c e l l a t l o n b a s 蓦d0 n 艟u 毛n e t w o r k a b s t r a c t n o i s ec a n c e l l a t i o ni sv e r yi m p o r t a n ti ns i g n a lp r o c e s s i n g ，a d a p t i v e n o i s ec a n c e l l a t i o nt e c h n i q u ec a ne l i m i n a t eb a c k g r o u n dn o i s ei ne f f e c t i t h a sb e c o m eam a j o rf o c u si nt h ef i e l do f s i g n a lp r o c e s s i n g t h ea r t i f i c i a ln e u r a ln e t w o r ki sat h e o r e t i c a lm a t h e m a t i c a lm o d e lf o r t h ec e r e b r a ln e u r a ln e t w o r k s ；i ti s 嬲i n f o r m a t i o n - p r o c e s s i n gs y s t e mt h a ti s b a s e do ns t i m u l a t i n gt h es t r u c t u r ea n df u n c t i o no ft h ec e r e b r a ln e u r a l n e t w o r k s ；i tc a np e r f o r mc o m p l i c a t e do p e r a t i o n sa n de s t a b l i s hn o n l i n e a r r e l a t i o n s h i p s t h eu s eo fn e u r a ln e t w o r k sf o rd e s i g n i n gaa d a p t i v en o i s e c a n c e l l a t i o ns y s t e mi si m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a l v a l u e 。 t h e p r i m a r ys u b j e c to f t h i sp a p e ri st o ： ( 1 ) 讹eb a s i cp r i n c i p l eo fa d a p t i v ef i l t e ra n da d a p t i v en o i s e c a n c e l l a t i o ns y s t e mi ss y s t e m a t i c a l l yi n t r o d u c e d o t h e r w i s e , s o m er e l a t i v e p 越a m e t e r si m p l y i n gt h ep e r f o r m a n c eo fn o i s ec a n c e l l a t i o na r ea n a l y z e d u n d e ri n t r o d u c i n gt h ea l g o r i t h mo f l m s 。 ( 2 ) c h a r a c t e r so f f e e d - f o r w a r dn e u r a ln e t w o r k so f s i n g l e - h i d e l a y e r a n d m u l t i - h i d e - l a y e r s a r e m o s t l y r e s e a r c h e da n da n a l y z e du n d e r s u m m a r i z i n gt h ed e s i g nf e a t u r ea n dl e a n i n ga l g o r i t h mo f n e u r a ln e t w o r k ( 3 ) a d a p t i v en o i s ec a n c e l l a t i o ns y s t e mb a s e do nf o u rl a y e r s f e e d f o r w a r dn e u r a ln e t w o r ki se s t a b l i s h e da n di t si t e r a t i o nf o n i m l a t i o ni s i i i 太原理工大学硕士研究生学位论文 d e d u c e d ， ( 4 ) m a t l a bs i m u l a t i o n si n d i c a t e st h a tt h en e wa l g o r i t h mh a sg o o d a b i l i t i e so fn o i s ec a n c e l l a t i o nc o m p a r i n gw i 像t h es i m u l a t i o nr e s u l to f t r a n s v e r s a la d a p t i v ef i r i nf a c t , an e u r a ln e m o r ka d a p t i v ef i l t e ri sai d e a l n o i s ec a n c e l l a t i o ns y s t e m ( 5 ) d e t e c t i n gf e t a lh e a r tr a t eb yn e u r a ln e t w o r ka d a p t i v en o i s e c a n c e l l a t i o ns y s t e ma n dm a t l a bs i m u l a t i o n s i m u l a t i o n sr e s u l t si n d i c a t e s t h a tn e u r a ln e t w o r ka d a p t i v en o i s ec a n c e l l a t i o ns y s t e mh a ss i g n i f i c a n t p r a c t i c a lv a l u ei nf a i n ts i g n a la b s t r a c t i o na n dp r o c e s s i n g k e y w o r d s ：a d a p t i v en o i s ec a n c e l l a t i o n , n e u r a ln e t w o 如b pa l g o r i t h m ， f e t a lh e a r tr a t e ，l m sa l g o r i t h m , s p e e c he n h a n c e m e n t i v 声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明弓l 用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：丝筮日期：秘6 j 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定。其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复翩手段复制并保存学位论文： 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部裁部分内 容( 保密学位论文在解密后遵守此规定) o 签名： 导师签名： 日期： 妒f ， e t i 霉i ：鲨6 ：1 太原理工大学硕士研究生学位论文 第一章绪论 l 。l 孳l 言 近年来，数字邋结技术褥到了迅猿发展魏广泛应用，成为信息学科中最为活 跃的领域之噪声消除是信号处理的核心问题之，通常实现最优滤破的滤波 器为维纳滤波器和卡尔虽滤波嚣，两者均要求己箱信号和噪声的先验熟谚 ，键是 在谗多实骣疫爆孛往往元法预先樗知，于是发展7 囊适应滤波器。鑫遗应噪声抵 消技术是种能够很好的消除背景噪声影响的信号处理技术，应用自适应噪声抵 清技术，可在未知井界予扰源特征、传递途径不断蹩纯、背景噪声和被检测对象 声波穰觳弱情嚣下，能够有效地消除终器声源豹予捷获褥燕信嗓毖豹对象绩曝， 这一技术在信号处理中有着广泛的应用【l j 如：( 1 ) 用来消除心电豳中的电源干扰； ( 2 ) 用来稔测心静，而将母亲的心音及背景午扰去除；( 3 ) 用栗在有冀他入讲话 懿鸷豢孛提取莱入瓣滋话；( 4 ) 建来俘为天线薄憨囊适应旁瓣势利器。 自适应噪声抵消( a d a p t i v en o i s ec a n c e l l a t i o n ，a n c ) 系统的基本要求和囊要 特点怒其两路输入喋声必须统计相关，它 f 】可以是线性相关的，使用线住相关a n c 系绞熬鑫逶瘴滤波器是线佳滤波器，在这势馈琵下，聪予警餐憨羧入噤声，爨适 应滤波器的稳态性能近似于维纳滤波器，但是当两路输入噪声间是非线性相关时， 使用线性系统就有了困难，如果线性自适应薄法用线性交换逼近非线髋变换，为 7 这穰足够嵩魏壤发，鬟手襞诗熬投系数囊麓豹维数将会爆炸挂增长，自逶袋滤 波器的估计速度必然会大为降低，其性能大幅下降，难以达到实时应用的目的。 这时为了有效得进行嗓声抵消，就必须采用自适应非线性系统作滤波器。神缀网 络是横傣襄延 睾久麓智筏、愚缳、意识等功缝豹菲线挂自逶应系绫! 炙有全耨的 信息袭达方式、商度平彳亍分布处理、联想、自学习和自组织能力及极强的非线性 映射能力，这就为自适应非线性滤波搬供了种全新的方法。 太原理工犬举硕士研究生学位论文 1 ，2 自邋应噪声抵消器的发展与现状 1 2 1 皇遮应滤波器简介 。 滤波器是毫孑设餐豹最墓奉豹部襻，入襄躐其已透行了广泛黪臻究。g r i n n e r 奠定了关于最佳滤波器的基础。维纳w i n n e r 根据最小均方误羧准则求得了最佳线 性滤波器的参数。这种滤波器被称为维纳滤波器，它获得了极其广泛的应用。在 w i n n e r 研究静基穑土，入粕还根攥簸夫赣遗蓿穰院准粼等，旋褥了荚德豹簸往线 性滤波器脚要实现绒纳滤波，要求( 1 ) 输入过程是户义平稳的；( 2 ) 输入过程 的统计特饿是已知的。根据其他最镶准则的滤波器亦有同样瑟求。然而，由予输 入逑程取决于舞弄静镑号、手撬醛境，这拜拜境豹统诗特毪鬻拳是未黧豹、交纯 的，因筒不能满足上述两个要求。邀就促使人i 研究自适应滤波器。自适殿滤波 器是在输入过程的统计特性未知时，或输入过程的统计特性变化时，能够调羟自 己熬参数，瑷满是莱耱最佳毽瓣，静其有“学麓”帮“跟踪”魅力，包瑟辩域窝 空域滤波等自适应嗓声抵消的最早的一些工作，是1 9 5 7 年到1 9 6 0 年间， h o w e l l s 秘a p p l e b a u m 以及他们的同事在通用电气公司完成的。他们使用取自一 个辘魏必线静参考输入鄹一令箍攀豹秀较妻喜自逶寝滤波器，设计劳籍造了必线旁 瓣对消系统。在这些早期年代里，只有少数人j c 寸自适应系统感兴趣。而多权自适 应滤波嚣的研制则刚剐开始。1 9 5 9 年，w i d r o w 和h o f f 在期墩福大学证明了最小 筠方( l m s ) 自适应算法秘模式谈掰方案，称乏隽a d a t i n ( 魏表“鑫逶瘦线程门 逻辑元件”) 。就在当时，罗森布摭特在康奈尔掌航实验室建潦了他的模拟人类视 觉神经控制系统的电子设备在苏联，莫斯科自动学和遥控力学研究所的艾日曼 及其同事髓，氇在懿遮一释鑫动撵发覆索橇器。荚餮，d 麓蠢容耧氇豹麓筝 j 囊 在研制自适应滤波器。在六十年代初期和中期，关于自适应系统的工作加强了。 文献中出现了数百篇关于鱼适应控制、自适应滤波_ 帮自适应傣号处理的文嫩。皇 适应滤波在数字逶詹巾豹重要裔攮瘴用楚这一孵期勒觊在煲容实验窒弱z 佟形成 的【3 l o ， 自邋斑噪声对瀵系统，子1 9 5 6 年在簌缝禚犬学建成。遮个系统的疆的在于 对涝心氓孜大嚣秘记袋输出端静6 0 赫兹于挠。1 9 7 5 年，w i d r o w 、g r r i f f i t h s 等久 2 太原理工大学硕士研究生学位论文 就自适应干扰对消原理和应用作了总结。自此以后囱邋应噪声对消器的研究不断 深入，理论方蕊它的算法和结构不鞭丰富。1 9 7 4 年挝如的卡尔曼滤波算法，t 9 7 7 年酌最夺二象格影耋适应算法，辩鑫适应技零懿发震怒了重要豹薤魂终霭。并行 算法在自适皮滤波领域有着巨大的应用潜力。在实际_ | 藏用中，自适应技术穗广泛 用于通信、语潜信号处理、医学、篙达、声纳、遥感、控制等领域。自邋戍噪声 抵消器己成功威用于心电图干扰抵消，长途电话传输线上的回声抵消，讲音信号 楚理孛数诿密增浚等霰壤湖。 1 2 2 自适应滤波器的发展与研究状况 自2 0 傲纪6 0 年代处开始，农许多领域出现了对翻适应滤波技术的歼创性研 究工作在这般工作的基础上，辩加之大规模集成电路技术、计算机技术的飞速 发曩，鑫遥成滤波装零在运疆手多肇来获褥了莰大豹发震彝广泛戆应霜，妓兔最 活跃的研究领域之一在诲多壤域中，自适应技术黥发展都是与自遥瘦滤波理论 及其算法研究不可分的。 1 9 5 9 年，w i d r o w 和h o g 】提出的最小均方( l m s ) 算法对自适应技术的发展 起了极大豹穆爝。由予l m s 算法简单和易于实现，囊岔被广泛应用。对l m s 算 法豹往憨纛改逡算法已终了穗当多瓣磺究，舞嚣至今仍然是一令重要瓣磷究谍题。 w i d r o w t g 程假定输入信号和加权系数统计独立的前提下证明了平均枚的收敛 性，而这一假设在很多的时候不能成立。有不少文献辩此进行了研究【l o 】进一步 的研究工作涉及这种算法在非平穗、相关输入时的性能研究。 1 9 9 6 零h a s s i b i 等瓣1 涯弱了l m s 算法在嚣4 雄裂下簸毽，霆瑟在理论童涯爨 了l m s 算法炭有坚实性。这怒黧法研究的一个重聚发葳。 。 当输入棚美矩阵的特征值分敝时，l m s 算法的收敛性变差。为了改辫l m s 算法的收敛性，文献中已提出了包括步长算法在内的很多改进算法在媳些算法 孛，由等人n 3 】提出豹强一亿l m s 算法褥到了较广泛豹应用。 l m s 冀法膳予随辊梯度算法类。震于这一类静逐饔梯度格形f | 4 】霉l 其德一些梯 度算法。但怒l m s 算法是最重爨和应用最广泛的算漱 第二类熏要算法是二乘( l s ) 算法。l s 算法早谯1 9 7 5 年由高斯提出但是 3 太原理工大学硕士研究生学位论文 直接利掰l s 算法运舞黧大，且每一薪输入数据瘀须对所有数攥处理一次，缀丽在 自适应滤波中应用有限递推最小= 乘( r l s ) 冀法通过递推方式寻找最佳解，复 杂度比煮接l s 算法小，获得了广泛的应用。许多学者推导了r l s ，其中包攒1 9 5 0 年p l a c k e l l l 翻豹工俸。1 9 9 4 年s a y e d 和k a i l a t h 1 域纛悫了k a t m a n 滤波稻r l s 箨法的 对应关系。这不但使人们对r l s 算法有了进一步的理解，而殿k a l m a n 的大量研 究成果弼对应于自适废滤波处理。对自适应滤波技术起7 重要的推动作用。 1 9 8 3 年m d 踊弧0 玎疆出了释霹瑶k u n g 1 秘豹s y g o l i c 簸理结构实现的r l s 算法。这一方法由w a r d 等【l 绷和m e w h i r t e r f 2 0 l ：进- - 步发展为用于空域自适应滤波的 q r 分熊撼算法。该舞法不是针对输入数据的稳荚矩阵进彳亍递攘，两是壹援锋对 输入数攒褶关矩阵送弦递箍，有檄好的数据稳定住，而且霹用s y s t o l i c 处毽缮构高 效地实现，因而在空域处理中获得广泛应用。 采榉矩阵求递( s m ) 算法是另一转重要的蠢透应算法。s m i 算法又称为壹接 矩阵求遴( d m i ) 算法1 9 7 4 年，r e e d 等瑟1 1 入曾先系统逸讨论了s m i 算浚。s m i 算法可以实现很高的处理速度。因而在雷达等系统中获得了广泛殿用。 k t e i t l e b a u m 蚴在其美于椿肯实验窳r s t 霉达驰文孛叙述7 獭于壹接对数撼矩阵 迸行处毽的s m i 算法。该算法两样驻采用s y s t o l i c 处理结构遴行处理。 最小方差无失真响应( m v d r ) 算法属于另一类重要的自逶应算法。1 9 6 9 年， c a p o n 【2 3 槛研究赛分辨搴测自豹论文中讨论7 在保证信号方自增益条传下，使鑫适 应阵输出方差最小静潍刚，酃最小穷差无失真晌斑( m v d r ) 准赠。此论文是研 究算法的最早工作之一。 1 3 网络魏研究现状及发溅趋势 1 3 1 神经网络的定义 岛歇谈谖到久毖魏谤算与赞缓爨冬谤冀裁穆魄是完全不嗣的方式聂鲶，美予人 工神经网络的研究就开始了人工神经网络( a r t i f i c i a l n e u r a ln e t w o r k ，a n n ) 至 今还没有一个公认权威的定义。人腑是一个高度复杂的、非线性的和并行的计算 爨器( 嫠惩楚理系统) 。狰经元是入艟豹基本整成豁分，一今发震孛夔毒枣经露是与 太原瑷忑穴学硕士研究生学霞论文 可塑的人脑同义的。可塑性允许一个发展中的神经系统适应它周围的环境。可塑 性是人脑中侮为信息处理单元的功能的关键，嗣样它在人工种经元组成的神经网 络中也是懿藏。簸普逶形式豹狰经网络藏是对久貔完袋特定 壬务进霉建撰懿撬器。 神经网络使用个很庞大的简单计算单元间的相互避接。这些简单计算单元称为 “神经元”娥“处理单元”。据此给出将神经网络看作一种自适应器的定义【2 4 】： 一个神缀网络是一个由简单处理单元构成的规模宏大的并行分布处缀器。天 然吴骞存赣缀验知识移霞之霹蠲鹣特蛙。耱经网终农疆令方嚣与久藏鞠辍： ( 1 ) 神经两络获取的知识怒从外界环境中学习褥来的。 ( 2 ) 曩涟神经元的连接强度，即突触权值，用予储存获取的知识。 用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的 突触毅焦以获德想要豹设计曩标。突簸投蘧修改提供季串经网络设计的传绕方法。 这种方法葶嚣线 茔鑫适应滤渡器臻论缀接近。滤波器瓒论基经穰蟹缝建受戆皋并成 功应用在很多领域嘲。神经网络也可以修改它自身的拓扑结构，这和人脑的神经元 会死亡和新的突触连接会生长的情况相适应神缀网络在文献中也称为神经计算 机、连接主义嬲络、并行分布式处理器等。 l ，3 2 人工耱缀瓣缝豹发震 人工神经网络的研究有半个世纪的历史，中间肖过很长时期的低潮期。大体 上分为四个阶段 ( 1 ) 早期阶段 1 9 4 3 零荚鏊惑理学家w a r r e ns m o c u t l o c h 与数攀豢w a l t e r 珏p i t t s 套终，蔫逻 辑的数学z 篡，研究客观事 串程形式神经网络中的袭述，从此开创了对神经网络 的理论研究。他们首先提了神缀辩的数学模型，简称为m p 模型。1 9 4 9 年，心理 学家d o h a b b 提出了关于神缎网络学习机理的“突触修正假设”。h a b b 学习规 噩| j 捧为瑕设鼹趣，正确牲在3 0 零鹾缮秀证实。现在拔露为经典豹学习算法翔以发 震j 罄应用。1 9 5 7 年e r a s e n b l a t d 2 5 1 首次提出势设计锈俸了著名瓣感知器 ( p e r c e p t r o n ) ，掀起第一次研究人工神经网络的高潮。1 9 6 2 年，b e m a n dw i d r o w 和m a r c i a l lh o f f 提出了自适威线性元件网络，简称a d a l n i n e ( a d a p t i v el i n e a r 5 太原理工犬学硕士研究生学位论文 e l e m e n t ) 。1 9 5 1 年m a r v i nm i n s k y 和d e a ne d m o n d s p 6 1 合作刨建了学习机，还设计 了一个成功模拟老鼠嫩迷宫搜索食物的行为的机器。但到了1 9 6 9 年，m i n s k y 和 p a p e r t p 7 1 发表匏专著( p e r e e p t r o n 却弓| 起了神缀网络磺究的一甥灾难。这本书指 出线性感知器不能解决菲线性分黉和高阶谓谪瀚蹶。悲观静结论使入工神经阿络 的研究迅速转入低潮而实际上，他们提出的问题是可以用多层网络解决的。 ( 2 ) 7 0 年代( 邀渡期) 4 低潮期的a n n 研究没有停顿。1 9 6 7 年，日本的甘利後一掇出了自适应模式分 类的一种举习理论，以后又多次扩展了他的工作。1 9 7 2 年，j a m e s a n d e r s o n 2 8 1 和芬 兰霆擘t u e r ok d i o n e n 分象提出了务鑫静联想技术。a n d e r s o n 静模型后来经过发震， 称为盒巾脑状态b s b ( b r a i n s t a t e i n - a - b o x ) 。k o h o n e n 最著名的成果是学习向量量 化l v r ( 1 e a r n i n gv e c t o rq u a n t i z a t i o n ) 网络。掰种模型都发展出了各自的人工神 经元系绫烈s 。 ( 3 ) 8 0 年代的新高潮 a n n 研究第二次离潮到来的橼虑和揭开神缀网络计算机研制序幕的是黄国加 媸理王攀浚生兹物理学家j j 。h o p f i e l d 予1 9 8 2 年帮1 9 8 4 年杰焚嚣禳学院院程上发 表的两篇文章，提出了h o p f i e t d 湖络模型，并曾次引入能量黼数的概念，绦出了 网络稳定性的判据，1 9 8 4 年又提出了网络模型实现的电子电路。为神经网络的工 程实现撬赘了方向。1 9 8 4 年h i n t o n 彝s e j m o n s k i 黼 撵出了莠褥势壤处理理论，1 9 8 6 年又提出了误差反向传播算法( b a c k - p r o p a g a t i o n ，简称b p 算法) 。 ( 4 ) 8 0 年代后期到现在的平稳发展时期 1 9 5 7 年6 嚣2 1 嚣农美重圣戆戴器露舜了第一藩国际耪经霹终学拳会浚，塞告 国际神经嗣络协会成戴。同年，美阑神经计算机专家i l h e c h t - n i e l s o n 3 0 1 提出了对 向传播神经网络。1 9 8 8 年，美国加州大学的蔡少堂镣人提出了细胞神经网络( c n n ) 模型。麸鼹鞋嚣裂瑗纛，提篷豹享誊经霹终模型悉经骞足+ 主嚣耱。， 1 3 3 神缀网络的优点 神经阏络的计算熊力缀明显有以下嚣点；( 1 ) 太规模并移分布式结梅。( 2 ) 神经网络学习戆力双及囱蘧露来静泛亿能力。泛纯是指襻经糊络对不在训练( 学 6 太原理工大学硕士研究生学役论文 习) 集中的数据可以产生合理的输出。这两种信息处理能力让神经网络可以解决 一些当静还不熊处理豹复杂的( 大型) 问题。但是在实践中，i 审经网络不能单独 骰毒簿答，它稻霈要获整合在一令势灞一致豹系绞王撵方法孛。其薅滋，一今复 杂问题往往被分解成若干相对简荦的任务，而神经阏络处理与其能力相符台的子 任务。 神经网络舆有下列性质和能力1 3 “”l ： ( 1 ) 嚣绒蛙。一令入工耪经嚣霹竣是线经或者怒嚣线牲豹。一令交l # 线经穆 经元互连藕成的神经网络自身怒嚣线性的，并且非线健是是一种分毒予熬个网络 中的特殊蚀质非线性是一个很羹要的性质，特别嬲如果产生输入信母( 如语音 信号) 内部的物理机制是天生非线性性。 ， ( 2 ) 辘入输出殃射。有簸餐学习或畜教颊学习照一个学习的范倒，涉及使用 带标号瓣诩练稃本或任务镶予辩章枣经网络戆突鲑狡麓送行修改。每一令谨零壹一 个唯一的输入信号和相应期望响应组成。从一个训练集中随机选取一个绘网络， 网络就调藏窀的突触权值，以最小化期望响应和有输入信号以适当的统计准则产 生豹实际响威之间的差别。使用训练集中的很多例予重复神经网络的训练，直到 弼终达到没蠢纛著豹突魅权蘧修燕豹稳定状态为斑。笼裁羯过载裁子霹缝还要在 训练期间以不阉顺序重复使用。黻_ i 琏：对当前问题网络邋过建立输入输出映射中进 行学习。 ( 3 ) 适威性。神经网络嵌入了一个调整自身突触权值以适应外界变化的能力。 特爨是，一个在特定运行臻境中按爱铡练鹣神经嬲络，对环境交化不大豹变纯胃 苏容荔迸孬蕊掰训练。露虽，囊它在对交环境孛运露辩，两终突簸蔽壤貔霹菝设 计成随时间变化。用于模式识别、信号处理和控制的神经网络与它的自适应能力 耦合，就可：c _ 变成能进行自适威模式识别、自适应信号处理和自适应控制的有效 工具。作为一个一般规则，在僳诞系统保持稳定对个系统的白适应能越好，当 要求在一令懿交嚣境下运霉露它瓣经戆裁越其畜簧掺瞧。毽霆嚣要强调瓣楚，垂 适应性不一定学致鲁棒性，实际可能相反。比如，一个暂态自适应系统w 能变化 过快，以致对寄生干扰有反应，遂将引起系统性能的急剧恶化。为最大限度实现 7 太原理工火学硕士研究生学位论文 自适应榷，系统的主骚时阋常数殿该长到可疆忽硌寄生干扰，丽短蓟可以反应环 境的重鬻变化 ( 4 ) 证据响应。在模式识嬲黪闯题中，亭串经鄹络可以设计戏氍提供攀限予选 择哪一个带定模式的信惠，也提供决策豹置信废的信怠。 ( 5 ) 背景的信息。神经网络的特定结构和激发状态代表知识。网络中德一个 神经元漤在地都受鄹络中所有其它棒经元全局激动煞影虢。嚣越，背景售悫鑫然 由一个神经两络处理。 。 ( 6 ) 容错性。一个以硬件形式实现后的神经网络有天生客错的潜质，或者鲁 捧计算的携力，邸它鲍性在不利逡短条件下逐激下降。毽悲为了确保瓣终事实 上的容错性，有必要在设计谰练随络豹算法时袋用正确鲸度蠢。 ( 7 ) v l s i 实现神经网络的大规模并行性使它具有快速处理某些任务的潜 在能秀这一特髅使褥毒枣经耀终稷适用鼍：超大痰模集成 v e r y - l a r g e - s c a l e - i n t e g r a t e d ，v l s i ) 技术实现。v l s i 的一个特殊优点是掇供一个以搿淀分层 的方式捕捉真实复杂饿行为的方法。 ( g ) 分析积设计的一致性。繁零上，襻经鼹终作为售患处理器具有遴惩佳。 1 3 4 神缀网络的应用 。 尽管爵前人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作 霖理夔了簿还穰获浅，毽是基于垒携耱经系统豹分布式存储、舞行楚理、蠡逶痉 学习这些现象，已经构造出有一定初级智能的人z 神经网络。当然这种人正神经 网络仅仪是对大脑的鞭略而且简单的模拟，无论是在规模上、功能上与大脑相比 都还差豹徭运。有久获瑾 幺主骚究了瑷有耱经瓣终模鍪谤算戆力局袋住；并认为 它不能解决传统的基于物理符号系统的人工智能的一些困难睁期。但它在些科学 研究和实际工程领域遮，已显示出了很大的威力。从2 0 世纪8 0 年代处神缀网络 豹磅究雾次复苏并形成熬熹疆来，发震菲鬻迅遮，获理论上j f 重宅豹计算憨力、对 任意连续映射的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕 的成果。特别是在应用上已经迅速扩展到很多重簧领域。以下报据一些文献，列 出一些雯簧领壤静应耱褥况f 粥霉。 8 太原理工天学硕士研究生学位论文 ( 1 ) 模式识别与图象处理 印刷体积手写体字符识别，语音识副。签字识别，掺纹，人驻识别，r n a 与 d n a _ 旁捌分撬，癌缩藤谈爱，羹椽硷溺与谈鬟，奄强、齄毫霆分类，浚气藏硷 测，加速器故障检测，电机故障稔测，图象压缩、复原。 ( 2 ) 控制段优化 化工过程控制、机械手运动羧制、运载体轨迹控制以及电弧炉控制。 露误差绩零隽 ，+ “砖“。卜“万三麓霉z 嬲 c z 之， ；d ( 撑) 一x r ( 栉) w ( 一) 。 e ( 打) 被反馈斓来用做自适应滤波器粳系数调节的控制信号，实际上，自邋应滤波 器懿掰诿塞逶疲戆力，羲是菝纛这耱误差控麓豹系数调整来实魂豹。当竣入镶号 是平稳随机序列时，通常调整加粳系数，使误差信号# ( 打) 的均方值层 e 2 ( 栉) 达到 最小，对式( 2 5 ) 两边平方，有 e 2 ( 珂) m d 2 ( 竹) + w 7 ( 拧) x ( ，0 x r ( 以) 一2 d ( 玎) i r ( ”) w ( 拧) ( 2 3 ) 瓣主式嚣迭敬数学羯望，褥羁 占鼬归p 鲫鬯e i x ( 甩) x 删w ( 一) ；。( 2 _ 4 ) 一2 e p ( ”) f ( 聆) r ( 玎) 定义输入信警的自相关矩阵r 和艇楣关矩阵p 为 r ；露盘撑) x 7 摊霹 t p 嚣层 d ( h ) x ( 栉) 、 式( 2 - 4 ) 交为 ， 1 3 ( 2 5 4 ) a n c 系统的抵消能力与两路输入噪声闻的统计棚笑特性及自适应滤波器的性 裁骞关。 2 3 3 两路嗓黟的统计相关特性与a n c 系统的抵消熊力 为便于单独分析两路噪声统计相关特性对a n c 蘸统的抵消能力的影响，这里 假设自适应滤波器日( 力在稳态对达到了使均方误麓露为最小豹非因聚最优解 嫩l ，甏嚣( 厂潢是蘩下维续滤波解 w ) = 端 s s ， 或等价的，其单位脉冲响应而( f ) 满足 f ) = 驾麟0 矗0 ( 2 - 5 6 ) i ) 对域时的系统增益 ，一 由式( 2 - 4 9 ) ，式( 2 - 5 0 ) ，式( 2 5 2 ) ，式( 2 5 3 ) 及式( 2 5 6 ) 可得系统增益 g 为 g = 【t 一毒。) 盎搴耱了1 ，c 2 5 7 ， 由上式可厮，若甜( f ) 与v ( r ) 不相关，则( f ) ；o ，g = i ，这时6 ( ，) 一v ( f ) ， 甜( ，) 五( ，) ；o ，即 ( f ) = o ，自适威滤波器关闭，系统没肖任何增益。反之，糟封( f ) 与v 枣) 线经掇关，帮存在一令线魏辩不交系统，搜褥v ( 0 是“档遥过该系统联德 的输出，显然，达到自适应滤波器矮饶解的耳( ，) 帮为该系统的传递输出荫数，故 v ( ，) * 甜( ，) + 厅( r ) ( 2 - 5 8 ) 太原璎工丈学硕士研究生学位论文 r ，( f ) = p ) ；h ( - t ) ( 2 5 9 ) 令上式中t = 0 ，可得 盯：# 也- ( o ) = 咒t ( o r 弘( 一f ) d ( 一f ) ( 2 - 6 0 ) = r 。( ，弘( 岫 由式( 2 5 7 ) 镩式( 2 - 6 0 ) 可见，遮澄g = ，6 f ) = o 猱声褥虱完全抵消。 2 ) 频域辩翡系统功率谱磺蘸 由式( 2 珥9 ) 求出残余噪声6 ( f ) 的自相关函数，然后对其做傅氏变换得6 ( f ) 的 自谱为 瓯力= 镊力+ p 纠2 龟力一2 h q ，) ( 2 - 6 1 ) 将式( 2 - 5 5 ) 与式( 2 6 1 ) 代入式( 2 - 5 1 ) ，褥系绕功率谱增益为 g c ，。 一否：! ! i 多；矧= - 一i ，。c ，) f 丁 c 2 - 6 2 ， 的百而茼万万 。 ( 2 。6 3 ) 由式( 二6 2 ) 和式( 2 6 3 ) n - j 知，糟批( f ) 与v ( f ) 不相关，则k ( ，) 1 2 = o ，g ( 厂) 一g = 1 ， 系统没存铙舞逢蓥；若拄磅鸯p ) 线毪耱关，赠缀攥m s c 熬毪缓4 ，鸯 l ( ，茚= l ，g ( ，) = g = 噪声究念抵消，g 与g ( ，) 均随阢( ，妒的增大而增大， 比较式( 2 ，5 7 ) 与式( 2 - 6 2 ) 及斌( 2 - 6 3 ) ，可见从对a n c 系统的抵消性能描述， 采用模平方棚子函数表示的频域笑系比用互相关函数表示的对域关系翼为直接和 臻确，交式( 2 。6 2 ) 与式( 2 - 6 3 ) 霹冤，a n c 系统夔羝溪藐力取决手鼹鼹辕入噪 声的模平方棚子函数j ( ，) f ，鞠纰，需要讨论决定l ( ，) f 大小的因素，由图2 - 8 知，“( f ) 与v ( f ) 的统计相关特性取决于同源噪声c ( f ) 与z ( r ) 之间的统计相关特性 ，s 太原理工大学硕士研究生学位论文 以及不相必噪声柳( 0 ，州) 的引入量，分别定义两路不相关噪声囱谱与其同源噪声 自谱之比为 形) = 器 眦) = 错 ( 2 6 4 ) 2 - 6 5 ) 瓯( 力= 瓯( ，) + g ( ，) = 1 + ( ，) 瓯( ，) 吼( ，) = 吃( ，) 十g 埘( 厂) = 1 + 口( 棚瓯( ，) ( 2 6 6 ) 鲰( ，= q ，) 将式( 2 - 6 6 ) 代入l ( ，) 1 2 的定义式，得到 ) | 2 = 两糍 ( 2 6 7 ) 由上式可见盯( ，) 与( ，) 越大，即两路不相关噪声引入越多，则l ( 力越小， 瑟当g p ) = 芦( ，) = 。辩，有k 缉。| 名，1 2 。豢弱濠穰声e ) 与z 国之鬻貘平 方相干函数l 如( ，) 1 2 ； c ，4 ， 其中，u k 是种戆元的局部诱导域，鞠 壤。w j k x j + b ( 3 5 ) 常称此种神缀咒模型为m - p 模型 。 ( 2 ) 分段线性函数 3 2 太颞理工大学辑士礤究生学位论文 它类似与一个放大系数为1 的非线性放大器，当工作于线性区时它是一个线 性缀合嚣，放丈系数趋于无穷大时变成个阂馥单元。 ( 3 ) s i g m o i d 函数。此函数的图形是s 型的，在构造人工神经劂络中是蠼常 雳貔激灞涵数。它蹩严搭酶递增函数，在线程纛簿线毪之潮显瑗密鞍婷静平鬻 5 3 j 。 它的一个例子是l o g i s t i c 函数，定义如下 妒静) 2 磊面1 丽 其中，a 是函数的倾斜参数。改变参数就可以改变倾斜程度。 另种常用的敷曲正切函数为 妒群) = 啕= 蔫 珏s ， 这类函数具有平滑和渐近性，并保持单调性。 3 3 神经网络结构及工作方式 毒串经网络中卒申经元豹构造方式是秘训练网终的学习算法紧密连接的。因此， 可以说用于网络设计的学习算法( 瓶粥) 是被构造的。 一般说来，可以区分三种基本不同的网络结构【跚。 ( 1 ) 单层藤竣瓣络 在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构 成赣天鼷，壹菝投瓣鬟襻经露辕窭藩( 诗冀繁煮) 上去，籁不是鞠爱。帮这今魏 络是严格前馈的如图3 - 2 所示，输出输入层各有4 个节点。这样一个网络称为单 爱网终。“单象”攘魏是诗冀麓熹( 静缀元) 羧窭篡。瑟她不把深节爨静输入鼷诗 算在内，因为这一层没有计算。 ， 4 3 3 太原理工大学硕士研究生学位论文 源节点输入层神经元输出层 图3 - 2 单层前馈神经网络 f i g u r e 3 - 2s i n g l e l a v e rf o r w a r dn e u r a ln e t w o r k ( 2 ) 多层前馈网络 此网络有一层或多层隐藏节点层，相应的计算节点称为隐藏单元或隐藏神经 元。隐藏神经元的功能是以某种有用方式介入外部输入和网络输出之中加上一 个或多个隐藏层，网络可以引出高阶统计特性即使网络为局部连接，由于额外 的突触连接和额外的神经交互作用，可以使网络在不那么严格意义下获得一个全 局关系5 卯当输出层很大的时候，隐藏层提取高阶统计特性的能力就更有价值了 输入层的源节点提供激活模式的元素( 输入向量) ，组成第二层( 第一隐藏层) 神经元的输入信号。第二层的输出信号作为第三层输入，这样一直传递下去。通 常每一层的输入都是上一层的输出，最后的输出层给出相对于源节点的激活模式 的网络输出。网络结构如图3 3 所示。图中只有一个隐藏层以简化神经网络的布局 这是一个5 4 - 2 网络，其中有5 个源节点，4 个隐藏神经元，2 个输出神经元。 输入层 神经元神经元 图3 - 3 有一个隐层和输出层的全连接前馈网络 f i g u r e 3 - 3f o r w a r dn e u r a ln e t w o r kw i t hs i n g l eh i d e l a y e ra n do u t - p u tl a y e r 图3 - 3 的网络也可以称为完全连接网络，这是指相邻层的任意一对节点都有连 太原理誓大学硕士研究生学健论文 接。如果不烂遮样，则网络称为部分连接网络。 ( 3 ) 递归潮络 递爨网终葶羹藩续翳络煞区鬟簌学宅至少骞一令爱镞舔。图3 繇示懿楚露育漶 藏神经元的类递归神经网络，殷馈连接的起点包括隐藏神经元和输出神经元。 沁 睡3 - 4 吴帑隐藏层神经远罅递归躏络 f i g u r e 3 - 4r e c t w s i v en e u r a ln e t w o r kw i t hh i d e o l a y e r s 反馈环的存在，对于神经网络的学习能力和它的性能有深刻的影响。并且， 由于爱镶嚣涉及镘溺单元延迟元豢( 记秀一) 构成豹特殊分支，缓热糖缀阙终包 含菲线毪革毙，运导致菲线往静渤态行为 5 6 1 。 人工神缀网络的工作过程童黉分为两个阶段：第一阶段是学习期，此时各计 算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时 各连接权值灏定，计算单元变化，以达到某种稳定状态。 莰终霜皴栗藿，羲壤秘终主豢是錾数获麓，霹趱擎模式识裂窥丞数邂逅。爱 馈网络按对能蹙函数的极小点的利用分类有两种：第一类是能量函数的所有极小 点都起作用，这一类主要作用锫种联想存储器；第二类只利用全局极小点，它主 要用于求解娥优化闯题。 3 4 棒经鹈络的学习 3 4 1 学习方式 通过向环境学习而获得知识并改进自身性能怒人工神经网络的一个重要特 3 5 太原理工大学硕士研究生学位论文 点。一般情况下，性能的改善是按某种预定的度量通过调节自身参数( 如权值) 逐步达到的，学习方式按环境提供信息的多少分为三种。 ( 1 ) 监督学习( 有教师学习) 这种学习方式需要外界存在一个“教师”，他可以对一组给定输入提供应有的 输出结果( 正确答案) 。这组己知的输入输出数据称为训练样本集。人工神经网络 学习系统可根据已知输出与实际输出之间的差值( 误差信号) 来调节系统参数。 如图3 5 所示。 描述环境状态 图3 5 有监督学习框图 f i g u r e 3 5c h a r tw i t hs u p e r v i s i n gl e a r n i n g ( 2 ) 非监督学习( 无教师学习) 非监督学习时不存在外部教师，。学习系统完全按照环境所提供数据的某些统 计规律来调节自身参数或结构( 这是一种自组织过程) ，以表示外部输入的某种固 有特征( 如聚类，或某种统计上的分布特征) 【锕。 ( 3 ) 再励学习( 或强化学习) 一 这种学习方式介于上述两种情况之间，外部环境对系统输出结果只给出评价 ( 奖或惩) 而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自 身性能【锕。如图3 - 6 所示。 太原理工大学硕士研究生学位论变 图3 - 6 再励学刁框图 f i g