（计算机应用技术专业论文）基于模糊神经网络的非线性滤波研究.pdf

【论文摘要】 基于模糊神经网络的非线性滤波研究 导师：李录明教授罗省贤教授 研究生：罗俊海 专业：计算机应用技术 方向：数字信号处理方法研究 摘要 大多数先进的滤波算法都是在各种基本算法的基础上发展而来的，通过改进 这些基本算法的性能，在某些特定的情况下可取得较好的效果。为适应信号及噪 声的非线性和更复杂性的特性，本文将自适应、自组织和自学习机制引入到滤波 中，形成模糊神经网络( f n n ) 的非线性滤波方法。 模糊神经网络是- - l - i 交叉学科，它在结合模糊逻辑( f l ) 和神经网络( n n ) 的基础上、以简单的数学方法和逻辑推理完成复杂的智能分析，能有效地处理问 题的非线性、模糊性和不确定性关系。 本文研究和分析了经典b p 神经网络( b p n n ) 、径向基函数神经网络( r b f n n ) 和模 糊神经网络的理论和算法，并在此基础上应用基于激励函数变化明显区域的模糊 神经网络的初始化方法，使网络模型较快地跟踪被测系统而收敛到其最优。利用 模糊逻辑和r b f 神经网络的等价性将模糊逻辑和神经网络有机的结合来构成模糊 神经网络，并将模糊神经网络方法应用到地震勘探的实际资料处理中，取得了较 好的应用效果。除此之外，同时运用中值滤波、b p 神经网络滤波、r b f 神经网络 滤波和模糊神经网络滤波来对不同资料和不同特征的噪声进行滤波性能评价。实 验结果充分证明了基于模糊神经网络的非线性滤波方法的正确性、鲁棒性、可行 性和实用性。 关键词：模糊神经网络；滤波：自适应；逼近性；鲁棒性 a b s t r a c t r e s e a r c ho nn o n l i n e a rf i l t e r i n gb a s e do nf u z z y n e u r a ln e t w o r k s a d v i s o r ：p r o f l il um i n g p r o f l u os h e n gx i a n c a n d i d a t e ：l u oj u nh a i s p e c i a l t y ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y m a j o r ：r e s e a r c ho nd i g i t a ls i g n a lp r o c e s s i n gm e t h o d s a b s ，r r a c t am a s so ft h ea d v a n c e df i l t e r sa l g o r i t h m si sd e v e l o p e do nt h ef o u n d a t i o no fa l l k i n d so fe s s e n t i a la l g o n 岫a n dt h eb e t l e re f f e c t sc a r lb eg a i n e db yi m p r o v i n gt h e b a s i ca l g o r i t h m si ns p e c i a ic o n d i t i o n s h o w e v e r , s oa st oa c c o m m o d a t et ot h ei d e n t i t i e s o ft h en o i s e sn o n l i n e a ra n dc o m p l e x i t y , t h e r e f o r et h em e c h a n i s m so fs e l f - a d a p t m i o n ， s e l f - o r g a n i z a t i o na n ds e l f - s t u d ya r ei n t r o d u c e dt ot h ef i l t e rt of o r mt h ef i r e r i n gm e t h o d b a s e do nf n nr f u z z yn e u r a ln e t w o r k ) i nt h i sl ：捌n e r f n ni sac r o s ss u b j e c t w h i c hc a nc o m p l e t ed i 麟c u l ti n t e l l i g e n ta n a l y s i sa n d p r o c e s se f f e c t i v e l yn o n l i n e a r , f u z z ya n du n c e r t a i np r o b l e m s 、v i t hs i m p l em a t h e m a t i c m e t h o d sa n dl o g i c a lr e a s o n i n go nb a s i so ft h ec o m b i n a t i o no ff l ( f u z z yl o 酉c ) a n d n n ( n e u r a ln e t w o r k ) i nt h i sp a p e r , b a s e do nt h er e s e a r c ha n da n a i y m so f 也et h e o r i e sa n da l g o r i t h m so f t h ec l a s s i c a lb p n n ，r b f n na n df n n t h ei n i t i a l i z i n gm e t h o do ff n ni sp r e s e n t e d b a s e do ne x c i t a t i o nf u n c t i o nt r a n s f o r m a t i o nd i s t i n c tr e g i o ni no r d e rt om a k et h e n e t w o r km o d e jq m c m yt r a c et h eo b s e r v e ds y s t e ma n dc o n v e r g et h eo p t i m i z a t i o n s o l u t i o nt ot h ep r o b l e m s 1 1 c o n f i g u r a t i o no f f n ni sa l s op r e s e n t e db yc o m b i n i n gf l a n dn nb a s e do nt h e i re q u i v a l e n c e f z zm e t h o d sh a v eb e e na p p r o v e da v a i l a b l yi nt h e a p p l i c a t i o no f t h ep r a c t i c ed a t ao f t h es e i s m i ce x p l o r a t i o n o nt h eo t h e rh a n d ，a i m i n ga t t h ed i f f e r e n tn o i s ew i t ht h ed i f f e r e n tc h a r a c t e r s t h e s em e t h o d ss u c h 船m e d i a nf i l t e r i n g ， b pf i l t e r i n ga n di 也ff i l t e r i n ga r ea p p l i e dt oa s s e s sf i l t e r sc a p a b i l i t i e s t h eo u t c o m eo f t h e e x p e r i m e n t ss u f f i c i e n t l yp r o v e s t h e v a l i d i t y , r o b u s t n e s s ，f e a s i b i l i t y a n d p r a c t i c a b i l i t yo f t h en o n l i n e a rf i l t e r i n gm e t h o d sb a s e do nf n n k e y w o r d s ：f n n ，f i l t e r i n g ，s e l f - a d a p t a t i o n ，a p p r o x i m a t i o nc a p a b i l i t y , r o b u s t n e s s i l 第l 章前言 1 1 选题依据 第1 章引言 非线性滤波是指映射关系为非线性的。非线性滤波是非线性科学中的一个 重要分支。在近代数字信号处理中，非线性滤波对于饵决雷达、通信、水声、 遥测、自动控制、地球物理、生物医学、图像处理、语言处理、模式识别、振 动分析等领域中的复杂问题与现象有重要意义。模糊神经网络，作为一个非线 性动力学系统，也是一个信号与信息处理系统。其自身强大的与人脑类似的功 能，使它能解决传统信息处理方法难以解决甚至不可能解决的问题。它主要有 五个特点： ( 1 ) 由于模糊神经网络具有巨量并行性，它能以极快的速度来求解复杂问 题，得到实时应用。 ( 2 ) 由于模糊神经网络具有自适应、自学习、自组织性，它求解问题非常 灵活，具有很强的坚韧性，即使系统内由于有许多处理单元损坏而失效，通过 自组织和自学习，仍能使系统处于最优求解问题状态。 ( 3 ) 由于模糊神经网络本身存在非线性，它能求解非常复杂的、高度非线 性的模式分类和模式识别问题。因此，模糊神经网络用于信号处理具有广泛的 极其重要的意义。为非线性滤波问题的解决展开了十分诱人的前景。同时，将 模糊神经网络方法用于非线性滤波，可以避免计算的复杂性，具有很好的研究 价值。 ( 4 ) 由于模糊神经网络的可逼近性。模糊神经网络是通用的函数逼近器， 可以以任意精度逼近连续、多变量的菲线性函数，在很多情况下，非线性系统 辨识的问题，都归结为对非线性函数的逼近问题。 ( 5 ) 模糊神经网络的表达自然容易，能够处理不确定信息，能够用模糊性 的自然语苦来表示知识，容易地利用专家经验；并可用简单的运算来实现知识 的模糊推理。 近年来，非线性滤波得到了迅速的发展，成为当今滤波理论与技术的重要 发展方向。本课题在非线性滤波理论的基础上，应用模糊神经网络，研究基于 模糊神经网络的非线性滤波的设计，具有先进性和实用性。 研究课题来源国家8 6 3 项目的部分研究内容。 成都理工大学硕士学位论文 1 2 研究现状 非线性滤波技术一般利用原始信号与噪声信号特有的统计特性进行去噪， 现有的非线性滤波方法有：以中值滤波为代表的传统非线性滤波方法和以形态 滤波等为代表的正在研究中的新型滤波方法。 1 2 1 传统非线性滤波方法研究现状 ( 1 ) 中值滤波方法 中值滤波最初主要用于时间序列分析，后来被用于图像处理，并在滤波和 复原中取得了较好的效果。中值滤波是基于次序统计完成信号恢复的种典型 的非线性滤波，其基本原理是把数字图像或数字序列中心点位置的值用该点邻 域的中值替代。它的优点是运算简单而且速度快，滤波效果好，但在滤除噪声 ( 尤其是高斯噪声) 的同时损失了信号的高频信息，使图像的边缘等细节模糊， 为此，提出了很多改进的中值滤波方案。 ( 2 ) 自适应滤波方法 在实际应用中，对于不同类型的信号和噪声，非线性滤波参数必须经过优 化才能得到较好的效果。然而，在许多情况下，人们对求这些参数所需的有关 信号和噪声统计特性的先验知识所知甚少，某些情况下这些统计特性还是时变 的。针对这种情况，自适应非线性滤波就自然成为有效的处理手段。该类滤波 的简单工作过程为；首先输入信号通过参数可调数字滤波后产生输出信号，将 其与参考信号进行比较，形成误差信号。误差信号通过某种自适应算法对滤波 参数进行调整，最终使误差信号的均方值最小。在设计这种滤波对不需要事先 知道关于输入信号和噪声的统计特性的知识，它能够在自己的工作过程中逐渐 估计出所需的统计特性，并以此为依据自动调整自己的参数。以达到最佳滤波 效果。一旦输入信号的统计特性发生变化，它又能够跟踪这种变化，自动调整 参数，使滤波性能重新达到最佳，这也是自适应的由来。 1 2 2 研究中的非线性滤波新算法研究现状 近些年来，数学各分支在理论和应用上的逐步深入，使得层叠理论、数学 形态学、模糊数学、遗传算法、神经网络、小波理论等在滤波技术应用中取得 很大进展，产生了不少新的滤波算法。主要有： ( 1 ) 基于数学形态学的滤波方法 形态学一般指生物学中研究动物和植物结构的个分支。人们后来用数学 2 第1 章前言 形态学表示以形态为基础对图像进行分析的数学工具，它的基本思想是用具有 一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识 别的目的。数学形态学的数学基础和描述语言是集合论。应用数学形态学可以 简化图像数据，保持图像的基本形状特性，并除去不相干的结构，此外，数学 形态学的算法还具有天然的并行实现结构。 由于形态滤波是基于信号的几何特征，利用预先定义的结构元对信号进行 匹配，以达到提取信号、保持细节和抑制噪声的目的，所以，结构元的选取是 形态滤波的关键。 ( 2 ) 基于模糊数学的滤波方法 随着处理数据的不断增加以及实时性要求的日益提高，模糊理论的作用越 来越明显。在图像处理中采用模糊手段，可以大大减少信息的输入量、处理量 和存储量，保证能实时而满意地处理各种问题。但是，模糊处理策略并不是对 所有事物一视同仁的，而是根据不同的对象和不同的条件而有所不同。 ( 3 ) 基于遗传算法的滤波方法 遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、 自适应搜索算法，它主要用于处理最优化问题和机器学习等问题。隐含并行性 和对全局信息的有效利用能力是遗传算法的两大显著特点，前者使遗传算法只 需检测少量的结构就能反映搜索空间的大量区域，后者使遗传算法具有稳健 性。该算法尤其适于处理传统搜索方法解决不了的复杂和非线性问题。它使用 参数编码集而不是参数本身，通过模拟进化，以适者生存的策略搜索函数的解 空间，它是在点群中而不是在单点进行寻优。遗传算法在求解过程中使用随机 转换规则而不是确定性规则来工作，它唯一需要的信息是适应值，通过对群体 进行简单的复制、杂交、变异作用完成搜索过程。 ( 4 ) 基于神经网络的滤波方法 由于神经网络滤波本身具备本质上的并行运算能力，再加上它的自组织和 自学习能力，使其在图像处理领域的应用越来越广泛。但是，实验证明，简单 的神经网络系统，如b p 网络，难以有效地滤除噪声。基于此，人们在神经网 络中引入模糊理论，利用神经网络所具有的学习能力和自组织能力来对模糊网 络的隶属度和推理规则进行学习和优化。由于人类的视觉系统本身就是一个模 糊处理系统，所以，引入模糊理论的图像滤波能够获得更好的主观评价效果。 这样，引入不同的模糊处理机制便可得到不同的滤波方案。 ( 5 ) 层叠滤波方法 层叠滤波是一种滑动窗非线性数字滤波。阙值分解技术的采用使其具有并 成都理工大学硕士学位论文 行处理能力，也使得对多值信号的研究转化为对二值信号的研究。层叠滤波主 要有两个部分组成，其一为阈值分解，其二为由函数f 决定的滤波方案。 ( 6 ) 基于小波理论的滤波方法 在数学上，小波滤波问题的本质是一个函数逼近问题，即如何在由小波母 函数伸展和平移版本所展成的函数空间中，根据提出的衡量准则，寻找对原信 号的最佳逼近，以完成原信号和噪声信号的区分。由此可见，小波滤波方法也 就是从实际信号空间到小波函数空间的最佳映射，以便得到原信号的最佳恢 复。 从信号学的角度看，小波滤波是一个信号滤波的问题，而且尽管在很大程 度上小波滤波可以看成是低通滤波，但是由于在滤波后，还能成功地保留图像 特征，所以在这一点上又优于传统的低通滤波。由此可见，小波滤波实际上是 特征提取和低通滤波功能的综合。小波滤波的方法，大体上可以分成小波萎缩 法、投影方法、相关方法三类。 1 2 3 神经网络的研究现状 神经网络的研究可以分为理论研究和应用研究两大方面。 理论研究可分为以下两类： ( 1 ) 利用神经生理与认知科学研究人类思维及智能机理。 ( 2 ) 利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能 更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、 容错性、鲁棒性等：开发新的网络数理理论，如：神经网络动力学、非线性神经 等。 应用研究可分为以下两类： ( 1 ) 神经网络的软件模拟和硬件实现的研究。 ( 2 ) 神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信 号处理、知识工程、专家系统、优化组合、机器人控制等。 随着神经网络理论本身以及相关理论、相关技术的不断发展，人工神经网 络的应用定将更加深入和广泛。 1 2 4 模糊神经网络的研究现状 随着时间的推移及学科的发展，模糊技术、神经网络技术以及进化计算的 相互渗透与协作，已是一个勿容置疑的发展方向。作为智能化信息处理领域或 者说计算智能领域中三项重要而叉充满活力的信息处理技术，它们在其工程应 4 第1 章前言 用及进一步发展的过程中，迫切需要相互结合、相互促进。它们之间的关系， 己是密不可分的。作为智能化信息处理的方法和手段，模糊技术和神经网络技 术，各自有各自的优势。前者抓住了人类思维中模糊性的特点，以模仿人的模 糊信息处理能力和综合判断能力的方式来处理常规数学方法难以解决的模糊 信息处理难题，使计算机的应用得以扩展到了那些需要借助人的经验才能完善 解决的问题领域，并在描述高层知识方面有其长处：而后者则以生物神经网络 为模拟基础，以非线性大规模并行处理为主要特征，可以以任意精度逼近紧支 集上的任意实连续函数，在诸如模式识别、聚类分析及计算机视觉等方面发挥 着许多不可替代的作用，并在自适应及自学习方面已显示出了不少新的前景和 新的思路。同时，我们也注意到了，尽管以生理模式为基础的神经网络技术和 以模拟人脑综合处理能力见长的模糊技术都有其各自的优势，并且都是智能化 信息处理中不可缺少的技术和方法，但是，现实也已证明，要真正实现智能化 信息处理，特别是用它们来处理一些较为复杂的工程技术问题，只单纯依靠一 种方法是很难做到的。而将它们进行有机结合，则可有效地发挥出其各自的长 处而弥补其不足，在工程应用领域更是如此。 近年来的研究发现；神经网络反映大脑思维的商层次结构；模糊系统模仿 低层次的大脑结构；进化系统则与一个生物体种群的进化过程有着许多相似的 特征。这些研究方法各自可以在某些特定方面起到特殊的作用，但也存在一些 固有的局限。比如神经网络着重智能的微观特征，但研究微观特征并不一定能 获得其宏观特征，正如研究量子力学并不能代替牛顿力学一样。因此，将这些 智能方法有机地融合起来进行研究已经成为了一种发展趋势。 近年来，模糊神经网络的研究已取得了一些成果，主要体现在以下几个方 面： ( 1 ) 模糊系统与神经网络系统作为一般自适应模型无关估计的研究。 ( 2 ) 利用神经网络对模糊控制规则的获取、细化等方面的研究。 ( 3 ) 在神经网络学习算法中引入模糊控制技术的研究。 1 3 本文的基本研究思路和研究内容 本文基本的研究思路为：结合神经网络和模糊系统的优点来构成模糊神经 网络。基于模糊神经网络的自适应性和非线性逼近能力来去除噪声，提高资料 的分辨率。 成都理工大学硕士学位论文 研究方法为，首先建立理论模型，经过验证理论模型的正确性和有效性后 再将其应用到实际资料处理中。 本文研究的基本内容： ( 1 ) 模糊神经网络结构、算法和初始化的研究。 ( 2 ) 模糊逻辑、人工神经网络、非线性滤波及三者的结合在实际地震资 料处理中的研究。 1 4 本文所取得的成果 通过对人工神经网络、模糊系统和菲线性滤波研究，本文在以下方面得到 了一定的成果。 ( 1 ) 有机地把非线性滤波、神经网络和模糊逻辑结合在一起，同时基于 模糊神经网络的非线性、逼近性和自适应性的滤波方法应用到理论和实际的地 震记录处理中。 ( 2 ) 为了加快模糊神经网络的学习速度，在后件网络中采用了权值的二 阶学习，加重了权值韵作用，克服了模糊神经网络学习速率慢的缺点。 ( 3 ) 运用中值滤波、b p 滤波、r b f 滤波和模糊神经网络多种方法对地震 记录进行滤波处理，并进行多方面的滤波性能评价a 6 第2 章滤波一神经网络一模糊理论基础 第2 章滤波一神经网络一模糊理论基础 2 1 滤波的基本理论 2 1 1 自适应滤波原理 自适应滤波的研究对象是具有不确定的系统或信息过程。这里的“不确定 性”是指所研究的处理信息过程及其环境的数学模型不是完全确定的。其中包 含一些未知因素和随机因素。 任何一个实际的信息过程都具有不同程度的不确定性，这些不确定性有时 表现在过程内部，有时表现在过程外部。从过程内部来讲，描述研究对象即信 息动态过程的数学模型的结构和参数是设计者事先并不一定能确切知道的。作 为外部环境对信息过程的影响，可以等效地用扰动来表示。这些扰动通常是不 可测的，它们可能是确定性的，也可能是随机的。此外，还有一些测量噪音也 以不同的途径影响信息过程。这些扰动和噪声的统计特性常常是未知的。面对 这些客观存在的各式各样的不确定性，如何综合处理该信息过程，并使得某一 些指定的性能指标达到最优或近似最优，这就是自适应滤波所要解决的问题。 自适应滤波的原理如图2 一l 所示： i 自适应数字涎波器 o ) 图2 一l 自适应撼波原理 图2 1 中x ( ，) 表示j 时刻的输入信号值，y ( - ，) 表示，时刻的输出信号值， d ( ，) 表示，时刻的参考信号值或所期望响应信号值，误差信号e ( j ) 为a ( j ) 与 y ( ，) 之差。自适应数字滤波器的滤波参数受误差信号e ( ，) 的控制，根据e ( ，) 的 值而自动调整，使之适合下一对刻的输入x ( j + 1 ) ，以便使输出y ( j + 1 ) 接近于 所期望的参考信号d ( j + 1 ) 。 自适应滤波器可以分为线性自适应滤波器和非线性自适应滤波器。自适应 成都理工大学硕士学位论文 滤波能自动调整自身参数以满足某种最佳准则要求。根据不同的准则，产生不 同的自适应算法，但主要有两种基本的算法：最小均方误差( l m s ) 算法和递推 最小二乘( r l s ) 算法。由w i d o w 和h o f f 提出的最小均方误差( l m s ) 算法，因其 具有计算量小、易于实现等优点而在实践中被广泛采用。l m s 算法的基本思想： 调整滤波自身参数，使滤波的输出信号与期望输出信号之间的均方误差最小， 这样系统输出为有用信号的最佳计算。 2 1 2 滤波性能评价方法和标准 滤波设计就是考虑如何滤除某种类型噪声。实际上，滤波性能完全取决于 应用场合。常用的一些滤波性能测量项目有：( 1 ) 对不同类型噪声的滤波特性； ( 2 ) 边缘保护；( 3 ) 细节信息保护：( 4 ) 无偏性：( 5 ) 计算复杂性等。 边缘保护是滤波一个重要性质。其量度是保护边缘的能力。细节信息保护 的特性主要是保护各类线段、尖角和其他细节的能力。滤波通常只能增强某一 方向上的或者增强某种照度特性区域。所有性能测量都是定性测量，它们不能 用某种定量标准描述，因此，上述测量都带有相对主观性。在对几种滤波进 行性能比较时，通常都针对某一给定噪声信号进行滤波、然后用某种测量结果 进行比较。显然，这具有一定的片面性，但是目前也只能这样相对比较。 滤波的计算复杂性实际上用每个输出信号所需的代数运算次数来测量，这 些运算包括乘法、比较以及加法等。在并行运算情况下滤波计算复杂性用所需 硬件( 加法器、乘法器和比较器等) 的数目和每一输出信号所需输入输出信号通 量的总延时来测量。通量总延时与最小可能并行计算时间( 也称临界时间) 有 关。在常规计算机上的串行运算情况下，滤波的计算复杂性利用运算速度测量。 当然，运算速度与采用的算法、程序语言以及计算机本身特性有关。可见，滤 波计算复杂件由许多因素决定。 一般来讲，不同的应用对滤波效果的要求会有所不同。对于那些需要保持 细节信息和分辨率的应用，会更加强调滤波保持边缘信息和分辨率的能力；而 对于大尺度解译或制图等应用而言，噪声的平滑效果可能会更加重要。因而， 信号噪声滤波性能的评价应当取决于具体的应用。 2 1 2 1 噪声的滤除能力 在均匀区域，标准偏差与均值的比率是衡量噪声强度的一个好的指标。滤 波后，经常使用这一比率来衡量噪声的削减量，定义这一指数为噪声指数： f n ：掣 ( 2 1 ) e x l 第2 章滤波一神经网络一模糊理论基础 这里，x 为滤波后数值。 2 1 2 2 边缘保持能力 可以用边缘算子和梯度算子来衡量滤波保持边缘的性能。这样的边缘算子 和梯度算子很多，例如r o b e r t s 和s o b e l 算子。本文采用r o b e r t s 梯度算子来 衡量边缘保持能力，r o b e r t s 梯度即交叉差分豹方法： i v g ( j ，七) i = t g ( j ，七) 一g ( j 一1 , k 一1 ) 1 2 + 【g ( j l ，| | ) 一g ( ，k 1 ) 1 2 乒 ( 2 2 ) 或者用绝对值表示： f v g u ，| i 1 = 囟u 七) 一g u 一1 膏一1 ) i + 囟u 一1 ，d g o , k 一1 ) ( 2 - 3 ) 2 1 2 3 相对信噪比指标 相对信噪比： s n r ：m( 2 - 4 ) 盯 其中m 是瓷料的均值，盯是资料的标准差。采用这个指标可以避免噪声方差 未知的特点，如果可能的话可以将它与实际信嗓比加以比较。 与此相关的指标，可定义为： s n r ：型丝! ( 2 - 5 ) 学l + 盯2 其中m i ，q 和分别是观察区域和背景区域的均值和方差。实际 中，由于划分观察区域和背景区域可能存在困难，从而计算这两个区域的均值 和方差也必然存在误差，所以这个指标的实际应用性不强。 2 1 2 4 相关系数指标 相关系数指标为： 。o ，r ( j 。，一) 、! ! ：! 圣! ! ( 2 6 ) v a “，5 ) v a r ( 1 “) 其中，。，4 分别代表原始和含有噪声的资料，c o v ( 1 , i “) ，v a r ( ，。) ，v a “，“) 分 别代表原始的和含有噪声资料的协方差和方差。给出这一指标主要是出于这样 的考虑：理想状态下，去噪后应该和原来的尽可能的接近，丽相关系数接近于 1 的程度就描绘了接近程度。从整体上可以衡量去噪的程度。但是也需指出 相关系数的使用必须要求原始资料的存在，也即它只适合仿真实验。此外在滤 波的同时本身也有可能带来某些细节的损失而导致相关系数下降，因此相关系 数应更好地用作衡量去噪的一种参考性指标而非绝对评判指标。 成都理工大学硕士学位论文 2 2 人工神经网络的基本理论 2 2 1 人工神经网元模型 ( 人工) 神经网络是指由大量与自然神经细胞类似的( 人工) 神经元联络 两成的网络，是用工程技术手段模拟生物神经网络的结构特征和功能特征的一 类人工系统。人工神经元是一个多输入( 单输入) ，单输出( 多输出) 的非线性元 件。图2 2 给出了一种简单的人工神经元结构。 书eg i 图2 2 人工神经元结构 其输入一输出关系可描述为； x w j i x 。岛) ( 2 - 7 ) j 其中，x ，( - ，= l ，2 ， ) 是从其它神经元传来的输入信号；w 。是从其它神经 元，到f 的连接权值，最为阈值；y ( o ) 称为激活函数或作用函数。常见的激发 函数，分别如下： ( t ) 阀值型，为阶酝函数，如图2 - 3 所示。 抛) = 怯= ( 2 _ 8 ) ( 2 ) 分段线性型，如图2 - 4 所示。 f i ，z 五 ( x ) = a x + bx 1 r “记忆训练”一 “学习收 敛”的过程。b p 网络的学习规则有时也称为广义6 规则。 下面分别介绍和分析这四个过程： ( 1 ) 模式的顺向传播 模式顺向传播过程是由输入模式提供给网络的输入层开始的。输入层各个 单元对应于输入模式向量的各个元素。设输入模式向量为： 4 = ( 口l ，g 2 ，f l 。) k = 1 , 2 ，m ( 2 1 1 ) 式中，m 为学习模式对数；r l 为输入层单元的个数。 对应于输入模式的希望输出向量为： k2 ，y 2 ，, y p ) q 为输入层单元 ( 2 - 1 2 ) 根据神经元模式原理，首先按下式计算中间层各单元的输入： l s ，= 国f q 一0 ， j = l ，2 ，p i = l 【2 一1 3 ) 式中，峨为输入层到中闻层的连接权；移，为中间层神经元的阈值；p 为中间 层单元个数。 为了模拟生物神经元的非线性特性，以s ，作为s 函数( s i g m o i d 函数) 的自 变量，计算中间层各个单元的输出。s 函数的数学表达式如下： ，、 1 八工) 2 丽 ( 2 一1 4 ) 这类函数又叫挤压函数，在自变量0 点附近敏感。s 函数的输出曲线如图 2 7 所示： 成都理工大学硕士学位论文 妒u ) l r 。 5 0 5 图2 7 s 函数的输出曲线 由图可以看到，s 函数输出曲线两端平坦，中间部分变化剧烈。当x = 5 时，( x ) 接近于l ：而当x 在0 附近时( - 5 x 5 ) ， f ( x ) 才真正的起作用。s 函数与阶跃函数相比，从形式上具有“柔软性”。从 生理学角度看，一个人对远远低于或高于他的智力水平的问题往往很难产生强 烈的思维反映：从数学角度看。s 函数具有可微分性。正是因为s 函数更接近 于生物神经元的信号输出形式，所以选用s 函数作为b p 网络的输出函数。 同时b p 学习规则本身也要求网络的输入，输出函数是可微分的，s 函数不但 具有可微分生，而且具有饱和非线性，这以增强了网络的非线性映射能力。 另一种s 型陷线是双曲正切函数： 1 一d o ，( x ) = t a n h ( x ) = 二； ( 2 - 1 5 ) l + g 双曲正切函数的输出如图2 8 所示： 圈2 8 s 正切函敷的输出曲线 双曲正切函数值在( 一1 ，1 ) 之间。这两种s 型函数都是单增可导的， ( 2 ) 误差逆向传播 作为误差逆向传播的第一步，是进行误差计算误差逆向传播过各是由输 出层的误差d ，向中间层的误差p f 传递的过程。 在这里输出的校正误差按下式计算： d ：= 雠c ：) f t ) t = 1 , 2 ，一，qk 2 l ，2 ，”，m ( 2 - 1 6 ) 上式的物理意义是：( 计一c ) 项表示网络希望输出与实际输出的绝对误差： 厂( 厶) 项表示各单元的实际响应调艇偏差量。当输出层的某个单元的输入在 0 附近时，其输出变化幅度较大，而此时f ( l ) 的导数厂( 厶) 正好处在峰值附近， 当与( _ y ? 一口) 项相乘后，增强了偏差的校正作用。反之，当厶的绝对值较大时， 1 4 第2 章滤波一种经网络一模糊理论基础 其输出变化幅度很小，也就是说此时单元所受激励对此单元这一次学习过各所 起的校正作用不大，而此时， ) 正好处于较小值的部分，当与一口) 项相 乘后，减弱了偏差的校正作用。 ( a ) 训练过程 所谓的训练过程，是指反复学习的过程，也就是根据教师示教的希望输出 与网络实际输出的误差调整连接权的过程。而希望输出实际上是对输入模式分 类的一种表示，是人为设定的，所以也因人而异。随着“模式顺向传播”与“误 差逆向传播”进程的反复进行，网络的实际输出逐渐向各自所对应的希望输出 逼近。对于典型的b p 网络，一组训练模式，一般要经过数百次乃至几千次的 学习进程，才能使网络收敛。 ( 4 ) 收敛过程 前面已多次的指出，学习或者说训练的收敛就是网络的全局误差趋向于极 小值的过程。 23 2b p 神经网络学习流程图 ( 1 ) 初始化各连接权 哆， 及阈值 秽，) ，赋予( 一l ，+ 1 ) 间的随机值。 ( 2 ) 随机选取一模式对4 = ( 时，) ，五= ，e ，露) 提供给网络。 ( 3 ) 用输入模式4 = ( 对，磋，) ，连接权 ) 和阑值 已) 计算中间层各单 元的输入 s ， ；然后用秘，) 通过s 函数计算中间层各单元的输出 0 。 = ( o i + 哆一e j = l ，2 ，p b j = f ( s j ) j 2 1 , 2 ，p ( 2 - 1 7 ) ( 4 ) 用中间层的输出 6 ，) ，连接权 和阈值 计算输出层各单元的输入 缇) ，然后用 厶) 通过s 函数计算输出层各单元的响应 e ) 。 t = 1 , 2 ，q t = 1 ，2 ，q ( 5 ) 用希望输出模式= ( 钟，砖，y ：) ，网络实际输出 e ) ， 各单元的归一化误差 钟) 。 钟= ( 矿一c ，) - g ( 1 一g ) t = 1 ，2 ，q ( 6 ) 用连接权 咋) ，输出层的归一化误差( 影) ， 的各单元的归一化误差 p ：) a ( 2 - 1 8 ) 计算输出层的 ( 2 - 1 9 ) 中间层的输出计算中间层 y 一 矗1 咯j，闰旺 i i l | c 成都理工大学硕士学位论文 矿= 【磷- j 以( i 1 ) j = 1 , 2 ，p ( 2 - 2 0 ) ( 7 ) 用输出层各单元的归一化误差 钟) ，中问层各单元的输出 6 一修正连 接权扣。j 和阉值协) 。 u ，f ( + 1 ) ，( ) + 。6 ， r j ( n + 1 ) = ，i 圯d ：、 ( 2 2 1 ) j = 【，2 ，- 一pt = l ，2 ，- - q0 a 1 ( 8 ) 用中间层各单元的归一化误差( e ；j ，输入层各单元的输入 4 = ( 钟，趟，) 修正连接权( ) 和阈值 口，) 。 ( + 1 ) 3 勺( ) + 芦哆q 日；( n + 1 ) = 目；( n ) + 卢e ： ( 2 - 2 2 ) jjj = 1 。2 ，pt = l ，2 ，qo f l l ( 9 ) 随机选取下一个学习模式对提供给网络，返回到步骤( 3 ) ，直至全部m 个模式对训练完毕。 ( t o ) 重新从m 个学习模式对中随机选取一个模式对，返回步骤( 3 ) ，直至 网络全局误差函数e 小于预先设定的个极小值，即网络收敛或学习回数大于 预先设定的值，即网络无法收敛。 ( 1 1 ) 结束学习。 在以上的学习步骤中，( 3 ) 一一( 6 ) 为输入学习模式的“顺向传播过程”， ( 7 ) 一一( 8 ) 为网络误差的“逆向传播过程”，步骤( 9 ) 、( 1 0 ) 则完成训练和收敛 过程。学习过程的流程图如下图2 9 所示： 第2 章滤波一神经网络一模糊理论基础 图2 9 b p 学习流程 2 3 3b p 神经网络的不足及改进 对于b p 神经网络，其在收敛过程中存在着两个很大的缺陷：收敛速度慢； 存在所谓“局部最小值”的问题。在学习过程中会发现，当学习反复进行到一 定次数后，虽然网络的实际输出与希望输出还存在很大的误差，但无论再如何 学习下去，网络全局误差的减小速度变得十分的缓慢，或者根本不再变化。针 对这种现象产生了以下的几种改进方案： ( 1 ) 累积误差校正算法 一般的b p 算法称为标准误差逆向传播算法这种算法偏离了真正全局误差 意义上的梯度下降。髌整的全局误差意义上的梯度算法称为累积误差校正算 法。其具体算法是，分别计算出n 1 个学习模式的一般化误差，并将这m 个误差 进行累加，用累加后的误差校正输出层与中间层，中间层与输出层之间的连接 权以及各个输出阈值。 这种算法与标准误差逆向传播算法相比，每个连接权及阈值的校正次数明 显减少( 每一次学习减少m 一1 次校正) ，因此，学习时间也随之缩短。但是。这 种算法将各个学习模式的误差平均化，在某些情况容易引起网络的振荡。 1 7 成都理工丈学硕士学位论文 ( 2 ) s 函数输出限幅算法 连接权校正量扣 与 的校正量，它们都与中间层的输出 6 ， 有关： = 口哆屯 ( 2 2 3 ) f = 心“f ( 2 2 4 ) 口 e j = 【谚，。 h i ( i - b ) ( 2 2 5 ) t = l 因此，当中间层的输出为“0 ”或“1 ”时，连接权校正量u 。或a o j 。为0 ， 不起校正作用。中间层的输出上由s 函数的输出所决定的。由s 函数的饱和非 线形输出特性可知，当其输入小于或大于菜数值后，其输出接近于“0 ”或“l ”。 因而在相当次数的学习过程中，真正的校正量很小，校正进程十分缓慢。为此， 限制s 函数的输出，是加快网络校正的个有效方法。具体做法是，在网络的 学习计算过程中，s 函数的实际输出小于0 0 1 或大于0 9 9 时，将其输出值直 接取为0 0 l 或0 9 9 。这样作保证了每次学习都能进行有效的校正，从而加快 收敛过程。 ( 3 ) 惯性校正法 所谓惯性校正法，就是在每依次对连接权或输出阈值进行校正时，按一定 比例加上前一次学习时的校正量，即惯性项，从此加速网络学习的收敛。具体 做法如下式所示： ( ) = d + 私w ( n 1 ) ( 2 - 2 6 ) 式中，a w ( n ) 为本次应得校正量，, x w ( n 1 ) 为前次校正量，d 为由本次 误差计算得到的校正量，7 为惯性系数( 0 r l 1 ) 。 由式 a w ( n ) = d + 刁a w ( n 一1 ) 可知，当前一次的校正量过量时，惯性项与本次误差 校正项d 符号相反，使得本次实际校正量a w ( n ) 减小，起到减小振荡的作用： 而当前次校正量偏小时，惯性项与本次误差计算校正项符号相同，本次实际校 正量增加，起到加速校正的作用。 ( 4 ) 改进的惯性校正法 以上介绍的惯性校正法中，惯性项在每次学习校正时所起作用的比重是相 等的，即惯性系数在整个校正过程中为常数。在改进的惯性校正法中，惯性系 数是一个变量，随着校正的不断进行，惯性系数逐渐增大，惯性项在本次校正 量中所占的比重逐渐增大，如下式所示： 矿( ) = d + r ( j v ) w ( 一1 ) ( 2 - 2 7 ) r ( n ) = r ( n 1 ) + a 口 ( 2 - 2 8 ) 这一改进的目的是使被校正量随着学习进程的发展，逐渐沿前一次校正方 1 8 第2 章滤波一神经网络一模糊理论基础 向变化。以次达到加速收敛的目的。但是应该注意，如果惯性系数太大，惯性 项所占的比例过重，则误差修正项的作用削减太多以至完全不起作用。反而会 延长收敛时间，甚至引起振荡。所以，一般应设置惯性系数的上限值，以确保 误差修正项的校正作用。通常上限值取0 9 0 左右。另外也有采用惯性系数按 指数形式增长的办法进行惯性校正的方案。 2 4 径向基函数神经网络基本原理 为解决b p 网络存在有局部极小问题、学习算法的收敛速度很慢，且收敛 速度与初始权值的选择有关和网络的隐节点个数选取尚无理论的指导，而是根 据经验选取的问题，相关学者又提出了另一种神经网络解决方案一r b f 网 络。 2 4 1 网络的输出计算 径向基函数( r b f - r e d i a lb a s i sf u n c t i o n ) 神经网络是由j m o o d y 和c d a r k e n 于8 0 年代末提出的一种神经网络。它具有单隐层的三层前馈网络，结 构见图2 一l o 所示。由于它模拟了人脑中局部调攘、相互覆盖接收域的神经网 络结构，因此，r b f 网络是一种局部逼近网络，已经证明它能以任意精度逼近 任连续函数。 图2 一i o r b f 瞬络结构 径向基函数网络与b p 网络的结构相同，但对于r b f 网络隐含层节点的传 输函数为径向基函数，径向基函数的种类缀多，常见的为高斯函数： 脚) = 州一醪( 2 - 2 9 ) 输出层节点的传输函数为纯线性函数，即： ，( x ) = x ( 2 - 3 0 ) 对于r b f 网络的第i 个隐含节点的输出为： g ，= 尺( | l 茁一c ，l i ) ( 2 3 1 ) 1 9 成都理工大学硕士学位论文 式中：x 为n 维输入向量；仁为第i 个节点的中心( j _ i ，2 , 3 ，辨) 。o j 归一化 参数，用于控制接收域的大小；| | | i 通常为欧式范数；r ( ) 为r b f 函数，有局 部感受的特性，它有多种形式，体现了r b f 网络的非线性映射能力。网络输出 层第k 个节点的输出为隐节点输出的线性组合： y = 国“g ，一0 ( 2 - 3 2 ) j 式中：魄为吼到y k 的加连接权值，岛为第k 个输出节点的阈值a 2 4 2 网络的学习算法 对于网络的学习算法，r b f 网络有导师学习和无导师学习两部分组成。首 先，设有p 组输入输出样本，x ，d ，p = 1 ，2 ，三，定义目标函数( 厶范数) ： j 2 ；莩阮一y , l l2 ；莩；( 一) ( 2 3 3 ) 学习的目的是使，f ，式中，_ y ，为在x ，输入网络的输出量。 ( 1 ) 无导师学习： 无导师学习也称非监督学习，对所有样本的输入进行聚类，求得各隐层节 点的r b f 的中心b 。这里讨论k 一均值聚类算法，调解中心，算法步骤为： ( 1 ) 确定各隐层节点的初始中心c 和半径盯，。 第一步，初始所有的聚类中心c jo = l ，2 ，) ，通常将其初始化为最初的n 个训练样本； 第二步，将所有x