（控制理论与控制工程专业论文）基于labview的信号拟合算法研究.pdf

摘要近年来，国内外对于信号拟合研究进行了许多尝试。在l a b v i e w 的分析软件库中提供了多种线性和非线性的信号拟合算法。在进行信号拟合时需要根据不同的信号，采用不同的拟合方式。这些方式虽然各有其优势和特点，但同时也存在着局限性。为了克服现有方法中的不足，人们正在不断的探索。在本文中，首先对于一些信号拟合算法进行了调研和改进，主要是研究神经网络进行信号拟合，其中利用了柔性函数基和模拟退火算法，然后将改进的算法嵌入到基于l a b v i e w 构架的虚拟仪器中，扩展l a b v i e w 的信号拟合处理的功能，使l a b v l e w 具有广泛的应用性。本文首先研究了基于柔性函数基的模拟退火神经网络。神经网络在信号处理方面的实际应用，存在一些问题，其中就是灵活多变的神经元激励函数表达式不多，而且大多数基函数形式单一，如s i g m o i d 函数、径向基函数等。为此，在本文中采用了多参数的柔性函数基，它的特点克服了以往神经元激励函数的缺陷，它通过参数的调整使得函数基更能贴近复杂的信号。在神经网络训练的过程中，人们通常采用梯度下降法进行神经网络的参数调整，其方法的优点是搜索速度快，简单方便。缺点是容易陷入局部极值点。由于在实际中，大部分的信号是多极值的，所以在应用b p 神经网络的信号拟合过程中必须反复的调整初始参数，使用梯度下降法，然后在多个搜索的极值中，取其最终的极值点。这样做往往增大了计算量和运行时间。为了克服其缺陷，本文采用了一种全局性的搜索算法模拟退火算法。本文首次将柔性函数基和模拟退火算法结合起来，介绍了这种基于柔性基的模拟退火神经网络的训练算法和实现步骡。仿真实验表明，这种新的尝试可以较好地克服局部搜索算法带来的缺陷，具有较高的研究价值。最后本文将基于柔性基的模拟退火神经网络嵌入到l a b v i e w 中，并以外汇牌价的拟合研究为仿真实验。仿真实验表明算法的嵌入扩展了l a b v i e w 的功能，较好地提高了信号拟合的准确性，增强了系统的灵活性，具有一定的使用价值。关键词：i a b v i e w ；柔性函数基：模拟退火算法；神经网络；信号拟合基于l a b v l e w 的信号拟合算法研究a b s t r a c tf o rs 如挈1 血f i t t i n g ，l o t so fr e s e a r c h e so nn e u r a ln e t w o r k sh a v eb e e nd o n ei n 也ea p p l i c a t i o n sa 1 1 dt h et h e o r i e s t h e 劬c t i o n sp a l e t t ei nl a b v i e wp r o v i d e sm a n ya l g o r i t h m so fl i n e a ra i l dn o n 1 i n e a ro fs i g i l a l6 t t i l l g w ec a i lu s er e l e v a i l tm e t h o d st os i g n a lp r o c e s s i n ga c c o r d j n gt od i r e n ts i g n a j sa n dt h e yh a v ea d v a j l t a g e s 柚dd i s a d v a n t a g e so ft h e i ro w n t oo v e r c o m et | l ed r a w b a c k so ft 1 1 ec u r r e n tm e t l l o d s ，p e o p l en e e dt o 咖d yc o n t i n u a l l yt bi m p r o v et h ea c c u r a c yo fs i g n a lf i t t i n gb ye m b e d d i i l gt l l ei m p r o v e da l g o r i t h mi n t ol a b v i e w ，w ed os o m es t u d ya n dj m p r o v 咖e n to na l g o r i t h mo f s i g n a lf i t 亡i n gb yu s j n gs o rf u n c t i o nb a s i sa i l ds i m u l a t e da 叽e a l i n ga l g o r i t h mi n “sp a p e r f i r s t l y ，s t u d yo ns o f t 如n c t i o nb a s i so f n e u r a ln e t w o r k si nt 1 1 ep a p e la l t h o u g h ，n e u r a ln e t w o r kh a sm a l l ya p p l i c a t i o n s ，i ts t i l lh a ss o m ep r o b l e m s ，o n eo fw h i c hi sn e u r o nf u n c t i o ne x p r e s s i o no fn “i b l ea n dc h a i l g e f u li sf e wa 1 1 dm o s tf u n c t i o nf b mi ss i m p l e ，s u c ha ss i g m o i dm n c t i o n 、r a d i a lm n c t i o n i no r d e rt os o l v et k sp r o b l e m ，w ee m p l o yo t h e rn n c t i o n s ，s u c ha ss o rf b c t i o nb a s i sw i 山mp a r 啪e t e r s b ya d j u s n n e n to fp a r a m e t e r s ，s i g n a l sf i t t i n gc a nr e a c ho r i g i n a js i g n a i s g e n e r a l l 弘t h em o s tc o m l o nu s e dm e t l o df o rt h ea d j u s t m e n ti st h ef a d i e n td e s c e n t t h em e t h o dh a sm a n ya d v a l l t a g e s ，f o re x 锄p l e ，i t ss p e e do ft r a i n i n gi sf b ta i l di t sa p p i i c a t i o n sa r ec o n v e n i e n ta n de x t e n s i v e h o w e v er ，i th a sad r a w b a c k ：j t se a s yt of a l li n t ot h e1 0 c a lm i n i m 岫d u r i n gt 1 1 et r a i n j n ga c t u a l l ym o s to ft h ep r o b l e m sh a v em a n ye x t r e m a ，a n dt h eg r a d i e n td e s c e n d i n gm u s tb er e p e a t e d l yu s e di nt h es i g n a lf i t t i n gp r o c e s s w h e n 廿1 es e a r c h e sa r eo v e r ，、 ，e 、v o u l ds e l e c tt h eb e s te x t r e m u m i no r d e rt oa c c e l e r a t et h es e a r c h ，w ema ：k eu s eo fag l o b a la l g o r i t h m ：s i m u ja t e d 锄e a l i n ga l g o r i t b a s e do ns i m u i a t e da r u l e a l i n ga i g o r i t h m ( s a a ) a i l ds o 代f u n c t i o nb a s i s ( s f b ) ，a l g o r i t h mo fd e a l l n gw i t ho n ed i m e n s i o n a ls i g n a lf i t t i n gb ym e a n so fn e u r a ln e t w o r ki sp r e s e n t e d t h ec o m b i n a t i o no fs f ba i l ds a aa n dt l es e l e c t i o no fs o rs f ba r ea n a l y z e di ne m p h a s i s s ；m u i a t i o ns h o w st h a tt h ea l g o r i 1 mw o r k sw e i if o rs i g n a i “t t i n g s a an e u r a ln e t w o r k sc a no v e r c o m et h ed r a w b a c k so fl o c a la l g o r “h mw e l l a tl a s t ，t h ep a p e rs h o w sas i m u l a t i o nb a s e do ns i g n a l 五n i n go ff o r e i g ne x c h a n g eq u o 把p “c ew i t ht h en e wm e t h o d e m b e d d e di nl a b v i e w t h es t u d ys h o w st h a tt h em e t h o dc a ni n c r e a s ef u l l c t j o n so fl a b v i e w ，i i n p r o v et h ev e r a c i t ya j l dt h ea g i l i t yo fs i g n a l6 n i n g i ik e yw o r d s ：l a b v i e w ；s o rf 叽c t i o nb a s i s ；s i m u l a t e da 皿e 越i n ga l g o r i t ；n e u r a ln e t w o r k ；s i g n a lf i m n g i i原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律责任由本人承担。论文作者签名日期：礁旦占! 丕：厶关于学位论文使用授权的声明本人完全了解济南大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借鉴；本人授权济南大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。( 保密论文在解密后应遵守此规定)一淋聊虢拙期：趔第一章绪论l a b v i e w 1 】1 2 1 ( l a b o r a t o r yv i r t u a li n s t r u m e n te n g i n e e r i n gw o r k b e n c h ，实验室虚拟仪器工程平台) 是美国国家仪器公司( n a t i o n a li n s t r u m e n t sc o r p 简称n i ) 推出的一种基于g 语言( g r a p h i c sl a n g u a g e ，图形化编程语言) 的虚拟仪器软件开发工具。主要应用于开发数据检测、数据测量采集系统、工业自动控制系统和数据分析系统等领域，是一种以图形化编程语言为基础设计虚拟仪器的软件开发环境。它采用全新的图形化编程技术，直观、易学、易用。广泛的被工业界、学术界和研究室所接受，是公认的进行虚拟仪器开发的工业标准软件。利用l a b v i e w 可以方便的建立自己的虚拟仪器。虚拟仪器口 是全新概念的最新一代测量仪器，是美国n i 公司首先提出的。已经有2 0 年左右的历史，在发达国家已被广泛应用于通信、半导体、交通、生物医学和工业自动化等领域。信号拟合研究是计算机测量过程中非常重要的一环，国内外已经进行了许多的研究【4 】o 虽然l a b v i e w 中提供了丰富的有关信号拟合方面的函数库，但是对于一些最新的研究方法，l a b v i e w 并不能最及时的更新。而且对于有些信号拟合问题，l a b v i e w提供的算法有时显的力不从心。因此需要将虚拟仪器的文本编辑方式和图形编辑方式有效的结合，将新的算法注入到l a b v i e w 软件函数库中，扩展信号拟合的功能，以解决实际中遇到的拟合问题。在进行实际信号拟合中根据不同的信号，采用不同的处理方法，不同的方法存在着不同的优点和缺点。为了克服现有方法中的不足，人们在不断的探索。因为每种智能诊断方法都有其优点和缺点。因此，需要融合各种方法，把多种方法有机结合起来、取长补短以提高信号处理准确率。近年来，神经网络技术、小波技术等信号分析新技术在拟合研究领域取得了很大的发展和丰硕的成果。9 0 年代以来，模拟人脑物理结构和直觉联想的人工神经网络智能信号处理系统如雨后春笋般地迅速发展起来，己成为国际上该领域的最新热点。本文将研究神经网络进行信号拟合技术嵌入到l a b v i e w 的虚拟仪器中。1 1 课题研究的目的和意义当今我们处于一个正在高速发展的社会，许多领域要求在有限的时问和空问内进基于l a b v i e w 的信号拟台算法研冤行大量的信号处理。例如：生物医学领域5 1 ，航天航空领域嘲，工业自动化领域【7 1 等等。它不仅仅局限在简单的信号采集、分析，它要求更加快速的处理、检测和控制。因而在研究和生产过程中要求速度越来越高，功能越来越强，精度也越来越高，需要的时间和空间越来越少，价格也越来越便宜。大凡从事仪器工作的人可能都有过这样的感觉：花了一大笔钱买了一套仪器，可是只用了其中的一部分功能。要么有些功能用不上，要么有些其他应用的功能要求，该仪器满足不了。这些情况无疑是大大浪费了人们的投资。很多人都会有这样的感慨：这套仪器要是能稍微改变一下，就可以扩大使用范围，那该多好。可是传统仪器很难做到，而且几乎不可能。例如示波器和波形发生器，价格昂贵，且被厂家限定了功能，只能完成一件或几件具体的工作，因此用户通常都不能对其加以扩展或自定义其功能。另外开发这些仪器还必须要用专门的技术和高成本的元器件，从而使它们身价颇高。虚拟仪器的出现，彻底改变这种局面。依靠日新月异的计算机技术，虚拟仪器系统给用户一个充分发挥自己的才能、想象力的空间。用户( 而不是仪器厂家) 可以随心所欲地根据自己的需求，设计自己的仪器系统，满足多种多样的应用需求。这样大大突破了传统仪器在数据处理、表达、传送、存储等方面的限制，达到传统仪器无法比拟的效果。虚拟仪器在实际应用过程中，常常需要进行信号拟合，用于非线性测量系统的标度转换和显示。目前在科学计算和工程应用中，许多新的理论和算法已经用来解决的许多信号拟合问题。其应用遍布于工农业生产、工程技术、交通运输、生产管理、经济计划、国防、金融等方面。在这些实际的测试过程中可以很容易的得到大量的测量数据，为了充分利用这些数据，减小误差，就需要用到拟合。信号拟合算法研究已受到科研机构、政府部门和产业部门的高度重视。目前，人们构造了很多十分经典的算法，并且对于较小规模的问题，这些算法大部分都有了串行实现。但是在求解诸如天气预报、石油勘测等大规模问题时，目前的串行算法所需的运算时间已经超出了人们的忍受限度，对于实际问题的求解已没有意义。为此我们需要借助更好的算法及其实现： 具对这些大规模的问题进行求解。近年来，国内外对于算法的研究越来越活跃。人们也比较成功地对这些算法进行了理论探讨和实际的应用研究。在本文中将对神经网络和模拟退火算法做一些进一步的研究和改进，以期填补i a b v i e w 中的不足。虚拟仪器可与计算机同步发展，与网络及其它周边设备互连，用户只需改变软件程序就可不断赋予它或扩展增强它的信号拟合功能。我们使用的l a b v i e w 具有不同于济南大学硕士学位论文其他编程软件的特点，它可通过动态连接库、d d e ( 共享库) 、c i n 、a c t i v e x 等功能，方便地与其他软件进行连接，能够更加快速地进行信号处理，而且能够处理许多特殊信号。使用虚拟仪器可以大幅度降低资金成本、系统开发成本和系统维护成本，同时还加快产品上市时间，并提高产品质量。1 2l a b v ie w 的发展1 ，2 1l a b v ie w 概述和特点l a b v i e w 是美国n i 公司推出的种虚拟仪器软件开发工具。与c ，p a s c a l ，b a s i c等传统编程语言相似，但他们最大的区别是：传统的编程语言用文本语言编程，而l 。a b v i e w 使用图形化编程语言g 编写程序，产生的程序是框图的形式，界面非常直观形象。设计者可以象搭积木一样，轻松组建一个测试系统和构造自己的仪器面板，而无需进行任何烦琐的计算机代码的编写。l a b v i e w 中的程序称为v i ( v i r t u a li n s t r u m e n t ) ，每个v i 有三个主要部分：前面板、框图程序、及图标连接端口。前面板用于模拟真实仪器的用户界面；框图程序是利用图形编程语言对前面板上的控件对象进行控制；图标连接端口用于把i 。a b v i e w 程序定义成一个子程序，用“连线”工具将图标组合成流程图，从而实现模块化编程。l a b v i e w 特点可归结为以下几个方面：1 ) 图形化的编程方式，使用直观形象的数据流程图式的语言书写程序源代码。2 ) 提供了丰富的数据采集、分析及存储的库函数。3 ) 提供程序调试功能，如设置断点或探针，单步执行，语法检查等，是程序的调试和开发更加便捷。4 ) 3 2 b i t 的编泽器编译生成3 2 b i t 的编译程序，保证用户数据采集、测试和测量方案的高速执行。5 ) 提供了大量与外部代码或软件进行连接的机制，诸如d l l s ( 动态连接库) 、d d e ( 共享库) 、c i n 、a c t i v e x 等。6 ) 强大的i n t e i 。n e t 功能，支持常用网络协议、方便网络、远程测控仪器的开发。7 ) 囊括了d a q 、g p i b 、p x i 、v x i 、r s 一2 3 2 4 8 5 在内的各种仪器通信总线标准的所有功能函数，使不了解总线标准的开发者也能够驱动不同的总线标准接口设备和仪器。1基于l a b v i e w 的信号拟台算i 去研咒l a b v i e w 增强了用户构建自己系统的能力，为用户提供了实现一起编程与数据采集系统的便捷途径。使用l a b v i e w 进行原理研究、设计、测试并实现仪器系统，可以大大缩短系统的开发时间，使生产效率提高4 一1 0 倍。l a b v i e w 是应用最广泛的虚拟仪器的软件开发平台。目前虚拟仪器软件开发平台有两种：1 ) 基于文本式编程语言开发工具：如v c + + ，v b ，c + + b u i l d ，l a b w i n d o w s c v i 及d e l p h i 等。2 ) 基于图像化编程语言开发工具：如l a b v i e w ( n i 公司) ，h pv e e ( h p 公司) 。这些软件开发工具为用户设计虚拟仪器应用软件提供了最大限度的方便条件与良好的开发环境。l a b v i e w 是美国n i 公司在提出虚拟仪器的概念后推出的产品，自1 9 8 6 年1 o 版本问世至今己升级到8 o 版本。从简单的仪器控制、数据采集到过程控制和工业自动化系统，到处可见l a b v i e w 的应用1 2 2l a b v i e w 的应用经过2 0 年的不断改进。目前l a b v i e w 拥有众多用户，从交通监控系统到大学实验室，从部件自动测试到工业过程控制，l a b v i e w 的应用极其广泛。1 ) 应用于生产检测吼l a b v i e w 已成为测试测量领域的工业标准化开发工具。结合n i t e s t s t a n d ( 系统测试软件) 和该领域中最大的仪器驱动程序库，用户可设计自动化模型或对建立的自动化测试系统进行组织，控制和执行。2 ) 应用于研究和分析1 0 儿】。l a b v i e w 开发环境中集成了功能强大的高级分析库，可满足用户所有的分析要求。科学家和研究人员一直在用l a b v i e w 分析，计算生物医学，航空，能源开发和其他众多工业领域的真实结果。对于要求声音，振动，图像处理，联合时频分析，小波和数字滤波器设计等特殊的分析要求，l a b v i e w 可提供专门设计的附加软件。3 ) 应用于过程控制和工业自动化。l a b v i e w 一直被作为图形化程序开发环境应用于过程控制和工业自动化领域。对于基本的过程监控领域，l a b v i e w同其他诸如p i d 控制工具包，p l c 驱动程序等附加软件一起，可实现高速、多通道的测量和控制。对于大型复杂工业自动化和控制系统，n i 公司推出了l a b v i e w 数据记录和监控模块，可用于监控多通道i o ，与工业控制和网络进行通信，以及提供基于p c 机的控制。济南大学硕士学位论文1 3 神经网络技术和模拟退火算法在信号拟合方面的发展1 3 1 神经网络技术神经网络技术 1 4 l 【1 5 】起源于2 0 世纪4 0 年代，早在1 9 4 3 年，心理学家m c c u l l o c h和数学家p i t t s 合作，总结了生物神经元的一些基本生理特性，提出了形式神经元的数学描述与结构方法，即m p 模型，从此开创了神经科学理论研究时代。神经网络是人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k 缩写为a n n ) 的简称，它是生物学上的真实人脑神经网络的结构和功能，以及若干基本特性的某种理论抽象、简化和模拟而构成的一种分布式信息处理结构。从系统观点来看，神经网络是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统。神经网络的研究已经在国内外广泛兴起，成为各方面都十分重视的课题，并投人了大量的人力、物力和财力。近年来，神经网络在信号处理领域中的应用极为引人重视。利用神经网络技术进行信号处理，几乎遍及了信号处理的各个分支【l “。例如已渗透到：信号滤波技术、谱估计技术、系统辨识、信号重构、基于模糊神经网络的信号处理技术等方面。在本文中主要探讨其在系统辨识领域中的应用，系统辨识主要目的是要寻求数学模型，使得该模型的输出与被辨识系统的输出尽量接近，亦即从特定的一类模型中选出一个与被控对象输入输出实测数据拟合得最好的模型。对线性时不变系统已有许多有效的辨识方法，而对非线性系统，尽管也可建立一组非线性微分方程，然而求解这些方程却十分困难。利用神经网络的非线性映射能力和高性能运算能力，可以对非线性系统进行辨识。1 3 2 模拟退火算法1 9 8 2 年，k i r k p a t r i c k 将退火思想引入组合优化领域，提出了一种求解大规模的组合优化问题，特别是n p 完全组合优化问题的有效近似算法模拟退火算法。它源于对固体退火过程的模拟，采用m e t r 。p o l i s 接受准则，并用一组称为冷却进度表的参数控制算法的进程，使其寻找全局最优解。模拟退火算法【 1 是固体退火过程的模拟。固体遇火过程是在加热固体时，固体粒子的热运动不断增强，随着温度的升高，粒子与其平衡位置的偏离越来越大。当温度升至熔解温度后，固体的规则性被彻底破坏，固体熔解为液体，粒子排列从较有序的基于l 曲v i e w 的信号拟台算_ i 去研究结晶态转变为无序的液态，冷却时，液体粒子的热运动渐渐减弱，随着温度的徐徐降低，粒子运动渐趋有序。当温度降至结晶温度后，粒子运动变为围绕晶体格点的微小振动，液体凝固成固体的晶态，这个过程称为退火。退火过程遵循应用于热平衡封闭系统的热力学定律自由能减少定律：“对于与周围环境交换热量而温度保持不变的封闭系统，系统状态的自发变化总是朝着自由能减少的方向进行，当自由能达到煨小值时，系统达到平衡态”。模拟退火算法( s a a ) 在理论上已得到证明，它可以达到全局极小值，所以它备受专家与学者的青睐。目前，关于模拟退火算法的研究通常分为两类。第一类是基于有限状态奇异马尔可夫链的有关理论，给出模拟退火算法的某些关于理想收敛模型的充分条件或充要条件，这些条件在理论上证明了当退火三原则( 初始温度足够高、降温速度足够慢、终止温度足够低) 满足时，模拟退火算法以概率l 达到全局最优解。第二类是针对某些具体问题，给出了模拟退火算法的很多成功应用。模拟退火算法从经典的模拟退火算法走到了今天的多样性的模拟退火算法，比如快速模拟退火算法8 1 ，使得该算法的速度和收敛性都得到较大提高，再比如适应性的模拟退火算法【l ，使得该算法具有智能性：再比如现在有学者提到的遗传模拟退火算法口0 1 ，就是将遗传算法和模拟退火算法二者的优越性结合起来。不能忽略的是，每种算法的提出都与其应用范围紧密结合，这样才使得改进的算法在其应用领域具有较好的适用性。由于模拟退火算法( s a a ) 从理论上可以达到全局极小值，所以对该算法的研究刊更有实际意义，众多学者正在努力钻研将其一般化，使其具有普遍适用性。1 3 3 信号拟合在实际中的应用信号拟合【2 2 j 是将离散的测量数据重构出连续变化的曲线。它的基本思路是：设变量。，厂( x ) 在实践中获得对数据( _ ，( x ，) ) ，_ 1 ，2 ，。要求在某特定的函数类( 例如多项式) 中构造个近似函数，( z ) 。使得在_ 上的误差( 又称残差)e ，= 厂( 石) 一厂( z ) ，f = 1 ，2 ，- j v按某种度量标准为最小。信号拟合在实际应用中是很广泛的”，例如：1 ) 消除测量噪声，消除各种干扰因素，精简样点，采集有效的数据：2 ) 减少数据丢失和失真；6济南大学硕士学位论文3 ) 填充丢失的采样点( 一个或者多个采样点丢失或者记录不正确) ；4 ) 插值( 估计采样数据点之间的数据) ；5 ) 推断( 对数据点前后的数据进行估计) ；6 ) 求解某个基于离散数据对象的速度轨迹( 一阶导数) 和加速度轨迹( 二阶导数) 。1 4 论文的主要内容和创新之处1 4 1 论文的主要内容沦文主要分为五部分，第章主要介绍课题研究的目的、意义及有关理论的发展现状，并阐述了本文的主要内容及创新之处。第二章对神经网络和模拟退火算法的数学基础进行介绍，主要包括b p 神经网络的模型，流程图和存在的缺陷，还简单介绍模拟退火算法的相关知识。第三章是基于柔性函数基和模拟退火算法的信号拟合研究，系统的阐述了柔性函数基和模拟退火的基本概念和两者的有效结合。第四章是虚拟仪器与算法研究有效结合后的仿真结果比较，体现基于虚拟仪器信号拟合算法研究的有效性和实用性。最后一部分是总结和展望，在肯定研究成果的同时认真的分析以后的工作方向和目标。1 4 2 论文的创新之处l a b v i e w 本身带有了强大的功能，而且不断在升级版本，但是还是存在一些缺陷。对于一些正在发展的新的理论，不能最及时的进行更新。为解决实际中遇到的一些复杂信号拟合问题，本文将使用编程语言开发工具( c ，v c + + ) 编辑的改进算法嵌入到l a b v i e w 中，扩展其在信号拟合方面的功能，达到发展的目的。人工神经网络以其独特的信息处理特点在许多领域得到了成功的应用。具有许多优秀品质，能够从大量的历史数据中进行聚类和学习，进而找到某些行为变化的规律。在论文中第一次尝试将柔性函数基同模拟退火算法结合起来，解决b p 神经网络中b p 算法带来的缺陷。在文章中重点分析了柔性函数基和模拟退火算法的结合和柔性函数基的选取，以及新尝试的具体实现步骤。仿真实验表明两者的结合可以较好地实现所要求的效果。不过在仿真的实验中仍然存在许多缺陷，需要在以后的工作中进一步研究。第二章神经网络和模拟退火算法理论基础神经网络系统是由大量的、同时也是很简单的处理单元( 或称神经元) 广泛地互相连接而形成的复杂网络系统。各个神经元之间通过相互连接形成一个网络拓扑，这个网络拓扑的形式称为神经网络的互连模式。不同的神经网络模型对神经网络的结构互连模式都有一定的要求和限制，比如允许它们是多层次的、是全互连的等等。神经网络以外的部分可统称为神经网络的环境。神经网络从其所处的环境中接收信息，对信息进行加工处理之后将其返回( 或作用) 到其所处的环境中去。以语音系统为例，神经网络从这个环境中接收连续的语音信号，进行识别处理之后，就将结果输出到环境中，即以屏幕显示或打字的形式反映出来。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习的能力，主要用于处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。在神经网络的训练中，人们应用了许多有效的改进算法，如梯度法下降法、共轭梯度法1 2 4 1 、变尺度b f g s 校正法口5 1 、最小正交二乘法【2 6 1 、区间学习法【2 7 】等。其中许多算法虽然收敛速度快，但是易于陷入局部最优点。神经网络是借鉴于生物神经网络而发展起来的新型智能信息处理系统，由于其结构上“仿造”了人脑的生物神经系统，因而其功能上也具有了以下智能特点。1 联想记忆联想记忆功能是指神经网络能够通过预先存储信息或自适应学习机制，从不完整的信息和噪声干扰中恢复原始的完整信息。2 非线性映射非线性映射功能是指神经网络能够通过对系统输入输出样本自动提取蕴含其中的映射规则，从而以任意精度拟合任意复杂的非线性函数。3 分类与识别神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。客观世界中许多事物在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的s济南大学硕士学位论文类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近。4 优化计算优化计算是指在己知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出。5 知识处理神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建适合于表达所发现的规律。神经网络各个神经元之间的连接并不只是一个单纯的传送信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数起着生物神经系统中神经元的突触强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。这个加权系数通常称为权值。在神经网络中，修改权值的规则称为学习算法。这也就是说权值并非固定不变的。相反地，这些权值可以根据经验或学习来改变。b p 神经网络就是这种情况。2 1b p 神经网络简介反向传播( b p ) 算法“又称为误差逆传播校正方法，它是1 9 7 4 1 9 8 5 年，p w e r b o s ( 哈佛大学) 提出的。b p 算法用来训练多层前向神经网络，属于监督学习算法。b p 网络就是一个多层的前馈神经网络，园其网络训练算法使用的是b p 算法，所以习惯称为b p 神经网络。b p 神经网络是目前神经网络理论发展最完善、应用最为广泛的网络。其采用误差反传的特性解决了隐层引入以后的学习问题。其实质是采用梯度下降法使权值的改变总是朝着误差变小的方向改进，最终达到最小误差。它具有结构清晰、易实现、计算功能强大等优点，因而是目前最常见、使用最广泛的多层神经网络。它主要用于识别分类、非线性映射、复杂系统仿真等方面，其运用涉及到各个领域，例如模式识别和图像处理、控制和优化、预测和管理、通信等。9基于l 曲v i e w 的信号拟台算法研究b p 算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层输入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转入误差的反向传播阶段。误差的反传是将输出误差以某种形式通过隐含层向输入层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号并将其作为修正各单元权值的依据。这种信号正向传播与误差反向传播是循环进行的。权值的不断调整过程就是网络的训练过程。此过程一直进行到输出误差达到要求的标准。2 1 1b p 神经网络模型简介图2 1 是典型的基于b p 算法的前馈网络模型，由输入层，隐含层和输出层组成。其中一个圆圈代表一个神经元，神经元间相互连接形成复杂的网络结构。x 和z 表示输入和输出向量，其中输入层、隐含层和输出层分别有厶和个节点。选择神经元激励函数是s ( s i g m o i d ) 函数，这是因为b p 算法本身要求网络的输入输出函数是可微分的，s 型函数不但具有可微分性，而且具有饱和非线性特征( 增强了网络的非线性映射能力) ，同时还是因为s 函数的一个重要特征是：其导数可用它的自身来表示( ”) = ，( “) 1 厂( ”) 。s 函数的表达式是：巾) = 专( 2 _ 1 )zyxz 1z 2z 3z x lx 2x 3x l图2 1b p 神经网络模型隐含层和输出层神经元节点输出分别为v 舢hr 、巧”= 卅x r l 俨1 ，2 ，( 2 2 )，c l，、z = 卅吒。吃”i ，f l ，2 一，( 2 3 )， 。i其中和匕分别是输入层与隐含层、隐含层与输出层之间的神经元连结权值，( 表示第斤个输入样本。网络输出误差函数f 表示如下：e = ；( z r r z 坩( 2 4 )其中 ( ，f 】，2 ，) 表示第七个样本的输出层第月个神经元的期望输出。z 表示第个样本的输出层的第月个神经元的实际输出。将式( 2 2 ) 和( 2 3 ) 代入误差函数公式中，显然，在样本确定的情况下，f 完全取决于网络权值的选取，即f = f ( k ) 。由于网络训练的目的在于使得f 趋于全局最小，因此网络训练过程就是网络权值的调整过程，即寻找合适步长彬。和，使f ( ) m i n f( 辨一p 吃+ ) 。下面介绍采用b p 算法优化网络参数。按( 2 4 ) 式，误差函数可以表示为：e = 毛十e = ( 彬。，吃。) + 盯亏e + o ( 盯2 )( 2 5 )其中，e = v e + o ( 2 ) ，v e 表示误差函数的梯度矢量，表示误差函数参数调整的步长矢量，其表达式分别为a e8 e讹：( a ，a _ ，。)( 2 6 )盯：( ，)( 2 7 )需要说明，( 2 5 ) 式中近似相等的情况是在l i m 舒斗o ，o ( 廿2 ) 舒_ v e 时获得的。由于b p 神经网络的洲练目的在于减小误差函数，因此要求e 0 。于是，f 与亏e 之间的夹角臼要。显然，最佳选择是。= ，此时误差函数e 减小最快，即舒沿着e 的负梯度方向。但由( 2 7 ) 式可见，分别直接对的各个分量调整从而保证舒沿基于l a b v i e w 的信号拟台算_ ；去研艽着e 的负梯度方向是比较困难的，最简单的办法是采用下面公式芦= 一玎v e( 2 8 )其中，玎是一个大于o 的正常数( 称为学习率) 。由上式可以看出，误差函数e 绝对减小。于是，得到网络参数的优化公式：叫蓑，叩薏( 2 _ 。)可见，网络各个参数的调节幅度是受一个统一的学习率卵控制的。如果各个网络参数的学习率不相同，则由( 2 8 ) 式可以看出，将无法保证f 沿着负梯度方向，从而无法保证误差函数e 减小得最快。因此，在b p 神经网络的训【练过程中，必须保证网络各个参数的学习率相等。2 1 2b p 神经网络流程图根据b p 神经网络模型的学习算法的基本思想，可以得到b p 神经网络模型的学习算法实现流程图，如图2 2 所示。图2 2b p 神经网络流程图从流程圈中可咀看出在进行b p 神经网络设计时需要考虑神经网络层数，隐含层神经元的数目，初始值的选取，学习率的选取等方面的因素。2 1 3b p 算法存在的主要缺陷b p 算法的理论依据坚实，推导过程严谨，物理概念清楚，通用性强。由于这些基于l a b v l e w 的信号拟台算法研究优点，它至今仍然是多层前向神经网络的最主要的学习算法。但是人们在使用过程中发现b p 算法也存在许多不足之处，主要有以下几个方面【2 9 l ：1 ) 最终解是某个局部最优解。b p 算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的网络，其误差函数为多维空间的曲面，因而在对其训练过程中，很可能陷入某一小谷区，由此点向各方向变化均使误差增加，以至于使训练无法逃出这一局部极小值。2 ) 学习过程收敛速度慢。b p 算法是利用误差对权值、阈值的一阶导数信息来指导下一步的权值调节方向，以求达到最终误差最小。为保证算法的收敛性，学习率，7 必须小于某一上限。这就决定了b p 算法的收敛速度不可能很快。在学习过程中的假饱和现象也可能是造成收敛速度慢的原因。3 ) 隐含层和隐含层节点数难以确定。节点数的选择影响了b p 算法的拟合效果和收敛速度。4 ) 最终解的质量还依赖于初始解的选择。般情况下b p 神经网络执行时的初始解往往是随机选取的，不存在选择初始解的准则，它可能导致低质量的最终解。为了克服这些缺点采取一些方法进行改进，在文献 3 0 】【3 1 ( 3 2 】f 3 3 】中对改进措施进行了详细的介绍，仿真计算表明，在满足相对误差要求的情况下，这些综合改进方法能够获得较快的收敛速度和较高的压缩比，取得了比较满意的结果。但是并不能完全克服b p 自身存在的缺陷。2 1 4 算法分析在保持局部搜索算法通用性和灵活性的前提下，避免局部极小值的方法主要有以下几种：1 ) 对大量初始解执行算法，从中选优；2 ) 引入更复杂的邻域结构，使算法能对解空间的更大范围进行搜索；3 ) 改变局部搜索算法只能接受优化解迭代的准则，改变接受的方法。例如使用全局优化算法。第一种方案与初始解的选择有关，由于受到运行时间的限制，不可能对所有初始解施行，因而最终解仍然可能是某个局部最优解；第二种方案需要对待求解问题的透彻了解，而专注于某类问题又将使局部搜索算法失去通用性丽成为一种专用算法；第1 4侪南大学硕士学位论文三种方案需要使用一些全局优化算法，在许多文献中对全局优化算法进行了探讨。下面简单介绍几种常见的全局性优化算法。1 ) 模拟退火算法 3 4 1模拟退火算法是模拟金属退火过程的种全局寻优算法。网络的可调节权值等效于金属中的粒子，而网络的输出误差( 代价函数) 则等效于金属的能量状态。随机地取权值增量，按m e t r o p o l i s 准则判断是否接受新的权值调整。这实际上等效于引入“噪声”，使网络有可能跳出代价函数的局部极小点，从而向全局极小点收敛。2 ) 遗传算法【3 q 【36 1遗传算法是一种通过模拟自然进化过程搜索全局最优解的算法，该算法同时考虑了搜索空间上的许多点，并使用概率法则来引导其搜索。因此，避免局部极小的可能性很大。遗传算法是借鉴生物自然选择和遗传机制的随机搜索算法。遗传算法之所以能够增强解决问题的能力，是因为自然演化过程本质就是一个学习与优化的过程。该算法的核心思想是：生物进化过程( 从简单到复杂，从低级到高级) 本身是一个自然的、并行发生的、稳健的优化过程，其目的就是要适应环境。生物种群通过“优胜劣汰”及遗传变异的方法来达到进化的目的，生物的进化通过繁殖、变异、竞争和选择实现的。遗传算法通过模拟“优胜劣汰，适者生存”的规律激励好的结构，通过模拟孟德尔的遗传变异理论在迭代过程中保持己有的结构，同时寻找更好的结构。作为随机优化与搜索算法，遗传算法具有如下特点：遗传算法不是盲目式的乱搜索，也不是穷举式的全面搜索，它根据个体生存环境即日标函数来进行有指导的搜索。遗传算法只需利用目标的取值信息而不需要梯度、连续性、凸性等信息，因而适用于大规模、高度非线性的不连续、多峰函数的优化以及无解析表达式的目标函数优化，具有很强的通用性。3 ) 附加动量法【3 8 】附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。该方法是在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。为克服b p 神经网络中b p 算法带来的缺陷，在本文中对模拟退火算法进行了进基于l a b v l e w 的信号拟合算法研究步的研究和探讨。2 2 模拟退火算法2 2 1 模拟退火算法的基本思想模拟退火算法是适合求解大规模组合优化问题通用而有效的近似算法，主要应用在超大规模的集成电路的计算机辅助设计3 9 】【4 0 】、图像处理和计算机视觉【4 、电信【4 2 】经济【4 3 】以及众多其他的工程领域。设组合优化问题的一个解及其目标函数分别与固体的一个微观状态及其能量e 等价，算法进程控制参数，担当固体退火过程中的温度r 的角色，则对于控制参数f的每一个取值，算法持续进行“产生新解判断接受舍弃”的迭代过程即对应着