梯度神经网络的设计及其应用

本科生毕业设计题目梯度神经网络的设计及其应用作者学号所属学院信息科学与工程学院专业年级指导教师职称完成时间2015年5月23日吉首大学教务处制目录摘要IABSTRACTII第1章绪论111梯度神经网络研究的背景和目的112国内外研究现状113本文的研究内容和设计结构2第2章梯度神经的设计过程321MATLAB技术背景3211基本介绍322梯度神经设计和基本模型4第3章梯度神经网络的应用631梯度神经的网络应用6第4章梯度神经网络的仿真验证741仿真设计742举例仿真7结语22参考文献23附录24致谢28梯度神经网络的设计及其应用摘要神经网络是一种模拟生物神经网络结构进行信息处理的数学模型，在图像恢复，信号处理，机器人逆运动学等领域有广泛应用。近年来，随着对神经动力学方法的大力研究，已开发了基于梯度方法的各种神经动力学模型。在线求解次方根是非线性方程求P解的一种重要的特殊情况,广泛应用在科学和工程领域当中。在本文中,首先设计针对一般问题求解的梯度神经网络模型其次,为了求解次方根,定义一个基于平方的标量取值P的能量函数，再根据梯度下降法,进一步推导出求解次方根的梯度神经网络模型。最后使用MATLAB仿真软件进行建模、仿真和验证计算机仿真实例以及它们的仿真结果，证明了梯度神经网络求解求解次方根的有效性。P关键词梯度神经网络；次方根；MATLABIDESIGNOFGRADIENTNEURALNETWORKITSANDAPPLICATIONABSTRACTNEURALNETWORKISAKINDOFSIMULATIONMATHEMATICALMODELFORINFORMATIONPROCESSINGOFBIOLOGICALNEURALNETWORKSTRUCTURE,ANDHASAWIDERANGEOFAPPLICATIONSINTHEIMAGERESTORATION,SIGNALPROCESSING,THEINVERSEKINEMATICS,ANDOTHERFIELDSHAVEINRECENTYEARS,WITHTHENEURALDYNAMICSMETHODTOSTUDY,VARIOUSNEURALDYNAMICSMODELBASEDONGRADIENTMETHODHAVEBEENDEVELOPEDONLINESOLUTIONOFTHEPTHROOTISAKINDOFIMPORTANTSPECIALCASEOFNONLINEAREQUATIONSOLVING,WHICHISWIDELYUSEDINTHEFIELDOFSCIENCEANDENGINEERINGINTHISPAPER,AGENERALGRADIENTNEURALNETWORKISFIRSTDESIGNEDFORSOLVINGTHECOMMONPROBLEMINADDITION,INORDERTOFINDTHEPTHROOT,ASCALARVALUEDSQUAREBASEDENERGYFUNCTIONISFIRSTDEFINEDTHEN,ACCORDINGTOTHEGRADIENTDESCENTMETHOD,AGRADIENTNEURALNETWORKMODELISFURTHERDERIVEDFORFINDINGTHEPTHROOTFINALLY,THEMATLABSOFTWAREISUSEDFORMODELING,SIMULATION,ANDVERIFICATIONCOMPUTERSIMULATIONEXAMPLESANDTHEIRSIMULATIVERESULTSSUBSTANTIATETHEEFFECTIVENESSOFTHEGRADIENTNEURALNETWORKFORFINDINGTHEPTHROOTKEYWORDSGRADIENTNEURALNETWORKPTHROOTMATLABSIMULATION0第1章绪论11梯度神经网络研究的背景和目的111神经网络简介神经网络110有着广泛的前景，分布在系统辨识、模式识别、智能控制等领域。在智能控制中，人们把对神经网络自学习功能这一特点，认为是是解决自动控制中控制器适应能力的关键之一。通过模拟人类实际神经网络的数学方法，我们把这种通过模拟人类实际神经网络的数学方法称为神经网络。目前广泛应用的神经网络是由大量的简单元件连接而成的，用来模拟人脑复杂行为的一种网络信息处理系统。通过模拟大脑反映人脑的许多基本特性，如良好的容错性与联想记忆功能、自组织性和很强的学习能力，表现出良好的智能特性，随着对生物脑的深入了解，人工神经网络汲取了生物神经网络的许多优点特性，获得了长久的发展，具有了高度的非线性，能够进行复杂的逻辑操作和非线性关系实现，涉及很多工程领域。神经网络是由许多的、简单的处理单元广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征。梯度神经网络是由若干个非线性神经元构成的全连接型的人工神经网络，其中，任何一个神经元既接受来自于其他神经元的输入，同时也对其他神经元输出信号。梯度神经网络构成的是具有反馈的系统，输出可以返回来调节输入，从而建立动态关系。因此，也可将的神经网络看作是以权值和外部输入为参数的，关于内部状态的一个动力学系统。我们将提出一类梯度神经网络来实现求解静态次方P根方程问题，为了方便理解，我们把建立梯度神经网络模型的过程定义为神经动力学设计方法。梯度算法是一种简单又常用的常用的神经网络训练算法。在本章中，介绍了此次研究课题背景和意义，然后叙述了国内外发展现状及趋势，最后阐述了研究设计方法。12国内外研究现状求解次方根是求解静态问题中的一个重要的情况，应用在各种科学与工程领域中。P通过求解次方根，一幅图可以在TORELLI群中被描述出来；再如HARRIS图像可以从其原图像的次方根中提炼到得到。因此，很多的数值算法被提出来求解这样一类次方P根问题。由于对神经网络的深入研究，许多基于神经动力学的模拟求解器也被广泛提出来。考虑到潜在的大规模电路实现和高性能并行处理能力，神经动力学方法已经被认为是一种强有力的实时问题求解方法。目前，许多已经报导非常受欢迎的计算方案都是基1于梯度设计方法。而我们知道，这些数值算法和梯度神经网络理论上都是用来求解静态次方根，即。PX0PTA13本文的研究内容和设计结构131研究内容在求解次方根问题被认为是非线性方程求解的一种重要的情况，并应P0PXA用于科学与工程领域中。如通过求解次方根，一幅图可以在TORELLI中被描述出来；P再如HARRIS图像可以从其原版图像的次方根当中得知。因此，许多相关的数值算法被提出来求解这样一类次方根问题。而且，对于神经网络的深入研究，许多相关的数值算法被提出来求解这一类的次方根问题。而且，对于神经网络的深入研究，许多基于神经动力学的模拟求解器也被广泛提出。132设计方法梯度神经网络应用设计通过使用MATLAB软件，结合神经网络工具箱，在介绍神经网络中的各种类型以及训练过程的基础上，利用MATLAB工具箱进行梯度神经网络的设计及其应用。各种梯度神经网络在不同应用时的网络性能分析与直观的图形结果，能更加透彻地分析各种神经网络的性能和优缺点，从而可以正确、合理和充分应用神经网络。在实际应用中，面对一个具体的应用问题，首先要分析用神经网络方法求解问题，根据问题特点，确立网络模型。最后通过网络仿真分析，确定网络是否适合。是否需要修改，来设计研究出功能更好，更有效的神经网络和神经网络应用的成果1120。作者首先进行梯度神经网络的开发背景概述，并大概介绍国内外现状，然后进行梯度神经网络设计，最后论述设计的仿真验证，根据文章管理模块的功能需要，本文共分为四章，组织结构如下1第1章介绍了梯度神经网络的开发背景；介绍了梯度神经网络的国内外研究的现状和未来的深入发展。简述作者在梯度神经网络的设计工作内容，给出论文的层次结构。2第2章分析了梯度神经网络的的技术背景和基本模型。3第3章介绍了MATLAB的技术可行性分析以及应用方程。4第4章对梯度神经网络所应用的方程进行仿真验证。第2章梯度神经的设计过程221MATLAB技术背景211基本介绍MATLAB（矩阵实验室）是MATRIXLABORATORY的缩写，是一款由美国THEMATHWORKS公司出品的商业数学软件。MATLAB是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。除了矩阵运算、绘制函数/数据图像等常用功能外，MATLAB还可以用来创建用户界面及与调用其它语言（包括C，C和FORTRAN）编写的程序。尽管MATLAB主要用于数值运算，但利用为数众多的附加工具箱（TOOLBOX）它也适合不同领域的应用，例如控制系统设计与分析、图像处理、信号处理与通讯、金融建模和分析等。另外还有一个配套软件包SIMULINK，提供了一个可视化开发环境，常用于系统模拟、动态/嵌入式系统开发等方面。MATLAB和MATHEMATICA、MAPLE并称为三大数学软件。它在数学类科技应用软件中在数值计算方面首屈一指。MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。MATLAB的基本数据单位是矩阵，它的指令表达式与数学、工程中常用的形式十分相似，故用MATLAB来解算问题要比用C，FORTRAN等语言完成相同的事情简捷得多，并且MATLAB也吸收了像MAPLE等软件的优点，使MATLAB成为一个强大的数学软件。在新的版本中也加入了对C，FORTRAN，C，JAVA的支持。可以直接调用,用户也可以将自己编写的实用程序导入到MATLAB函数库中方便自己以后调用，此外许多的MATLAB爱好者都编写了一些经典的程序，用户可以直接进行下载就可以用。212发展历程20世纪70年代，美国新墨西哥大学计算机科学系主任CLEVEMOLER为了减轻学生编程的负担，用FORTRAN编写了最早的MATLAB。1984年由LITTLE、MOLER、STEVEBANGERT合作成立了的MATHWORKS公司正式把MATLAB推向市场。到20世纪90年代，MATLAB已成为国际控制界的标准计算软件。3213软件特点1高效的数值计算及符号计算功能，能使用户从繁杂的数学运算分析中解脱出来；2具有完备的图形处理功能,实现计算结果和编程的可视化；3友好的用户界面及接近数学表达式的自然化语言，使学者易于学习和掌握；4功能丰富的应用工具箱如信号处理工具箱、通信工具箱等,为用户提供了大量方便实用的处理工具。214编程环境MATLAB由一系列工具组成。这些工具方便用户使用MATLAB的函数和文件，其中许多工具采用的是图形用户界面。包括MATLAB桌面和命令窗口、历史命令窗口、编辑器和调试器、路径搜索和用于用户浏览帮助、工作空间、文件的浏览器。随着MATLAB的商业化以及软件本身的不断升级，MATLAB的用户界面也越来越精致，更加接近WINDOWS的标准界面，人机交互性更强，操作更简单。而且新版本的MATLAB提供了完整的联机查询、帮助系统，极大的方便了用户的使用。简单的编程环境提供了比较完备的调试系统，程序不必经过编译就可以直接运行，而且能够及时地报告出现的错误及进行出错原因分析。22梯度神经设计和基本模型作为进一步讨论的基础，我们将针对标量取值的一般等式问题，设计一个可以普遍应用的梯度神经网络。221问题描述首先我们考虑如下标量取值的一般等式问题211FX0，其中代表一个映射函数，它既可以为线性函数，也可以为非线性函数在这一FA节,我们将就这样一个等式问题211,设计一个梯度神经网络该梯度神经网络可以实时求解一个,它可以满足以上一般方程211的要求。XTR222梯度神经网络模型在这一节,我们将根据梯度神经网络设计方法，开发一般的梯度神经网络模型来实4时求解一般等式问题211梯度神经网络的设计过程如下。首先,为了监控等式211的求解过程,通过利用梯度设计方法,我们可以定义一个基于平方的标准取值的能量函数2222FX，显然,当该能量函数等于零时,所对应的解X可以满足一般等式问题1的要求其次,为了使该能量函数222能够收敛到零,我们可以使该能量函数沿着它的负梯度方向下降,所以能量函数22的负梯度可以求得如下,2232FX最后,基于一个典型的负梯度信息的连续时间自适应法则，我们可以推到出如下普遍适应的梯度神经网络模型,2242DXTFXT其中,神经状态从随机产生的初始值出发,对应于一般等式方程211的0解,设计参数用来调节一般梯度神经网络模型224的收敛速度。0第3章梯度神经网络的应用31梯度神经的网络应用如上面所提到的,求解次方根是求解等式问题中的一个重要情况，如通过求解次PP方根，一幅图可以在TORELLI群中被描述出来再如HARRIS图像可以从其原图像的次方根中提炼到得到。所以,根据上一节一般梯度神经网络的设计过程，我们将把该设计5方法具体应用到次方根求解。P首先,我们考虑如下标量取值的次方根问题P（311）0,XTAT），其中表示一个标量取值的实数我们本章主要工作就是设计一个梯度神经网络来实AR时求解一个,从而可以满足以上次方根331的要求。为了表示方便，我们XT令表示的次方根的理论解。TP根据以上一般梯度神经网络的设计过程，为了监控静态次方根的求解过程，我们首先P可以定义了如下的一个基于平方的标准取值的能量函数（312）然P2XTA，后,基于该能量函数312的负梯度,313我们1PPXTAT就可以得到如下的求解P次方根的梯度神经网络模型,314其1PPDTXTXTT中,神经状态从随机产生的初始值出发,对应于次方根5的解,设计参数T0P用来调节一般梯度神经网络模型314的收敛速度。0第4章梯度神经网络的仿真验证41仿真设计在之前的章节里面，我们首先设计了一个普遍适应的梯度神经网络,其次由于次P方根求解的重要性,我们又设计了一个专门针对次方根求解的梯度神经网络在这一P节当中,为了验证梯度神经网络模型314的有效性,我们将挑选了几个富有代表性的次方根进行求解。在这章中，我们将用计算机实例仿真和它们的仿真结果。P6我们使用MATLAB软件来仿真函数，如图A图A42举例仿真下面我们通过GD模型去求解，的收敛情况。3Y8X416X5Y9X例1首先让我们考虑如下的次方根求解具体来讲P3P，（421）3很显然,在实数域里面,方程（421）有理论解是。下面我们将运用梯度神经2X网络模型去实时求解次方根（421）DXTTTAPP1（XTA）P不失一般性,我们令设计参数,初始状态0X在5,5区域内随机产生,01仿真结果如图1和图2所示从图1可以看出,从5,5区域内随机产生的初始状态出发,神经状态解在02秒内都收敛到次方根的理论解。这充分说明了我们梯P2度神经网络的有效性。另外,我们也展示了神经状态解对应的误差函数收敛情况,具体如图2所示。从图2我们同样可以得到,随着时间的推移,神经状态解对应的误差函数也在02秒内收敛到零,这更加直观的证明了我们梯度神经网络的有效性。700102030405060708091864202468函函函函函函函函图1梯度神经网络仿真的状态解00204060811214161821012345函函函函函函8图2梯度神经网络仿真的误差函数此外,为了说明设计参数的重要性,在其他条件不变的情况下,我们把设计参数调大为1。当1时，如图3图4所示000100200300400500600700800901864202468函函函函函图3梯度神经网络仿真的状态解90001002003004005006007008009011012345函函函函函函图4梯度神经网络仿真的误差函数可以看出,当,误差函数在2毫秒内就能收敛到零。00102030405060708091X10364202468函函函函函函函函图5梯度神经网络仿真的状态解1000102030405060708091X1031012345函函函函函函图6梯度神经网络仿真的误差函数当100时，如图5图6所示，误差函数的收敛时间只需要不到20微妙。仿真结果说明设计参数L对我们梯度神经网络的收敛速度有至关重要的作用。因此,在实际的应用中,我们应根据具体需求,选择一个合适的设计参数去设计梯度神经网络。通过的不同可以看出，值越大，收敛的时间就越短。这一仿真例子说明了我们梯度神经网络的有效性。例2首先让我们考虑如下的次方根求解具体来讲P4P，（422）4Y16X很显然,在实数域里面,方程（422）有两个理论解一个是,另一个是2X。下面我们将运用梯度神经网络模型（422）去实时求解次方根（422）。2XP不失一般性,我们令设计参数,初始状态0X在1,5区域内随机产生,01仿真结果如图7和图8所示。从图1可以看出,从1,5区域内随机产生的初始状态出发,神经状态解在002秒内都收敛到次方根的理论解或者。这充分说明P2X了我们梯度神经网络的有效性。另外,我们也展示了神经状态解对应的误差函数收敛情况,具体如图2所示。从图2我们同样可以得到,随着时间的推移,神经状态解对应的误差函数11也在002秒收敛到零,这更加直观的证明了我们梯度神经网络的有效性。000050010015002002500300350040045005864202468函函函函函函函图7梯度神经网络仿真的状态解000200400600801012014016018021012345函函函函函函图8梯度神经网络仿真的误差函数12此外,为了说明设计参数的重要性,在其他条件不变的情况下,我们把设计参数调大为1。当1时，如图9图10所示00001000200030004000500060007000800090016420246函函函函函图9梯度神经网络仿真的状态解130000500100150020025003003500400450051012345函函函函函函图10梯度神经网络仿真的误差函数由图9图10可以看出，误差函数在0005秒内就能收敛到零当100时，如图11图12所示1400102030405060708091X104864202468函函函函函函函图11梯度神经网络仿真的状态解0051152253354455X1041012345函函函函函函函函函函图12梯度神经网络仿真的误差函数15把L调大为100,如图11图12所示,误差函数的收敛时间只需要不到20微秒。仿真结果说明设计参数对我们梯度神经网络的收敛速度有至关重要的作用因此,在实际的应用中,我们应根据具体需求,选择一个合适的设计参数去设计梯度神经网络。通过的不同可以看出，值越大，收敛的时间就越短。这一仿真例子再次说明了我们梯度神经网络的有效性。例2首先让我们考虑如下的次方根求解具体来讲P5P，（423）5Y9X很显然,在实数域里面,方程（423）有两个理论解是。下面我们将运用1X梯度神经网络模型（423）去实时求解次方根（423）。不失一般性,我们令设计P参数,初始状态0X在1,5区域内随机产生,仿真结果如图7和图8所示。01从图1可以看出,从1,5区域内随机产生的初始状态出发,神经状态解在015秒内都收敛到次方根的理论解。这充分说明了我们梯度神经网络的有效性。另外,P15我们也展示了神经状态解对应的误差函数收敛情况,具体如图2所示。从图2我们同样可以得到,随着时间的推移,神经状态解对应的误差函数也在003秒收敛到零,这更加直观的证明了我们梯度神经网络的有效性。00050101502025030350404505864202468函函函函函图13梯度神经网络仿真的状态解160001002003004005006007008009011012345函函函函函函图14梯度神经网络仿真的误差函数此外,为了说明设计参数的重要性,在其他条件不变的情况下,我们把设计参数调大为1。从图16可以看出,当,状态解误差函数在0003秒内就能收敛到零1如果再继续把L调大为100,如图12所示,误差函数的收敛时间只需要不到30微妙仿真结果说明设计参数对我们梯度神经网络的收敛速度有至关重要的作用因此,在实际的应用中,我们应根据具体需求,选择一个合适的设计参数去设计梯度神经网络。1时，如图15图16所示17000010002000300040005000600070008000900164202468函函函函函图15梯度神经网络仿真的状态解00001000200030004000500060007000800090011012345函函函函函函18图16梯度神经网络仿真的误差函数从图15图16可以看出,当,状态解误差函数在0003秒内就能收敛到零1（3）当100时，如图17图18所示00102030405060708091X10464202468函函函函函函函函函图17梯度神经网络仿真的状态解1900102030405060708091X1041012345函函函函函函图18梯度神经网络仿真的误差函数把L调大为100,如图12所示,误差函数的收敛时间只需要不到30微妙分析，通过的不同可以看出，值越大，收敛的时间就越短。经MATLAB软件核对,神经状态解都收敛到该次方根方程423的理论解。P这一仿真例子再次说明了我们梯度神经网络的有效性。仿真结果说明设计参数对我们梯度神经网络的收敛速度有至关重要的作用因此,在实际的应用中,我们应根据具体需求,选择一个合适的设计参数去设计梯度神经网络。43小结我们提出一类特殊的GD模型去求解次方根问题，是和GD模型有关的基于平方的P能量函数，并把这一类设计推广到求解一般的静态次方根方程。最后，我们做了大量的计算机仿真，通过前面三个例子，我们证实了通过GD模型去求解次方根问题的有效P性，我们可以成功的把此类方法推广到求解一般的静态方程。20结语经过一学期的知识准备和接近半个月的论文撰写，自己终于完成了此次毕业设计，这是我学生生涯中的最后一次设计。通过此次毕业设计，使我感受颇多，第一，深深感到自己的所学知识的肤浅，应用程序并非是通过考试获取的，而在于平时的积累和不断的操练，这一点我并没有做的好。第二，在系统的仿真验证阶段，自己不能从专业的角度分析用户的描述内容，这些问题导致我在进行总体设计出现了种种状况，我时常在想我要是能再来一次我会认真的学习。虽然受到了挫折，但我并没有退缩，通过上网查找资料，图书馆搜集书籍，和老师交流，在老师指导下，而这些问题都在从中找到了答案。本次毕业设计已经结束，我不仅收获了知识而且也锻炼了自己的学习能力，通过这次毕业设计，我对待事情的态度更加的严谨和细心，并且把我要的结果都变完美了。毕业设计的完成给本科阶段的学习画上了完美的句号，但学习是终身的，在以后的时间里，我会本着对技术的追求，继续钻研。本次毕业设计，从选题，设计任务书，论文撰写，每一过程都得到我的指导老师的悉心指导，在我论文设计过程中排忧解难，在此衷心感谢我的指导老师XX老师和各位朋21友的帮助。毕业设计不仅是在对大学四年所学知识的一种检测，更是对自己专业能力的一种提高和升华。我发现在专业上的不足，在今后的学习和工作中应不断的去学习。参考文献1张雨浓,张禹珩,陈轲,蔡炳煌,马伟木线性矩阵方程的梯度法神经网络求解及其仿真验证J中山大学学报自然科学版2008,03402840312赵凤遥,马震岳基于递归小波神经网络的非线性动态系统仿真J系统仿真学报,2007,197145314553汤京永,时贞军一类全局收敛的记忆梯度法及其线性收敛性J数学进展,2007,36167754熊焱PISIGMA神经网络的几种梯度学习算法D大连理工大学20075张钹,张铃人工神经网络的设计方法J清华大学学报自然科学版1998S16朱文莉一类具有时滞的神经网络的稳定性分析J电子科技大学学报2000057曹青松,周继惠MATLAB在神经网络设计中的应用J华东交通大学学报2004048姜波基于神经网络的人民币识别系统研究D西安理工大学20049姜春福基于神经网络的机器人模型辨识与控制研究D北京工业大学200310曾喆昭神经网络优化方法及其在信息处理中的应用研究D湖南大学200811包芳基于智能算法的神经网络优化及其应用D江南大学20082212张锐几类递归神经网络的稳定性及其应用研究D东北大学201013张德丰MATLAB神经网络应用设计M计机械工业出版社200914王学武,谭得健神经网络的应用与发展趋势J计算机工程与应用20030315陈轲两种神经动力学方法的探讨与对比梯度法和新方法D中山大学200916刘春平神经网络的应用与发展J电子工艺技术20050617田大新,刘衍珩,李宾,吴静基于HEBB规则的分布神经网络学习算法J计算机学报20070818基于MATLAB的LCC评估系统研究与设计D陈莹厦门大学201119王学宁,徐昕,吴涛,贺汉根策略梯度强化学习中的最优回报基线J计算机学报20050620黄国宏,熊志化,邵惠鹤一种新的基于构造型神经网络分类算法J计算机学报200509附录例1我们采用GD模型,求解的静态次方根问题和误差的收敛情况。0PXA3Y8XP（1）当01时，如图1图2所示程序如下FORMATLONGCLEAR,CLCGAMMA0001OPTIONSODESETFORI110X016RAND1,105T1,XZODE15SGNNRIGHT,TSPAN,X0,GAMMAFIGURE3PLOTT1,XZ,BHOLDONFORJ1LENGTHT1TTT1JERRZ,JXZJ,316NERRZJNORMERRZ,J23ENDFIGURE2PLOTT1,NERRZYLIM0,5HOLDONNERRZ0PLOTT1,0,RHOLDONYLIM1,5END例2我们采用GD模型,求解的静态次方根问题和误差的收敛情况。0PXA4Y16XP（