（计算机应用技术专业论文）样条权函数神经网络的灵敏度分析及其在图像边缘检测中的应用.pdf

南京邮电大学 硕士学位论文摘要 作 题 英文题e l ：s e n s i t i v i t ya n a l y s i so fs p l i n ew e i g h tf u n c t i o nn e u r a l n e t w o r ka n di t s a p p l i c a t i o n o n i m a g ee d g e d e t e c t i o n 主题词：神经元，三次样条，灵敏度分析，图像检测 k e y w o r d s ：n e u r o n ，c u b i cs p l i n e ，s e n s i t i v i t ya n a l y s i s ，i m a g ee d g ed e t e c t i o 7 7 罗 南京邮电大学硕士研究生学位论文 摘要 摘要 人工神经网络是由大量简单的处理单元广泛互联组成的复杂非线性动力学系统，模拟 人脑神经网络的结构和行为。权函数神经网络作为一种新型的神经网络，对其灵敏度问题 的研究有着极其重要的意义。在对权函数神经网络的训练过程中，输入信息的噪声干扰是 不可避免的，这种由噪声干扰所引起的扰动误差对整个网络系统产生的影响是十分重要 的，而本文对网络系统灵敏度问题的研究就能够降低这种影响的发生。 国内外已有学者对神经网络的灵敏度问题进行过研究，其中在文献 1 】中该问题得到 了更加深入的探讨。在文献 1 】中，作者考虑到输入样本和权值都会受到噪声干扰的影响， 因而网络输出将会受到不同程度的扰动变化，进而作者提出了与样本扰动和权值扰动相对 应的样本灵敏度和权值灵敏度。这样，在网络训练过程中，我们可以通过灵敏度的变化值 来判断网络输出误差与目标样本的偏离程度，这样也就反映出了训练样本和权值选择的优 劣性。 本文在神经网络灵敏度分析的基础上，提出了权函数神经网络的灵敏度分析问题。文 章首先介绍了权函数神经网络和灵敏度的相关概念，包括其定义、学习曲线、权函数的引 入、灵敏度的主要应用领域和分析方法等；然后对三次样条函数进行了简单介绍，并且在 权函数神经网络中，将输入样本节点通过三次样条函数的模拟以函数的形式表示出网络权 值；在建立了网络三次样条权函数的基础上，分析推导出权函数神经网络灵敏度的计算公 式，并且依次计算出与灵敏度计算有关的网络输出误差和输入样本扰动的标准差，这样把 二者代入公式就可以得到本文所要讨论的权函数神经网络的灵敏度了。本文在理论分析的 基础上，又运用m a t l a b 运行环境对权函数和灵敏度进行了仿真，通过结果的分析比较， 确定了该理论分析的有效性和正确性；最后，在m a t l a b 平台下，将本文的理论研究工作 实际运用于图像的边缘检测中，通过实验可以更好的选择最优的边缘图像，指出了本文理 论研究的实际应用性能。 关键字：神经元；三次样条；灵敏度分析；图像检测 堕室坚鱼奎兰婴主塑塑竺堂垡笙壅 垒堡! 皇竺! 。- - - _ _ _ 。- 。_ - 。_ _ 。_ _ _ - _ _ - _ _ - _ _ _ _ _ _ - - - - _ _ - _ _ - _ _ - _ _ _ _ - - _ _ _ - _ _ _ _ _ - _ - _ _ _ _ _ _ _ - - _ - _ _ _ _ - - - _ _ - _ _ _ _ - _ - _ - _ - j - 一一 。一一。 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r ki s c o m p o s e db yal a r g en u m b e ro fs i m p l ei n t e r c o n n e c t e d p r o c e s s i n gu n i t sa sa w i d er a n g eo fc o m p l e xn o n l i n e a rd y n a m i cs y s t e m ，w h i c hs i m u l a t eh u m a n n e u r a ln e t w o r ks t r u c t u r ea n db e h a v i o r i th a sa ne x t r e m e l yi m p o r t a n ts i g n i f i c a n c et os t u d yt h e p r o b l e mo fs e n s i t i v i t yt ow e i g h t i n gf u n c t i o nn e u r a ln e t w o r k ，w h i c hc a nb ea san e wt y p eo f n e u r a ln e t w o r k t h ei n p u t i n gn o i s ei n t e r f e r e n c ei su n a v o i d a b l ed u r i n g t h en e u r a ln e t w o r k t r a i n i n gp r o c e s s t h en o i s ed i s t u r b a n c ec a u s e db ye r r o ro nt h ei m p a c to ft h ee n t i r en e t w o r k s y s t e mi si m p o r t a n t ，b u tt h ei s s u eo fn e t w o r ks y s t e ms e n s i t i v i t yr e s e a r c hw i l lb ea b l et or e d u c e t h eo c c u r r e n c eo ft h i si n f l u e n c e 。 ，t h es e n s i t i v i t ya n a l y s i so fn e u r a ln e t w o r k sh a v e b e e ns t u d i e db ys o m e s c h o l a r sa th o m e a n da b r o a d ，w h i c hi nt h el i t e r a t u r e 1 】t h ed i s c u s s i o no ft h ei s s u e sh a v eb e e nam o r e i n d e p t h o n e i nt h eh t e r a t u r eti ，t h ea u t h o r st a k ei n t oa c c o u n tt h ei n p u ts a m p l e sa n d w e i g h t sa r es u b j e c t t ot h ei m p a c to fn o i s ea n dt h u st h en e t w o r ko u t p u tw i l lb e s u b j e c tt od i f f e r e n tl e v e l so f d i s t u r b a n c ea n dc h a n g e ，t h e nt h ea u t h o r sp r o p o s e dt h e t h es a m p l es e n s i t i v i t ya n dw e i g h t s e n s i t i v i t yc o r r e s p o n d st os a m p l ed i s t u r b a n c ea n dw e i g h td i s t u r b a n c e i nt h i sw a y ，y o uc a n j u d g e t h ed e v i a t i o nl e v e lo fn e t w o r ko u t p u te r r o rw i t ht a r g e ts a m p l ew i t hs e n s i t i v i t yc h a n g ei nt h e n e t w o r kt r a i n i n gp r o c e s s t h i sa l s or e f e c t st h ep r o sa n dc o i l so fc h o i c e so f t r a i n i n gs a m p l ea n d w e i g h t i nt h i sp a p e r , i s s u e so fn e u r a ln e t w o r ks e n s i t i v i t ya n a l y s i so fw e i g h tf u n c t i o ni sp r o p o s e d b a s e do nn e u r a ln e t w o r ks e n s i t i v i t ya n a l y s i s t h i sp a p e rf i r s td e s c r i b e st h er e l a t e dc o n c e p t so f t h ew e i g h tf u n c t i o nn e u r a ln e t w o r k sa n ds e n s i t i v i t y ，i n c l u d i n gi t sd e f i n i t i o n ，t h el e a r n i n gc u r v e ， t h ei n t r o d u c t i o no fw e i g h tf u n c t i o n ，t h es e n s i t i v i t yo ft h em a i na r e a so f a p p l i c a t i o na n da n a l y s i s m e t h o d s ，e t c ；t h e nc u b i cs p l i n ef u n c t i o ni si nab r i e fi n t r o d u c t i o n ，a n di nt h er i g h tf u n c t i o n n e u r a ln e t w o r k ，t h ei n p u ts a m p l en o d et h r o u g ht h es i m u l a t i o no fc u b i cs p l i n ef u n c t i o nt ot h e f u n c t i o ni se x p r e s s e di nt h ef o r mo fn e t w o r kw e i g h t s ；i nt h ee s t a b l i s h m e n to fan e t w o r ko f c u b i cs p l i n ew e i g h tf u n c t i o n ，b a s e do nt h e a n a l y s i so ft h ew e i g h t i n gf u n c t i o nw ed e r i v e d f o r m u l a sf o rc a l c u l a t i n gt h es e n s i t i v i t yo fn e u r a ln e t w o r k ， a n di nt u r nc a l c u l a t e dw i t ht h e s e n s i t i v i t yt oc a l c u l a t et h en e t w o r ko u t p u te r r o ra n di n p u td i s t u r b a n c eo ft h es t a n d a r dd e v i a t i o n o ft h es a m p l e ，s ot h a tt h et w oc a nb es u b s t i t u t e di n t ot h ef o r m u l at ob ed i s c u s s e di nt h i sa r t i c l e w e i g h tf u n c t i o no ft h es e n s i t i v i t yo ft h en e u r a ln e t w o r k i nt h i sp a p e r , b a s e do nt h et h e o r e t i c a l n 南京邮电大学硕士研究生学位论文a b s t r a c t a n a l y s i s ，w ea l s ou s e dt h em a t l a br u n t i m ee n v i r o n m e n to nt h ew e i g h tf u n c t i o na n dt h e s e n s i t i v i t yo ft h es i m u l a t i o n ，t h r o u g ht h er e s u l t so ft h ea n a l y s i sa n dc o m p a r i s o no ft h e t h e o r e t i c a la n a l y s i st od e t e r m i n et h ev a l i d i t ya n dc o r r e c t n e s s ；f i n a l l y ，i nt h em a t l a bp l a t f o r m ， t h i st h ep r a c t i c a lw o r ko ft h e o r e t i c a lr e s e a r c hi sa p p l i e di ni m a g ee d g ed e t e c t i o n ，a n dt h r o u g h t h ee x p e r i m e n tt h eb e t t e re d g ei m a g ec a nb ec h o s e n w h i c hp o i n t e do u tt h ep r a c t i c a la p p l i c a t i o n p e r f o r m a n c eo ft h i st h e o r e t i c a ls t u d y k e y w o r d s ：n e u r o n ；c u b i cs p l i n e ；a n a l y s i so fs e n s i t i v i t y ；i m a g ed e t e c t i o n i i i 南京邮电大学硕士研究生学位论文 目录 目录 第一章绪论1 1 1 论文的研究背景及意义1 1 2论文的相关知识1 1 2 1 人工神经网络的发展史2 1 2 2 人工神经网络的模型和学习过程2 1 2 4 人工神经网络的应用领域6 1 2 5 关于灵敏度分析的介绍6 1 3 本文的主要研究内容。7 1 4文章内容的安排_ 8 1 5本章小结8 第二章样条权函数神经网络及其灵敏度分析的相关知识9 2 1 样条权函数神经网络概述。9 2 1 1权函数神经网络简介9 2 1 2基本概念9 2 1 3 权函数的引入点。一! 1 2 2 传统神经网络的灵敏度分析1 2 2 2 1灵敏度的引入- 1 2 2 2 2分析方法的描述1 3 2 3本章小结1 5 第三章三次样条权函数神经网络灵敏度问题的研究1 6 3 1三次样条函数的介绍1 6 3 2 三次样条权函数方程的建立_ 1 7 3 3 权函数神经网络的灵敏度分析2 l 3 3 1 建立网络权函数2 1 3 3 2灵敏度问题的引入2 4 3 3 3 灵敏度计算公式2 4 3 3 4 简单权函数神经网络的灵敏度计算2 5 3 4 本章小结：2 8 第四章数值仿真实验3 0 4 1 实验1 3 0 4 2 实验2 一3 3 4 3 实验3 3 6 4 4本章小结3 8 第五章权函数神经网络的灵敏度分析在图像边缘检测中的应用3 9 5 1 图像边缘检测技术的介绍3 9 5 2灵敏度分析在图像边缘检测中的研究意义4 1 5 3 仿真实验与结果分析4 l 5 4 本章小结：4 3 第六章总结与展望4 4 致谢4 5 参考文献4 6 攻读硕士研究生期间发表的论文4 9 i v 南京邮电大学硕士研究生学位论文第一章绪论 1 1 论文的研究背景及意义 第一章绪论 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) ，简称为神经网络( n e u r a ln e t w o r k s ) ， 它是一种先进的高级计算和模式识别技术，利用大量的神经元及其相关的权重来解决计算 中遇到的问题。它具有自适应性、容错性、鲁棒性等特性，因此也广泛适用于语音识别、 图像处理、科学研究、故障检测、军事研究等领域。但是，对于非线性神经元组成的前馈 神经网络，传统算法有反向传播算法和径向基算法等，在求解网络某些参数时，使用梯度 下降法，具有局部极小、收敛速度慢、不收敛、难以求得全局最优点等缺点。 随着神经网络理论的普遍发展和在实际生活中的广泛应用，许多新的理论研究应运而 生【6 】r 刀【8 】【l i 】，其中南京邮电大学的张代远教授提出了权函数神经网络这一概念【1 1 。此种神 经网络的拓扑结构简单，只有输入、输出两层，网络的权值由传统的常数改为权函数，在 权函数构造上，选用三次样条函数作为网络的权函数。这一理论的提出是神经网络研究领 域的创新，并且在多个应用领域发挥了重大的作用【1 4 】【1 5 】。另外，张教授利用其提出的代 数算法，对传统神经网络的灵敏度问题进行了研究，这种理论是指：当网络的输入样本和 权值受到噪声干扰时，对网络的输出与目标样本之间的偏离程度进行的估计，这种理论阐 述了网络噪声的干扰对网络输出的影响情况。张教授以三层神经网络为例，比较分析了该 种网络的样本灵敏度与权值灵敏度，并应用实验证明了灵敏度分析的正确性。但是这种灵 敏度的讨论是在网络为传统神经网络的基础上提出的，即训练后的神经网络权值是常数。 这种网络结构的输入样本和权值是相互独立的，两者的噪声干扰并不会受到彼此的影响， 也就是说样本噪声引起的灵敏度分析并不能反映权值的噪声干扰信息。 本文在传统神经网络灵敏度分析的基础上，借鉴了张代远教授对权函数神经网络的理 论分析方法，以输入样本为插值节点，将网络权值引申为输入样本的三次样条函数，这样 得出的网络权值就和输入样本存在了一定的相互联系，进而为考察权函数神经网络的灵敏 度情况奠定了基础。 运用神经网络进行数字图像的边缘检测成为近年来的研究热点，涌现出了大量的理论 与方法【1 2 】【1 3 】，将权函数神经网络的灵敏度理论应用到图像的边缘检测中，更加能够促进 图像最优图像的选择。 1 2 论文的相关知识 南京邮电大学硕士研究生学位论文第一章绪论 1 2 1人工神经网络的发展史 人工神经网络自2 0 世纪4 0 年代开始研究以来，经历了漫长的曲折过程，现在已逐 步走向了稳定的发展道路。 心理学家w a r r e n m c c u l l o c h 和数学逻辑家w p i t t s 在1 9 4 3 年首次提出了人工神经网络 的m p 模型，这种网络模型结构简单，仅能通过处理简单的逻辑运算来研究人脑的功能， 但却开创了神经网络理论研究的先河。1 9 4 9 年，h e b b 在m p 模型研究的基础上又提出了 h e b b 原则，它是一种改变神经元连接强度的原则，在如今的各种神经网络研究方面依然 得到了广泛应用。1 9 5 7 年，r o s e n b l a t t 提出了由阈值单元构成的感知器( p e r ce p t r o n ) 系统模 型，具备了神经网络并行性和分布式处理能力的一些基本特征，奠定了从系统角度研究神 经网络的基础。随后，r o s e n t b l a t t 又给出了关于感知器模型收敛性定理的证明，把人工神 经网络的研究推上了更高的台阶。基于r o s e n t b l a t t 对感知器神经网络的发起，1 9 6 9 年， m i n s k y 和p a p e r t 发表了感知器一书，该书应用数学理论分析j ，感知器的处理能力， 指出单层感知器的计算速度存在一定的滞缓性，对复杂、高阶的非线性系统存在极大的障 碍。因而，介于这一理论，神经网络的发展陷入了低潮。直到1 9 8 2 年，h o p f i e l d 提出了 著名的h o p f i e l d 模型，成功解决了困扰电子计算机已久的旅行商最优路径问题( t s p ) ，才 将神经网络的研究热潮再次掀起。1 9 8 6 年，由r u m e l h a r t 和m c c l e l l a n d 出版的著作 p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ：e x p l o r a t i o n si nt h em i c r o s t r u c t u r e so fc o g n i t i o n ) ) 提出了经 典的多层前馈网络的误差反向传播算法( 简称b p 算法) ，弥补了感知器中对于神经网 络解决复杂问题时出现的不足。b p 网络处理问题灵活、简练，是迄今为止应用领域最广、 研究方面最多、发展速度最快的一种神经网络训练算法，这种优势也引起了神经网络研究 的第二次高潮。 近二十年来，神经网络领域的研究发展迅速，产生了大量关于神经网络的论文，并 在许多领域应用了神经网络技术，新的理论和实践工作层出不穷。其中，文献 1 】的作者 张代远教授提出了权函数神经网络理论，引领了神经网络发展的新方向。另外对神经网络 灵敏度的研究也受到学术领域内多个学者的关注【1 】【5 0 】【5 l 】【5 2 】。凭借较快的学习速度、更好 的训练算法以及与实际应用灵活结合的能力，人工神经网络必将对自然科学和社会科学发 挥更大的效能，也更能促进其理论研究的长足发展【3 】【4 1 。 1 2 2人工神经网络的模型和学习过程 2 南京邮电大学硕士研究生学位论文 第一章绪论 人工神经网络是一个具有并行性和分布式的网络信息处理结构，该种网络系统由大量 的网络神经元组成，信息通过多个输入通道到达神经元，再经神经元的网络处理后传递给 与它相连的下一个神经元。 为了建立人工神经网络的模型，我们首先介绍一下生物神经元的信息传递过程。生物 神经元传递信息的过程是多输入、单输出的，当一个神经元接受到来自其它神经元发来的 信息时，其突触前膜将向突触间隙释放一种神经递质，这种递质通过突触间隙进入到另一 个神经元的树突中，从而完成了信息从一个神经元到另一个神经元的传递。 图1 1 是一个简化的人工神经网络模型，神经元对外界传入的m 个输入信号 五，而，。，经过权值w ( 江1 ，2 ，m ) 的变换后，再通过加法器口得到相应突触的加权和，即 g 。五m + 恐+ 十 = x w 由激活函数厂r g 、映射就可得到网络的实际输出。 图1 1 简单神经网络模型 输入和输出之间的关系可描述为 y = 厂( g ) = 厂( 墨+ 6 ) ( 1 2 ) 其中，b 是阈值，作用是根据其值是正或是负，来影响网络激活函数输入值的增加或 减小。如果不想在神经元中使用阈值，可以忽略它。在我们以后章节的神经网络训练中都 忽略了阈值这一网络元素。 常用的激活函数有以下几种： ( 1 ) 非线性函数，用来表示简化的非线性操作( 如图1 2 ( a ) ) 3 规 娩 ：麓： 渝 南京邮电大学硕士研究生学位论文 第一章绪论 f 1 x l f ( x ) = x x 0 ， ? 八功2 一1 其它 ( 4 ) s i g m o i d 函数( 如图1 2 ( d ) ) j厂( 加专，p o 厂。 j ( a ) ( c ) ( b ) j 。 l ( d ) 图1 2 四种函数的图像 一般来说，为了满足实际应用的需求，工程上一般采用多输入、多输出的多个神经元 来构成训练的网络系统，从而实现操作的并行实现。如图1 3 所示，是对典型的多输入、 多输出人工神经元结构进行的描述。 4 南京邮电大学硕士研究生学位论文第一章绪论 x m 图1 3 多输入多输出神经网络结构 输入层有聊个输入节点五，x z ，矗，隐层有，z 个神经元q ( ，= l ，2 ，z ) ，隐层的神经 元与输入层的各个输入节点相连，输入节点接收到的输入样本首先跟权值向量相内积，再 经过隐层n 个激活函数的变换，最后将计算值直接映射到输出层，从而实现了多对多的网 络变换。网络输出满足以下关系： 乃= 厂( 峋五) ( f = 1 ，2 ，mj = l ，2 ，捍) i = l 2 人工神经网络的学习过程 人的学习过程主要有三种：有导师学习、无导师学习和强化学习。对比于人的学习过 程，神经网络学习模型也可以分为三种，即有导师学习网络、无导师学习网络和强化学习 网络。有导师学习网络是指在有指导和考察的情况下学习的网络，如果在一定的时间内没 有达到网络学习的要求，可以继续重新学习。无导师学习网络是指依靠学习者或者是神经 网络系统本身自行完成的学习过程。学习本身就是一个相对持久的变化过程，也是一个通 过经验进行推理的过程，学习是神经网络最重要的能力。 人工神经网络可以从所需要的例子集合中学习，从输入与输出的映射关系中学习。对 于强化型学习或者说是有监督的学习，是在已知输入模式和期望输出的情况下进行的学 习。对应每一个输入集合，有导师提供的系统期望响应是标准响应与期望响应之间的差距， 可作为测量到的输出误差，用来反复确定网络的参数，以寻找最佳的网络输入输出模 式。 气 南京邮电大学硕士研究生学位论文第一章绪论 具有学习能力是神经网络最大的特点，在学习过程中，学习到的内容都记录在对连接 权的相应的学习变化中。 1 2 4 人工神经网络的应用领域 人工神经网络是在对人脑神经网络认识的基础上，从如何处理网络信息的角度，运用 并行运作方式而发展的数学模型。神经网络以其独特的结构和处理信息的方式，已经广泛 应用于许多领域并取得了显著成效，主要应用有： ： ( 1 ) 模式识别和图像处理 印刷体和手写体字符识别、语音识别、签字识别、指纹识别、人体病理分析、目标检 测与识别、图像压缩和图像复制等。 ： ， ( 2 ) 控制和优化 似t 过稗摔制、机器人运动 率制、家电控制、半导体生产中掺杂控制、石油精炼优化 控制和超大规模集成电路布线设计等。 ( 3 ) 预报和职能信息管理 股票市场预测、地震预报、有价证券管理、借贷风险分析、i c 卡管理和交通管理。 ( 4 ) 通信 自适应均衡、回波抵消、路由选择和a t m 网络中的呼叫接纳识别和控制等。 ( 5 ) 空间科学 空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。 由于具有高度的并行处理能力和信息存储的容错诊断技术，人工神经网络比串行计算 系统拥有更大的潜在发展空间。 1 2 5 关于灵敏度分析的介绍 通常决策过程中所预测的自然状态概率及计算出的损益值，都不会十分精确，因此， 往往需要对这些变动是否影响最优方案的选择进行深入研究，这就是所谓的灵敏度分析。 在最优化方法中经常利用灵敏度分析来研究原始数据不准确或发生变化时最优解的稳定 性。通过灵敏度分析还可以决定哪些参数对系统或模型有较大的影响。因此，灵敏度分析 几乎在所有的运筹学方法中以及在对各种方案进行评价时都是很重要的。 1 ) 线性规划中的灵敏度分析 6 堕塞堕皇奎兰堡主翌窒竺兰垡笙苎 釜二童篁笙 在建立实际问题的线性规划模型时，一些数据并不是很精确的，有可能进行修改，也 有可能增加( 或减少) 新的变量或新的约束条件。当我们已求解了一个线性规划后，遇到 上面这些变动时，不是从头开始计算，而是对最优单纯形表进行适当的修改，继续迭代求 解。这就是所谓的线性规划中的灵敏度分析。 2 ) 投入产出法中的灵敏度分析 可以用来研究采取某一项重大经济政策后将会对国民经济的各个部门产生怎样的影 响。例如，美国政府曾经利用投入产出表研究了提高职工工资1 0 对国民经济各部门商 品价格的影响。研究的结果表明，在职工工资增加1 0 时，建筑业产品的价格将上涨7 ，农产品的价格将上涨1 3 ，其余各部门产品价格将上涨1 3 7 不等，生活费用将 上升3 8 ，职工的实际得益为6 2 。 3 ) 产品开发方案评价中的灵敏度分析 产品开发方案的评价受多种因素的影响，属于多属性决策。在这种情况下的灵敏度分 析，可以用来确定评价条件发生变化时备选方案的价值是否会发生变化或变化多少。例如， 在利用评价表进行评价时，需要确定每一个分目标的权重系数和各分目标的评分数。这中 间或多或少地会存在当事人的主观意识，不同的人可能会有截然不同的价值观念。因此就 必须考虑当分配的权重系数或评分数在某一个范围内变化时，评价的结果将会产生怎样的 变化。 4 ) 数学建模的灵敏度分析 在数学模型的建造中，依据不同的假设条件所建立的模型是不一样的。因此，假设条 件成为了建模过程中一个影响模型好坏的主要因素，灵敏度分析就是在模型建立后，根据 假设条件的不同变化来检验模型的优劣性。 5 ) 项目投资中的灵敏度分析 在原有的项目投资分析的基础上，如果投资环境发生了变化，例如原材料价格发生 了变化或者是土地价格发生变化等，都会引起最终的利润变化，这就是投资过程中的灵敏 度分析。这种类型的灵敏度分析分为单项投入变化的灵敏度分析和综合的灵敏度分析，也 就是说，在最坏的情况发生时，比如材料价格上涨并且土地价格也上涨再加上产品价格下 降，那么灵敏度分析将会告诉投资者引起怎样的利润变化。 1 3 本文的主要研究内容 本文借鉴文献 1 提出的权值为常数时神经网络灵敏度的分析思想，依靠三次样条函 7 塑塞塑皇奎兰堡圭堕窒竺兰垡笙苎兰二童笙垒 数来逼近求得权函数，提出了一种基于权函数神经网络的灵敏度分析方法。文章详细阐述 了两层权函数神经网络的构造过程、权函数的仿真、网络输出的误差分析，在引出以上内 容的基础上详细论述了灵敏度分析的计算过程，并且将权函数神经网络的这一新理论应用 于图像边缘检测中，体现了灵敏度分析在实际应用中的强大作用。 1 4 文章内容的安排 本文一共分为六章，各章节安排如下： 第一章，简要介绍了论文研究的背景，阐述了本文研究的意义和目的，介绍了本文的 主要研究内容及文章的组织结构。一 j 第二章，讨论了样条权函数神经网络及其灵敏度分析的基本知识，包括其概念、生成 条件等，对目前神经网络灵敏度分析的研究方法、研究现状等做了相应的介绍。 第三童，研究了三次样条函数的的基本恩搌和函数律立的基本王寸紊口：律屯了多输入、 多输出的第一类权函数神经网络模型( 不考虑隐层) ；按照三次样条函数理论求解网络权 函数；引出了两层权函数神经网络灵敏度的计算公式；以本章建立的神经网络模型为例， 求解灵敏度的计算过程。 第四章，按照第三章中的理论研究对两层神经网络的灵敏度分析进行仿真实验。介绍 了相关实验环境，选取实验训练样本，给出由目标函数反映到的相应输出样本，仿真模拟 网络权函数；根据仿真得到的权函数进行网络的灵敏度计算，并且将灵敏度的仿真值和相 对误差进行分析比较，概括分析灵敏度的研究对网络稳定性确定的重要性。 第五章，应用拓展。将权函数神经网络的灵敏度理论应用于图像的边缘检测中。 第六章，总结了本文所做的主要工作，对未来神经网络灵敏度的研究方向提出了几点 建议。 1 5 本章小结 本章简要介绍了人工神经网络的发展史、模型和学习过程，分析了本文研究的意义与 目的；说明了本文的主要研究内容，对文章内容的安排和组织结构进行了介绍。 南京邮电大学硕士研究生学位论文 第二章权函数神经网络及其灵敏度分析的相关知识 第二章样条权函数神经网络及其灵敏度分析的相关知识 2 1 样条权函数神经网络概述 2 1 1 权函数神经网络简介 为了克服传统神经网络训练的权值难以反映训练样本信息的缺陷，文献【1 提出了一种 新型的神经网络样条权函数神经网络，并将其对应的神经网络训练算法命名为样条权 函数训练算法。此种神经网络的权值并不是传统方法中的常数，而是对应于网络输入样本 的函数。训练后的权函数弥补了传统神经网络的不足，可以很好的反映输入样本的信息特 征。 ， 权函数神经网络拓扑结构简单，只有两层，并且输入层的权直接与神经元全相连，输 出层没有权，避免了传统神经网络至少三层神经元的复杂运算。由于权函数神经网络降低 了所需训练的权值的个数，因此只要给出输入样本向量和输出样本向量的维数，就可以确 定神经网络的拓扑结构。在神经网络训练之前，对于给定的问题，由于输入样本向量和输 出样本向量的维数是已知的，因此，神经网络的拓扑结构就可以提前确定，这对于网络的 训练至关重要。 文献 1 】给出了两种权函数神经网络：第一类样条权函数神经网络( 和函数神经网络) 和 第二类样条权函数神经网络( 积函数神经网络) ，在本文的研究课题中，我们选用第一类权 函数神经网络进行训练。 2 1 2 基本概念 一般的神经网络是多维输入、多维输出的系统，变换函数涉及到多元的情况。为了方 便在后续的文章中介绍三次样条权函数的建立，下面我们引入样本函数和学习曲线的概 念。 我们将神经网络输入与输出的关系写成如下形式： z = f ( x )( 2 1 ) 输出z 是输入变量x 经变换函数厂( ) 变换后得到。其中输入是掰维自变量 x - - ( x l ，吃，) ，输出是，l 维因变量z = ( z ”z 2 ，z 。) ，满足： o 南京邮电大学硕士研究生学位论文第二章权函数神经网络及其灵敏度分析的相关知识 ( z lz 2 z n ) = 厂( 五x 2 ) ( 2 2 ) 由式( 2 1 ) 和( 2 2 ) 可以看出，每给定一个m 维输入变量x ，每一个z ，( 汪l ，2 ，n ) 也就确定了， 也就是说，每一个z i ( i = 1 ，2 ，z ) 都可以看做是脚维输入变量x = ( 五，x 2 ，) 的函数，即 有： z ，= ，( t 吒) z ：= z ( 五t 吒) z 。= ，( t 艺) 式( 2 3 ) 中的每一个方程式都是彼此相互独立的，在研究神经网络的训练方法中，我们只要 对其中的一个方程进行训练，就可以类似的解决其他方程的训练问题了。 ： 根据文献 1 】所述，输入样本的选择是一个值得关注的问题，我们应该按照一定的规律 来寻找样本，而不是依靠完全随机抽取。下面我们介绍几个相关的概念。 定义1 ( 样本曲线) 假设对于给定的参数t 瞳，t b 】，五( f ) ( 江1 ，2 ，m ) 在给定的区域 【a ，6 ，】上有定义，则由以下的方程式 五= 玉( f ) = t o ) x = t ( f ) ( 2 4 ) 所定义的空间超曲线称为样本曲线，而五( f ) ( f = 1 ，2 ，柳) 称为样本函数。 所有要选择的训练样本都必须满足式( 2 4 ) ，这样就限定了输入样本的选择范围，有助 于神经网络训练算法的实现。 定义2 ( 学习曲线) 假设对于给定的参数t 乞，t b ，由输入样本函数( f ) o = 1 ，2 ，聊) 以及式( 2 2 ) 的关系式，我们得到以下方程式 = ( f ) t = t ( f ) ( 2 5 ) x = 吒( f ) z = z ( t ) = f ( x 。( f ) t ( f ) 吒( f ) ) 所定义的空间超曲线成为学习曲线，其中z ( f ) = 厂( 五( f ) t ( f ) _ ( f ) ) 称为由样本曲线 ( f ) o = 1 ，2 ，研) 所定义的目标函数，简称为目标函数。 l o 堕室坚皇奎兰堡主竺窒生学位论文 第二章权函数神经网络及其灵敏度分析的相关知识 一一一一一一 ：= ： 一般而言，网络训练所需的训练样本都是一些离散的、有限的点。 2 1 3 权函数的引入 假设空间曲线的参数方程是 考虑在平面置d z 上的投影方程 将两方程化简消去tj 得到下式 = 五( f ) t = t ( f ) x = x ( t ) z = z ( t ) f = ( f ) 1z ：z ( f ) z = 甜，( ) 式( 2 8 ) 称为投影函数或投影方程，假设z ，= 珑z ，式( 2 8 ) 两端乘以加权因子刁，得到 其中 r , 。z = r , ( ) = 互( f = l ，2 ，m ) r ，= 1 i = l ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) 加权因子仍表示每一个输入变量对神经元输出的贡献大小，仍越大说明输入变量五在网络 训练中对输出的影响越重要。由以上各式我们可以得到下面的关系式 z = z f = 仍吩( 五) ( 2 1 1 ) i = li = l 令z ，( 玉) = w ( ) ，称w ( 再) 是输入变i x , 的权函数，则式( 2 1 1 ) 可以改写成如下形式 f = 胂 z = w ( 玉)( 2 1 2 ) 扭i 由此可以看出，目标输出z 可以看做所有输入变量1 ，屯，五( 汪1 ，2 ，朋) 所对应的权 函数( 五) ，( 而) ，w ( ) ( f = 1 ，2 ，聊) 之和，那么对于权函数神经网络的训练过程，只要 找出所有输入变量对应的权函数表达式，再结合神经元的变换函数，就可以对网络的目标 l l 堡塞塑皇奎兰堕堕壅圭兰垡笙奎笙三兰壑鱼鍪塑丝塑塑垦茎銎墼壅坌塑塑塑茎垫堡 输出给出训练结果。 但是，一般意义上训练的神经网络，其输入样本的个数都是有限的，我们只能得到输 出量的有限个数值，这样就无法得到输入变量对应权函数w ( ) 的理论表达式，这意味着 无法得出学习曲线在平面x p z 上的连续曲线了。由文献 1 可知，可以用一条光滑的曲线将 这些离散的输出值所对应的点连接起来，这样得到的曲线近似逼近于标准的连续曲线，数 学上将这种曲线称为插值曲线，而这些离散的神经网络输入样本值称为插值点。 2 2 传统神经网络的灵敏度分析 2 2 1 灵敏度的引入 一般来说，神经网络的训练是一种通过调整连接权值来完成输入样本、输出样本之间 映射的过程。因此，当输入样本本身和连接权值受到噪声干扰时，样本和权值就会产生扰 动，这就会使得网络的输出发生改变。当然这种扰动产生的前提是，这些权值应满足全局 最优化，换句话说，成为训练后的神经网络精确映射的权值n 1 。这样，如果对于所训练的 神经网络存在以上提出的扰动，那么研究该扰动对网络输出的影响就成为了网络训练中必 要的工作，这有利于增强网络的抗干扰能力和增强网络的性能。如何推测输入样本和权值 的变化对网络输出的影响呢? 对于神经网络的训练是否有一个设计性较强的指导方针 呢? 针对神经网络受到噪声干扰而面对的一系列问题，许多学者对神经网络系统进行了灵 敏度分析，以试图为这些问题提供答案。例如s t e v e n s o n 将超球面作为分析多层自适应线 性网络灵敏度的数学模型h 2 1 ，他将灵