（信号与信息处理专业论文）多层感知器的模糊线性分析及应用.pdf

多层感知器的模糊线性分析及应用摘要对神经网络内部行为的研究一直是神经网络研究领域的一大课题，特别是对应用广泛的多层感知器的研究价值尤为突出。研究结果对深入了解神经刚络的内部行为、优化网络、提高网络性能以及知识提取等都有着积极的作用。线性判别函数理论是线性分类器的分析基础，不适于非线性分类器。对于简单的完成线性分类功能的感知器，已经有系统的理论指导，但是对于复杂得多的多层感知器，目前尚无系统的理论指导，仍处在发展阶段。在模式识别经典判别函数理论的基础上，结合模糊集合理论，对用于模式识别和分类的多层感知器的行为进行的分析，借用经典判别函数理论的概念，把非线性激励函数视作隶属度函数，提出了模糊线性判别函数、模糊判别面和模糊线性分类器的概念，得到了如下结论f l d f ：1 ) 模糊线性判别函数n e t ( x ) = w7 x + b 通过超平面( 判别边界) n e t ( x ) = 0将特征空间分割( 带有模糊区域) ：2 ) 该神经元的权重向量w 是模糊判别面的法线向量，确定了模糊判别面的朝向；3 ) 原点到判别面的距离为，= 一b l l w l l ，偏移量b 决定着模糊判别面的位置，改变偏移量b 值即移动模糊判别面相对于原点的距离。利用该概念，对用于模式识别和分类的多层感知器的分类行为进行了解释，使得对多层感知器分类行为的认识更加明晰。在此基础上，利用该概念对多层感知器的权重进行分析，得到了如下结论：1 ) h 个隐层神经元产生爿个模糊超平面将特征空间分割( 带有模糊区) 。2 ) 由于隐层神经元权重初始向量w 。垂直于各初始判别面，所以，h 个权重初始向量均匀分布在权重空间中一个超球面上，意味着在特征空间设定了离原点距离，= 一b l l w l l 的日个判别面，它们是某超球面的切面( 超平面) ，均匀分布( 尽可能多朝向) 在特征空间中。当对某问题求解时，所需要的任何方向的局部判别面，都有与之较接近的初始判别面存在，这意味着学习过程比较容易实现。与此不同，权重随机初始化使这h 个超平面的朝向随机分布，有可能以大概率分布在与最终需要的超平面相差甚远的方向上，学习过程对超平面的调整将较困难，甚至不能调整到需要的位置( 学习过程不收敛) 。3 ) 偏移量b 与权重参数在学习过程中改变，即调整模糊判别面的位置，从而最终在输出层产生该问题所需要的判别边界。根据上述结论，得出了将网络的初始权重初始化在超球上的方法。通过若干典型模式分类问题的实验验证，表明该方法能够显著提高多层感知器的收敛性能和分类能力。医学领域的临床诊断属于模式识别的范畴，将多层感知器应用于医学临床诊断中需要解决原始数据处理、输入数据降维、保证f 确率的前提下提高泛化能力等问题。统计学方法在该领域已经得到了成熟的应用，因此将统计学方法应用于此用来实现输入数据的降维。同样，降权重初始化在超球上的方法应用到该问题中也取得了很好的结果，提高了网络的收敛性能，随着病例数据的增加，使用该方法将大大减少网络的学习时间，提高网络的收敛性能。受到支持向量机思想的启发，结合模糊线性判别函数的概念，提出了一种构造最优超平面的思想如下：1 ) 给定s i g ( ) 大的参数口值，通过学习求一解，即实现具有窄模糊区的分类超平面，分类误差趋于零( 图6 2 ) ：2 ) 适当减小口，即加宽模糊区，逐个输入x ，直至出现( 6 3 ) 或( 6 4 ) 式的情况：3 ) 通过b p 学习算法改变w 和b ，即旋转及移动超平面。若分类误差趋于零，则回到2 ) ；否则，表明( 63 ) 和( 6 4 ) 式已同时满足，已得到最优超平面。该思想利用现有的网络学习算法，利用该思想可以实现在特征空间构造最优超平面的方法，方法简单清晰。关键词：多层感知器；模糊线性判别函数：权重初始化超球：医疗诊断；最优超平面f u z z yl i n e a ra n a i y s iso fm l p sa n di t sa p p li c a t i o r sa b s t r a c tr e s e a r c ho ni n t e r n a lb e h a v i o r so fa r t i f i c i a ln e u r a ln e t w o r k sr a n n ) h a sb e e nam a i ns u b j e c ti ni t sf i e l d ，e s p e c i a l l yo nt h ew i d e l yu s e dm u l t i l a y e rp e r c e p t r o n s ( m l p s ) t h e s er e s e a r c h e sh a v eap o s i t i v ee f f e c tu p o nt h ef u r t h e ri n t e r p r e t a t i o no fi n t e r n a lb e h a v i o r so fa n n ，a n no p t i m i z a t i o n ，p e r f o r m a n c ei m p r o v e m e n ta n dk n o w l e d g ee x t r a c t i o n ，e t c t h ec l a s s i c a lt h e o r yo fl i n e a rd i s c r i m i n a n tf u n c t i o ni sb a s e do nc l a s s i c a lc r i s ps e t s ，w h i c hi ss u i t a b l ef o rt h ea n a l y s i so fl i n e a rc l a s s i f i e r sb u tn o tf o rt h ea n a l y s i so fc l a s s i f i c a t i o nb e h a v i o ro fn e u r o n sa n dm u l t i l a y e rp e r c e p t r o n s ( m l p s ) w h i c ha c t i v a t i o nf i m c t i o na r en o n l i n e a r , i n c l u d i n gt h es m o o t h - n o n l i n e a ra c t i v a t i o nf u n c t i o n s t h e o r yo ns i m p l ep e r c e p t r o n s ，w h i c hc a no n l yp e r f o r mal i n e a rc l a s s i f i c a t i o n ，h a sb e e nc o n s u m m a t e ds y s t e m i c a l l y n e v e r t h e l e s s ，t h em o r ec o m p l i c a t e dm l p sh a sn o tg o tas y s t e m i c a l l yt h e o r yg u i d a n c ey e t b a s e do nt h ec l a s s i c a ld i s c r i m i n a n tf u n c t i o no fp a t t e r nr e c o g n i t i o n ，a l o n gw i t ht h ef u z z ys e t st h e o r y ，a n a l y s i so nm l p su s e df o rp a t t e r nr e c o g n i t i o na n dc l a s s i f i c a t i o ni sc a r r i e do u t h e r et h en o n l i n e a ra c t i v a t i o nf u n c t i o n sa r ec o n s i d e r e da sm e m b e r s h i pf u n c t i o n s i n v o k i n gt h ec o n c e p t so fc l a s s i c a ld i s c r i m i n a n tf u n c t i o n ，n e wc o n c e p t so ff u z z yl i n e a rd i s c r i m i n a n tf u n c t i o na n df u z z yd e c i s i o ns u r f a c ea r ep r o p o s e df o r b e t t e ru n d e r s t a n d i n gc l a s s i f i c a t i o nb e h a v i o r so fm l p s i n t e r p r e t a t i o n so nm l p su s e df o rp a t t e r nr e c o g n i t i o na n dc l a s s i f i c a t i o na r ec a r r i e do u tu s i n gt h e s en e wc o n c e p t s ，s oa st om a k ei tc l e a ra n de a s yt ou n d e r s t a n dt h ec l a s s i f i c a t i o nb e h a v i o r so fm l p s c o n c l u s i o n sn a m e df l d fi sa sf o l l o w s ，1 ) a nf - l d fd i v i d e st h ef e a t u r es p a c eb yaf u z z yd e c i s i o ns u r f a c eo ri n d i c a t i o ns u r f a c e ( h y p e r p l a n e ) n e t ( x ) = 0w i t hac e r t a i nf u z z yd e c i s i o nr e g i o n2 ) t h en o r m a lv e c t o rwd e t e r m i n e st h ed i m e n s i o n a lo r i e n t a t i o no f t h ef u z z yd e c i s i o ns u r f a c e 3 ) t h el o c a t i o no ff u z z yd e c i s i o ns u r f a c ei sd e t e r m i n e db yt h eb i a sp a r a m e t e rb ，o rt h ee f f e c to fbi sm e r e l yt os h i f tt h ed e c i s i o ns u r f a c ea w a yf r o mt h eo r i g i n t h u s t h em l p sm a yb e c o m ef u z z yl i n e a rn e u r o nn e t w o r k s a c c o r d i n gt ot h en e wi n t e r p r e t a t i o no fi n t e r n a lb e h a v i o ro fm l p s ，au n i v e r s a lm e t h o do fi n i t i a l i z i n gw e i g h t si sp r o p o s e d b yw h i c ht h ei n p u t t o - h i d d e nw e i g h tv e c t o r sa r ei n i t i a l i z e da n dd i s t r i b u t e du n i f o r m l yo nah y p e r s p h e r ei nt h ew e i g h ts p a c e t h i sc o n c l u s i o ni sa sf o l l o w s ，1 ) t h eh f u z z yh y p e r p l a n e sg e n e r a t e db yt h eh h i d d e nn e u r o n sd i v i d et h ef e a t u r es p a c ew i t hac e r t a i nf u z z yd e c i s i o nr e g i o n 2 ) t h e 日n o r m a lv e c t o r s w ，) o f hf u z z y - d e c i s i o nh y p e r p l a n e sr e s p e c t i v e l yd e t e r m i n et h ed i m e n s i o n a lo r i e n t a t i o n so fh y p e r p l a n e s 3 ) t h el o c a t i o n so f h f u z z yh y p e r p l a n e sw i l lb em o d i f i e dt ot h eo p t i m a ll o c a t i o n si nl e a r n i n gp h a s eb yt h em o d i f i c a t i o n so f w i n c l u d i n g b ， s i m u l a t i o n so ns o m et y p i c a ld i f f i c u l tp a t t e r nc l a s s i f i c a t i o np r o b l e m ss h o wt h a tt h i sm e t h o dc a ni m p r o v et h ec o n v e r g e n c ea n dc l a s s if i c a t i o np e r f o r m a n c ed r a m a t i c a l l y m e d i c a ld i a g n o s i sc a nb e l o n gt ot h ec a t e g o r yo fp a t t e r nr e c o g n i t i o n r a wd a t ap r e p r o c e s s i n g ，d i m e n s i o nr e d u c t i o n ，k e e p i n gg e n e r a l i z a t i o n 、i t i la c c u r a c ye t c ，s h o u l db es o l v e df i r s tw h e na p p l y i n gm l p st om e d i c a ld i a g n o s i s s t a t i s t i c a lm e t h o d s ，w h i c ha r es y s t e m i ci nt h e o r ya n da p p l i c a t i o n ，h a v eb e e nw i d e l yu s e di nm e d i c a lf i e l da n dc a nb eu s e dt ou t i l i z ed i m e n s i o nr e d u c eo fs a m p l ed a t a m e a n w h i l e ，m e t h o do fi n i t i a l i z i n gw e i g h t so nh y p e r s p h e r ei sa p p l i e dt ot h i sa p p l i c a t i o na n di n s p i r i n gr e s u l t sa r ea c h i e v e d t h ec o n v e r g e n c ep e r f o r m a n c eo ft h em l p si si m p r o v e dg r e a t l y w i t ht h ei n c r e a s eo fs a m p l ed a t a ，t h el e a r n i n gt i m ew i l li n c r e a s eg r e a t l yu s i n gw e i g h t sr a n d o mi n i t i a l i z a t i o nm e t h o d s ot h ea d v a n t a g eo ft h i sn o v e lm e t h o db e c o m e si m p o r t a n t b yu s i n gt h i sn o v e lm e t h o du n d e rt h ec o n d i t i o no fm a s ss a m p l ed a t a ，t h el e a r n i n gt i m eo fm l p sc a nr e d u c en o t a b l y t h i sc a na l s ob eh e l p f u lt oi m p r o v et h ec o n v e r g e n c ep e r f o r m a n c eo fm l p s ，t h i sa p p l i c a t i o na g a i nj u s t i f i e st h eu s e f u l n e s si ni m p r o v i n gt h ep e r f o r m a n c eo fm l p s e n l i g h t e n e db yt h et h o u g h to fs u p p o r tv e c t o rm a c h i n e ( s v m ) ，a l o n gw i t ht h ec o n c e p to ff u z z yl i n e a rd i s c r i m i n a n tf u n c t i o n ，an o v e li d e ao fc o n s t r u c t i n go p t i m a lh y p e r s p h e r ei nt h ef e a t u r es p a c ef o rt h ei m p r o v e m e n ti nt h ep e r f o r m a n c eo fg e n e r a l i z a t i o no fm l p si sp r o p o s e d t h i sn o v e li d e au t i l i z e sc u r r e n tm l p sl e a r n i n ga l g o r i t h m am e t h o do fc o n s t r u c t i n go p t i m a lh y p e r s p h e r eo nas m a l ls a m p l es e tc a nb ea c h i e v e du s i n gt h i si d e aw h i c hi ss h o w na sf o l l o w ss t e p1 ：g i v e nal a r g ep a r a m e t e rao fs i g ( ) ，ar o u g hs o l u t i o nv i al e a r n i n gp r o c e s sm a yb eo b t a i n e dw h i c hi sah y p e r p l a n ew i t hn a r r o wf u z z y - r e g i o n a si si l l u s t r a t e di nf i g u r e6 2 s t e p2 ：d e c r e a s i n gap r o p e r l y , t h a ti si n c r e a s i n gt h ef u z z yr e g i o n t h e ni n p u txo n eb yo n ea n df i n ds o m es a m p l e sw h i c hs u b j e c tt oe q ( 6 3 ) a n d o re q ( 64 ) s t e p3 ：m o d i f y w ，) a n d b ，) t h r o u g hl e a r n i n gp r o c e s s ，t h a ti sm o v i n ga n dr o t a t i n gt h eh y p e r p l a n e i ft h ee r r o ro fc l a s s i f i c a t i o ni sc l o s et oz e r o ，g ob a c kt os t e p2 ；o re l s ei ti ss u b j e c tt oe q ( 6 3 ) a n de q ( 6 4 ) ，t h u st h eo p t i m a lh y p e r p l a n ei so b t a i n e d ，a si l l u s t r a t e di nf i g u r e6 3 t h i sa n a l y s i sa n dm e t h o di ss i m p l ea n dc l e a ro nt h e o r ya n dc o n v e n i e n to na p p l i c a t i o n s k e y w o r d s ：m u l t i l a y e rp e r c e p t r o n s ；f u z z yl i n e a rd i s e r i m i n a n tf u n c t i o n ；w e i g h t si n i t i a l i z eh y p e r s p h e r e ；m e d i c a ld i a g n o s i s ；o p t i m a lh y p e r s p h e r e多层感知器的模糊线性分析及应j 甘0 前言研究人类智能是科学发展中最富有挑战性的课题。在此方面，模式识别与人工智能技术在近二十年来得到的迅猛的发展，面向连接主义的神经网络技术已经为许多科学家所承认，作为- - f l 十分活跃的交叉学科，成为近代非线性科学和计算智能研究的主要内容之一。从2 0 世纪8 0 年代起，神经网络技术开始迅速发展，其分布式的知识表示、并行处理结构和信息处理方法使其在许多应用领域取得了显著成果，解决了许多采用传统方法无法解决的问题或为寻求满意解提供了新的思路。目前，对神经网络的研究可分为理论研究和应用研究两个方面。理论研究可分为以下两个方面：1 ) 利用神经生理和认知科学研究大脑思维和智能机理；2 ) 利用神经科学理论的研究成果，用数理方法研究神经刚络模型，研究刚络的算法、结构和性能( 稳定性、收敛性、容错性、鲁棒性等) 等，完善已有的理论成果。应用研究可以分为以下两个方面：1 ) 神经删络的软件模拟和硬件实现研究；2 ) 神经网络在各个领域、行业中的应用，主要包括模式识别、信息处理、专家系统、智能控制等。实际上，理论研究和应用研究是密切结合的，理论研究的成果需要应用研究来证明，来实现其价值。由于神经网络的分布式存储、并行处理结构，因此具有非常强大的非线性映射能力，但也正是由此，人们对神经刚络尤其是多层感知器( m l p s ) 的分类行为并没有清晰的认识，还停留在将神经网络视为“黑盒子”的阶段。尽管对于简单的嘲络已经有了明确的理论基础和指导，但是对于复杂的多层刚络还没有确定的理论指导。许多国内外文献和研究者很对多层感知器的分类行为进行了研究，提出了明晰网络分类行为的各种方法和理论，并以实证方式进行了验证，对神经l 叫络理论的发展起到了一定推动作用。本文在以前对多层感知器研究的基础上，结合模糊集理论和线性判别函数理多层感知器的模糊线性分析搜应用论，尝试对多层感知器的分类行为进行分析解释，并由此引出了一种新的网络权重仞始化方法，实验验证证明了该方法的有效性。在此基础上，受到支持向量机思想的启发，提出了构造多层感知器最优分类超平面的方法，同样其有效性也得到了实验验证。本文的结构和安排如下：第一章介绍了神经网络的基本概念和发展历史，对多层感知器的基本原理进行了说明，并介绍了国内外对神经网络( m l p s ) 内部行为研究的情况：第二章介绍了模式识别中经典判别函数理论和模糊集理论，对本文中用到的相关概念作了介绍，主要包括线性判别函数、线性判别面以及广义线性判别函数，模糊集合理论中的隶属函数和隶属度；第三章在经典判别函数理论和模糊集理论基础上，将神经元的非线性激励函数视作隶属度函数，提出了模糊线性判别函数、模糊判别面和模糊分类器的概念，并对多层感知器的分类行为进行了详细分析说明：第四章详细介绍了在模糊线性判别函数基础上提出的权重初始化在超球面上的网络权重初始化方法，并结合若干典型分类问题进行了实验验证；第五章介绍了一项医疗临床诊断问题的应用，将m l p s 应用于妇科肿瘤诊断中，同时将权重初始化在超球上的新方法加以应用，取得了良好的效果，进一步证明了陔方法的有效性：第六章受到支持向量机理论的启发，结合模糊线性判别函数的概念，针对构造最优分类超平面问题提出了一种新的方法，通过实验验证，证明了该方法的有效性；第七章对本文的研究做了总结。多层感知器的模糊线件分析及麻用1 神经网络11神经网络的发展与应用对神经网络的研究可以追溯到2 0 世纪4 0 年代w a r r e nm c c u l l o c h 和w a l t e rp i t t s 的工作，他们从原理上证明了人工神经网络可以计算任何算数和逻辑函数，通常认为他们的工作是神经网络领域研究工作的开始【2 1 。在m c c u l l o c h 和p i a s 之后，d o n a l dh e b b 在其t h eo r g a n i z a t i o no f b e h a v i o r ) )一书中指出，经典的条件反射是由单个神经元的性质引起的。他提出了生物神经元的一种学习机制，即现在所称的h e b b 学习规则。人工神经网络的第一个实际应用出现在2 0 世纪5 0 年代后期，f r a n kr o s e n b l a t t 提出了感知机网络和联想学习规则【9 】。但是后来的研究表明基本的感知器网络只能解决有限的几类问题。同时，b e r n a r d w i d r o w 和t e d h o f f 引入了一个新的学习算法用于训练自适应线性神经网络 1 0 l ，就是至今仍在使用的w i d r o w - h o f f 学习规则。但是，r o s e n b l a t t 和w i d r o w 的网络都有同样的固有局限性，这些局限性在m a r v i n m i n s k y 和s y m o u r p a p e r t 的( ( p e r c e p t r o n s ) ) 一书中有详细的论述。许多人受到m i n s k y 和p a p e r t 的影响，从而导致神经网络的研究停滞了十多年。即使如此，在2 0 世纪7 0 年代，科学家们仍然在该领域开展了许多重要的工作。1 9 7 2 年t e u v ok o h o n e n 和j a m s a n d e r s o n 分别独立提出了能够完成记忆的新型神经网络队1 2 】。这一时期，s t e p h e n g r o s s b e r g 在自组织网络方面的研究也十分活跃【l3 1 ，建立了一个新的自组织原则，就是著名的自适应共振理论( a d a p t i v er e s o n a n c et h e o r y ，a r t ) 。进入8 0 年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。有两个新概念对神经网络的复兴具有极其重大的意义：用统计机理解释某些类型的递归网络的操作，这类网络可作为联想存储器用于训练多层感知机的反传算法多层感知器的模糊线一阵分析发麻用1 9 8 2 年，h o p f i e l d 用能量函数的思想形成了一种了解具有对称突触连接的递归神经网络所执行的计算的新的方法【l 。这类具有反馈的特殊神经网络在8 0 年代引起了大量的关注，产生了著名的h o p f i e l d 网络，包涵了在动态的稳定网络中存储信息的原理。19 8 6 年，由r u m e l h a r t 和m c c l e l l a n d 编辑的( ( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ：e x p l o r i n gi nt h em i c r o s t r u c t u r e so f c o g n i t i o n ) ) 一书出版，在反向传播算法的使用方面产生重大影响。1 9 8 8 年，b r o o m h e a d 和l o w e 描述了使用径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 设计多层前馈网络的过程，r b f 提供了多层感知器的另一选择。在2 0 世纪9 0 年代早期，v a p n i k 和他的合作者发明了具有强大计算能力的一种有监督学习网络称为支持向量机( s u p p o r t v e c t o r m a c h i n e ，s v m ) 用于解决模式识别、回归和密度估计等问题。这种新方法是基于有限样本学习理论的结果。这些新进展对神经网络研究领域注入了新的活力。在过去1 0 年中，人们发表了成千上力的神经网络研究论文，神经网络也有了很多应用。人们应用神经网络解决了许多传统人工智能无法解决的复杂非线性问题。在系统辨识、模式识别、数据挖掘、知识发现、信号处理、故障诊断及经济预测，图像处理、文本及语音变换和数据压缩等领域的实际应用中取得了巨大成就。1 2 神经网络的基本原理神经网络，或称n x z i 0 0 n n n ( a n n ) 是- - 种模拟生物神经系统结构和人类的形象思维过程的人工智能技术【4 1 。从功能上讲，人工神经网络是模仿和延伸人脑智能的非线性自适应动力学系统。通过输入样本对神经网络的训练，能够从数据样本中自动地学习并揭示出样本中所蕴含的非线性关系，使其对事物和环境具有很强的自学习、白适应、联想记忆、并行处理和非线性转换的能力，完成各种信息处理功能。从结构上讲，它是一个对生物神经系统的某种抽象、简化和模拟的数学模型，是由许多神经元按照不同的连接方式而构成的高度并行的非线性系统，所学得知识分布存储在整个系统，而不是驻留在某个特定区域，因此具有很强的容错性，在样本缺损和参数漂移的情况下，仍能保证稳定的输出。因此可以给出将神经网络看作是自适应机器的定义【1 ：多层感知揣的模糊线竹分析发应用一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器，天然具有存储经验知识和使之可用的特性。神经网络在两个方面与人脑相似：1 ) 神经网络获取的知识是从外界环境中学习得来的；2 ) 互连神经元的连接强度，即突触权值，用于存储获取的知识。神经元是人工神经网络的基本单元，是神经网络的基本信息处理单位，其模型如图1 1 所示。偏置机输入倩号突触权值图1 1 神经元模型输出n神经元的模型包含三个基本元素：突触或连接、加法器、激励函数。偏置的作用是根据其为正或为负，相应的增加或降低激励函数的网络输入。可以用下述方程描述一个神经元：k2 荟_( 1 1 )j = l、i 1 n = 厂( u + 钆)其中，x 1 ，x ：，是输入信号，w k ，w k ：，是神经元七的突触权值，u 是加法器的输出，偏置为b k ，激励函数为厂( ) ，儿是神经元的输出信号。将( 1 1 ) 式写成向量的形式为v 2 w x( 1 2 )y = ( v + b )或y = f ( w7 x + b )其中，多层感知器的模糊线忡分析发心用x = 阮z 2l ，l，2w ：1w 2 ，l 比，：l ，v = v ly = 【y ，b = 【b lnw 1 m。2mv 2 h ry ! - 虬】7b ：阮】激励函数的可以将神经元的输出限制在一定范围之内，一般为单调上升且有界的函数。常见的有阈值函数、s 型函数、分段线性函数、组合周期函数等。不同的神经网络模型主要是在连接方式、神经元激活函数、训练网络的学习算法等形式上不同。一般来说，根据网络的结构，通常分为单层前馈网络、多层前馈网络和递归网络三种基本结构。任何神经网络首先要通过训练进行学习，即通过一定的算法或规则来确定其内部各神经元连接的权值。学习可以分为有监督学习( 有教师学习) 、无监督学习( 无教师学习) 和增强学习( 分级学习) 三种学习方式【2 】。有监督学习是事先给定标准输入输出样本对，网络根据己知输出与标准输出之间的差值来调节网络参数( 即权值) ，无监督学习没有标准的输出样本作指导，网络完全按照环境提供数据的某些统计规律来调节自身参数以表示出外部输入的某种固有特性，直接将网络置于“环境”之中，让学习与工作成为一体，边工作边学习，这与人脑自学习过程很接近。增强学习与有监督学习类似，但是不为每一个输入提供相应的目标输出，而是仅仅给出一个级别，这个级别( 或评分) 是对网络在某些输入序列上的性能测度。1 3 多层感知器多层感知器( m u l t i l a y e rp e r c e p t r o n s ，m l p s ) ，属于多层前馈网络，包括一组感知单元组成的输入层、一层或多层计算节点组成的隐藏层和一层计算节点组成的输出层。输入信号在层层递进基础上前向传播。图1 2 是具有2 个隐藏层的多层感知器的结构图。多层感知器的模糊线性分析及应用输入层第一隐层第二隐层输出层图1 2 具有2 个隐藏层的多层感知器的结构多层感知器的学习通常使用通称为误差反向传播算法这种非常普遍的算法，该算法可以被看成是同样普遍使用的自适应滤波算法l m s 算法的推广。误差反向传播学习由两次经过网络不同层的通过组成：一次前向通过和一次反向传播。在前向通过中，一个活动模式( 输入模式) 作用于网络输入层，通过网络按照式( 1 1 ) 一层一层的传播，最后产生一个输出作为网络的实际输出。在前向通过的过程中，网络的权值是固定不变的。然后，反向传播过程中，突触权值根据实际输出和期望输出的误差修正规则来调整，此过程中误差信号是与突触连接方向相反，因此称为误差反向传播，如图1 2 所示。多层感知器有三个突出的特点：1 ) 网络中的每个神经元模型包括一个非线性激励函数；2 ) 网络包括一层或多层隐藏神经元，这些隐藏层神经元逐步从输入模式中提取更多的有用特征，可以使网络学习复杂的任务：3 ) 网络表现出高度的连接性，它由网络突触决定。改变网络的连接需要改变突触连接数量或权值。1 4 对神经网络( m l p s ) 内部行为的研究神经网络的内部行为的研究，对于我们更好的理解神经网络的工作机理，完善神经网络理论，提高神经网络的各项性能和扩展神经网络的应用领域有着积极的作用。但是神经网络存贮所学得的信息的方式，不是局限在特定地点上，而是多层感知器的模糊线性分析及应用分布在整个网络结构中。因此，目前除了简单的神经网络，如简单感知器等，在理论上已经有了相对成熟的理论指导，但是对于复杂的网络结构，如多层感知器等，目前对其行为还没有确定的理论指导。由于神经网络强大的能力，可以使我们在应用时仅仅把其看成一个“黑盒”即可达到一般应用的目的，而不必过分探究其内部行为。因此，相当一部分研究以如何通过神经网络提取逻辑规则或分类规则为主，一部分研究对神经网络的行为分析提出了相应的见解，并在此基础上给出了优化神经网络的新方法。在早期的研究中，r u m e l h a r t 和m c c l e l l a n d 在 p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ：e x p l o r i n gi nt h em i c r o s t r u c t u r e so f c o g n i t i o n ) ) 一书中指出前馈神经网络若没有隐层就没有学习的内部表示，隐层单元是内部表示单元( i n t e r n a lr e p r e s e n t a t i o nu n i t s ) 。文献【1 5 】介绍t 9 0 年代以前这方面的研究；文献 1 6 1 使用聚类分析方法研究了用于声纳信号分类的神经网络内部权重分布的含义；文献 1 7 在利用t d n n 网络做语音识别的实验中揭示了网络的内部行为和信息表示；文献 1 8 】对时延网络用于语言识别的信息内部表示作了深入探讨；文献 1 9 分析了用于边缘检测的b p 网络内部行为，把隐层神经元视为图像滤波器，其权重分布可以用卷积核相类比；文献 2 01 基于神经网络内部表示，利用主成分分析( p c a ) 方法对权重进行初始化，大大加快了学习过程和收敛速度。文献 2 1 探讨了采取全连接、激励函数为s i g m o i d 函数的单隐层b p 网络模型用于参数估计时的内部行为：提出了输出参数的“内部分量”及“内部测量模式”的概念，得到了形象而有趣的内部行为解释，并发现它与人的视觉行为有若干相似之处。文献 2 2 则推广上述概念，以单隐层结构为典型，定义了隐层神经元输出为网络输出量的“( 正、负) 内部分量”，隐层权重分布为网络求解问题的“内部判决模式”，并给出了应用这一理论分析的实例，使之适用于单隐层b p 网络应用于模式识别、分类、函数逼近与参数估计等更广泛的领域。研究由神经网络进行规则提取的文献较多，国内外都进行了大量的研究，大部分以实证方法为主。应用神经网络进行规则提取一般有两类，一类是用于分类的规则提取，另一类则是回归规则提取。第一类的研究在国内外都有大量的研究，并将模糊集、粗糙集等概念引入了分析之中；第二类研究相对较少，如文献 2 3 ，从用于非线性回归的神经网络中提取规则，并在应用中进行了验证。在对神经网络的行为分析研究中，文献f 2 4 在分析神经网络的激励函数、输多层感知器的模糊线性分析及应用入输出特性后提出了使用决策树来初始化神经网络权重的方法；文献 2 5 分析了神经网络的逻辑特性，提出了用于描述神经网络逻辑规则的基于通用逻辑函数u o t m 的实验算法，并给出了用于a n n 行为逻辑解释的方法和验证。文献 2 6 则根据发展的模糊规则来解释a n n 的行为，并给出了种新的运算，两者的结合能够更好的对多层网络的行为做出解释。多晨感知措的模糊线性分析盐一用2 经典判别函数理论和模糊集理论21线性手0 另0 函数和手0 9 0 面经典模式识别与分类理论”，在线性判别函数与经典集合论基础上，对线性分类器进行了深入研究。判别函数( d i s c r i m i n a n | f u n c t i o n ) 是指由模式空划中模式向量x 的各个分量的线性组合而成的函数n e t ( ：x ) = w 。x + b( 21 )这里，w 是权重向量，6 是偏置( 或闽值权重) 。当判别函数是模式向量x的一次函数时，则称为线性判别函数。对于c 类问题，一般有c 个这样的判别函数，分别对应c 类中的一类。对于多类问题忙 2 ) ，通常可以转化为c 个两类问题柬利用线性判别函数来分析。因此下面主要介绍2 类问题的线性判别函数和判别面。假定存在彼此不重叠的两个分明的( c r i s p ) 类集合或面，由输入特征向量x 各分量的线性组合构成的判别函数如( 2 1 ) 式那么，经典集合判别规则为：如果n e t ( x ) 0 ，则判x 为c 0 类；如果n e t ( x ) 2 ) ，通常可以转化为e 个两类问题来利用线性判别函数来分析。因此下面主要介绍2 类问题的线性判别函数和判别面。假定存在彼此不重叠的两个分明的( c r i s p ) 类集合0 2 , 或万，由输入特征向量x 各分量的线性组合构成的判别函数如( 2 1 ) 式，那么，经典集合判别规则为：如果n e t ( x ) 0 ，则判x 为甜类：如果n e t ( x ) 0 ，所以判别面的法向量w 指向识，因此有时称吼。中的模式在h 的“正侧”，相应的，贸：中的模式在日的“负侧”。如图2 1 所示。图2 i 线陛判别面n e t ( = w 。x + 6设x 。位于判别面上，则有w 7 x p + 6 = 0o rw7 x 。= 一bw 7x ，i r w lj = 一b l l w l l( 2 t 2 )w 7 l l w f i 是超平面的单位法线向量；由( 2 2 ) 式可知原点到判别面的距离为一6 l l w l 。如果6 0 ，则原点在判别面的负侧，如果6 0 ，则原点在超平面的f 侧，如果b = 0 ，那么判别面经过原点。对于特征空间中的某点x ，我们可用下式表示x = x ，+ r 酾w( 2 。)这里，x 。是x 在日上的投影向量，是相应的算术距离。如果，为正，表示x 在h 的正侧，如果为负，表示x 在h 的负侧。因为x ，在h 上，所以n e t ( x ，) = w7 x 。+ b = 0 ，所以，多层感知器的模糊线件分析披心用n e t ( x 、= w 。x + b- w l x ，w 尚= w t x n + r - w ，高一w 高= d w l i所以，r = 一n e t ( x)俐l线性判别函数的有关的代数结果具有清晰的几何意义，且宜于分析线性神经元、r o s e n b l a t t 感知器及w i