（模式识别与智能系统专业论文）泛函网络理论及其学习算法研究.pdf

摘要摘要泛函网络是近几年提出的一种新的对神经网络的有效推广，有些理论和应用方面的基础还不太健全，需要人们不断地提出更适合于所要解决问题的新的网络结构，完善基础理论，提出新的学习算法。本文试图从计算数学的角度出发，泛函网络作为数学的一种“可视化( v i s u a l ) ”手段，把某些数学形式或结构归结为某种泛函网络形式，为传统的数值计算方法寻找一新的计算模型和方法。确切地讲，将泛函神经元作为基本部件，基于图论的观点，将复杂的泛函网络由若干个简单的泛函网络“拼合”而成，这种“拼合”不是简单的组装，而是依据待解问题的“先验知识”进行拼装；寻求建立所求问题的泛函网络拓扑结构神经计算系统：再用数值分析的方法，探讨其泛函网络的数学本质，包括泛函网络的插值机理、构造方法与遭近理论、新的数值计算方法及应用范围，为某些没有直观背景的数学形式或结构找到一定意义下的实际背景。本文创新性主要成果如下：1 提出一种多维函数逼近的泛函网络逼近方法，设计了一类用于函数逼近的可分离泛函网络，给出了基于泛函网络的函数逼近学习算法，而泛函网络的参数通过解方程组得到，它们能逼近给定函数到预定的精度仿真结果表明，这种逼近方法简单可行，具有较快的收敛速度和良好的逼近性能。2 提出了一种回归泛函网络新模型，利用回归泛函网络既有前馈通路，又有反馈通路的特点，将网络中间层泛函神经元函数设置为可调多项式函数序列，提出了多项式函数型回归泛函网络新模型，它不但具有回归泛函网络的特点而且具有较强的函数逼近能力给出回归泛函网络稳定性的一种判据，把稳定点转化为某种函数的不动点；针对递归计算问题，提出了一多项式函数型回归泛函网络学习算法，并将该网络模型应用于多元多项式近似因式分解，其学习算法在多元多项式近似分解中体现了较强的优越性通过算例分析表明，该算法十分有效，收敛速度快，计算精度高所提出的多项式函数型回归泛函网络模型及学习算法对计算机代数的研究有重要指导意义。3 设计出一类单输入单输出泛函网络与双输入单输出泛函网络作为构造层次泛函网络基本模型，提出了一种层次泛函网络新模型，给出了层次泛函网络构造方法和整体学习算法，而层次泛函网络的参数利用解方程组来进行逐层学习以非线性代数方程组为例，指出人们熟知一些数学解题方法可以用层次泛函网络来表达，探讨了基于层次泛函网络求解非线性代数方程组学习算法实现的一些技术问题相对传统方法，层次泛函网络更适合于具有层次结构的应用领域计算机仿真结果表明，这种层次学习方法具有较快的收敛速度和良好的逼近性能。西安电子科技大学博士学位论文4 提出了一种基于泛函网络的多项式e u c l i d e a n 计算新模型，给出一种基于泛函网络的多项式e u c l i d e a n 新算法，而网络的泛函参数利用解线性方程组方法来完成相对传统的算法，不但能够快速地获得所求多项式问题的精确解，而且可获得所求多项式问题的近似解计算机仿真结果表明，该算法十分有效、可行，可看作是对传统的e u c l i d e a n 算法的一种推广该算法将在计算机数学，代数密码学等方面有着广泛地应用5 首先分别介绍了泛函网络概念和f u z z y 插值概念及性质，将泛函网络结构特性和f u z z y 插值映射有机地结合起来，提出了一类新型f u z z y 泛函网络模型，给出其f u z z y 泛函网络构造方法，采用构造性方法从理论上证明7f u z z y 泛函网络能够以任意精度逼近任意定义在有界闭集上的连续函数，这从理论上为f u z z y 泛函网络的使用提供了依据，具有明显的实际应用价值。6 将实值泛函神经元推广到复值泛函神经元，再对复值泛函神经元的结构做了一个变形，提出了一种复值泛函网络新模型，给出了一种基于梯度下降法的复值可分离泛函网络学习算法采用复分析的方法，利用单一泛函神经元模型，借助于正交边界和实步长函数概念求解复值x o r 分类问题，理论上分析可看出，相比复值神经网络，复值泛函网络在解决分类问题具有很强的泛化能力7 针对序列泛函网络，提出了一种序列泛函网络学习算法，而网络的泛函参数利用递度下降法来进行学习在此基础上，给出了9 种典型的泛函方程求解序列泛函网络模型，给出了一种基于序列泛函网络学习算法的求解泛函方程方法，该方法十分有效，收敛速度快。计算精度高，泛化性能好，解决了传统的数值方法难以求解泛函方程这个问题，该方法可用于一般泛函方程求解8 泛函网络同神经网络一样，至今还没有一系统设计方法能够对给定问题设计出近似最优的结构鉴于此，将整个泛函网络的设计分解为单个神经元的逐个设计；然后，在此框架下提出了基于遗传规划的泛函神经元的设计方法，该方法可实现对神经元函数类型的优化i 仿真实验表明，本方法是有效可行的，能用较小的网络规模获得更满意的泛化特性关键词：泛函网络，回归泛函网络，层次泛函网络，f u z z y 泛函网络，复值泛函网络，序列泛函网络，泛函神经元，基函数簇，函数逼近，l a g r a n g e 乘数法，学习算法，泛函方程，遗传规划，泛函网络近似计算，计算机代数n la b s t r a c tf u n c t i o n a ln e t w o r ki sai p a ? ：e n l 【l yi n t r o d u c e de x t e n s i o no fn e u r a ln e t w o r k t h e r e撇s o m eb a s i co ft h e o r ya n da p p l i c a t i o na r cn o tp e r f e c t , t h e r e f o r e , o u rr e s e a r c hi sf o c u s e d0 1 1t h ep r o b l e m so fn o v e lf u n c t i o n a ln e t w o r ks t r u c t u r ef o rp e r f e c t i n gb a s i ct h e o r i e s , a n dan o v e ll e a r n i n ga l g o r i t h mo ff u n c t i o n a ln e t w o r ki sp r e s e n t e d i nt h i sd i s s e r t a t i o n ，w et r yt ou s et h em e t h o do f c o m p u t a t i o nm a t h e m a t i c s , an e wv i e w p o i n ti sp r o p o s e dt h a tf u n c t i o n a ln e t w o r k sc a l lb er e g a r d e da sak i n do f v i s u a l i z a t i o nm e a n so fs o m em a t h e m a t i c a lm e t h o d s t h e nt h ef u n c t i o n a ln e t w o r k sr e p r e s e n t a t i o n so fm a t h e m a t i c a lm e t l l o d so rm a t h e m a t i c a ls w u o t u r e , an o v e lc o m p u t a t i o nm o d e l sa n dm e t h o d sf o rt r a d i t i o n a ln u m e r i c a lc o m p u t a t i o nm e t h o d sa r cp r o p o s e d e x a c t l ys p e a k i n g , t h ef u n c t i o n a ln e u r o nb yw a yo fb a s i cu n i t s , b a s eo i ls t a n d p o i n to fm a pt h e o r y , t h ec o m p l e xf u n c t i o n a ln e t w o r k sa r ec o m b i n e dw i t hs e v e r a ls i m p l ef u n c t i o n a ln e t w o r k s , t h i si sn o tj u s tas i m p l ea s s e m b l y , b u ta c c o r d i n gt os o l v i n gp r o b l e m so ft r a n s c e n d e n tk n o w l e d g e n a m e l y , c o n s t i t u t et h et o p o l o g ys t r u c t u r eo ff u n c t i o n a ln e t w o r k s b a s e do nt h e s ei d e a s , t h en u m e r i c a la n a l y s i sm e t h o di sa d o p t e dt od i s c u s sm a t h t e m i c a le s s e n c e , i n c l u d i n gi t si n t e r p o l a t i o nm e c h a n i s m ，c o n s t r u c tm e t h o d ,a p p r o x i m a t et h e o r y , a n dt h en o v e ln u m e d c a lc o m p u t a t i o nm e t h o da n da p p l i c a t i o nf i e l d s nl e a d st ot h ep r a c t i c a lb a c k g r o u n df o rt h e r ei sn o ti n t u i t i o n i s t i cb a c k g r o u n d m a i nc o n t r i b u t i o n sa l e 鼬f o l l o w s ：1 af u n c t i o n a ln e t w o r k sa p p r o x i m a t i o nm e t h o df u rm u l t i - d i m e n s i o n a lf u n c t i o n si sp r o p o s e d ak i n do f s e p a r a b l ef u n c t i o n a ln e t w o r k sf o ru s i n gf u n c t i o na p p r o x i m a t i o ni sd e s i g n el , b a s e do nf u n c t i o n a ln e t w o r k sm o d e l ，a nl e a r n i n ga l g o r i t h mf o rf u n c t i o na p p r o x i m a t i o ni sg i v e n , a n dt h el e a r n i n go ft h ef u n c t i o n a ln e t w o r k sp a r a m e t e r sa 佗c a r r i e do u tb ys o l v i n gl i n e a re q u a t i o n s n i sc a na p p r o x i m a t eag i v e nc o n t i n u o u sf u n c t i o ns a t i s f y i n gg i v e np r e c i s i o n 1 m es i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h ea p p r o x i m a t i o nm e t h o dp r e s e m e di nt h ep a p e rh a sr a p i dc o n v e r g e n c ea n dp o w e r f u lp e r f o r m a n c e 2 ac h a r a c t e r i s t i co fr e c u r r e n tf u n c t i o n a ln e t w o r k 皿f n ) h a sf o r w a r dp r o p a g a t i o na n df e e d b a c kp r o p a g a t i o ni su s e d t h em i d - l a y e ro fl 强nw a sc h o s e np o l y n o m i a lf u n c t i o ns e q u e n c ea st u n a b l ea c t i v a t i o nf u n c t i o n ak i n do fp o l y n o m i a lf u n c t i o nr e c u r r e n tf u n c t i o n a ln e t w o r k ( p f r f n ) n e wm o d e li sf w s t l yp r o p o s e d ，w h i c hh a sc h a r a c t e r i s t i co fr f na n dt h ec a p a b i l i t yo ff u n c t i o na p p r o x i m a t e p f i 谭ni se s p e c i a l l yu s e f u lf o rr c c u r r e n tc o m p u t a t i o np r o b l e m ag e n e r a lc r i t e r i o no nt h es t a b i l i t yi v西安电子科技大学博士学位论文o fr e c u r r e n tf u n c t i o n a ln e t w o r k si sg i v e n ；t h es t a b l ep o n t so fan e t w o r ka r ec o n v e r t e da st h ef i x e dp o i n t so f s o m ef u n c t i o n t h ep f r f nl e a r n i n ga l g o r i t h mi sa l s od e s i g n e d , w h i c hc a np e r f o r ma p p r o x i m a t ef a c t o r i z a t i o no fm u l t i v a r i a t ep o l y n o m i a l s , t h i sm o d e lh a sm u c hp r o p e r t i e ss u c ha se a s i l yt r a i n e da n ds i m p l ys t r u c t u r e d h o w e v e r , t h en u m b e r so f t h em i d - l a y e ra c t i v a t i o nf u n c t i o nb a s e do nt h i sm o d e l0 1 1t h eo r d e r so ft h ef a c t o r i z e dp o l y n o m i a l s f i n a l l ys e v e r a lg i v e ne x a m p l e sa n dl e a r n i n ga l g o r i t h ms h o wt h a tt h ep r o p o s e dm o d e li se f f e c t i v ea n dp r a c t i c a l ，t h el e a r n i n ga l g o r i t h mi sc o n v e r g e n tq u i c k l ya n ds t a b l e ，w h i c hc a na p p r o x i m a t ec a l c u l a t ee v e r yp o l y n o m i a lf a c t o r , t h er e s u l t so b t a i n e da r cv e r yi m p o r t a n tf o rs t i i d yc o m p u t e ra l g e b r a 3 a “n do ff u n c t i o nn e t w o r k sw i t hs i n g l ei n p u ta n ds i n g l eo u t p u ta n df u n c t i o nn e t w o r kw i t hd o u b l ei n p u t sa n ds i n g l eo u t p u ta sb a s i sf u n c t i o n a ln e t w o r km o d e li sd e s i g n e d ，an e wh i e r a r c h i c a lf u n c t i o n a ln e t w o r ki sp r e s e n t e d t h eu n i v e r s a ll e a r n i n ga l g o r i t h ma n dc o n s t r u c t i o nm e t h o dh i e r a r c h i c a lf u n c t i o nn e t w o r ki sg i v e n f i n a l l y , at y p i c a le x a m p l e so fa p p l i c a t i o nd e c l a r e dt h a tt h eh i e r a r c h i c a lf u n c t i o nn e t w o r k sf a nb er e g a r d e da sak i n do fv i s u a l i z a t i o nm c a l mo fs o m em a t h e m a t i c a lm e t h o d s ，b a s eo nh i e r a r c h i c a lf u n c t i o nn e t w o r kf o rs o l v en o n l i n e a ra l g e b r a i ce q u a t i o ns y s t e m ，a n dr e s e a r c h e sa r cm a d ei ns o m et e c h n i c a lp r o b l e m sf o rr e a l i z i n ga l g o r i t h m t h er e s u l t ss h o wt h a th i e r a r c h i c a lf u n c t i o n a ln e t w o r ki sv e r ys u i t a b l ef o ra p p l i c a t i o nd o m a i n sw i t hh i e r a r c h i c a ls t r u c t u r e s t h es i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h ei d e n t i f i c a t i o nm e t h o dp r e s e n t e di nt h ep a p e rh a sr a p i dc o n v e r g e n c es p e e da n dp o w e r f u lp e r f o r m a n c e 4 an o v e lp o l y n o m i a lf u n c t i o n a ln e t w o r kb a s e do ne u c l i d e a no f c o m p u t a t i o nm o d e li sd e s i g n e d , a n dal e a r n i n ga l g o r i t h mb a s e do ne u c l i d e a na l g o r i t h mi sp r o p o s e d , t h el e a r n i n go fp a r a m e t e r so ft h ef u n c t i o n a ln e t w o r k si sc a r r i e do u tb yt h es o l v i n gl i n e a re q u a t i o n n o to n l yw eo b t a i n e dt h ee x a c tr o o t so fp o l y n o m i a le q u a t i o n , b u ta l s ow eo b t a i n e dt h ea p p r o x i m a t er o o t so fp o l y n o m i a le q u a t i o n f i n a l l y , t h es i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h ei d e n t i f i c a t i o nm e t h o dp r e s e n t e di nt h ep a p e r ,a r em o r ee f f i c i e n ta n df e a s i b l ei nf i n d i n gt h ef a c t o ro f a r b i t r a r yt w op o l y n o m i a l s 5 t h ec o n c e p to ff u n c t i o n a ln e t w o r ka n dc h a r a c t e r i s t i c so ff u z z yi n t e r p o l a t i o na r ef i r s ti n t r o d u c e d , nn e wf u n c t i o n a ln e t w o r km o d e l i n g ，c o m b i n i n gc o n s t r u c t i v ec h a r a c t e r i s t i c so ff u n c t i o n a ln e t w o r ka n df u z z yi n t e r p o l a t i o nm e c h a n i s m ，w a sp r o p o s e d ，b a s e do nw h i c hf u z z yf u n c t i o n a ln e t w o r ki sp r o v e dt oa p p r o x i m a t ea n yc o n t i n u o u sf u n c t i o nd e f i n e do nc l o s e ds e tt oap r e c i s i o na c c u r a c y t h i st h e o r yr e s u l tp r o v i d e su sav e r yu s e f u lg u i d e l i n ew h e nw ed e s i g na n da p p l i c a t i o nf u z z yf u n c t i o n a ln e t w o r k , a n dt h e r e f o r eh a sv e r yi m p o r t a n tt h e o r e t i c a la n dp r a c t i c a la b s t r c tvs i g n i f i c a n c e 6 f u n c t i o n a ln e t w o r ki se x t e n s i o no fn e u r a ln e t w o r k ，i td e a l sw i t hg e n e r a lr e a l - v a l u e df u n c t i o n a lm o d e l i nt h i sp a p e r , t h es t r u c t u r eo ff u n c t i o n a ln e u r o ni sc h a n g e d ，a n df u n c t i o n a ln e u r o ni se x p a n d e dc o m p l e x - v a l u e dn e u r o n ak i n do fs e p a r a b l ec o m p l e x - v a l u e df u n c t i o n a ln e t w o r km o d e li sp r o p o s e d ，af u i | yc o m p l e xs e p a r a b l ef u n c t i o n a ln e t w o r ks t r u c t u r et h a ty i e l d sas i m p l i f i e dc o m p l e x - v a l u e db a c k - p r o p a g a t i o na l g o r i t h mi sp r e s e n t e d 1 1 l ex o rp r o b l e mt h a tc a n n o tb es o l v e dw i t ht w o - l a y e r e dr e a l - v a l u e dn e u r a ln e t w o r k 咖b es o l v e db yas i n g l ec o m p l e x - v a l u e df u n c t i o n a ln e u r o nw i t ht h eo r t h o g o n a ld e c i s i o nb o u n d a r i e s , w h i c hr e v e a l sap o t e n tc o m p u t a t i o n a lp o w e ro f c o m p l e x - v a l u e df u n c t i o n a ln e t w o r k7 b a s e do ns e r i a lf u n c t i o n a ln e t w o r k s , al e a r n i n ga l g o r i t h mo ft h es e r i a lf u n c t i o n a ln e t w o r k si sp r o p o s e d a n dt h el e a r n i n go fp a r a m e t e r so ft h es e r i a lf u n c t i o n a ln e t w o r k si sc a r r i e do u tb yt h eg r a d i e n td e s c e n ta l g o r i t h m b a s e do nt h i s ，n i n ek i n d so fs e r i a lf u n c t i o nn e t w o r k sf o rs o l v i n gc l a s s i c a lf u n c t i o n a le q u a t i o n sa n dak i n do fs o l v i n gf u n c t i o n a le q u a t i o n sm e t h o do ns e r i a lf u n c t i o n a ln e t w o r k sa r ep r e s e n t e d t h es i m u l a t i o nr e s u l t sd e m o n s t m mt h a tt h ei d e n t i f i c a t i o nm e t h o dp r e s e n t e di nt h ep a p e rh a sr a p i dc o n v e r g e n c es p e e da n dp o w e r f u lp e r f o r m a n c e c o n t r a r yt ot r a d i t i o n a ln u m e r i c a lm e t h o d ，t h i sm e t h o di n t h i sp a p e ri su s e ds o l v eg e n e r a lf u n c t i o n a le q u a t i o n s 8 f u n c t i o n a ln e t w o r ki sl i k en e u r a ln e t w o r k s ，n o w a d a y s , t h e r ei sn os y s t e md e s i g n i n gm e t h o df o rd e s i g n i n ga p p r o x i m a t i o nf u n c t i o n a ln e t w o r k ss t r u c t u r e s o ，af r a m eo ft h ec o n s t r u c t i v ef u n c t i o n a ln e t w o r kd e s i g ni sg i v e n , i nw h i c ht h ed e s i g no ft h ew h o l ef u n c f i o n a ln e t w o r kb r e a k sc l o w nt ot h ed e s i g no f s i n g l en e u r o n so n eb yo n e t h e n , b a s e do ng pt h ed e s i g na l g o r i t h mo fs i n g l ei l e u r o n , w h i c hr e a l i z e st h ea u t o - o p t i m i z a t i o no fn e u r o nf u n c t i o nt y p e s , i sp r o p o s e d f i n a l l y , w i t hm a n yf u n c t i o na p p r o x i m a t i o ne x p e r i m e n t s ，i ti ss h o w nt h a tt h ep r o p o s e dc o n s t r u c t i v ef u n c t i o n a ln e t w o r kd e s i g ns c h e m ei sf e a s i b l e b e i n ga b l e 幻a c h i e v eb e t t e rf u n c t i o n a ln e t w o r kg e n e r a l i z a t i o nw i t hs m a l ln e t w o r ks i z e k e y w o r d s ：f u n c t i o n a ln e t w o r k , r e c u rf u n c t i o n a ln e t w o r k , h i e r a r c h i c a lf u n c t i o n a ln e t w o r k , f u z z yf u n c t i o n a ln e t w o r k , c o m p l e x - v a l u ef u n c t i o n a ln e t w o r k ,s e r i a lf u n c t i o n a ln e t w o r k s , f u n c t i o n a ln e u r o n , b a s i sf u n c t i o n s ，f u n c t i o na p p r o x i m a t e ，l a g r a n g em u l t i p l i e r s ，l e a r n i n ga l g o r i t h m , f u n c t i o n a le q u a t i o n s ，e v o l u t i o np r o g r a m m i n g , f u n c t i o n a ln e t w o r ka p p r o x i m a t ec o m p u t a t i o n , c o m p u t e ra l g e b r a 独创性( 或创新性) 声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：压圣墨堕关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规定)本人签名：导师签名：日期鱼丝曼：坦：竺日期猃：! 璺o鼗第一章绪论第一章绪论1 1 引言神经网络( n e u r a ln e t w o r k ) 是由具有适应性的简单单元组成的广泛并行互联的网络，其组织能够模拟生物神经系统对真实世界所做出的交互反映哪基于神经网络拓扑结构所建立的计算模型，并用于解决科学和工程中无法用模型精确描述的问题就称为神经计算( n e u r a lc o m p u t i n g ) 神经计算最早追溯到1 9 4 3 年，芝加哥大学生理学家w s m c c u l l o c h 和w a p i t t s 提出的m - p 模型1 2 1 。在d o h e b b 提出h e b b 学习规则 3 1 、e r o s e n b l a t t 研制出感知机 4 1 之后，神经计算受到了研究者极大地重视。吸引了大批研究人员参与该学科的研究，其研究工作取得了一定的进展。m m m s k y 和s p a p e r t 花了多年时间对以感觉器为代表的简单网络系统的功能及其局限性从数学上作了深入的分析，于1 9 6 9 年发表了颇有影响的( p c r c e p t r o n ) 一书p l ，特别是指出了简单网络只能求解一阶谓词问题( 如图形识别等) ，不能解决较为复杂的高阶谓词问题( 如x 0 r 问题，对称性判别问题，宇称问题等) 。求解高阶问题需要引入多层网络，但对多层网络当时缺乏有效的学习算法，并表示出对该方面研究的悲观态度，并否定这一研究方向。在其后若干多年内，神经计算相对处于低潮，这固然和上述因素有关。在此期间，以产生式规则为内部表示的专家系统成为了人工智能研究的主流方向，为专家系统服务的知识工程成为人工智能研究的主流方向。神经计算研究在很长时间内一直处于停滞不前状态，仍有不少学者致力于神经计算的研究，主要是提出各种不同的神经计算模型，增加网络的功能，研究各种学习算法等等；如：引入时间参量：引入存储时间序列；引入“无导师学习”；引入反馈功能等 1 0 - 1 2 1 ；但是，随着知识工程的发展，e a f e i g e n b a u m 等知识工程倡导者意识到知识的瓶颈问题【6 】，即将人类专家的知识转化为机器可执行的规则存在着巨大的困难，如果机器能够自学习，该瓶颈问题可能得到解决。于是，机器学习得到迅速地发展，在研究的过程中，d m i c h i n e & j r q u i n l a n 发现，与机器学习、类比学习等学习方式相比，示例学习是解决知识工程瓶颈问题唯一可行的方法j 【8 1 。1 9 8 2 年，2西安电子科技大学博士学位论文h o p f i e l d 利用全互连型神经网络模型和能量函数( l y a p u n o v 函数) 概念成功地求解计算复杂度为n p 完全型的t s p 组合优化问题1 9 1 该项工作被称为突破性的，他引入能量函数，使网络的稳定性研究有了明确的判据，神经计算与动力系统的关系更明确了，它与电路的直接对应为建造新型的电子神经计算机奠定了基础。此外，该模型不仅可用于联想记忆( a s s o c i a t i v em e m o i y ) ，而且可用于各种约束优化问题的近似计算，开拓了神经计算的新途径。从此，神经计算成为了一个非常热门研究的课题，经过多年的发展，神经计算已成为人工智能两大流派( 连接主义和符号主义) 之一，特别，f e l d m a n n 和b a l l a r d 的连接主义网络模型强调指出传统的人工智能计算与生物“计算”的不同，提出了许多并行、分布处理的计算原则。虽然神经计算借鉴了神经科学的基本成果，但对这一系统的全面研究却涉及计算机，控制论、信息学( 如生物信息学、神经信息学、化学信息学等) 、数学、物理学、哲学、心理学乃至生物进化论、医学免疫学等学科，这是- - f 高度综合性的学科，这一研究的成果也远不止加深人们对大脑功能的理解，而是可能为下一代计算机及人工智能研究开辟出一条崭新的途径1 2 新神经元模型神经网络系统是由大量简单元件( 神经元、模拟电子元件、光学元件等) 广泛相互连接而成的复杂网络系统。它是在现代神经科学研究成果的基础上提出的，反映了人脑功能的若干基本特性，但并不是真实神经系统的逼真描写，而只是它的某种简化、抽象和模拟。神经计算系统就是建立基于神经网络系统的计算模型，并用于解决科学计算可工程中的问题。我国神经计算研究的普遍展开是从1 9 8 8 年开始的，至今已近2 0 年了，其应用范围扩展到许多领域，许多研究者感觉在应用上取得了很大成绩，但理论与新模型方面却进展不大 t r - t 4 1 。可能阻碍着神经网络技术的发展。特别近年来，研究人员对神经网络的理论与新模型方面有了广泛深入地研究并取得了显著的进展。1 9 9 6 年，李洪兴教授从神经元一般是多输入、单输出这一形式出发，提出了数学神经元( 定义1 1 ) 、数学神经网络“5 - 2 0 l 模型，从数学的角度讨论了数学神经网络的插值机理，提出了数学神经网络学习算法，指出了目前人工神经网络研究的方法没有跑出计算数学的“圈子”，人工神经网络所具有的“优点”( 如并行处理等) 并没有真正实现，给出了某些数学方法的神经网络表示。通过分析指出，泛函连接网络中的函数形式可由神经元的激活函数来表示，泛函连接网络无任何实质上新的内容。第一章绪论3定义1 1 嗍任意给定d c r ”及ec z r ( r 为实数集) ，函数，：d e ( 而x 2 ，矗) - - 9 z = ( 而，屯，)( 1 - 1 )称为一个数学神经元；当厂( d ) = 0 , i ) 时，厂叫做二值数学神经元；当( d ) c 【o l 】时，叫做f u z z y 数学神经元。受到李洪兴教授研究思路的启发，作者致力于计算机代数新算法及应用方面的研究，在数学神经元模型的基础上，提出了一类代数神经元、代数神经网络模型及学习算法，并成功地应用于多元多项式近似分解 2 2 - z s l 、多项式的不可约判定l 纠等问题。1 9 9 7 年，吴佑寿院士等指出，五十几年来人工神经网络研究虽然取得很大成绩，但也暴露出来一些问题( 如激活函数固定、神经元模型过于简单等) ，阻碍着研究工作的进展，这可能和神经元的模型有关，于是，提出了一种激活函数可调神经元( t u n a b l e a c t i v a t i o n f u n c t i o n ，t a f ) 2 ”新模型( 图1 1 ) 。其中：围1 1t a l c 模型o = f o ，叻( 1 _ 2 )是神经元的输出，( ) 是神经元的激活函数，善= o ，而，) 7 和w = ( w 1 ，嵋，) 7 分别是输入信号矢量和权矢量。在这个模型中，不但权矢量可以调节，激活函数_ ，i ) 也可以调节，认为神经元的激活函数可以有各种形式，而不是固定不变的，在解决某些问题是，可根据问题的先验知识和经验，选用激活函数使它和待解问题相结合，着重讨论激活函数的形式，较系统地研究了由这种新神经元模型构成的前向神经网络( t a i c m f n n ) 的学习算法，以异或问题与4 元校验码、非线性函数的逼近和双螺线问题为例，实验结果表明，采用这种新型神经元的前向网络可以较容易解决一般m f n n 难于解决的问题，其收敛速度4西安电子科技大学博士学位论文快，泛化能力和网络容量都较为理想，采用这种措施来设计网络可取得更好的效果。1 9 9 8 年，沈世镒教授提出了一具有非线性权函数的感知器模型( 图1 2 )( n o n l i n e a r w