（信号与信息处理专业论文）神经场整体结构和增殖能力研究与分析.pdf

博士学位诧又忡理聊跫侔穑俐删帽坦r j w i 几1 ，j _ 摘要 神经场理论是从整体结构分析的角度来理解人工神经网络的变化机理、动 力学性质以及信息处理的能力与限制，研究由所有神经网络所组成的非线性空间 的整体不变性质。这方面的研究，有助于揭示和理解人的感知系统的组织结构、 变换和定位机理，提出了新的模型和方法来建立人脑信息处理一般机理以及组织 形式，推动人工神经网络研究向更深层次的发展、提高连接主义模型的研究水平 和层次。 知识可增殖人工神经网络通过不断嵌入不同功能的独立学习人工神经网络 来增殖整体人工神经网络的功能，具有知识继承和积累能力，其规模能不断扩充， 因此可用来构造大规模人工神经网络，解决现有人工神经网络存在的问题一知识 增殖和继承能力问题。另外由于它采用增殖人工神经网络的拓扑结构和神经场理 论算法，所有独立学习人工神经网络都可并行处理，因而可有效地提高处理速度。 本文利用微分流形、信息几何和代数拓扑作为工具，研究由所有神经网络 组成的神经场的整体结构和增殖能力。本文工作围绕神经场结构模型的整体结构 和增殖能力分析、基于结构的学习逼近理论分析等方面展开，并提出可行的知识 可增殖系统模型，试验结果证明了模型的可行性和有效性。 论文的主要工作如下： 以微分流形、信息几何和代数拓扑学为工具，通过在神经场研究中引入单、 复形和对偶平坦流形的概念，研究全体神经网络组成非线性空间神经场的整体不 变性，分析了由简单的模型集成到复杂模型，简单结构嵌入到复杂结构的机理； 研究局部和整体的关系，通过把神经网络的学习理论模型看作认知模型和生成模 型的统一，从而把神经网络组织层次和定位机理看作是按一定的代数和拓扑的整 体性结合而成的结构。能更自然地解释简单模型向复杂模型的嵌入机理；分析并 证明了神经场复杂结构的可分解性，其结果将有助于解释和理解人脑的感知系统 的组织结构、定位机理和嵌入问题，提高神经网络复杂模型的研究水平，挖掘认 知科学在计算模式新的突破点。 利用对偶流形理论和代数拓扑等数学工具，把混合结构所组成的层次混合 专家系统的信息处理机理看作是非完整数据下隐变量可信度估计与模型参数估 计结合的过程，分析了层次混合专家系统的流形结构组织和逼近机理研究了层 次混合模型嵌入到对偶流形中的方法，分析了混合神经网络结构的分维组织机 理，讨论了模型扩展的可能性及复杂系统的神经网络表达问题：分析比较了神经 堡：! 兰丝丝苎一一 塑丝堑墼竺堕塑塑塑堕丝垄竺壅皇坌塑 p r o m o t e t h er e s e a r c hl e v e lo f n n ，a n d p u r s u em e n e w b r e a k t h r o u 曲i nt h er e s e a r c ho f c o m p u t a t i o n m o d e lt ou n d e r s t a n dh l l m a n - l i k er e c o 髓i t i o nm e c h a l l i s m b a s e do nd u a lm a n i f o l dt h e o d ta n da l g e b r at o p o 】o g ym c t h o d ，t h ei n f o r m a t i o n p r o c e s s i n go fh i e r a r c h i c a lm i x t u r es y s t e mo fn n sc a 【lb et r e a t e da sa 1 1i n t e g r a t e d p r o c e d u r eb e t w e e nm ee s t i m a t i o no fb e l i e fg a t i n gv a l u ea n dd e t e n 】1 i n a t i o no fm o d e l p a r 锄e t e r w ea n a l y z et h em a i l i f 0 1 ds t m c t u r ea 1 1 da p p r o x i m a t i o nm e c h a 工1 i s mo f h i e r a r c h i c a lm i x t u r ee x p e r t s y s t e m ，s 扎曲也ea p p r o a c ho fe m b e d d i n gh i e r a r c h j c a l s t r u c t l l r ei m od u a lm a n i f o l d m o d e l ，e x p o u n dm es p l i td i m e n s i o no r g a n j z “o n m e c h a n i s mo fh i e r a r c h i c a lm i x t u r ee x 口e r tm o d e l - d i s c u s st h es t 】n l c t u r e e x t e n d i b l e m e c h a n i s mo fm o d e la n dn ne x p r e s s i o no fc o m p l e xs y s t e m f r o m a i l a l y s i s a n d c o m p a r i s o no f n e u r a lf i e l dl e 叽i n ga l g o r i 也ma n do 也e rl e 锄i n g r c l a t e da l g o r i t h m s a n e w1 e a m i n ga l g o r i t h mb e m a l g o r i t h mi sp r e s e m e dt os p e e du pt h en e u r a l 6 e l d 】e a m i n gp r o c e s s i n g w ep r e s e n tad y n a m i cm u h i - b r a n c h e s a l g o r i t h m a n dal a y e r e da n i 6 c i a ln n m o d e l 。w h i c hc a l lr 。a l i z e k n o w l e d g e - i n c 诧a s a b l em o d e lt o s o l v et h ep r o b l e m so f c o m p l e xo r l a r g e 、7 0 l u m ec l a s s e so fl e a m i n ga n dd y n 锄i c “t e n s i o no fs y s t e m t h e a l g o r i t nc a nr e d u c eo b j e c ts c o p ed u e t ot i eu s i n gd i v i d e - a n d c o n q u e rp r i n c i p l e i t a l s o i m p r o v e st h er e c o g l l i t i o nr a t eb yt h ei n t m d u c t i o no fc o m b i n a t i o nc l a s s i 右e r s l e a m i n gl i k e h u m a nb r a i nd o e s ：i tc a nn o t0 1 1 1 ya c c e l e r a t ec a l c u l a t i o ns p e e da 1 1 d r e c o g n i t i o nr a t eb u ta l s oc a nb ee x t e n d e de a s i l ya n d 疔e e l y u s i n gd y n 锄i cg r o u p i n g a 1 1 dr e c o g t l i t i o na p p o a c h ，n e w 缸n c t i o nm o d e l sc a nb ea d d e dt os y s t e mc o n t i n u o u s l y ， s ot l e c o m p k xs y s t e mc a nb ef o n n e di n t r o d u c i n gan e wm e t h o dt oc r e a t ev i r t u 甜 s 吼p l e s ，、v ec a ni m p r o v eg e n e r a la b i l i t yo f 也es y s t e m ， h o w e v e r c h a l l e n g e ss t i l le x i s t h o wt oa p p l ym o r ep r o f o u n dm a t h e m a t i cm e o r y t on e u r a lr e s e a r c h t oi m p r o v em es t r u c t u e b a s e d 印p f o x i m a t i o n 】e a n l i n gm e o d ：t o e x t e n dt h en nm o d e lf r o mc u r r e n tm a n i f 0 1 d s p a c ee x p r e s s e dt o n o n - s t a t i s b c t o 口r o p o s em o ee 矗e c t i v ee x p r e s s i o na n dc a l c u i a t i o nm e m o d s ，s oa st od e v e l o pm o r e g e n e r a ls y s t e mt oe x p r e s st h es p a c es h o u l db et h en 缸u r a lr e q u i r e m e m s a 1 1 dt h e r e f o r e s h o l l l db et h ef b c u s e so f 如九h e rr e s e a r c h k e 、r w o r d s ：n e u r a ln e t w o r k n e u r a lf i e l d t h e o r y ， i n f o m l a t i o n g e o m e t r k d i 雠r e n t i a lm a n i f o l d ，e x p o n e n t i a lf 眦i l i e sd u a lm a l l i f o l d ，k n o w l e d g ei n c r e a s ea b i l i t y e m a l g o “t s i m p l i c i a lc o m p l e x e ss t r u c t u r e 博士学位论文神经场整体结构和增殖能力研究与分析 第一章概述 1 1 人工神经网络介绍 1 1 1 人工神经网络的概述和发展史 早在2 0 世纪初，人们已经发现人脑的工作方式与现在的计算机是不同的， 人脑是由极大量基本单元( 称之为神经元) 经过复杂的相互连接而成的一种高 度复杂的、非线性的、并行处理的信息处理系统。人脑性能要比现代计算机高 得多，因此人们自然会想到如果能从模仿人脑智能的角度出发，来探寻新的信 息表示、存储和处理方式，设计全新的计算机处理结构模型，构造一种更接近 人类智能的信息处理系统来解决实际工程和科学研究领域中传统的冯诺伊曼计 算机难以解决的问题，必将大大促进科学进步，并在人类生活的各个领域引起 巨大变化，这就促使人们研究人工神经网络( 触q n ) 系统。 人工神经网络，又称连接主义模式，是借鉴人脑的结构和特点，通过大量 简单处理单元( 神经元或节点) 互连组成的大规模并行，分布式信息处理和非 线性动力学系统。它具有巨量并行性、结构可变性、高度非线性、自学习性和 自组织性等特点。因此，它能解决常规信息处理方法难以解决或无法解决的问 题，尤其是那些属于思维( 形象思维) 和推理及意识方面的问题。人工神经网 络可以说是从常规的信息处理到实现电子人脑的一种中间过渡，一方面人工神 经网络的基本机理是模拟人脑的部分认知原理，另一方面又掺入了对人脑的许 多假设，并采用数学的、物理的方法达到信息处理的目的。 人工神经网络应该具有以下一些功能： ( 1 ) 学习能力：通过时间进行学习： ( 2 ) 自适应能力：系统能适应外界的变化保持良好的性能： ( 3 ) 自组织能力：依据外部环境的变化进行自组织。自适应是通过自组 织实现的： ( 4 ) 输入输出能力； ( 5 ) 知识表示能力： 博士学位论文神经场整体结构和增殖能力研究与分析 经信息处理的模型和框架。日本学者a m 耐s 1 2 6 。3 5 l 将微分流形和信息几 何应用于人工神经网络的研究，探索系统化的新的神经信息处理理论 越掣；警剽带引猷要掮翼骶掣型裂堙品誊一瞪吲明哺岗囊鳗型：萋羹 耋墓翼蠢囊薹篓羹羹雾蠢薹蠢曼里喜璐二鞭黯铂弘的鞒匏擎88 ；：驺 貅骆m 稚瓤酗鞭心刈狮骐期泡勉强驻骂j 趣旧辫信息处理方法为背景的智能计算机与智能计算理论。入脑具有以下特点： ( 1 )自我修复能力：个体神经元的损坏不会影响整体功能。据研究，人 一生中每小时有1 0 0 0个神经细胞发生障碍，一年内有8 7 6 万个神经 细胞功能失调。但人脑具有相当强的自我修复能力，可以自行排除 神经细胞发生的障碍，而不象电脑的故障需要外在的人去排除；另 方面人脑相关部分的神经细胞具有代偿机能，某部分功能失调， 相关部分的神经细胞有代替补偿的功能。人脑的这种自我修复能力 和代偿性机能，保证了人脑潜能开发的持久性； ( 2 ) 灵活性：可以很灵活的进行调整以适应新环境： ( 3 ) 高并行与高速通讯：无数个神经元并行工作，存在有线通讯和无线 通讯两种高速通讯方式。有线通讯由神经细胞构成神经系统，组成 度的要求，模糊信息需要较少的存储空间，通过模糊信息处理抓主 要矛盾的方式，保证信息处理的实时性、多功能性和满意性。生物 智能系统采用模糊的手采用模糊的手段，可以极大地压缩信息的输入量、处理量 x 博士学位论文神经场整体结构和增殖能力研究与分析 经信息处理的模型和框架。日本学者a m 耐s 1 2 6 。3 5 l 将微分流形和信息几 何应用于人工神经网络的研究，探索系统化的新的神经信息处理理论 基础，为人工神经网络的理论研究开辟了一条崭新的研究途经。神经 网络理论有更强的数学性质和生物学特征，尤其是神经科学【3 “”】、心 理学孙妨拜稚驰蘑蚕确i ； 勃刚蒙蘩羽i 醵娶鲢皱瓢警彭蓠躺耗矍 乳雌群，臻裂铎飘瓣望孥黑m 鞘醮雕i ! 萎黥戡幅嚣自为孺嚣薹碱挺抬 一产酶荔；薪型菱燃弹喹礓嵝鬻邀螬哩薅圆疆! ：! ；麓味翟量摄撂蓼艚 舀酲酾蠢霪。 i 甬羹襄羹鎏篓羹越羹囊弼刚墓岛篓蕈羹肇一擎萋鬟 j 。嚷m 嘛弦韩；了以_ f 几个阶段聪硬磊诵僖装潆羁期：廊莉崮瓢黼彰耙茹 萋嫂尊重强翌强童望囊。牵溉鲻神葑孙硝菲积稚攀蕉洱j 片淄；鹦潜粤幡 功涩? 处理观点出发，采用数理模型的方法研究了脑细胞 的动作和结构及其生物神经元的一些基本生理特性，他们提出了第 个神经计算模型，即神经元的闽值元件模型，简称m p 模型，为计算神 经行为的某方面提供了可能性，从而开创了神经网络的研究。数学家 x 博士学位论文 神经场整体结构和增殖能力研究与分析 模式经过各层神经元的响应处理变为输出层的输出。 ( c ) 反馈分层前馈网络 该网络是在分层前馈网络基础上，将网络的输出反馈到网络的输入，反馈可 以将全部输出反馈，也可以将部分输出反馈。 1 2 人工神经网络的发展趋势 1 2 1 生物智能的启发 神经网络信息处理理论是以人脑的智能功能为研究对象，且以人体神经细 胞的信息处理方法为背景的智能计算机与智能计算理论。入脑具有以下特点： ( 1 )自我修复能力：个体神经元的损坏不会影响整体功能。据研究，人 一生中每小时有1 0 0 0 个神经细胞发生障碍，一年内有8 7 6 万个神经 细胞功能失调。但人脑具有相当强的自我修复能力，可以自行排除 神经细胞发生的障碍，而不象电脑的故障需要外在的人去排除；另 方面人脑相关部分的神经细胞具有代偿机能，某部分功能失调， 相关部分的神经细胞有代替补偿的功能。人脑的这种自我修复能力 和代偿性机能，保证了人脑潜能开发的持久性； ( 2 ) 灵活性：可以很灵活的进行调整以适应新环境： ( 3 ) 高并行与高速通讯：无数个神经元并行工作，存在有线通讯和无线 通讯两种高速通讯方式。有线通讯由神经细胞构成神经系统，组成 密密麻麻的线路，总机室位于脑和脊髓。它们通过长短不一、纵横 交错的神经纤维，准确无误地与人体各个器官进行对话，全面协调 内脏、躯体和四肢的正常活动。无线通讯赖以传递的介质是量很少 却非常高效的各种激素。两者之间有着直接或间接的联系。 ( 4 ) 模糊性：可以处理模糊、概率、带噪声甚至不一致的信息：人脑允 许处理非常精确模型的模糊输入信息能有效减低感官灵敏度和精确 度的要求，模糊信息需要较少的存储空间，通过模糊信息处理抓主 要矛盾的方式，保证信息处理的实时性、多功能性和满意性。生物 智能系统采用模糊的手段，可以极大地压缩信息的输入量、处理量 博士学位论文神经场整体结构和增殖酶力研究与分析 和存储量，保证能实时地处理各种信息。 ( 5 ) 可继承性和可增殖性：知识的积累和继承是在不破坏已有知识的情 况下进行的，并可以实现知识的不断积累。记忆是实现知识积累的 基本方法，是大脑进行高级智能活动的信息基础。记忆分为：感觉 信息存储( s i s ) ，这种瞬时性记忆能把眼、耳、鼻等感官传来的感觉 信息，进行短时间的保留，继而把有用的信息输送到更高级的神经 信息处理系统，感官信息存储不仅是一种简单的信息变换、排序或 分类，而是使信息经过特征抽取、压缩后使相互关联的信息得到相 互的确认，从而形成更紧密的复合体；短期记忆( s t m ) ，短期记忆 系统把收到的信息加以简单解释，然后把铭记事项的解释保存起来， 短期记忆具有很强的选择性，通过选择使输入信息得到精炼，把需 要保存的信息加以进一步的确认，使记忆的准确性及有效性得到很 大的提高，从机制上来看，短期记忆可用震荡环路原理来解释，实 验表明，当一强刺激直接加于大脑灰质表面，经数秒后再移去，则 由这兴奋所刺激的局部区域，可以在短期内仍继续发放节律性动作 电位：长期记忆( u m ) ，长期记忆的作用是把必要的信息作持久的 记忆，作为人脑记忆的最重要部分，长期记忆不像短期记忆那样要 依靠神经系统的持续活动来实现，长期记忆的形成与某种蛋白质的 合成有关，短期记忆可以转化成长期记忆，但是需要时间。知识的 继承和积累正是在3 种记忆方式的协作下完成的。 比较人工神经网络模型和大脑，很明显所有的人工神经网络模型所具有的 功能只是大脑具有功能的极小部分。脑结构研究表明人类的智力是靠教育和经 验积累形成的。人脑分为不同区域，如感觉区、记忆区、语言区、识字区和运 动区等，不同区域执行不同功能，有的管视觉，有的管语言，有的管思考。而 大脑在学习新的知识时，是一个知识积累过程，并不需要对已获取的知识重新 学习，就可以实现知识的扩充。因而，由多个已知功能人工神经网络和匹配人 工神经网络协同工作共同组成具有扩展功能的大规模人工神经网络是完全可能 的。 博士学位论文神经场整体结构和增殖能力研究与分析 1 2 2 推广学习和泛化能力 衡量神经网络学习结果好坏的一个重要指标就是网络的推广能力和泛化能 力，即在网络学习完成后，如果它能越多地对测试样本进行正确的分类，就称 网络的泛化能力越强。在通常情况下，推广误差在训练早期会有改善，但是之 后会有恶化，这就是过训i 练引起的现象推广误差在训练初期会降低，在达到极 小后就会上升。影响泛化误差或者说影响学习后推广能力不仅仅是样本的数量， 样本的质量也起着重要的作用。 设神经网络要逼近的函数为g ( 工) ：x 一誓，z r “，五r ，g ( x ) 的输出受 到可加噪声的干扰，观测值为y = y ，+ n = g ( x ) + n ，n 满足正态分布( o ，盯2 ) 设 z x 为随机变量，其密度函数为p ( j ) ，样本( z ，y ) 工y ，其密度为p ( z ，y ) ， 根据条件概率公式得 1 2 8 _ 1 2 9 ： p ( x ，y ) = p ( z ) p ( y l 工) ( 1 4 ) 因y = g ( 工) + 盯， 所以有： 11 p ( ) | 工) 2 志。x p 卜寺【y g ( 。) 2 ( 1 _ 5 ) q三露a|o 于是： 11 p ( w ) 5 p ( 。了嘉。x p _ 寺【y g ( x ) 2 ) ( 1 6 ) 叫z 石盯 上。 神经网络的学习样本集d = ( 工， ) ，f = 1 ，2 m ) 就是根据p ( z ，y ) 从x y 中取得，神经网络的泛化能力一般由泛化误差来度量，用 ( x ) 表示神经网络确 定的函数，其参数w 为网络权值，它的泛化误差。的定义为1 3 0 】 e ， l ( 工) = p ( z ，y ) y 一厂w ( 工) 咖出 ( 1 7 ) 在大多数结构学习中，网络结构e = ( ) 的泛化误差定义为：在这个 映射族中所有神经网络映射l ( w ，工) 的泛化误差。【l ( w x ) 的下确界1 3 2 啪1 ， = i n f e ，帆( w ，x ) ( 1 8 ) 阎平凡【3 9 】讨论了神经网络的容量、推广能力、学习性能及其计算复杂性问 题。从统计的角度来分析人工神经网络的泛化误差4 0 1 。可以得出： 测试集的泛化误差= 训练误差+ 网络复杂度引起的误差 堡主兰望堡壅 塑丝塑篓堡笙塑塑塑堕堕垄堕茎量坌塑 表明泛化能力与人工神经网络的复杂度有反比的关系。如何有效的降低网 络结构的复杂侄，最大程度的增加系统的推广能力是人工神经网络一个菲常重 要的研究方向。 1 2 ，3 人工神经网络的发展趋势 以人工神经网络为代表的连接主义模式，从大规模并行、分布式信息处理和 非线性系统的认知机理上反映出人脑信息处理和思维的本质。其发展的推动力 来源于其特有的非线性适应性信息处理能力。且前，人工 孛经网络正处在幽简 单的并行处理模型机制的研究到对其变换能力、变化机理进行深入的和严格意 义数学理论分析的研究，许多学者正在对神经网络结构的整体能力和限制进行 深入的理论分析。 f 1 ) 进一步增强对智能和机器关系问题的认识。研究人类智力一直是科学发展中 最有意义，也是空前困难的挑战性问题，人脑具有感知识别、学习、联想、 记忆、推理等智能。8 0 年代中期出现了“连接主义”的革命或“并行分布 处理( p d p ) ，又被普遍地称为神经网络，具有自学习、自适应和自组织的特 点，也是神经网络迫切需要增强的主要功能。进一步研究调节多层感知器的 算法，使建立的模型和学习算法成为适应性神经网络的有力工具。通过借助 量子物理学的皮容，包括量子场理论帮孤立子系统来建立整个人脑认知鲍量 子场理论模型，把人脑看作一个无边的进化子系统，具有无边的进化过程， 具有自足作用的孤立子系统，建立神经系统的鼙子理论，神经量子理论是 种由史蒂文斯”3 】等人提出的理解阈陧的理论。他们在响度和音高的辨别实 验中，推论其基本神经过程是按全或无规律迸行的。神经量子理论假定反应 刺激变化过程的神经结构在机能上能被分为各个单元或量子。构建多层感知 器与自组织特征图级联想的复合网络，是增强网络解决实际问题能力的个 有效途径。 ( 2 ) 探索更有效的新学习算法。当前人工神经网络学习算法中，都有一个无法避 免的缺陷，就是在学习新的模式样本时，会造成已有的知识破坏。于是，在 给定的学习误差条件下，人工棒经网络必须对这些样本周丽复始地反复学 习，不仅造成反复迭代次数多，学习时间长，而且易于陷入局部极小值。反 博士学位论文神经场整体结构和增殖能力研究与分析 观人脑神经系统的学习过程，并没有在学习辆内容时，一定要冲乱已学习过 的知识的现象。因而启发我们有必要进一步去构思更有效的学习新算法，以 便能类似于生物神经网络那样实现知识的积累和继承。a m a i j 在非结构化空 间的理论研究方面做出了重要的开拓性工作。运用微分流形理论，他创建的 信息几何，首次将非欧氏空间的研究带入人工神经网络模型的研究。a m 撕 在信息几何中的开拓性工作，是在非线性空间研究的一个极其重要的工作， 研究了神经网络模型结构在整个信息处理模型空间中的各种表示，所具有的 变化能力和限制，为解释人脑神经功能提供了一定的理论基础，使得从整体 结构上对神经网络进行分析成为可能，为进一步构思更有效的网络结构和学 习算法提供了强有力的分析工具。 ( 3 ) 解决多功能多方法的转换问题，即多网络的协同工作问题。研究表明，单独 的人工神经网络不能完成像人脑那样的高级智能活动。将这些不同的智能信 息处理方法综合在一起，构成整体神经网络智能系统，必然需要在多网络之 间进行工作协调。h i n t o n 和他的研究小组，提出通过神经网络抽取模式结构 为目标，形成外界环境在神经网络中的内在表示机理，并把其作为发展人工 神经网络的基础，探索通过结构组合来达到完成具有更高水平的混合模型人 工神经网络结构和非监督学习人工神经网络。另一方面，人们正在考虑基于 生命模型信息处理技术的目的和意义，包括进化计算，人工生命等，研究者 已经开始从分子水平上来揭示人类思维之谜，利用一些生物学上的发现来研 究生物计算机。 人的智能本质是由各种不同层次系统集成的复杂系统，人工智能的形成体 现在各种系统的集成机理中，要形成对人脑并行处理的一般原理认识，需要从 不同认知层次整体结构分析形成信息处理一般原理的认识。通过人工神经网络 模型来解释和理解并行分布式系统的一般原理，来揭示人脑的智能本质，还达 不到人们的期望目标。目前，人们还不知道人工神经网络变化机理和在更复杂 系统中的定位机理，不明确人工神经网络变换机理依赖的理论基础。人工神经 网络依赖的是一种典型的非线性、非欧式空间模型。怎样把基于知识表示，非 结构化推理、连接主义的菲线性函数逼近和基于生命模型系统联系起来，是我 们目前面临的一个挑战。以探索智能形成机制为目标的a i 研究者会越来越强调 1 0 博士学位论文塑丝塑茎体绪佝塑堕堕堡塑竺窭量坌堑 生物学约束的重要性，新的生物学发现会越来越多地作为原始素材被用于构建 新的网络模型，而不是一味地被用来证明旧有模型的合理性。随着人工聿孛经网 络向更深入的认识模式发展，光、电技术和其它学科技术的突破，人工神经网 络与传统方法结合，正酝酿着人工神经网络技术的新的突破。 1 3 神经场学习理论 1 3 1 神经场理论的目的和意义 入脑智能本质是由各种不同层次系统集成的复杂系统，下图所示为生命模型 框架和神经网络整体结构分析图。 厅今固q 图i ，3人脑和神经网络整体结构认知机理 根据脑研究的理论 ”，脑的常规工作通道是： 内外感受器一) 传入神经一) 脑一) 传出神经一) 效应器 ) 脑内反应( 认知与非认知的) 两个非常规工作通道是： 1 ：内外感受器一) 传入神经一) 脑一) 直接输出 2 ：直接输入一) 脑一) 传出神经一) 效应器 博士学位论文神经场整体结构和增殖能力研究与分析 一) 脑内反应( 认知与非认知的) 如上图所示，人脑对于外界信息处理的实现是通过生物多功能组合系统完成 的，在接受外来的信息时，视觉、听觉、味觉、嗅觉和触觉中，往往是两种或 多种感觉系统的同时使用。如看电视时有视觉和听觉的协作。同时，脑神经的 信息处理能力可根据需要进行调整，这种自适应地调整信息处理能力的方式， 能保证脑神经系统总是处于一种高效能、低消耗的状态中。为了适应环境，过 滤大部分不必要的信息，脑神经中还存在短期和长期记忆，可以实现信息更新 和保留重要信息。脑存在巨量并行分布的神经元网络拓扑结构，咀及神经网络 电系统和释放突触间隙间递质的化学系统有机结合的双系统耦合方案等。神经 网络智能系统的设计和对神经网络模型进行研究分析，我们主要考虑它与真实 系统在结构、功能、特性和行为等方面的一致性。因而生物多功能区系统的实 现必然需要通过神经网络模型的多模型相互协作，嵌入到复杂系统构成整体结 构来完成，如图1 3 中所示。 所建立的模型，从系统化的角度来看，对其进行定量和定性分析是有一定困 难的。若从自然智能和人工智能结合的观点来看，结合a m 撕在脑和计算机方 面的认识，掺入连接主义模型的观点，发展人工神经网络理论的基本技术和策 略是： 全局与局部结合的思想：一切复杂系统都是由诸多相互作用的局部系统 复合而成，从局部的行为和特性可以表现出整体行为；从整体行为的分 析，也可以促进对局部行为的理解，从而更有效的构造整体结构。 绝对与相对结合的思想：认识的发展过程是一个从简单到复杂，从低级 到高级的过程。我们所建立的模型只是现实世界中一个微小的部分， 它作为一个子系统可嵌入到一个更为复杂的系统中。绝对与相对结合的 观点，是从整体结构分析来理解信息处理结构子系统向更复杂系统的嵌 入、定位和组织机理。 统计与非统计、宏观和微观的思想。 神经场理论是从整体结构分析来理解人工神经网络的变化机理、动力学性 质以及信息处理能力与限制的研究：研究由所有神经网络所组成非线性空间的 整体不变性质。这方面的研究，将有助于揭示和理解人的感知系统的组织结构、 博士学位论文 神经场整体结构和增殖能力研究与分析 变换和定位机理，提出一些新的模型和方法来建立人脑信息处理一般机理以及 组织形式，推动人工神经网络的研究更深入的发展、提高连接主义模型的研究 水平和层次。 从系统化，统一化的角度来说，单个神经网络模型不具备对复杂系统进行 整体结构分析的能力，很难反映出人的认知模型的结构。因而目前人们对于复 杂模型的层次化、功能模块的组织机理的理解还比较简单。神经场理论是研究 由所有神经网络所组成非线性空间的整体不变性质，研究神经网络模型在整个 信息处理空间中整体不变结构和全局不变量，分析神经场复杂结构的可分解眭， 揭示神经网络模型的层次化、模块化组织结构和机理，以及拓扑结构的逼近理 论，学习和进化结合的机理。信息几何是九十年代初开始形成的理论，它将流 形上的现代微分几何方法引入到计算神经科学中，为神经网络和信息论提供了 十分有用的新的数学工具，也为大脑信息传输方式引入新的观念。从微分流形、 信息几何和概率统计等角度提出新的认知模型来建立人脑信息处理一般机理以 及组织形式，在一定程度上对人脑信息处理机制进行描述，可以加深对人脑信 息处理组织结构和认知结构的认识。 运用神经场研究，可以从全局的概念出发，基于非结构化空间，在流形上 建立基于拓扑和几何结构的不变量( 联络、曲率) ，通过拓扑和几何不变量来 发展信息处理的模型、层次化组织结构和机理、学习与进化结合的机理：可以 建立起在非欧式空间上基于整体的内在表示与模型流形匹配机制。从全局的观 点看，表示是局部的，而不交量是全局的整体结构，是系统内在的、本身所具 有的，不依赖于表示结构。 运用神经场理论研究，我们可以得到基于结构表示的神经信息处理框架。 从结构化的神经网络表示与模型结构闻的组织结构耦合机理，发展成为连接主 义模型的整体性研究，进一步可发展为信息处理化系统、统一性理论框架和对 脑结构信息处理的组织结构解释。流形和拓扑结构理论本身根植于整体性结构 和非结构化空间的研究，是一种对于非结构和非线性空间研究更合理和一般的 方法和手段。整体结构的研究必然是下一步发展的目标，是信息处理发展的更 一般化方法。基于流形的整体性理论必会是人工神经网络下一步发展的重要方 向和突破点，因为它体现了用更为合理和自然的方法来探索信息处理的一般原 博士学位论文神经场整体结构和增殖能力研究与分析 在a m “信息几何框架、h e l m h o l t z 机结构、y i n g m g 机模型、混合专家结构 的基础上，用统一化的方法来研究整体结构所具有的性质，处理和分析表示结 构与神经流形的优化逼近过程，为理解大脑信息传输方式和解释人脑学习机理 引入了新的观念。 1 4 问题的提出及研究的意义 通过学习，不断的扩展智能，是生物智能行为的重要特征。这种扩展方式表 现在生物个体成长过程中通过学习和经验积累增加智能。人脑结构研究表明人 类的智力是靠教育和经验积累形成的。人脑分为不同区域，如感觉区、记忆区、 语言区、识字区和运动区等。不同区域执行不同功能，有的管视觉，有的管语 言，有的管思考。大脑在学习新的知识时，是一个知识积累过程，并不需要对 己获取的知识重新学习，就可以实现知识的扩充。 当前人工神经网络学习算法中，都有一个无法避免的缺陷，就是在学习新 的模式样本时，会造成已有的知识破坏。于是在给定的学习误差条件下，人工 神经网络必须对这些样本对周而复始地反复学习。不仅造成反复迭代次数多， 学习时间长，而且易于陷入局部极小值。 传统的神经网络不具有知识增殖能力，如何使人工神经网络能够更加接近 生物智能，具有知识积累和继承能力，是一个非常有实际意义的问题，是神经 网络能取得进步发展的基础和必要条件。 知识可增殖人工神经网络 6 3 】是指能够实现知识积累、知识继承功能的神经 学习系统。该系统是在不破坏已存在人工神经网络功能的基础土，通过嵌入其 它功能人工神经网络，在神经场学习算法的控制下，借助通信机制协调这些人 工神经网络的合作，形成一个并行整体，实现知识可不断扩充，功能可不断增 强的人工神经网络。知识可增殖人工神经网络可将大的信息集合分散为多个小 的信息子集，使得每个小的信息子集可以由每个独立的人工神经网络独立地进 行学习。知识可增殖人工神经网络作为一个可学习的系统，研究已知功能人工 神经网络之间组织结构协同工作方法，该系统的模型知识存储的分布方式及不 断增加知识的知识获取方式更近于人脑模型。 博士学位论文! ! 丝垄墼竺堕塑塑望望堕查堕壅皇坌塑 1 5 本文主要的研究工作和论文章节安排 本文工作是导师自然科学基金项目“知识可增殖人工神经网络并行模型”主 要部分。该项目研究的内容主要是：对于多个己知功能人工神经网络在匹配人 工神经网络的控制下协同工作的一个复杂系统，用神经场理论来描述其整体功 能较为适宜。微分几何是整体性的，它研究空间或流形的整体性质，尤其是局 部性质和整体性质的关系。为此，我们将研究如何使用微分几何作为数学工具 来分析，描述神经网络的场理论，以及从神经场理论的角度来分析知识增殖的 可行性和可能性，探讨匹配人工神经网络算法实现的几何机理。 脑的信息几何的数学模型可以分为离散形式( 网络) 和连续形式( 场) ，它 们分别具有典型的几何表达：网络几何学和微分几何学。近年来的研究表明， 对于多个已知功能人工神经网络在匹配人工神经网络的控制下协同工作的这样 一个复杂系统，用神经场理论来描述其整体功能较为适宜。微分几何是研究几 何体的整体性质的有力工具，它研究空间或流形的整体性质，尤其是局部性质 和整体性质的关系。为此，我们将使用微分流形、信息几何为工具，描述神经 网络的场理论，从神经场理论的角度研究匹配人工神经网络算法的实现，研究 全体神经网络组成非线性空间神经场的整体不变性和自适应可扩展性，用理论 分析知识增殖网络的可行性，分析并证明神经场复杂结构的可分解性，提出知 识可增殖网络模型，并对其进行分析和实验验证。 研究内容： 1 以微分流形和信息几何为工具，对人工神经网络模型的信息处理机制 瓤学习机理进行深入的分析，扶整体结构理论的角度来理解和解释人 工神经网络模型的组织结构和定位机理。 2 从神经场理论的角度研究匹配人工神经网络神经场学习算法。 3 研究嵌入已知功能人工神经网络的嵌入方式，以及嵌入人工神经网络 的逼近性质。 4 研究可学习结构和已知功能人工神经网络之间的组织结构及协同工作 方法，以及多个己知功能人工神经网络在匹配网络的控制下协同工作 的复杂系统的实现问题。 针对以上研究内容，我们所作的主要工作有： 博士学位论文神经场整体结构和增殖能力研究与分析 第二章神经场研究的数学基础 2 1 微分流形的基本概念 2 1 1 微分流形 流形的概念是欧氏空间的推广，粗略的说，流形在每一点的近旁和欧氏空 间的一个开集是同胚的，因此每一点的近旁可以引进局部坐标系。流形正是一 块块“欧氏空间”粘起来的结果，是一个由抽象元素组成的集合，在这个抽象 集合上，通过一个同胚映射建立它和欧氏空间的局部同构，这样就可以用局部 欧氏空间坐标卡的组合来代替抽象集合，可以由欧氏空间局部坐标卡的坐标来 识别抽象集合中的元素。 定义2 1 1 微分流形 1 46 4 墩学上的定义为： 设集合m 是一个拓扑空间，且满足以下条件，则m 为拓扑流形。 ( 1 ) m 是一个h a u s d o f r 空间“； ( 2 ) m 有可数拓扑基； ( 3 ) 对每一点p m ，存在p 点的一个邻域u 及一个同胚映射弋 工：u 腹u )佃) 为础的开集 其中( u ，五) 称为m 的一个坐标卡。 定义2 1 2 设m 是一个m 维流形。如果在m 上给定了一个坐标卡集 a = ( u ，工) ，( v ， ) ( w ， ) ) 满足下列条件，则称a 是m 的 一个c 。微分结构 ( 1 ) u ，v w ) 是m 的一个开覆盖； ( 2 ) 属于a 的任意两个坐标卡c 相容； ( 3 ) a 是极大的，即对m 的任意一个坐标卡( v ， ) ，如果它与属于a 的 每一坐标卡都是c7 相容的，则它自身必属于a 。 若在m 上给定了一个c7 微分结构，则称m 是一个c7 微分流形。 1 h 叭s d o f r 空间：满足t 2 公理( 对于拓扑空间x 中任意不同两点分别存在包括这两点而互不相交的开集) 的拓扑空间 4 2 同胚映射：对于拓扑空间和y 映射_ ，= x y 是连续映射，且为一一对应，厂的逆映射连续，则， 为同胚映射 博士学位论文神经场整体结构和增殖能力研究与分析 第二章神经场研究的数学基础 2 1 微分流形的基本概念 2 1 1 微分流形 流形的概念是欧氏空间的推广，粗略的说，流形在每一点的近旁和欧氏空 间的一个开集是同胚的，因此每一点的近旁可以引进局部坐标系。流形正是一 块块“欧氏空间”粘起来的结果，是一个由抽象元素组成的集合，在这个抽象 集合上，通过一个同胚映射建立它和欧氏螫鹊鹗孙螗雹蜘i 倒嬲驿觊弦耍狮轻 循罄毡捌嚣雾量磺瑾驰罂暴褒趸掣氡群i 瓢邕孽碍餮唑弪岘掣馋璐懋毪腽塑森 姓瓶跑刊泛铎鳞妫零露。 裂；? ；j ；刻翮鳓蚤舞荤黼囊争型螫受巫叁i 嗡玛国鞠绣一飞湛圳剖；确布窿囊器赫蟹：耐革斋曙墨渍粥。 ? i i 銎唧一裂妻! 雨秸k 蟊毫； ! l ! 袖终塌酌整砰不j i ；特翟一孙譬嚣础；磐葡主潭璁理藐登囊淋匐蔓塌塑嚣析 神经场增殖性研究的重要性，比较了神经网络集成方法和增殖 网络的异同点； ( 2 ) 提出神经场复杂结构可分解定理，并用流形理论进行分析和证明： ( 3 ) 通过整体结构理论来分析神经场学习逼近理论，提出了增殖学习实 现原理的投影学习分析理论。 第五章：研究了层次化模型中最重要的神经网络系统：层次混合模型的神经 场流形组织结构、逼近机理和学习机制： ( i ) 分析了层次模型的神经场分维学习理论和流形编码表示方法，比较 了神经场学习算法与相关学习理论； ( 2 ) 提出b e m 学习算法，用于加快神经场网络学习的收敛速度： ( 3 ) 提出用于汉字识别的基于相似度的单层混合神经网络模型。 第六章：实现知识可增殖模型： ( 1 ) 提出动态多叉树算法和知识可增殖模型； ( 2 ) 提出一种层次化大规模神经网络模型。 第七章：总 博士学位论文 神经场整体结构和增殖能力研究与分析 定义2 1 3n 维拓扑流形m 上的c 7 类微分构造是m 上的坐标卡之集 掣= f ( ，历) a 4 满足： ( 1 ) 覆盖性：m = _ 场； 口 ( 2 ) 相容性： 若( ，掣a ) ，( 冶，甲声) 中当n 时 。甲卢一：甲卢( n ) c 尺”寸( n ) 匕r ”与 y 口。甲a 一1 ：( n ) c r ”_ 甲卢( n 冶) c 月” 都是，类微分同胚； ( 3 ) 最大性：若( 矿，) 与甲中每个坐标卡是c 类相容的，则( 矿，厂) 掣a 一般的，一个坐标函数被引入后，一个微分结构也相应地被引入。考虑一 个概率分布统计模型： s = f p ( x ，引 ( 2l ) x 是采样空间x 中的随机变量，p ( x ，曰) 是x 的概率密度函数，满足p ( x ，毋) o ， 口是一个n 维向量p ：( 自- ，口z 目一) s o ，o 为n 维实空间r n 的开集。口起到了流形 上的坐标卡的作用。当p ( x ，曰) 在目的每一点的邻域内充分光滑时，s 就有微分流 形结构。 r 图2 1微分流形上的坐标卡 对于一个流形，可以有多个不同的坐标函数，如上图坐标函数为中，中 、壬，：p + 甲( p ) ，一= 甲( p ) ( 2 2 ) 中：p 西( p ) ，掌= o ( p ) ( 2 - 3 ) 博士学位论文 神经场整体结构和增殖能力研究与分析 系： 称中，巾为两套坐标函数，且在p 和f 之俩满足一一对应的坐标变掇关 2 1 2 切向量和切向量空间 = m ( 甲一1 ( 目) ) 口= 甲( 中1 ( ) ) ( 2 4 ) ( 2 。5 ) 图2 2，儆分流形上点的切向量空间 流形s 上一点p 的切空间t ，就是通过在流形s 对p 点附近的区域局部线性化 而得到，它包含过p 点所有光滑曲线的切向量。流形上切的概念可以通过曲线 的切线来直观的理解。图2 2 所示为微分流形s 上点p