（管理科学与工程专业论文）基于cmac神经网络的复杂系统行为预测方法及其应用研究.pdf

中国科学技术大学硕士论文 摘要 复杂性科学被誉为“2 l 世纪的科学”，在复杂系统主动行为划分中，最基本的一类就 是预测。这种预测都基于主体内心对外部世界认识的假设模型之上，复杂系统中主体的行 为预测能力是复杂系统管理与决策的重要内容。论文首先介绍了现有复杂系统行为预测建 模方法的研究现状和存在的局限性以及未来的发展趋势，指出了建模的核心在于模型的演 化计算能力。论文基于复杂系统理论，从自适应的观点出发，以提高演化计算的效率为目标， 我们提出了一种基于主成分分析( p r i n c i p l ec o m p o n e n t ) 与加入b 样条的连续c m a c 递推 最 - 乘算法r l s ( r e c u r s i v el e a s ts q u a r e ) 相结合的组合模型的预测方法以解决复杂系统 行为预测的建模问题。c m a c ，即小脑关节控制器，是一种局部泛化能力很强的神经网络， 具有结构简单，泛化能力强，收敛速度快，易于软硬件实现等特点而得到广泛应用。而r l s 是保证全局极优的稳定收敛算法，应用r l s 对c m a c 的权值进行更新，从理论上保证了 c m a c 权值训练的收敛性。利用多元统计分析中的主成分分析对多维变量数据提取主要特 征分量以达到压缩变量维数的目的，同时也消除了变量间的相关性以提高预测效率。本组 合模型首先利用p c a 来降低输入变量的维数以减少c m a c 的权系数空间，其次采用加b 样条的连续c m a c r l s 以确保权值收敛且能提供函数的微分信息，以适合在线建模。并 以某地2 0 0 4 年电力负荷预测的应用为例，对比采用同样具有局部函数逼近能力的r b f 神 经网络模型和论文的p c a c m a c r l s 组合模型的预测实验，实验结果显示：在保证了预 测准确性的前提下，本模型具有运行速度快，泛化能力强，稳定性好等显著优点，从而验 证了论文方法的正确性和有效性。 关键词：复杂性，复杂系统，行为预测，建模，演化计算，c m a c ，递推最小二乘法，主成 分分析，b 样条 4 a b s t r a c t 中国科学技术大学硕士论文 c o m p l e x i t ys c i e n c ei sc a l l e d 21c e n t u r ys c i e n c e ”a l lc o m p l e xs y s t e m aa g e n ta n t i c i p a t e f u t u r e ，m a k i n gp r e d i c t i o n so ni t s i n t e r n a lm o d e lo ft h ew o r l d b e h a v i o re x p e c t a t i o np l a y sa n i m p o r t a n tr o l ei nm a n a g e m e n ta n dd e c i s i o no fc o m p l e xs y s t e m a tf i r s tw er e v i e wt h ed o m e s t i c a n di n t e r n a t i o n a lc u r r e n tr e s e a r c hs i t u a t i o no ne x p e c t a t i o nm o d e l i n ga n da n a l y z e st h el i m i t a t i o n o ft h o s em o d e l i n gm e t h o d s p r o m o t ee f f i c i e n c yo fe v o l u t i o nc o m p u t a t i o ni st h ec o r ep r o b l e mo f c o m p l e xs y s t e mm o d e l i n g a c c o r d i n gt ot h ea d a p t i v et h e o r yo f t h ec o m p l e xs y s t e m ，w i t ht h ea i m t oi m p r o v et h ee f f i c i e n c yo fe v o l u t i o nc o m p u t a t i o n ，t h e nw ep r o p o s et h ec o m b i n e do p t i m i z a t i o n m o d e l i n gb a s e do np c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) a n dc m a c r l s ( r e c u r s i v el e a s ts q u a r e s ) c o m b i n e dw i t hb - s p l i n ea t t e m p t i n gt of i n dan e ww a yt os o l v et h ec o m p l e xs y s t e mm o d e l i n g p c ai st h em e t h o do fc o m p r e s s i n gt h ed i m e n s i o no fv a r i a b l eb ye x t r a c t i n gp r i n c i p a lt y p i c a l c o m p o n e n t sf r o ms a m p l e c m a cw h i c hs t a n d sf o rc e r e b e l l a rm o d e la r t i c u l a t i o nc o n t r o l l e ri s n e u r a ln e t w o r kw i t hg o o da b i l i t yi nl o c a lg e n e r a l i z a t i o n ，a n dr l si sa na l g o r i t h mw h i c hc a n g u a r a n t e eg l o b a lo p t i m u m a p p l y i n gr l st ou p d a t et h ew e i g h t so fc m a c ，t h ec o n v e r g e n c e a b i l i t yo ft h i sa l g o r i t h mi sp r o v e da n da n a l y z e d c m a c r l sa l g o r i t h mc o m b i n e dw i t hb s p l i n e c a np r o v i d et h ef u n c t i o nd e r i v a t i v e st of i to n l i n em o d e l i n g a tl a s tt a k i n gt h ed a t ao ff u y a n g 2 0 0 4p o w e rl o a d ，t h el o a df o r e c a s t i n gi sp e r f o r m e db yp c a - c m a c r l sa n dr b fn e u r a l n e t w o r k t h ec o m p a r i s o nb e t w e e nt w or e s u l t si ss h o w nt oi l l u s t r a t et h ea v a i l a b l ea n de f f e c t i v eo f t h em e t h o d k e yw o r d s ：c o m p l e x ，c o m p l e xs y s t e m ，b e h a v i o re x p e c t a t i o n ，m o d e l i n g ，e v o l u t i o nc o m p u t a t i o n ， c m a c ，r e c u r s i v el e a s ts q u a r e s ，p r i n c i p a lc o m p o n e n ta n a l y s i s ，b s p l i n e 5 中国科学技术大学硕士论文 第一章绪论 1 1 引言v 一。 1 1 1 论文研究的背景 “复杂性”的提出起源于二十世纪初对理论生物学的研究。1 9 2 8 年，奥地利生物学家 贝塔朗菲( l v b e r t a l a n f f y ) n 1 在其生物有机体论文中首次提出了“复杂性”的概念。 他指出：除了物理学和还原论，还有出现在生物学、行为科学和社会科学领域中的问题和 思维形式，也应同等加以考虑。当代技术和社会的复杂性使得传统的方法和手段已不够用 了，需要探索整体的和更一般本质的研究方法。传统的系统分析和解析方法，其方法论是 以稳定式均衡系统为前提的；而实际的客观系统，用稳定或均衡理论无法说明和解析的现 象却大量存在，呈现出一定的复杂性。 对复杂性的研究是基于进化论，具有时间不可逆性，这就是说，任何一个复杂性科学 理论实际上都是属于一定的历史范畴的，亦即是依赖于人类认识的各个历史阶段的，因而 也就不存在任何绝对意义下的复杂性理论体系，同时也不会有任何在绝对意义下一劳永逸 地解决复杂性问题的方法。因而在复杂性研究中“主体”的地位应该清晰化。突现化，这 样复杂性问题实际上就成为：“对任一个或一类主体来说，他将如何综合众多具有一定不 确定性的相互矛盾的信息，得出较优的决策，实施较优的行为，选择较优的行为模式? ” 复杂性作为一种“性状”必然有其载体，相应地复杂性问题也就成为此载体的问题， 这个载体就是复杂系统即体现出某种复杂性的由相互作用的成分或要素形成的时空结构， 因此复杂性问题首先就具体化为复杂系统问题。复杂系统涉及的范围很广，包括自然、工 程、生物、经济、管理与社会等各个方面；它探索的复杂现象可从一个细胞呈现出来的生 命现象，到城市交通的管理，自然灾害的预测，股票市场的涨落乃至社会的兴衰等。复杂 系统都有一些共同的特征，就是在变化无常的活动背后，呈现出一定的规律性。 复杂系统的动力学特性具有：预决性、适应自组织、演化、突现等特征：预决性： 复杂系统的发展趋向取决于系统的预决性，预决性是系统对未来状态的预期和实际状态限 制的统一。事实上，任何有生命的物质，都具预期或预测的能力，从而影响系统的运动方 向。适性自组织：复杂系统的另一个动力学特性是适应自组织。复杂系统不但会预期 6 中国科学技术大学硕士论文 未来，同时会学习和吸取经验，并不断的进行自我改善、自我重组，这种适应自组织的运 动过程是复杂系统不断演化的基础。演化：复杂系统对于外界环境和状态的预期适 应自组织过程导致系统从功能到结构的不断演化。这种演化运动在物理系统中是不存 在的。物理系统一般由多个已有的元素组成，功能和结构都不会改变。而复杂系统一般是 由简单的元素组合，经过不断的演化而发展在为功能和结构更为复杂的系统。从低级到高 级，从简单到复杂，不断的演化，是复杂系统最本质特性。突现：复杂系统的状态处于 远离平衡点及混沌沿时，这种状态下系统一个重要的特征是系统的非线性。它表现为一个 小的涨落会引起系统大的变化。 1 1 2 论文研究的意义 复杂性科学被一些科学家誉为2 1 世纪的科学，而复杂系统动力学重要特征之一即为预 决性，表现为复杂系统主体的行为预测能力。如何通过行为预测来得出较优的决策，实施 较优的行为，选择较优的行为模式是复杂系统面临的主要问题，因此研究复杂系统的行为 预测具有十分重要的意义，复杂系统的行为预测在我们的日常生活中随处可见，如对未来 市场价格和就业前景的预测影响着消费者的决策和行为：对市场前景和价格的预测影响着 企业生产的决策和行为：对就业水平、货币需求、投资水平及贸易周期的预测影响着国家进 行宏观调控的政策和行为，对电力负荷进行预测可以经济合理地安排电网内部发电机组的 启停，决定电网的增容和改进，从而可以有效地降低发电成本并提高经济效益和社会效益。 贝塔朗菲( l v b e r t a l a n f f y ) 就曾经指出：复杂系统的发展方向，不但取决于实际的状态，而 且还取决于一种对未来的预期，两者的统一是所谓的预决性幢1 。与物理系统不同，复杂系 统的活动行为具有主动性，而主动行为划分中，最基本的一类就是预测。维纳刚w i e n e r ) 在“行为、目的和目的论”一文中强调预期行为这一行为分类的重要意义，认为它“提供 了对有机体行为所进行的越来越复杂的试验得以系统化的可能性”1 。荷兰德( j h o l l a n d ) 在有关“复杂适应系统”( c o m p l e xa d a p t i v es y s t e m ，c a s ) 的论述中，对预测行为作了行一 步的描述。他认为：每一个复杂的适应系统都经常在做各种预期，这种预期都基于自己内 心对外部世界认识的假设模型之上；它们积极主动；在系统中产生行为效果h 5 1 。 对复杂系统的行为预测的建模与仿真研究可以追述至l j 2 0 世纪4 0 年代。1 9 4 1 年梅茨勒 ( l m e t z l e r ) 提出了“外推法预期”的模型阳1 ：1 9 5 6 年卡根( ( p c a g a 提出“适应性预期”模型 7 中国科学技术大学硕士论文 ；1 9 6 1 洲j 穆斯( j m u t h ) 提出了“理性预期( r a t i o n a le x p e c t a t i o n ) 的假设及相应的模 型结构阳1 ：2 0 世纪7 0 年代至t j 8 0 年代，西蒙( h s i m a n ) 提出的“有限理性论”( b o u n d e d r a t i o n a l i t y ) 阳1 以及荷兰德对“复杂适应系统”( c a s ) 的研究促进了“适应有限理性预 期”( a d a p t i v eb o u n d e d r a t i o n a le x p e c t a t i o n ，a b r e ) 建模与仿真方法的发展。对于上 述3 类不同的预测行为模型的建模与仿真方法可以归结为：外推预测方法、理性预测方法、 适应有限理性预测方法。 l 外推预测方法 1 9 4 1 年梅茨勒提出了“外推预期”模型，梅茨勒认为：对未来的预期不仅应以变量过去的水 平为基础，而且要建立在变量的变化方向之上。因此，他把“外推预测”模型定义为 e + ( f ) = e ( t 1 夕+ a e ( t 1 ) 一e ( t 一矽尸1 ( 1 1 ) 其中，可f u 为f 一1 时间的变量值i 研t 一矽为f 一2 时间的变量值ie + ( f ) 为t 时间的变 量预期值。a 9 预期系数，其值的选择依赖于主体的经验。 2 理性预测方法 1 9 6 1 年，约翰穆思提出了“理性预期”的假设，穆思认为：预期是对未来事件进行的有信息依 据的预测，这种信息自然包括系统体系结构的信息。因此穆思得出结论：理性的系统主体将 运用他们有关系统体系结构的知识来形成预期。“理性预期”方法可以用一个简单的线性模 型来设系统的预期变量与系统体系结构有关，它取决于预期变量e ( o 在f 一1 时间的值er ，一 u ，相关变量x ，】，在f l 时间的值x f ，f 一1 ) ，y ( t 1 ) j 相关随机变量uf ，f l ) 。则系统模型可 以表示为 e ( o 2 k ( q ) 七k ( 、) e ( t 一、) + k 圆x ( t - 、) 七k0 ) y ( t 一、) + u ( t ) ( 、1 - 2 、) 穆思定义系统变量的预期值为前一时间f 1 可获得信息的数学期望 e + ( f ) = e f ，f 一1 j 厂e f ，f ) j 7 ， ( 1 3 ) 由此导出理性预测模型为 e + ( f ) = k 俐+ kf ，l ) e ( t 一1 ) + k 例x ( t 一1 ) + k 例y ( t 1 ) + e ( t 1 ) 厂材f ，砂j 7 ( 1 4 ) 穆思提出的理性预测模型的特点在于： 1 夕把预测变量作为系统模型本身的内在因素来考虑。 2 ) 考虑了系统相关变量的随机因素。 3 j 将任一时间丁的变量预测值视为前一时间f 1 可获得信息的数学期望。 r 中国科学技术大学硕士论文 理性预测模型由于引入了相关变量的随机分布及预期变量的数学期望，从理论角度上讲，理 性预测模型已不仅仅建立在被预测变量的过去状态上。 3 适应有限理性预测方法 2 0 世纪7 0 年代，西蒙提出了“有限理性论”，对穆思的“理性预期”论持批评态度。西 蒙认为：作为信息处理者本身的局限性，是一个非常重要的约束。这种对理性的限制和约束 包括：变量的不确定性、信息的不完整性、问题的复杂性及处理或计算能力的有限性。西蒙 称此为“有限理性”。“理性预期”论强调预测行为模型的合理性，追求问题的最优解，有 限理性论则认为：由于约束和限制的存在，主体建立的预测行为模型必然是有限理性的，因 此有限理性论强调模型的适应与演化。 荷兰德在他对复杂适应系统的研究中，也提出了类似的观点，荷兰德认为：所有复杂适 应系统都会建立能让自己预测世界的内在模型，主体通过不断测试内在模型对真实世界预 测的准确程度，改善自己的内在模型。即具有适应能力的、主动的个体，简称主体( a g e n t ) 在与环境交互作用作用中遵循一般的刺激一反应规则，适应能力体现在他能够根据行为的 效果修改自己的行为规则，这种改善的行为能力称为学习。 西蒙提出的“有限理性论”及荷兰德提出的“复杂适应系统“的概念是适应有限理性 预测行为建模的理论基础。建模方法的核心在于模型的演化计算( e v o l u t i o nc o m p u t a t i o n ) 能力，内生模型的建立，有多种选择可能。结构级的模型有如系统动力学模型等，行为级的 模型有如基于规则的专家系统和智能神经网络模型等，行为级建模是一种黑箱建模思想，是 一种更适合于认知行为的建模。 演化计算基本法则就是基于生物进化论中的适者生存的选择机制和新物种出现的变异 机制。较为典型的是1 9 7 5 年h o l l a n d 提出的遗传算法h ，1 0 1 ，遗传算法是一种搜索式算法，其 机理是基于进化论中的遗传和变异，核心操作由3 个部份组成：选择( s l e c t i o n ) 、交叉衍生 c r o s s o v e r ) 、突变( m u t a t i o n ) 。遗传算法从一组随机产生的初始解( 群体) 开始搜索过程， 群体中的每一个个体称为染色体，这些染色体在后续迭代中不断进化，称为遗传。通过交叉 或变异生成后代，染色体的好坏用适应度来衡量，根据适应度的大小从父代和后代中选择 一定数量的个体作为下一代群体再进行进化，这样经过若干代之后，算法收敛于最好的染 色体，它很可能就是问题的最优解或次优解。随后h o l l a n d 又在1 9 7 8 年开发出基于遗传算法 的软件系统分类器系统模型n ，用于基于经验的一般问题的求解方法。 尽管遗传算法在实际应用中取得了成功，但相对于其鲜明的生物学基础，其数学基础还 不够完善，主要表现为：缺乏完整的遗传算法收敛性理论遗传算法的搜索效率及其时 0 中国科学技术大学硕士论文 间复杂性，即演化计算对计算资源和能力要求过高。仿真结果表明，为了达到一般满意的结 果，演化计算的迭代次数需5 万次至1 0 万次。 由此可见，遗传算法的基础理论研究至今还没有取得突破性进展，理论与应用之间还存 在着很大差距。因此如何提高演化计算的效率成为复杂适应系统行为预测建模方法的关键 所在。 1 2 国内外研究进展及发展趋势 由于复杂系统具有随机性和不确定性等典型的非线性特征，传统的线性预测模型虽然 计算量小，速度快，但由于模型过于简单而无法模拟复杂系统的多变性。近几年，随着计 算机技术和仿真技术的迅速发展，复杂系统行为预测理论也取得了长足的发展，新的预测 方法不断出现，并呈现出以下几个明显特征：( 1 ) 预测定量化特征；( 2 ) 面向数据分析的 特征：( 3 ) 定量与定性预测相结合的特征；( 4 ) 动态特征；( 5 ) 综合预测的特征；( 6 ) 应 用非线性预测的特征；( 7 ) 向智能化预测技术发展的特征。近来已有的新型复杂系统非线 性预测方法如下： 1 时间序列预测方法( t i m es e r i a l ) n 2 1 3 1 从长期观测序列来看，复杂系统的行为预期呈现出某种随机过程的特性，时间序列技 术正是依据这一规律建立随机过程模型，据此进行预测，其中以b j e n l i n s 提出的随机模型 差分方程最有影响： ( 1 - c , o l b 一c , o p b p ) y i 2 ( 1 - - 0 1 一一臼q b 9 ) 口i ( 1 5 ) 式中，y i 是待测序列，b 为延迟算予，妒l ，绵和b ，0 p 是常系数，a i 是白噪声 序列。 时间序列模型主要有三类：( 1 ) 自回归时间序列模型：式中q = 0 并满足平衡性条件， 则称( 1 一缈1 b 一c , o p b 9 ) y i = a i 为p 阶自回归序列模型，记作a r ( p ) ，它表示当前预测值 由p 个历史时刻的值和一个当前随机随机误差组成；( 2 ) 滑动平均时间序列模型：式中 p 2 0 且满足可逆性条件，则称咒2 ( 1 - - 0 l - - 一o q b 9 ) 口i 为q 阶滑动时间序列平均模 型，记作m a ( q ) ，它表示当前值由若干随机序列的线性组合组成；( 3 ) 自回归一滑动平均 1 0 中国科学技术大学硕士论文 时间模型：如果( 1 仍b 一饰b 9 ) 和( 1 - - b 一一目。b 4 ) 间无公因式，且满足平衡性和 可逆性条件，则称为( p ，q ) 阶自回归一滑动平均时间序列模型，记作a r m a ( p ，q ) ，它是 自回归时间序列模型和滑动平均时间序列序列模型的结合。用时间序列预测法进行预测时， 首先要进行模型识别以判定选用的预测模型类别。 时间序列模型如果实际值与用时间序列方法得到的预测序列之间的残差序列具有白 噪声性质，则说明模型是合适的 模型局限性在于当时间序列发生变化，尤其是发生突然变化时，预测效果不理想，且 时间序列模型只考虑了时间变量而忽略了复杂系统其它各变量的影响。 3 j 、波预测方法( w a v ea n a l y s i s ) 1 5 1 小波分析是一种时域一频率分析方法，在时域和频域上同时具有良好的局部化性质，它 能将各种交织在一起的不同频域混合在一起的信号，分解成不同频带上的块信息( 多尺度分 析) ，对高频成分在时域中采用逐渐精细的分析，对低频成分则采用较粗的分析。 多尺度分析的基本思想是将待处理的信号在不同的尺度( 或数据变化频率) 上进行分 解，得到粗尺度( 或最低频率) 信号部分( 即数据变化相对平缓) 及各个不同分辨率下的细 节部分( 即不同变化率下的差异部分) 分解到粗尺度上的信号称之为平滑信号，在细尺度上 存在，而在粗尺度上消失的信号称之为细节信号，由于不同尺度下的小波分量是正交的( 即 各频带的信息相互正交) ，没有冗余信息，避免了变换结果之间的关联引起分析的困难。 在某尺度j 上，对给定的信号序列z ( f ，k ) v i - j 算法的目标是找到权值向量0 k 以满足 a k 0 i = 匕 r 2 1 2 ) 其中配= w 。k ，w ：，w 础 ，表示在第k 个样本训练结束后a 。中的权值向量，通 常，c m a c 权值调整采用l m s 万法： p l = 。0 t ( 一0 1 + 旯( 少女一妒o o ) ) ia ( 2 1 3 ) y 为期望输出，0 ：表示的是对第尼个样本训练f 次后a 。中的存储权值向量，兄是学习 速率。 在文献 2 8 中指出，如果没有两个输入具有相同的指示器，则0 女可由鬈( 4 群) - 1 圪计 算出，且此结果与c m a c 。l m s 计算所得结果一致。然而，可能存在两个输入具有相同的 指示器，在这种情况下，4 鬈不可逆。在这种情况下，仍有 o k = 鬈圪 ( 2 1 4 ) 则由引理1 - 1 可得，0 t 为( 2 1 2 ) 1 拘极小范数解。 如采用h a s h 编码，则将上述算法中a 。改为a p 即可。 2 2 2c m a c l m s 算法的收敛性研究 从7 0 年代a l b u s 提出c m a c 模型后，直到9 0 年代，人们才对c m a c 它的收敛性给 出了证明。1 9 9 2 年，p a r k s 和m i l t i z e r 2 9 】定义了一个l y a p u n o v 函数并用它来证明了当学习 速率为1 时，c m a c 可以收敛到一个极限环：w o n g 和s i d e r s 2 8 1 说明了c m a c 的学习过程 等价于求解一个线性方程组的g a u s s s e i d e l 迭代。l i n 和c h i a n g l 3 0 1 给出了学习速率在不同 范围内c m a c 的收敛情况： ( i ) 如果兄= 0 ；不存在学习，所以权值也不会发生变化； ( i i ) 如果旯 2 学习误差将会逐渐变大。 2 l 中国科学技术大学硕士论文 2 2 3c m a c l m s 算法的发展概况 c m a c 存在有一个很大的缺点，即神经网络权值系数的存储空间随着小脑模型输入维 数增大而急剧增加。通常可以采用杂散编码来解决这个问题，但罗忠等人的研究表明3 1 1 ，采 用杂散编码方法在学习时存在冲突问题，可能会导致学习速度下降，或者学习发散。w a n g 等 人也指出杂散编码法并不能提高小脑模型的逼近能力3 2 1 。针对上面提出的几个问题，许多学 者在这方面做了很多研究并提出了一些有效的办法。d a v i d 等人运用一种领域顺序 ( n e i g h b o rs e q u e n t i a l ) 法3 3 1 ，在整个学习期间每个记忆单元对应的权系数只调整一次，这样可 以解决学习时可能发生冲突的问题。e l d r a c h e r 3 4 1 等人采用白适应编码技术可提高函数逼近 能力。 l a n e 将c m a c 和b - s p l i n e s 3 5 】1 结合产生了连续c m a c 。c h i a n g 和l i n 等人在原有小 脑模型原理和结构的基础上，提出了基于广义基函数( 主要是g a u s s i a n 基函数) 的连续 c m a c 。主要原理是把小脑模型的输入空间量化成离散状态，并选取一定数量的超立方体， 每个超立方体包含许多离散状态，每个离散状态具有记忆细胞的功能，用来存储信息。小脑模 型就可以看作基函数网络，j 、脑模型与r b f 相比，基函数类型不同，而且小脑模型每个基函数 被定义在局部区域上( 如超立方体上) 。求小脑模型的输出，第一步是确定包含该点的超立方 体，然后才能计算定义在这些超立方体上的基函数的线性组合，把它作为小脑模型的输出。小 脑模型通过基函数簇及其线性组合的权系数向量来实现关联记忆，在样本学习时仅修正权 系数。它的优越之处在于当基函数采用可微函数时，可记忆系统的微分信息，而传统的a l b u s 小脑模型可看作是基函数为一的网络，不能学习所逼近函数的导数。段培永等人在基于广义 基函数的小脑模型基础上提出了一种小脑模型超闭球结构37 1 ，并给出学 - j 算法和对超闭球 小脑模型的性能做了分析。 2 3c m a c 的特性及应用 2 3 1c m a c 的特性 ( 1 ) 有限的输入空i 司( l i m i t e di n p u ts p a c e ) c m a c 的每个输入有一个最大和最小值。所以在设计c m a c 神经网络时必须知道输 入的范围。假如超过这个有效的范围，c m a c 就不会得到预期的值，虽然权系数表也会产 2 2 中国科学技术大学硕士论文 生随机的值。 ( 2 ) 训练的稀疏。l 生( t r a i n i n gs p a r s i t y ) 训练的点( 输入矢量) 在输入空间怎样分布，才能保证好的泛化性能? 对少量训练点， c m a c 泛化性能要比m l p 差。对一个海量的无序空间训练点( 可能由函数或过程产生) ， c m a c 是一个很好的函数逼近器。 ( 3 ) j 1 1 练中的冲突( t r a i n i n gi n t e r f e r e n c e ) 考虑训练c m a c 上的两个点a 点和b 点。首先训练a ，然后训练b 点，学习速率取兄。 假设b 点在a 点的局部泛化区域，这样b 点使a 点的映射变得糟糕，这影响称为训练冲 突。a 和b 重叠，冲突最厉害，离得越远，冲突越小。 ( 4 ) 局部泛化( l o c a lg e n e r a l i z a t i o n ) 与多层感知器( m l p ) 相比，c m a c 有局部泛化的特点。这意味着当每个点出现在c m a c 训练算法中，仅有小部分的映射区域的点被调整。之所以发生这样的现象，是因为仅仅影 响输出的权系数被修改，每个这样的权系数只影响一小部分的区域。哈希编码增加每个物 理权系数影响的区域，但不能和泛化性相比较。 2 3 2c m a c 的优缺点 c m a c 网络通过多维输入输出信号能够近似它们之间复杂的非线性函数关系，它是通 过输入输出样本的训练来学习这种函数关系的，不需要有关函数形式的任何先验知识。 c m a c 用一种查表的方法来实现输入空间到输出空间的映射，方法简单，执行很快。 c m a c 网络的权值修正算法简单，其计算量随输入矢量的维数线性增长，非常适合在线学 习。因此，c m a c 可以用以复杂系统的行为预测。 c m a c 网络的缺点之一是它需要的内存空间较大，c m a c 网络的性能很难从理论上进 行分析，c m a c 网络的设计参数也只能针对具体应用依靠经验和实验进行选择。 下面将c m a c 与其他网络作一比较： c m a c 采用s i g m o i d 函数的多层前向网络m l p 相比，c m a c 用的是局部函数，在局 部起泛化作用，m l p 的函数是全局性的，学习时互相影响较大。c m a c 的收敛速度快，且 其最小点是唯一的。 c m a c 与r b f 网络更为相近，但c m a c 的基函数的数量大，且有规则的排列在多维 2 3 中国科学技术大学硕士论文 阵列上，r b f 则用较少的基函数，尽量安排在最具有代表性的位置上。 c m a c 作为联想记忆网络，它与h o p f i e l d 网络不同，后者是反馈网络，其权值是通过 计算一次获得的，而c m a c 是前向网络，其权值是通过迭代逐次学习得到的。 2 3 3c m a c 的应用 对c m a c 神经网络无论是算法还是结构的研究，都是为了更好的服务于c m a c 神经 网络模型在具体实际中的广泛应用。在过去的几十年里，有很多研究者尝试把c m a c 应用 在实际的、仿真的和在论证的工程中。c m a c 算法利用了联想记忆和先进的查表技术，并 具有神经网络感知器的特点，所以收敛速度很快。c m a c 算法被证明可有效地应用于非线 性函数逼近、动态系统建模、控制系统的设计等方面。下面就c m a c 的应用做一些简要叙 述。 ( 1 ) c m a c 与神经网络建模 应用研究表明，c m a c 的学习快速性特别适合在线建模与校正。c m a c 作为逼近器， 常常可以用于建立系统的输入输出模型。g a b o r 3 8 1 等人通过改善c m a c 的泛化性能，提高 了系统建模的精度，于乃功3 9 1 等人也把c m a c 应用在c s t r 系统建模中，都取得了较好 的应用效果。 ( 2 ) c m a c 与神经控制( 包括机器人控制) 广义上讲，机器人控制主要包括任务规划、路径规划和运动控制三个方面。任务规划 处理有关作业的信息，它根据作业的要求规划出较具体的子任务或运动序列。路径规划则 是在给定起点、终点、中间点以及某些必要限制条件下，规划出机械手末端所要经过的路 径点的序列。运动控制是根据给定路径点及机器人的运动学特性，求出适当关节力矩来产 生所需要的运动。 c m a c 最初用来求解机械手 4 0 1 的运动，后来进一步把它应用在机器人行走h 1 , 4 2 】、视觉 跟踪【4 3 】等中。例如，h u 4 1 1 等人把c m a c 引入双足行走的机器人控制中，提高了它的抗干 扰性。h w a n g 4 2 1 等人利用了一个自组织的c m a c 来跟踪在平滑轨道上的三个连接的机器 人。k a r a 4 3 1 等将多层的c m a c 应用在机器人的视觉跟踪中，神经控制器的敏感度和精度都 得到提高。 ( 3 ) c m a c 与网络入侵检测系统 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 技术，是i n t e m e t 上发现外部攻击 2 4 中国科学技术大学硕士论文 和合法用户滥用特权的一种方法。c a n n a d y 4 4 , 4 5 ：将c m a c 引入i d s 系统中，充分利用了 c m a c 在线学习的能力，使i d s 更加快速、准确，并能自动识别网络的入侵。基于c m a c 在线学习能力的i d s 被称为下一代入侵检测系统。 总之，c m a c 的应用是相当广泛，有很大应用潜力。 2 5 中国科学技术大学硕士论文 第三章连续c m a c r l s 算法 在前一章中着重介绍了c m a c l m s 算法及其特征和应用。虽然c m a c l m s 算法收 敛速度快，但依然无法从理论上保证其收敛到所设定的容许值。特别是当学习样本发生变 化时，其收敛性更无法得到保证；或者即使收敛，所需时间很长。论文从提高复杂系统演 化计算效率出发，引用了r l s 算法，c m a c r l s 算法从理论上首次保证了c m a c 权值训 练的收敛性，同时其学习速率是由历史数据得到且在每一步时变，故能更好地满足复杂系 统的时变性要求。 3 1 递推最, b - - 乘法的进一步证明 传统的递推最小二乘算法时，通常考虑的情况是训练样本所构成的方程组为矛盾方程 组时该算法的收敛情况。并在应用中须满足下述两个条件： ( i )训练样本数至少要大于未知参数个数； ( i i ) 对于( 2 9 ) 式中，群4 需可逆。 如在文献 4 7 】中介绍的递推最小二乘算法，也只说明了当训练样本数大于未知参数个数时 的收敛情况。为以下叙述方便，称上述两个条件分别为条件( i ) 和条件( i i ) 。 论文采用的是在条件( i ) 和( i i ) 不满足的情况下的递推最小二乘算法，通过对此递推最小 二乘算法进行的理论证明及分析h 6 1 ，指出了在任意第k 步，未知参数估计值收敛于前尼组 数据的方程组的极小范数解。 3 1 1 引理 引理3 1 j i m ( ，。+ 彳。彳) - 1a 1 = a + ，其中i 。为疗聆的单位阵。 ( 3 1 ) 1 3 。 证明证明过程参见文献 6 。 引理3 2 尸为力门满秩矩阵，么是脚，2 矩阵，且p 一+ 么7 彳是满秩的，则下面 的矩阵恒等式成立： 2 6 中国科学技术大学硕士论文 ( 尸一1 + 4 r 么) = p p 47 1 ( j 。+ 4 刚7 ) 一1a p 证明证明过程参见文献 4 7 】 3 1 2 递推最小二乘算法证明过程 设 1 o = 。( 为常数) prp l 1 女+ l k - 0+ 欲l a 川) 叫 一p4 ty 一1k + l0 1 七+ 1 1 七+ l 则由引理2 1 和引理3 一i 可得 ( 3 - 2 ) ( 3 3 ) ( 3 4 ) ( 3 5 ) v 尼，j i mo k + i = j i m ( 巧1 + 4 ：+ 1 4 ) 1 么：+ 1 圪+ l = 彳二】k + 1 = 0 川 ( 3 6 ) 廿- - + o a + o o 由( 3 - 6 ) 式看出，在取较大正数的情况下，可认为 v 尼，o k + l 均收敛于o k + 1 ；即o k 可看作是0 t 的估计值。 利用( 2 6 ) 和( 3 4 ) ，易证 由引理3 2 ，又有 则可递推如下： 一p 4 ty 一1 丘+ i n k + 1 1 七+ i = 只+ 。( a i y t 最 最+ l = ( 巧1 + 9 三l c p k + 1 ) 。 最+ ，= 兄一最妒孟，( 1 + ( p k + l 最妒五，) - 1 纨+ 。最 + o k v + i y ) 一最缈乏l ( 1 + o k + z 尼p 三1 ) - 1 妒女+ 。最 ( 4 t t 圪+ 妒三l y + ，) = 最t 玩一只妒三，( 1 + o k + l 最缈三，) - 1 仇+ ，只t 圪 + 圪缈五1 y i + 1 一只妒乞】( 1 + 妒女+ 】最9 三】) - 1 妒+ l 圪缈二l y + l = 只彳。t 圪一最缈孟。( 1 + 妒。+ 。b 妒孟。) _ 1 妒女+ 。皖么：坎 + 圪妒三1 ( 1 + 妒k + ，最妒三1 ) - 1 1 + 妒t + 1 最妒五l 一缈 + 。只妒乏。d 么+ 1 = 最t k 一只妒五。( 1 + 缈川只缈三。) - 1 纨+ ，最t 砭 + 只缈三l ( 1 + 缈女+ 1 最缈二1 ) y “l ( 3 7 ) ( 3 8 ) 2 7 中国科学技术大学硕士论文 = k + 只伊五。( 1 + f o 。+ 。最妒三，) 一1 ( y 。+ 。妒。+ ，反) 为方便起见，定义 三。+ 。= 最妒五。o + r p 。+ 。只以，) ( 3 9 ) f 3 一l o ) 综合( 3 3 ) 、( 3 8 ) 、( 3 9 ) 、( 3 1 0 ) 可得递推最小二乘算法如下： 条件( i i ) 并不需要满足。取最和0 的初值为 e o = ( 为一充分大的正数) ，o o = 0 ， ( 3 11 ) v k ，万= 吼+ l 最 ( 3 1 2 ) + l = 万t t + l ( 1 + 石+ l 缈五1 ) ( 3 1 3 ) 最+ 1 = 最一l m 万m ( 3 1 4 ) o k + l = o k + l 川( y 川一吼+ 1 0 k ) ( 3 1 5 ) 由于( 3 一1 1 ) 、( 3 1 2 ) 、( 3 1 3 ) 、( 3 1 4 ) 、( 3 1 5 ) 对任意的k 均成立，表明当对第1 组 样本数据训练完成后，0 。将收敛于第1 组样本数据所构成方程的极小范数解b 。依次类推， 当对第k 组数据进行训练完成后，则o k 收敛于前k 个方程的极小范数解0 t ；当然，此解 是唯一的；证毕。 由以上的证明过程可以得出在使用递推最小二乘算法时： ( a ) 未知参数估计值均收敛于由前面所有样本数据所构成的方程组( 无论该方程组是 相容方程组或是矛盾方程组) 极小范数解。 ( b ) 在不满足条件( i ) 的情况下，即当训练样本数小于未知参数个数时，递推最小二乘 法的结果依然按照结论( a ) 收敛。 ( c ) 条件( i i ) 并不需要满足。 3 2c m a c r l s 算法的具体实现 3 2 1 实现步骤： 从( 2 1 2 ) 幂1 1 ( 2 1 4 ) 中看出，c m a c 的权值吼即是( 2 1 2 ) 的极，j n - 、- 。- 。数解。而从前节递推最 小二乘算法的补充性证明过程及结论可看出，r l s 所求的结果在每一步均收敛于( 2 5 ) 的极 2 8 中国科学技术大学硕士论文 小范数解。所以可遵循以下步骤将r l s 应用到c m a c ： 1 ) 通过( 3 11 ) 初始化只和o k ； 2 ) 当来一个新样本( 椎，y t ) 时量化x t ； 3 ) 通过( 2 9 ) 和( 2 一l0 ) 计算指示器纯 4 ) 通过( 3 - 1 2 ) ，( 3 - 1 3 ) ，( 3 1 4 ) ，( 3 1 5 ) 更新权值向量o k ； 5 ) 到2 ) 直到结束 由c m a c r l s 算法更新所得的权值向量在每一步均收敛于由c m a c l m s 所更新的权 值向量。然而，c m a c r l s 更适合于在线建模。可认为( 3 1 3 ) t 辛的l k + l 为学习速率，此学 习速率是由历史数据得到且在每一步时变以保证c m a c r l s 的收敛性。 在彳。中被x t 激活的神经元组成了一个超立方体，根据这一特性，我们可以简化 c m a c r l s 算法以降低其计算复杂度。 如果定义n z p o s 为指示器吼中非零元素位置的集合，则上述算法可以简化如下： v k ，万= 吼+ l ( n z p o s k ) 最( n z p o s ，：) ( 3 1 2 ) 三k + l = 万三l ( 1 + 万t + l 妒三1 ( n z p o s k