（计算机应用技术专业论文）群体智能算法在rbf神经网络中的应用.pdf

摘要 r b f n n 以其简单的结构、快速的训练过程和良好的推广能力等诸多优点已在许 多应用领域取得了成功，特别在模式识别和函数逼近方面。在r b f 神经网络中，隐 单元的位置和相应宽度值的选择是整个网络性能优劣的关键，直接影响网络的逼近 能力。本文在研究了几种典型的r b f n n 结构优化算法的基础上，主要研究了几种 、群体智能算法，用于对r b f n n 隐单元的位置和相应宽度值的优化。 群体智能优化算法在解决复杂优化问题方面的优势，使之逐渐显示出广泛的用 途和强大的生命力。本论文重点研究了细菌群体趋药性( b a c t e r i a lc o l o n yc h e m o t a x i s b c c ) 优化算法、粒子群算法( p a r t i c l es w a i 1 1 1o p t i m i z a t i o n ，p s o ) 以及人工鱼群算法 ( a r t i f i c i a lf i s h s w a r m ) 。分别将这几种群体智能算法做出相应的改进与调整，使之适 用于r b f 神经网络( r b f n n ) 的训练，在算法在搜索全局最小点的过程中，力求 使r b f n n 泛化误差最小化的同时，隐单元位置和相应的宽度值也同时得到优化。 本文在b c c 算法中引入梯度下降法，并提出一种新的细菌编码方式，注重提高算法 速度：在p s o 算法训练r b f n n 的过程中，利用扩展r p c l 聚类方法确定粒子个数， 并引入基于全局信息反馈的重新初始化机制保持粒子的活性，取得不错的实验效果； 在人工鱼群算法的基础上提出微人工鱼群算法，本算法减少了寻优鱼群的数量，提 高了算法的速度，同时提高了人工鱼群的活力，并由此增强了r b f n n 的泛化能力。 本文最后将这几种群体智能算法优化的r b f n n 用于几种模式识别的实验中，分别 与传统遗传算法( s g a ) 以及k m e a n s 等算法做出比较，r b f n n 可取得更好的泛化 效果。 关键字：r b f 神经网络；菌群算法；粒子群算法：人工鱼群算法； 泛化能力； a b s t r a c t r b fn e u r a ln e t w o r kh a sb e e ns u c c e s s f u l l yu s e di nm a n yf i e l d s ，b e c a u s eo fi t sc a p a b i l i t y0 fs i m p l e s t r u c t u r e ，f a s tt r a i n i n gs p e e da n dg o o dg e n e r a l i z a t i o na b i l i t y t h ec h o i c e so fp o s i t i o n so f h i d d e nl a y e r a n dt h ec o r r e s p o n d i n gw i d t h sa r ev e r yi m p o r t a n ta n dd i r e c t l ya f f e c t t h eg o o d n e s so ff i to fo v e r a l l n e t w o r ka p p r o x i m a t i o nc a p a b i l i t i e s t h i sp a p e rs t u d i e ss e v e r a ls w a r mi n t e l l i g e n c eo p t i m i z a t i o n a l g o r i t h m sa n da p p l i e st h e mi nt h et r a i n i n go fr b f n nb a s e do ns o m et y p i c a ls t r u c t u r eo p t i m i z a t i o n a l g o r i t h m s t h ea d v a n t a g eo fs o l v i n gc o m p l e xo p t i m i z a t i o np r o b l e m sm a k e ss w a r mi n t e l l i g e n c eo p t i m i z a t i o n a l g o r i t h m ss h o wb r o a da p p l i c a t i o n sa n ds t r o n gv i t a l i t y t h i sp a p e rs t u d i e ss e v e r a ls w a r mi n t e l l i g e n c e o p t i m i z a t i o na l g o r i t h m si n c l u d i n g b a c t e r i a l c o l o n yc h e m o t a x i s ( b c c ) , p a r t i c l e s w a r m o p t i m i z a t i o n ( p s o ) ，m i c r o - a r t i f i c i a lf i s h - s w a r ma l g o r i t h m t h e s ea l g o r i t h m sa r ei m p r o v e da n da d a p t e d s e p a r a t e l yt h e nt h e yc a nb es u i t e dt ob eu s e di nt h et r a i n i n go fr b f n n i nt h ep r o c e s so fs e e k i n gt h e m i n i m u mp o i n t s ，t h i sp a p e ra i m sf o rt h em i n i m u mo ft h eg e n e r a t i o ne r r o r , a n dt h ep o s i t i o n so fh i d d e n l a y e ra n dt h ec o r r e s p o n d i n gw i d t h sa r eo p t i m i z e da tt h es a m et i m e t h i sp a p e rp r o p o s e san e wc o d i n g s t y l ea n dc o m b i n 锶s t e e p e s td e s c e n ta l g o r i t h m si nt h eb c ca l g o r i t h m si no r d e rt oi n c r e a s et h es p e e do f c a l c u l a t i o n t h ee x t e n d e dr p c la l g o r i t h m si su s e dt oc o n f m nt h en u m b e ro fp a r t i c l ea n dt h e l e - i n i t i a l i z a t i o nm e c h a n i s mb a s e di nt h eg l o b a li n f o r m a t i o nf e e d b a c ki si n t r o d u c e dt ot h ep s o a l g o r i t h m st or e m a i nt h ea c t i v i t yo fp a r t i c l ed u r i n gt r a i n i n gt h er b f n n a n dt h ee x p e r i m e n t a lr e s u l ti s i d e a l t h i sp a p e rp r o p o s e sm i c r o - a r t i f i c i a lf i s h - s w 孤 n la l g o r i t h m sb a s e do i la r t i f i c i a lf i s h - s w a r m a l g o r i t h m s t h ea l g o r i t h m sd e c r e a s et h en u m b e r0 ff i s h - s w a r ma n di n c r e a s et h ec a l c u l a t i o ns p e e da n d t h ea c t i v i t y0 ft h ef i s h s w a r mi si m p r o v e da tt h es a m et i m e ，s ot h eg e n e r a l i z a t i o na b i l i t yo ft h er b f n n i sa l s oi m p r o v e d w ea p p l yt h er b f n no p t i m i z e db yt h e s es w a m ii n t e l l i g e n c e o p t i m i z a t i o n a l g o r i t h m si ne x p e r i m e n t so fp a t t e r nr e c o g n i t i o n t h er e s u l t ss h o wt h a tt h eg e n e r a t i o na b i l i t yi sb e t t e r t h a nt h er b f n n o p t i m i z e db ys g a a n dk - m e a n sa l g o r i t h m s k e y w o r d s ：r b fn e u r a ln e t w o r k s ；b a c t e r i a lc o l o n yc h e m o t a x i sa l g o r i t h m s ； p a r t i c l e s w a r m o p t i m i z a t i o na l g o r i t h m s ；a r t i f i c i a lf i s h - s w a r ma l g o r i t h m s ； g e n e r a l i z a t i o na b i l i t y 声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文 中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意 义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论 文或成果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者躲叫秘日，) 吼如。吝年劝 日 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本 人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单 位仍然为青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 ， 不保密毗 ( 请在以上方框内打“4 ) 论文作者签名计) 瓯i 习 ) 日期g 年多肋日 导师签名： 使用) 日期：o 0 0 5 年夕月7 y 日 ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不得擅自 5 5 引言 引言 径向基函数神经网络( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k ，r b f n n ) 是 m o o d y 和d a r k e n 于2 0 世纪8 0 年代末提出的一种特殊的具有单隐层的三层前馈网 络，其结构和学习算法与b p 网络有着很大的差别，在一定程度上克服了b p 网络的 缺点。近几十年来，r b f 神经网络的应用己渗透到各个领域，并在智能控制、模 式识别、计算机视觉、自适应滤波和信号处理、非线性优化等方面取得了令人鼓 舞的进展。因此，r b f 神经网络已经成为一个新的研究热点n 。7 1 。 己经有很多种r b f n n 的学习训练方法提了出来，本文主要研究了几种群体智 能算法，并利用其对r b f n n 的隐单元位置和宽度值进行优化。主要在r b f n n 的几个 分类问题中，对算法的有效性进行了验证。 现实中为了解决很多传统优化算法和技术难以解决的工程类优化问题，人们 从生物体和自然生态系统的演化中得到启示，使很多高度复杂的问题得到解决。 由此很多群体智能算法应运而生。 群体智能优化算法的理论研究主要是研究算法特性，改进其不足，提高性能 叼。这里包括两方面的研究：一是从群体智能优化算法的自身特性加以研究，改 进其性能：二是将群体智能优化算法之间或与其它算法进行结合，通过算法之间 的融合对算法加以改进，产生新的混合智能算法。本文主要研究了细菌群体趋药 性算法，粒子群算法以及人工鱼群算法，在原有算法的基础上做出相应改进使之 符合于r b f n n 的训练。本文在每种智能算法之后都进行了实验仿真，并与其他典 型的算法做出比较，证明了算法的有效性。 r b f 神经网络并性能的好坏与网络的结构、基函数的类型和采用的训练方 法还有许多值得商榷的地方，这需要更多的人进行深入的研究。 青岛大学硕士学位论文 第一章绪论弟一早 三百了匕 1 1 神经网络技术的发展与现状 最早用数学模型对神经系统中的神经元进行理论建模的是美国心理学家 w m c c u l l o c h 和数学家wp i t t s u ，1 9 4 3 年，他们利用电路构成了简单的神 经网络模型，即m p 模型。m p 神经元模型首次用简单的数学模型模仿出生 物神经元的活动功能，并揭示了通过神经元的相互连接和简单的数学计算， 可以实现相当复杂的逻辑运算。该模型除了连接权不调整外，其他与现在的 阈值单元模型基本相同。 1 9 4 9 年，心理学家d o h e b b 提出了神经元之间突触强度调整的假设。 他认为，学习过程是在突触上发生的，连接权的调整正比于两相连神经元激 活值的乘积。这就是有名的h e b b 学习规则n 刁。 5 0 年代末，f r o s e n b l a t t 提出了著名的感知器( p e r c e p t r o n ) 模型，这是 第一个完整的人工神经网络n 羽。这个模型由阈值单元构成，初步具备了诸如 并行处理、分布存储和学习等神经网络的一些基本特征；从而确立了从系统 的角度研究人工神经网络的基础。 1 9 6 0 年，b w i n d r o w 和m e h o f f 提出了自适应线性单元( a d a l i n e ) 网络n 劓。它可用于自适应滤波、预测和模型识别。从5 0 年代末到6 0 年代触， 神经网络的研究受到人们的重视，研究工作进入了一个高潮。 1 9 6 9 年，美国麻省理工学院著名人工智能学者m m i n s k y 和s p a p e r t 编 写了影响很大的p e r c e p t r o n ) 一书。该书指出：单层的感知器只能用于线性 问题的求解，而对于像异或这样简单的非线性问题却无法求解u 副。由于m i n s k y 的悲观结论，加上当时以逻辑推理为基础的人工智能和数字计算机取得了辉 煌成就，从而大大降低了许多人们对人工神经网络研究的热情。在这之后近 1 0 年中，神经网络的研究进入了一个缓慢发展的低潮期。 美国加州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国 科学院院刊发表的两篇文章，有力的推动了神经网络的研究，引起了神经网 络研究的又一次热潮n 引。1 9 8 2 年他提出了一个新的神经网络模型- h 0 p f i e l d 网络模型。他在这种网络模型的研究中，首次引入了网络能量函数的概念， 并给出了网络稳定性的判据。1 9 8 4 年h o p f i e l d 提出了网络模型实现的电子电 路，为神经网络的工程实现指明了方向n7 1 8 1 。h o p f i e l d 的研究成果开拓了神经 网络用于联想记忆和优化计算的新途径，并为神经计算机的研究奠定了基础。 2 第一章绪论 h i n t o n 和s e j n o w s k i 借用了统计物理学的概念和方法，提出了b o l t z m a n 机模型n 引，首次采用了多层网络的学习算法，在学习过程中运用模拟退火技 术，保证整个系统趋于全局稳定点。 1 9 8 6 年，d e r u m e l h a r t 和j lm c c l d l a n d 及其研究小组提出了解决多 层神经网络权值修正的算法一误差反向传播( b p ) 算法，成为迄今为止影 响很大的一种网络学习算法。 8 0 年代中期以来，神经网络的应用研究取得了很大的成绩，涉及的面非 常广泛：计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复 杂系统分析，模式识别，神经计算机的研制，知识处理，专家系统与人工智 能等。 在神经网络的实际应用中，人们总是期望它具有较快的全局收敛特性、 大范围的映射推广能力和较少的实现开销。然而，由于目前神经网络的并行 计算能力都是基于当前主流的冯诺依曼串行计算机来实现的，受到硬件发展 的限制，因而研究人员现在仍将主要精力集中在神经网络结构和快速学习算 法的研究方面。近几年来，神经网络理论及应用研究虽然取得了可喜的进展， 但是由于人们对生物神经系统的研究与了解还不够充分，所析取的人工模型 还无法真实描述或再现人脑的实际功能，因此无论是人工神经网络模型研究 还是理论探索，都还需要进一步发展与完善。 1 2 本文的所做工作及内容安排 本文主要针对径向基神经网络开展了系统而深入的研究。内容包括径向基 神经网络中典型的权值算法，结构优化算法。文章的重点是研究了几种群体 智能算法，包括菌群算法，粒子群算法以及人工鱼群算法，并对这几种算法 做出相应的改进，将其利用与r b f n n 的训练中，主要对r b f n n 的中心节点位 置以及宽度值进行优化，并与其它传统算法做出比较，证明了本文算法的优 越性。论文由6 部分组成，具体组织结构如下： 第一章绪论。本章主要介绍神经网络技术的发展与现状，以及研究的背 景和意义。 第二章r b f n n 权值算法研究。本章主要讨论了3 种典型的获取r b f n n 权 值的算法。分别是m - p 伪逆学习算法，递归最小正交算法，递归正交最小二 乘算法。 第三章r b f n n 隐单元数量的确定方法。同其它的神经网络相类似，径向 基神经网络的网络规模与推广能力息息相关，如何选取隐单元矢量，使得在 3 青岛大学硕士学位论文 满足网络性能，特别是网络推广能力的条件下，得到最简的网络结构，是研 究人员一直关注的重点对象之一。本章主要介绍了k - m e a n s 算法、减聚类算 法、r p c l 以及扩展r p c l 几种方法。 第四章基于b c c 算法的r b f n n 。本文将b c c 算法与最速下降法结合起来应 用于r b f n n 的训练中，减少了b c c 算法后期大量冗余细菌在极小点附近反复 震荡所耗费的计算时间，同时提出一种新的编码方式，使每个细菌都能代表 r b f n n 中隐单元位置和相应的宽度值，使菌群在寻优的过程中，使单元位置和 相应的宽度值同时得到优化。经仿真验证，该算法在保证r b f n n 泛化能力的 基础上较传统算法在计算速度上有了大幅度提高。 第五章基于粒子群算法的r b f n n 。本章主要介绍利用扩展r p c l 方法确定 r b f n n 隐单元的数量，并利用粒子群算法确定r b f n n 的隐单元位置和相应宽度 值，同时利用全局信息反馈机制提高粒子群的活力，增强了算法的全局搜索 能力，从而使r b f n n 的泛化能力得到提高。 第六章基于人工鱼群算法的r b f n n 。本章在人工鱼群算法的基础上提出 微人工鱼群算法，微人工鱼群算法减少了鱼群的数量，同时提高了鱼群的活 性，因此在节省了计算时间的基础上提高了算法的优化效果。将此算法应用 于r b f n n 的人脸识别实验中，取得了良好的效果。 4 第二章r b f n n 结构及权值算法研究 第二章r b f n n 结构及权值算法研究 2 1r b f n n 结构及其特点 近年来，随着智能技术的发展，神经网络理论已得到广泛的应用，其中前馈 和反馈神经网络是两种典型的网络模型，从学习的观点看，前馈网络( 包括b p 网络、r b f 网络等) 是一种较强的学习系统，具有复杂的非线性处理能力。实 现映射和函数逼近是前馈网络的共同特点。 1 9 8 8 年，b r o o m h e a d 和l o w e 以及m o o d y 和d a r k e n 最早将r b f 用于神经 网络设计。径向基函数( r a d i a lb a s i sf u n c t i o n ) 简称r b f ，是以到固定点的距离 为自变量的函数。在二维欧式空间里，一般距离为： 咯：( x ，j ，；以j ，) = 正二啄页丽 2 一( 1 ) 其中( 毛y ) 为欧氏空间中的任意点的坐标。( x ( i 0 , y 似) 是第k 个固定点的坐标。同 样，高维空间也有类似的定义。以吒为自变量的函数就是径向基函数，记为 妒( 气) ，( ，y ) 称为径向基函数矿的中心。径向基函数矽( ，) 一般分为两类： 局部的和整体的。如果l i m # ( r ) 为零，则称为局部径向基函数，否则称为整体径 向基函数。局部径向基函数只在输入数据所在区域韵中心插值，而整体径向基函 数可进行全局插值。最常用的隐单元的变换函数是r b f 。 r b f 网络结构与多层前向网络类似，它是一种三层前阿网络。输入层由信 号源节点组成。第二层是隐层。第三层是输出层，它对输入模式的作用做出响应。 从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层的映射是 线性的，网络输入输出映射模型为： f ( x ) = 1 1 ) ，d n 其中，朋为隐单元数。乙，叫为基函数中心。结构图如2 1 所示： 5 青岛大学硕士学位论文 图2 1 径向基函数神经网络结构 2 2r b f n n 的权值算法研究 y l y 2 咒 y u 1 9 8 6 年，r u m e l h a r t 、h i n t o n 和w i l l i a m s 在n a t u r e 杂志上系统地阐述了 误差反向传播算法的完整概念。b p 算法的问世成功地解决了多层网络连接权的 训练学习问题，彻底改变了人们对人工神经元网络，即多层感知器网络( m l p n n ) 难以训练的悲观认识，从而使神经网络在模式识别、函数逼近、机器人规划、图 像识别等领域得到广泛的应用。b p 算法的主要思想可以归纳为两个阶段的学习 过程：第一阶段( 输入信号正向传播过程) ，输入信息通过输入层经隐含层逐层处 理并在输出层计算每个单元的实际输出值；第二阶段( 误差信号反传过程) ，如果 输出层的实际输出与期望输出间的误差没有达到给定的误差标准，则依据此误差 来调节各层的连接权重。由于误差的修正沿着误差能量函数负梯度方向前进，所 以b p 算法又称为梯度下降算法。b p 算法可以用如下的数学过程来表述位： o f 7 形( “1 ) ：w t 一，7 竺去+ a a w t 扣n 2 一( 3 ) 。a 矽” o i ， w 他+ 1 、w 分别是k + l 与k 时刻网络的连接权重；熹是误差梯度；a w 拙。1 d 为权重增量；n 是学习速率，它的取值大小与神经网络的收敛速度息息相关； q 是动量因子，对权重的更新起到缓冲平滑作用，并使得这一更新向着底部的平 均方向发展，不致产生大的摆动。 实际上，动量因子的引入等效为将学习速率n 改变为非恒定值。 尽管b p 算法已经得到了广泛应用，但它也存在很多不足，主要表现在以下 几个方面口卜剐： ( 1 ) b p 算法的收敛性依赖学习速率n 、动量因子q 等参数的选取，如果学习速 6 第二章r b f n n 结构及权值算法研究 率r l 过大，势必会引起算法在训练的过程中发生“麻痹现象，即由于反传误差 趋于零而导致权重更新停滞；相反，如果速率过小，则有可能会使得网络训练收 敛速度太慢。对于动量因子的选择而言，如果q 取值过小，则有可能起不到平滑 作用，而q 取值过大，则会使权重的更新远离负梯度的最大方向。所以说，在b p 算法中，学习速率r i 及动量因子q 的合适选取直接影响网络的训练质量。一般来 说，这两个参数主要凭经验来选择，对不同的求解问题没有统一的取值标准。 ( 2 ) b p 算法是基于梯度下降的l m s 算法，因而，所训练的权重很容易陷入局部最 小值，而且也容易受到输入模式协方差矩阵特征值散布的影响。 ( 3 ) b p 算法训练权重过分依赖初值选取，如果初值选取不当，则直接影响网络的 收敛速度，甚至有可能陷入局部最小值。 ( 4 ) 由于b p 算法的训练质量受到许多不确定因素的制约，因此，一般来说，训 练时间比较长，即使对于一个较小规则的网络，也要经过大量的迭代过程。如果 待求解的问题较为复杂，所构建的网络规模较大，则有可能需要几天甚至几周的 时间来训练。所以说，训练周期过长是b p 算法的最大缺陷之一 与m l p 网络相比，r b f n n 的权重训练相对简单得多。如果使用b p 算法训练 r b f n n ，尽管有可能训练收敛，但b p 算法不是r b f n n 的最佳训练方法。为此，本 文介绍了m p 伪逆算法、递推最小二乘算法及递推正交最小二乘算法来训练 r b f n n 。本文对于3 种算法分别予以介绍，因为m - p 伪逆算法比较容易产生奇异矩 阵，后两种算法较为常用，所以我们将着重讲述后两种算法并给出数学证明。 2 2 1 p 伪逆算法 网络的连接权可以用伪逆方法计算，即乜订 w = = 由+ d 式中，d 是期望响应矢量。巾+ 是矩阵由的伪逆，由存在且唯一由下式确定 m = uj ；) 式中， 心。e x p ( - x j c i i i ) ( j = l , 2 , - - n ；i = i , 2 , - m ) 其中矩阵巾的伪逆可用下式计算 巾+ = ( 由7 由) 1 由7 2 一( 4 ) 2 一( 5 ) 2 一( 6 ) 2 一( 7 ) 青岛大学硕士学位论文 2 2 2 递推最小二乘算法 递推最小二乘( r l s ) 算法晗h2 4 1 利用成熟的自适应滤波( 卡尔曼滤波器) 概念来 获得网络联接权值的递推迭代，该算法的基本思想为：每一时刻的迭代是由输入 训练样本形成的协方差矩阵递推求得权值的精确解，即误差梯度为0 时的解。因 此，该算法具有迭代的方向性强、收敛速度快等优点。 类似于其它训练方法，r l s 算法也是基于误差代价函数为优化目标的训练算 法，它与传统的误差代价函数的区别在于，r l s 算法每一步迭代的误差代价是基 于前面迭代误差的加权累加，因此，又称为加权误差代价函数，即： 1km七m - ，( 七) = 寺旯扣0 2 ( f ) = 寺a ( 嘭( f ) 一乃o ”2 2 一( 8 ) f ；l = i t = l，= l 其中，j ( t ) 是对应于输入样本x 。网络输出层的第j 个节点的误差值；m 是输出 神经元个数；d j ( t ) 与y j ( t ) 分别是对应于输入样本x t 网络输出层第j 个节点的 期望信号和实际输出；入是加权遗忘因子，其作用是淡化过去样本对当前估值 参数的影响，尽可能反映当前输入样本的特性，其取值范围为o 入 l 。一般来说， 入的取值越大，则反映当前估值参数对过去样本的依赖性越大。 2 一( 8 ) 式也可写做： 1i肼 l ，( 后) = 去兄叫( 乃( ，) 一乃( 玉) w ( | ) ) 2 2 一( 9 ) 式中，w j ( k ) 为第k 步迭代时输出层与隐层的第j 个连接权重向量；h ( x 。) 是隐 单元的输入量。为了使j ( k ) 取最小，取j ( k ) 对- j ( k ) 微分为0 ，即： 丽o j ( k ) = 一耖删也州】器- - - 2 州。， 七上 五h h r ( f ) ( 后) = 产d y ( t ) h r ( f ) 2 一( 1 1 ) t = lf = i 七 令矿h7 ( f ) 一( 七) 2 r ( t ) ， f = l k 矿d j ( t ) h 7 ( f ) = o j ( k ) ，则： f = l、 第二章r b f n n 结构及权值算法研究 r ( k ) w j ( k ) = o j ( k ) 2 一( 1 2 ) 即k 步迭代时最佳权重w ，( k ) 为： r j ( k ) = r 1 ( k ) o j ( k ) 2 一( 1 3 ) 实际上，r ( k ) 、d j ( k ) 分别为第k 次迭代时隐层输出的加权自相关矩阵和第二隐 层输出与期望输出的加权互相关矩阵。r ( k ) 、d j ( k ) 还可以进一步表示为下列的 递推形式： r ( 七) ：允尺( 七一1 ) + h t ( o h ( t ) 2 一( 1 4 ) q ( 后) = 名q ( 七一1 ) + h7 ( f ) 乃o ) 2 一( 1 5 ) 令p ( k ) = r - 1 ( k ) ，则根据矩阵求逆引理或者其紧凑形式一卡尔曼滤波器方程，可 以得 到对应的权重更新过程为： w j ( k ) = 一一i ( 七一1 ) + g ( 七) 嘭( 七) 一h ( k ) w j ( k 一1 ) 】 2 一( 1 6 ) 删= 万丽p ( k 而- d h 面7 ( k 丽) 2 一( 1 7 ) p ( 七) = 【p ( 七一1 ) 一g ( 七) j i l ( j | ) p ( 七一1 ) 】名 2 一( 1 8 ) 上式中g ( k ) p a xl 为k 时刻的卡尔曼增益。r b p n n 对应的r l s 学习算法可以总 结为以下步骤： 算法2 1 递推最d - 乘算法 ( 1 ) 随机初始化权重矩阵w j ( 0 ) p a x1 ( 1 j m ) 、逆相关矩阵p ( o ) p a x m ， 设定核函数宽度值、停止条件及迭代数k = l ： ( 2 ) 选择隐中心矢量； ( 3 ) 对于每个输入样本x t ，计算第二隐层输出向量h ( t ) ，1 t n ； ( 4 ) 分别计算卡尔曼增益g ( k ) 及训练样本逆相关矩阵p ( k ) ； ( 5 ) 计算网络输出层第k 步迭代时实际误差向量j ( k ) = d j ( k ) 一h ( k ) w j ( k - 1 ) ，1 j m ； ( 6 ) 更新权重矩阵w j ( k ) - - w j ( k 一1 ) + g ( k ) ej ( k ) ，1 j m ； 青岛人学硕士学位论文 ( 7 ) 判断是否满足停止条件，如果满足，则停止迭代；否则，k = k + l ，转至( 4 ) 。 2 2 3 递推正交最小二乘法 递推正交最小乘算法( r e c u r s i v eo r t h o g o n a ll e a s ts q u a r e sa l g o r i t h m ， r o l s a ) 的基本原理就是基于上述的正交分解定理艄3 | 。r o l s a 也是基于r b p n n 的 误差代价函数，并用矩阵f 一范数来表示的，即： j ( w ) = id h w i2 f r 2 - ( 1 9 ) 对第二隐层的输出矩阵h 执行正交分解，即： h _ q r ，o 2 一( 2 0 ) 其中q 是矩阵h 的正交矩阵，r 是上三角方阵。用q 矩阵的转置q t 左乘期望信 号矩阵d 得： q t q = d ，d 其中d 、d 分别为正交后的期望信号矩阵和残留矩阵或称为误差矩阵。 将上式进一步变换为： d = q d ，d 2 - ( 2 1 ) 将( 2 - 2 0 ) 式与( 2 2 1 ) 式代入( 2 1 9 ) 式，并经整理得： j ( w ) = ii q ( d ，o 7 - j r ，o t w ) il2 p2 一( 2 2 ) 由于矩阵f 一范数具有正交不变性，即il q a ii f = f i a ll ，( 为任意矩阵) ，则( 2 - 2 2 ) 式等价于下式： p ( f ) = | l d ( f ) 眩+ i i d ”( t - 1 ) 幢 2 一( 2 3 ) 为使j ( w ) 取最小值，则令： i id - r w 幢= o 2 一( 2 4 ) 所以，权重矩阵w 可以表示为： w = r 。1 0 2 一( 2 5 ) 式( 2 - 2 3 ) 中的il d i2 f 是代价函数j ( w ) 的残留误差。 对于大规模样本集，h 的正交分解可能需要较大的计算负荷。为了减少算法 l o 第二章r b f n n 结构及权值算法研究 的计算复杂度，我们在求取权重w 时引入递推算法。也就是由前t - 1 样本来求取 第t 个样本介入时的权重w ( t ) 。假定第t 个样本介入时r b p n n 的代价函数为 j ( t ) ，则j ( t ) 可以表示如下： 川h 盼即州眩州d ( t - f ) d 】_ 【絮讥) ) j 屡 2 - ( 2 6 ) 。，c 力= l 三誊主： 一 尺 ( t g - ，。 矽。， 旺 2 一c 2 9 ， 由此，可以求得此时r b p n n 的权重矩阵和残留误差，即： w ( t ) = r 1 ( t ) u ( t )2 一( 3 3 ) p ( f ) 爿i d ( f ) 眩+ | l d ( t - 1 ) 幢 2 - ( 3 4 ) 算法2 2 递推正交最d , - - 乘算法 ( 1 ) 随机初始化上角方阵r ( t ) 及残留矩阵d 为r ( o ) = qi ，j | d ii o 其中q = 0 0 1 。 ( 2 ) 根据( 2 - 2 6 ) 和( 2 2 7 ) 式，求解q ( t ) ，r ( t ) ，ii d ( t ) i2 ，和ll d ( t ) i2 p i l 青岛大学硕十学位论文 ( 3 ) 如果t n ，则t = t + l ，转向( 2 ) ，否则，转向下一步。 ( 4 ) 计算q 州) ，r ( n ) ，w 及旧( s ) 1 1 2 f , 停止计算 1 2 第三章r b f n n 隐单元数量的确定方法 第三章r b f n n 隐单元数量的确定方法 r b f n n 中隐单元的数量直接影响着网络泛化能力的好坏。如果构造的网络规 模冗余，势必会造成训练、测试时的软硬件开销过大，有可能导致网络的过适应， 即在训练中可以取得很好的效果，但是在测试时却没有很好的泛化能力。如果网 络结构过小，r b f n n 无法代表数据的全局信息，因此在训练时同样得不到理想的 结果一1 。本章给出了几种典型确定r b f n n 隐单元数量的算法。 3 1k - m e a n s 算法 在这种学习方法中，r b f 的中心是可以移动的，并通过自组织学习确定r b f 的中心的，中心的选择可以采用可k 一均值聚类算法。这是一种无监督的学习方 法，具体步骤如下翻： 第一步，初始化聚类中心c ，( i = l ，2 ，m ) 一般是从输入样本 x ，( j = t ，2 ，n ) 中选择m 个样本作为聚类中心。 第二步，将输入样本按最邻近规则分组，即将x ，( j = l ，2 ，n ) 分配给中心为 c ：( i = l ，2 ，m ) 的输入样本聚类集合0j ( i = l ，2 ，m ) ，亦即x 0j ，且满足 d j = m i n | | x j _ c j | |( j = 1 ，2 ，o f4 , jn ：i = l ，2 ，m ) 3 一( 1 ) 式中，d ：表示最小欧氏距离。 第三步，计算o 。中样本的平均值，也就是聚类中心 c t 。专譬j 3 一( 2 ) 其中m ；为o ；中的输入样本数。按上面步骤计算，直到聚类中心的分布不再变化。 这种算法的最大弊端在于需要预先确定隐单元的个数，通常是通过尝试的办法， 选取最小结构的r b f n n ，在得到合适训练误差的前提下，使得隐单元的个数最小， 从而使得泛化能力最大化。但这种方法不但计算繁琐，而且经常得不到最简的网 络结构。 3 2 减聚类算法m 1 减聚类算法是依据样本点密度来选取隐层节点的方法，避免 k - m e a n s 算法 确定隐单元个数的盲目性，大致步骤如下： 青岛大学硕士学位论文 1 ) 按式 口= 芸e 卅铬， 忙i，d ，厶， 3 一( 3 ) 计算每个数据点的密度指标，并将口保存在集合彳俐中，供下次迭代使用? 选择 具有最高密度指标见的数据点为第一个聚类中心，记四= 1 。 2 )确定第m 个聚类中心。利用式 4 嘶d 。e x p 一铬】 3 - ( 4 ) 修正每个数据点的密度指标。寻找最高密度指标d k 。 3 ) 将代入终止判据式 d j | d 气 y ， 3 一( 5 ) 判断如果成立，则拒绝接受该点为聚类中心，到步骤47 否则，接受具有最高密度 指标的数据点t 代入终止判据式3 一( 5 ) ，判断如果成立，则拒绝接受该点为聚类 中心，到步骤4j 否则，接受具有最高密度指标的数据点。 4 ) 聚类结束。显然共确定历一1 个聚类中心吒，毛，k ，记c 2 i i r l 。 减聚类算法的难点在于对参数7 的确定上，往往需要经验或大量的尝试完成。 3 3r p c l 以及扩展r p c l 算法蚓 r p c l 方法是一种自动确定类的数量的一种有效方法，它的基本思想是：对每 个输入而言，不仅竞争获胜单元( 即距离聚类中心最近的单元) 的权值被修正以适 应输入值，而且对次胜单元( 即距离聚类中心仅次于最近的单元) 采用惩罚的方 法，使之远离输入值。这样就可以保证每一类只有一个中心，也就自动地确定了 代表输入数据集的类的数目。设x 为待聚类集合中的任一元素，每一单元的输出 值为从，它的权值矢量为瓦，f - l ，七，利用r p c l 算法确定r b f n n 隐层中心节点 1 4 第三章r b f n n 隐单元数量的确定方法 数量的步骤如下： ( 1 ) 在训练样本空间范围内随机初始化中心向量 画) ：。，个数与训练样本 相同，定为初始的隐单元，并设定修改次数仁o ； ( 2 ) 从训练样本集中随机选择样本；( i = l ，k ) 使 f 1 i 鸬21 1 【0 ， 薹，l2c ， fi = ， 3 一( 6 ) o t h e r w i s e c 表示获胜单元，表示次胜单元，其中 r 。i i x 一瓦i | 2 = m j n 圳；一巧0 2 圳；一珊= m i n y s 肛珊 这里，以= 啊：。吩，吩是以= 1 的次数。 ( 3 ) 由下式修改隐单元矢量的位置m ， w ( f ) 鼍 3 一( 7 ) 3 一( 8 ) a t 。( t x x w ) ，i fu t = 1 - - a , ( t x x w ) ，f = 一1 3 - ( 9 ) o o t h e r w i s e 这里，( f ) o ，q ( f ) 1 分别是竞争获胜单元和次胜单元的学习率； ( 4 ) 调整和q ， 呸( 七) = a 。( k - 1 ) ( 1 + i n t k n ) 2 ，a a k ) = a , ( k - 1 ) ( 1 + i n t k n ) 7 2 3 一( 1 0 ) 3 一( 1 1 ) ( 5 ) t 值加l ，如果t f 时，将第i 个隐单元删除，由所剩下隐单元作为类的中心。这 样，通过r p c l 算法可以自动地确定适当的隐单元的数目。 r p c l 算法试图解决如何确定适当的聚类数目的问题，其思路无疑是可取 的。但在实际中发现，r p c l 算法只有当输入数据在维数和分布都十分理想的情 况下( 通常只是在采用仿真数据时) 才能够获得很好的效果，而当数据类的大小( 包 含样本点的多少) 不平衡时，有时会出现多个单元向大的数据类竞争而小的数据 类则没有任何单元进入的情况。这可能是因为大的数据集由于样本点较多，其不 同部分都会对单元产生吸引，从而导致多个单元落入其中。另外，实际应用中( 尤 其是语音信号处理中) 当类存在互相重叠的情况时，r p c l 算法的性能也会很快下 降。这是因为在这种情况下，样本混叠的部分对单元产生的吸引力也发生重叠， 使单元的运动轨迹复杂化，算法对竞争获胜单元和次胜单元的学习率变得非常敏 感。当输入矢量包含非独立项时，上述问题会更加严重。为了改进r p c l 算法， 以使其增强在参数估计过程中的鲁棒性，引用一种结合全协方差矩阵的扩展 r p c l 算法，并逐步删除那些只包含少量训练数据的单元。该算法的优点在于， 当类存在互相重叠的情况以及输入矢量含有非独立分量时，仍能够找出适当的聚 类数目。本享采用_ 组全协方差矩阵 ，) 二，作为踞声量度，这样，式3 ( 7 ) 中的欧氏距离( e u c l i d e a nd i s t a n c e ) 就被马氏距离( m a h a l a n o b i s