（计算机应用技术专业论文）专家混合系统研究及其应用.pdf

华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 摘要 随着自然科学与社会科学的不断快速发展，各个领域中的数据都以几何级数的 增加，人们要从这些数据中找到对自己有用的数据，找出这些数据的规律，更好的 利用这些数据就成了当务之急。为了更好的利用现有的数据进行分类预测，人们研 究出了各种基于不同理论的分类预测方法。这些方法在一些领域内取得了较好的效 果，但每种方法也都有一些自身的局限性，研究人员对此也在不停的进行改进。 专家混合系统就是在这种背景下出现的，它集中了现有优秀的数据训练方法， 例如，神经网络，各种聚类算法。它实际运用聚类算法作为门网络拟合多个神经网 络盼输出，形成多层的专家网络，期望达到比单个数据训练方法更好的效果。 现有的预测系统存在以下不足之处：( 1 ) m 于单个预测模型的局限性问题，对不 同的样本数据的误差可大可小，模型稳定性不强。( 2 ) 手工定义各个专家网络的权值 局限性大，针对性差。当样本数据通过不同的专家网络训练，加权组合后得到最终 输出，该权值需要人工定义，与样本无关，比重过于平均，或者组合方法不科擎， 导致输出预测效果减弱。 为了解决以上问题，本文提出了一种基于门网络的动态的委员会机器专家 混合系统( m i x t u r eo f e x p e r t s ，m o e ) 。对于每组要训练预测的样本数据，m o e 方法利 用已使用聚类算法构造的门网络自动生成聚类，找到聚类中心，然后使用这些聚类 中心计算样本点相对于各个聚类的隶属度。之后，该方法又运用专家网络对这些训 练样本进行训练，对测试样本进行组合预测。m o e 方法不仅自动定义了各个专家网 络的权值，而且该数值也能随着样本的改变而变化。 基于m o e 方法，本文设计实现了基于模糊c 均值聚类的专家混合系统m f m o e 和基于支持向量聚类的专家混合系统m s v m o e 。对于每一组样本数据，m f m o e 和 m s v m o e 分别通过模糊c 均值聚类和支持向量聚类实现门网络的功能。而m f m o e 依赖样本数；聚类数需人为确定；聚类形状为超球体；各类中的样本数相差不多； 另外，它是启发式算法，受初值影响较大。因为s v c 对小样本效果较好，聚类数目 自动生成，聚类形状可为不规则，各类中的样本数也能根据实际情况产生差别，无 须定义初始中心，所以本文尝试用m s v m o e 改进解决这些问题，改进m f m o e 。 关键词：专家混合系统，委员会机器，神经网络，门网络，模糊c 均值聚类，支 持向量聚类 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to f n a t u r a ls c i e n c ea n ds o c i a ls c i e n c e t h en u m b e ro f d a t a i nt h ee v e r yf i e l di sg r o w i n ga tar a p i dp a c ew i t hg e o m e t r i cs e r i e s i tb e c o m e sm o r ea n d m o r ei m p o r t a n tf o rp e o p l et of i n dt h eu s e f u ld a t af r o mt h e s eg r e a td a t a , t of i n dt h e r e l a t i o n s h i pa m o n gt h e ma n d t ou s et h e mb e t t e r i no r d e rt ou s et h e s ed a t ab e t t e rt o t r a i n i n ga n df o r e c a s t , t h er e s e a r c h e r sh a v ee x c o g i t a t e dm a n yk i n d so f t r a n i n ga n df o r e c a s t m e t h o d sw h i c ha r eb a s e do nd i f f e r e n tt h e o r i e s t h e s em e t h o d sh a ds o m eg o o de f f e c to n t h ef o r e c a s ti ns o m ef i e l d s b u tt h e r ea r es t i l ll i m i t a t i o n si ne v e r ya p p r o a c h t h ee x p e r t s a r ew o r k i n go nt h i st od os o m ei m p r o v e m e n t m i x t u r eo f e x p e r t si sam i x t u r es y s t e mt h a tc o l l e c t sa n dg a t h e r ss e v e r a lo u t s t a n d i n g d a t at r a i n i n gm e t h o d s ，l i k en e u r a ln e t w o r k ，v a r i e dc l u s t e r i n ga l g o r i t h m s a c t u a l l y ，i tu s e s c l u s t e r i n ga l g o r i t h ma sg a t i n gn e t w o r kt oc o m b i n e t h eo u t p u t so f m u l t in e u r a ln e t w o r k i t i sam u l t i l e v e le x p e r tn e t w o r ka n ds h o u l dh a v eab e u e rr e s u l tt h a nw h a tt h es i n g l ed a t a t r a i n i n gm e t h o dh a s m o s tp r e v i o u sf o r e c a s ts y s t e m sh a v es o m es h o r t c o m i n g sa sf o l l o w s ：t h ee r r o ro f t h e s i n g l ef o r e c a s ts y s t e mf o rd i f f e r e n td a t ai sn o ts t a b l ed u e t ot h el i m i t a t i o n so f t h e s i n g l e s y s t e m m a n u a ld e f i n i t i o no f t h ew e i g h ti nt h ee x p e r tn e t w o r ki sn o te f f e c t i v ea n d h a sb a d p e r t i n e n c y t h ed a t aa r et r a i n e dt h r o u g hd i f f e r e n te x p e r tn e t w o r k sa n d t h eo u t p u t so f t h e ma r ec o m b i n e dw i t hw e i g h ta st h ef i n a lr e s u l t t h ew e i g h t sh a v et ob e e nd e f i n e d m a n u a l l y a n dh a v en o t h i n gt od ow i t ht h es a m p l ed a t a w h e t h e rt h e i rv a l u e sa r es i m i l a r o rt h ec o m b i n a t i o nm e t h o di sn o tr e a s o n a b l ew i l lb r i n ga b o u tt h ew e a kr e s u l t i no r d e rt or e s o l v et h e s ep r o b l e m s ，t h i sp a p e rp r o p o s e sm i x t u r eo f e x p e r t s ( m o e ) a p p r o a c h f o re v e r y s e to f s a m p l ed a t a , m o ea p p r o a c hu s eg a t i n gn e t w o r kt o a u t o m a t i c a l l yg e n e r a t es e v e r a lc l u s t e r s ，f i n dt h e i rc e n t e ra n dt h e nc a l c u l a t et h ew e i g h to f e v e r ys a m p l ed a t af o re v e r yc l u s t e r a f t e rt h a t ，e x p e r tn e t w o r kt r a i n st h e mt ot e s t b a s e do nm o e a p p r o a c h t h i sp a p e rd e s i g n sa n d r e a l i z e sam o d u l a rf u z z ym i x t u r eo f e x p e r t sa n dam o d u l a rs u p p o r tv e c t o rm i x t u r eo f e x p e r t s f o rt h es a n l es a m p l ed a t a , m f m o ea n dm s v m o e i m p l e m e n tt h ef u n c t i o no f g a t i n gn e t w o r kt h r o u g hf c m a n d s v cr e s p e c t i v e l y m f m o ed e p e n d so nt h en u m b e ro f s a m p l ed a t aa n di n i t i a lv a l u e ；t h e c l u s t e rn u m b e rn e e d st ob ed e f i n e di na d v a n c e ；t h ef i g u r eo f c l u s t e ri sh y p e r s p h e r e ；t h e 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 s i z eo f e v e r yc l u s t e ri sa l m o s te q u a l s ot h i sp a p e rt r i e st ou $ em s v m o et os o l v et h e s e p r o b l e m sa n di m p r o v et h es y s t e m k e yw o r d s ：m i x t u r eo f e x p e r t s ，c o m m i t t e em a c h i n e s , n e u r a ln e t w o r k , g a t i n gn e t w o r k , f u z z yc - m e a n s ，s u p p o r tv e c t o rc l u s t e r i n g 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果。据我所知，除文中已经注明弓i 用的内容外，本论文 不包舍其他个人已经发表或撰写过的研究成果。对本文的研究做出重 要贡献的个人和集体，均已在文中作了明确说明并表示谢意。 作者签名：豆包l 日期：主犁 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定。学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版。有权耨学位论文用于葬赢利目的的少复制并允许论 文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进 行检索。有权耨学位论文的标题和摘要汇编出版。保密的学位论文在 解密后适用本规定。 导师签名： 生 、彳 型 潘洱 名 瞻 辚 谰 截 日 作文论位学 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 1 1 研究背景 第l 章引言 现代计算机具有强大的计算和信息处理能力，但是它在复杂情况下的决策能 力远远不如生物系统。目前，已有很多学科分别从不同角度，以不同途径试图研 究和揭示这当中的奥秘，并且希望用计算机实现一个具有感知、识别、理解、自 学习和自适应能力的灵活和智能的计算机。 最近几十年来，以人工神经网络、模糊逻辑、遗传免疫算法、支持向量机、 小波分析，以及经典的统计学方法为代表的智能计算方法得到了广泛研究，取得 了大量理论和方法上的成果，并且在故障诊断、容错计算、图像处理、数据挖掘 和信号与信息处理等领域得到了成功应用【l 羽。这些计算方法各有优劣，在不同 领域、不同场合，可能得到完全不同的效果。针对这种情况，有很多研究者致力 于将具有优势互补性能的方法结合起来，形成更健壮、更强大的新方法。例如， 模糊神经网络就是模糊逻辑和神经网络结合的产物。但是，不管是单一的模型， 还是优势互补的结合，都不可避免地朝着更加复杂、具有更多不确定因素的方向 发展。 1 9 6 5 年，n i l s s o n 首次提出了委员会机器( c o m m i t t e em a e h i n e s ) l 约概t o j ，即， 由好几位委员组成，按照某些特定的方式组合各个委员的意见进行决策。委员会 机器包含了模块化( m o d u l a r ) 和集成( e n s e m b l e ) 两层含义。模块化是指将一个任务 分割成多个不同的子任务，并交给不同的委员处理，把委员们各自的处理结果综 合起来形成最终决策；集成是指每个委员都对同一任务提供一种解决方案，最终 将所有的解决方案融合。然而，模块化和集成并不互斥，即，它们通常是共存的 【7 j 。在中文文献中，人们通常把模块化和集成的思想统统归结为集成思想。最具 代表性的例子就是神经网络集成嘲。 1 9 6 5 年，美国控制论专家加利福尼亚大学教授l a z a d e h 首先提出了模糊数 学的理论方法，并且该理论方法已在自然科学和社会科学的许多领域中得到了广 泛的应用。从8 0 年代后期开始，具有自适应学习的和非线性映射等多种优良性 能的人工神经网络方法，在众多学科领域中得到了广泛的应用研究，成为多学科 的竞争热点。 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 1 9 6 3 年，v a p n i k 在解决模式识别问题时提出了支持向量方法，这种方法从 训练集中选择一组特征子集，使得对特征子集的划分等价于对整个数据集的划 分，这组特征子集就被称为支持向量( s v ) 。1 9 7 1 年k i m e l d o r f 提出使用线性不等 约束重新构造s v 的核空间，解决了一部分线性不可分问题。1 9 9 0 年g r a c e ，b o s e r 和v a p n i k 等人开始对一种基于统计学习理论的模式识别方法s v m 进行研究，并 在c o l t - 9 2 上统计学习理论的模式识别方法s v m 进行研究，并在c o l t - 9 2 上 首次提出，从此迅速的发展起来，现在已经在许多领域( 生物信息学，文本和手 写识别等) 都取得了成功的应用。 1 2 研究难点及研究现状 1 2 1 研究难点 在面临大量相关性未知的预测因子时，如何进行有效选取? 预测因子的有效 选取，一方面影响着专家混合系统模型的复杂度和计算复杂度；另一方面还影响 着整个模型的预测精度。 对训练样本的分割、分配及结论组合问题。训练样本集的分割通常是根据预 测因子来分的，涉及的问题很多，例如：类别规模不一致、类别数不确定、类别 形状及复杂程度未知、低维数据与高维数据分类准确率存在差别、低密度与高密 度数据的差别，以及样本量不足和样本量充足等等。另外，即使根据预测因子进 行了准确划分，被划入同一类的样本的实况值也有可能不属于同一类。 采用何种专家网络? 由于样本的复杂程度是未知的，导致无法预先确定专家 网络的复杂度；由于委员会机器可以使多个弱学习机完成单个强学习机的任务， “弱”到何种程度可以使模型性能达到最佳。 1 2 2 研究现状 专家混合系统是委员会机器的分支，对委员会机器的研究热潮开始于2 0 世 纪9 0 年代中期，到现在为止，该领域内的研究和应用仍非常活跃。使用委员会 机器的优势可以概括为四点【9 】： l 、使用委员会机器可以充分利用同一个问题的多种解决方法或计算模型，建立 多种计算方法组合的统一模型，从更高层次上管理多种方法的结合问韪： 2 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 2 、由于单个委员模型的误差可以起到相互抵消作用，委员会机器可以取得单个 委员无法取得的较小误差； 3 、当要处理的问题很复杂时，单个委员无法处理，而需要用到多个委员模型； 此时可以采用模块化思想，将任务分割成众多子任务，然后把特定的子任务分配 给特定的委员。这种形式常常为人们所乐意接受，因为它使得整个模型及其工作 过程更易于理解； 4 、使用委员会机器可以降低计算复杂度。对于一个学习机而言，如果只能保证 学习后的测试误差只比随机猜测略小，则称该学习机为弱学习机；反之，若可以 轻易对任意样本集取得很小的测试误差，则该学习机便是强可学习的。相比之下， 弱学习机的结构和学习算法要比强学习机简单许多，因此其计算复杂度也远低于 强学习机。在委员会机器模型中，只需使用弱学习机来执行委员的任务，通过将 其组合来完成只有强学习机可以完成，甚至连强学习机都无法单独完成的任务。 然而，由于整个委员会的计算复杂度只跟弱学习机的线性增加相关，因此可以降 低整体计算复杂度。 委员会机器大体可以分成两大类，结果组合器不直接利用输入样本的称之为 静态结构；结果组合器直接利用输入样本的称之为动态结构【1 0 1 。 1 2 3 静态结构 静态结构中较具代表性的有a v e r a g i n g ，b o o s t i n g 和b a g g i n g 。如图1 1 ，结 果组合器不直接利用输入样本，自定义相关组合规则。样本数据依照不同的规则 被分配输入到不同的专家网络中，各个专家网络通过训练输入样本得到输出结 果，结果组合器组合各个专家网络的输出得到最终结果。 睾亭毒争 攀孑伊 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 1 a v e r a g i n g a v e r a g i n g 结构由多个专家网络组成，各专家的输出值经过简单加权平均后 得到最终输出。如图1 2 所示，通过专家网络得到线性输出，该组合器的功能是 加权平均。该模型的优点是较稳定，即，训练集有较小的变化，学习的结果不会 有较大变化。而该模型的缺点是，各专家使用相同的样本进行训练，可能因初始 条件的不同导致训练后网络的差异。 i n p u t x ( p ) l e x p e r t 1 l 。 c o m b i n e r ll 耽( p )o u t p u t i e x p e r t 2 l y l e x p e r t ci 州w - 2 b o o s t i n g 圈1 2a v e r a g i n g b o o s t i n g 算法需要对不同学习机、使用不同训练集进行训练。学习机1 首 先对样本集进行训练，学习机2 获得的样本集是学习机l 难以学习的，而学习机 c 获得的样本集是学习机l 和2 均难以学习的，以此类推。通过这种方法，“弱” 学习机可以被提高( b o o s t e d ) 0 0 为“强”学习机。然而，该方法易出现过拟合现象， 不太稳定。1 9 9 5 年f r e t m d 和s c h a p i r c 1 l j 提出a d a b o o s t 方法对传统b o o s t i n g 方法 作了改进，成为当前b o o s t i n g 方法的主流。 4 华东师范大学计算机科学技术系2 0 0 7 年顼士毕业论文 3 b a g g i n g 丁l i i im a c h i n e1i j m 础m 。2i 谳錾 。置 m a c h i n ec 7 v 鬻 i c o m b i n e r 爹 o u t p u t y 圈1 3b o o m i n g b a g g i n g 方法实际上是对a v e r a g i n g 结构的改进。在a v e r a g i n g 中，各专家网 络使用相同的输入样本，这将导致训练完的各专家网络差异度不大。b a g g i n g 方 法允许各专家网络随机获得输入样本集，以增加各专家网络间的差异度，从而提 高整个委员会机器的稳定性。 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 够。 b 。d i f f e r e n tc l a s s i t i e rr o o d e k f c 幻n _ i b i n w 够。 d 。d i 融e n tt r a i n i n gs e t * 1 2 4 动态结构 图1 5 不同组合模型的方案 动态结构中较具代表性的有专家混合系统( m i x t u r eo f e x p e r t s ) 和递阶专家混 合系统( h i e r a r c h i c a lm i x t u r eo f e x p e r t s ) 。 圈1 6 动态结构 6 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 i m i x t u r eo f e x p e r t s ( m o e ) 专家混合系统由专家网络和门网络组成，各专家网络在输入空间的一个子集 上拟合各自的目标函数，门网络则用于学习并决定当前的输入最适合哪个专家网 络，或者是对各专家网络的适合程度盼。各专家网络的混合可以将空间分割开 来，因此由简单专家组成的委员会可以解决对单个专家来说很复杂的问题。 图1 7m i x t u r eo f e x p e r t s 2 h i e r a r c h i c a lm i x t u r eo f e x p e r t s ( h m e ) 如果专家混合系统中的专家网络本身可以是专家混合系统，则实现了专家混 合系统的嵌套，我们称之为递阶专家混合系统【1 2 1 。递阶专家混合系统可用于解决 更复杂的问题。 7 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 1 3 论文主要工作 对于专家混合系统来说，其中最关键的一步是对门网络的选择进行多种尝试 和比较。本文的主要工作就是尝试了支持向量聚类作为门网络，并对用模糊c 均值聚类作为门网络的模型进行改进。基于m o e 方法，设计实现了基于模糊c 均值聚类的专家混合系统m f m o e 和基于支持向量聚类的专家混合系统 m s v m o e 。对于每一组样本数据，m f m o e 和m s v m o e 分别通过模糊c 均值聚 类和支持向量聚类实现门网络的功能。而m f m o e 依赖样本数；聚类数需人为确 定；聚类形状为超球体；各类中的样本数相差不多；另外，它是启发式算法，受 初值影响较大。因为s v c 对小样本效果较好，聚类数目自动生成，聚类形状可 为不规则，各类中的样本数也能根据实际情况产生差别，无须定义初始中心，所 以本文尝试用m s v m o e 改进解决这些问题，改进m f m o e 。 1 4 论文章节安排 本文内容的章节安排如下： 第一章为引言。主要介绍论文研究的背景和必要性，并分析研究难点及研究 现状，明确论文的主要研究内容。 8 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 第二章对专家网络进行介绍，它们是专家混合系统不可或缺的部分。 第三章提出新的模型，带有模糊c 均值的专家混合系统，阐述它的原理并 且实现它的模型。 第四章对上一个模型的优缺点进行分析概括，提出新的模型，带有支持向量 机的专家混合系统，阐述它的原理并且实现它的模型。 第五章实现两个模型的系统，用样本数据对模型进行检验，分析产生结果并 进行对比，分析模型的优缺点。 第六章总结了论文的研究工作，指出了进一步的工作。 9 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 第2 章专家网络 可以作为专家网络的算法很多，本文中选用的训练算法为神经网络，此章介 绍一些神经网络的相关知识例【3 2 】。 2 1 神经元模型和网络结构 2 1 1 神经元模型 一个神经元由输入、运算体和输出构成。其中，输入部分为神经元的外部输 入，一般是一个向量；运算体部分对输入部分进行处理，包括求加权和、将加权 和输入传递函数进行处理等；神经元的输出取决于神经元的输入和传递函数。 图2 1 汹是一个含一个标量输入、无阈值的最简单的神经元。标量输入p 通 过一个结点和标量权w 相乘得标量乘积刀= w p ；玎又作为传递函数厂的唯一自变 量，传递函数厂产生了神经元的唯一标量输出口= 厂( w p ) 。 图2 1 ( b ) 比( a ) 多了一个阈值b 。很多时候，人们把这个阈值b 看作是与固定 输入1 相对应的权。在结点处，阈值和加权输入求和得甩= w p + 6 。因此，神经 元输出为口= f ( w p + 6 ) 。 p 山山 p q = 吣癜 ( a ) 含阈值单输入神经元 、咿 i u b 口= f ( w p + b ) 0 3 ) 含阈值单输入神经元 田2 1 单输入神经元 可见，有阈值神经元中b = 0 时表现为无阈值神经元。 传递函数厂通常是阶跃( h a r d - l i m i t ) i 甬数或s 形( s i g m o i d ) 函数等。 值得注意的是神经元的权w 和阈值b 都是可以调整的量，丽神经网络的基本 思想就是调整这些参数，使网络能够产生各种不同的效果。这样，我们就可以训 练网络，让它通过调整权和阈值来完成人们感兴趣的工作。事实上，对这些参数 的调整，我们可以通过算法让网络自动完成。 在神经元中起重要作用的传递函数( t r a n s f e rf u n c t i o n ) 在有的书上被称为激 活函数、激励函数、作用函数、转移函数、传输函数或限幅函数等，其作用是对 1 0 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 输入进行函数映射，从而产生输出。传递函数是神经元功能的核心，由大量神经 元组成的神经网络的功效除了和网络结构相关外，在很大程度上还取决于所选取 的传递函数。 最常用的传递函数有阶跃( h a r d - l i m i t ) i 承i 数、纯线性( p u r e - l i n e a r ) 函数和对数 s 形( l o g a r i t h m i c - s i g m o i d ) 函数三种( 图2 2 ) 。 口4 口 + l o 一 1 。 o 一 1 口= 栉 ( b ) 纯线性函数 圈2 2 三种常用的传递函数 + l 一， 一 o 7 1 1 l + e 一” ( c 对数s 形函数 阶跃函数将输出限制为0 或l 。应用于感知器网络的决策分类。其函数关系 为： f l 押0 舻1 0 栉 = ，x 伍) 一咤； ) ( 2 3 6 ) b p 算法和l m s 算法一样，是一种梯度下降算法，b p 算法是l m s 算法在网 络层数和传递函数上的推广。 下面我们针对第，层、第j 7 个神经元对应第，一1 层、第s 。1 个神经元输出的权 以，。( 如图2 2 2 ) 作权更新推导。 权更新总体框架为 误差函数 梯度 第 l 层第z 层 瓜犷 南勘护，。眈) 影法 i l lz 2 2 权叫一在同络中的位置 以 + 1 ) = 嵋“ ) 一q g j 一。 ) ( 2 3 7 ) 。：曼也一砟y j - l g i 2 弼0 e j ( 2 ，3 8 ) 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 在l m s 算法中，由于线性网络只含一层神经元，而且采用恒等线性函数作 为传递函数，e 很容易表示成w 的函数，因此梯度g 很容易求出。 但在多层网络中，误差p 和第z 层的彬一似乎很难建立关系，也许正因为如 此，在l m s 算法对单层线性网络取得巨大成功之后数十年，b p 算法才被发现推 广。 借助中间量加权和栉：，根据链规则 l - = 可a e 杀l 叫。) 通常，我们令 6 ：= 熹 ( 2 3 1 1 ) 而 a 玎7 ， 二l = = a w l f 一鲫f f n a 嵋 ( 2 3 1 2 ) = a z 将式( 2 3 1i ) ( 2 3 1 2 ) 代入( 2 3 1 0 ) ，梯度可表示为 g ；，。= 6 啦 ( 2 3 1 3 ) 6 ；。的计算过程实际上是一个逐层递推过程。最初，容易计算第f = l 层的 5 ，然后利用6 来计算6 “，以此类推。因此，下面我们分两步来推导： 当，= 上时 借助中问量口三，根据链规则 s 三= 毒= 毒，篆 而 鲁：鹫掣吨刊：匆 a a ；a 口； ” 篆= 掣妒嘭) 将式( 2 3 1 5 ) ( 2 3 1 6 ) 代入( 2 3 1 4 ) ，则 6 三= 以。广晦) ( 2 3 1 5 ) ( 2 3 1 6 ) 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 当， 工时 s ? = 寿= 可a e ，薏 ( 2 s - 8 ) 在羞 中，需借助中间量第，+ 1 只的加权和蟛，而在第“l 层中，每个神经 元的加权和疗都将涉及到衫，即 协，+ l 协一，t ，蜗：斗1 x m 7 z ，“：蓑坛a 小啦 ( 2 3 1 9 ) 故 旦一旦一笙。一丝堂 彬酬“嘭1 。蟛嘭 榔茹5 齑 = 薹。b 等 = 差活蟛 毒= 差鼢蟛)锄j 危“1 v 7 再查看式( 2 3 1 8 ) 中的薯， 等= 掣) 锄。f锄。， 。、“ 将式( 2 3 2 1 ) ( 2 3 2 2 ) 代入( 2 3 1 8 ) ，则 s j ：f 霎也啊i + i 归) l 一“i l， 综合上述推导，b p 算法的推导过程可以归结为 w ：v 。传+ 1 ) = 以。 ) 一a 6 j ，。i - i 其中， f一知，7 ) l = l 6 j 一2 恽橛咏一归髟) k i t i， 特别地，当，= 1 时，a h 指网络外部输入p ，图2 2 3 为权更新流程。 ( 2 3 2 0 ) 、 利用 继续 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 图2 1 3b p 网络权值更新过程 l 层 6 华东师范大学计算枫科学技术系2 0 0 7 年硕士毕业论文 第3 章模块化模糊专家混合系统 m f m o e ) 静态结构的专家混合系统不直接利用输入样本，而使用带有简单规则的组合 器来重组各个专家系统的输出以确定最终输出结果。例如，a v e r a g i n g 结构的组 合器规则就是简单的加权平均，权值在训练过程中为静态数值【1 9 1 。 这种规则一般太过简单，或过于主观不够科学的分配各个专家系统得权重， 因此一般只能对变化较小的样本有较好的效果。但是现实世界中得到的样本往往 变化较大，静态结构的专家混合系统显然有些力不从心。 针对该问题，在这一章，我们提出了一种模块化模糊专家混合系统( m o d u l a r f u z z ym i x t u r eo f e x p e r t s 。m f m o e ) 。m f m o e 方法不仅可以状态间大幅度地转换， 又能在状态内部小范围内具有较高的拟合精度。主要工作是先利用模糊聚类方法 将样本粗分类，取得该样本对该类的相关程度，然后利用专家网络进行下一步的 细致拟会。 3 1 f u z z yc - m e a n s f u z z yc - m e a n s 算法是一种基于划分的聚类算法，它的思想就是使得被划分 到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。模糊c 均值算 法是普通c 均值算法的改进，普通c 均值算法对于数据的划分是硬性的，而f c m 是一种柔性的模糊划分“6 1 。在介绍f c m 之前先介绍一些模糊集合的基本知识。 3 。1 1 模糊集基本知识 首先说明隶属度函数的概念。隶属度函数是表示一个对象x 隶属于集合彳的 程度的函数，通常记做o ) ，其自变量范围是所有可能属于集合a 的对象( 即 集合彳所在空间中的所有点) ，取值范围是【o ，l 】，即0 s 儿g ) 1 。g ) = l 表示 工完全隶属于集合a ，相当于传统集合概念上的毒a 。一个定义在空间x = & l 上的隶属度函数就定义了一个模糊集合a ，或者叫定义在论域x = 缸 上的模糊 子集彳。对于有限个对象而，如，x n 模糊集合可以表示为： a = ( p b 。j x j j lx ，x j ( 3 1 1 ) 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 有了模糊集合的概念，一个元素隶属于模糊集合就不是硬性的了，在聚类的 问题中，可以把聚类生成的簇看成模糊集合，因此，每个样本点隶属于簇的隶属 度就是【o ，1 】区间里面的值。 3 1 2k 均值聚类 k 均值聚类，即众所周知的c 均值聚类，已经应用到各种领域。它的核心 思想如下：算法把n 和向量x ，( 1 ，2 ，行) 分为c 个组q o = 1 , 2 ，甩) ，并求每组的 聚类中心，使得每组非相似性( 或距离) 指标的价值函数( 或目标函数) 达到最小。 当选择欧几里德距离为组_ ，中向量黾与相应聚类中心q 间的非相似性指标时，价 值函数可定义为： j _ - 妻以：窆f 慨一q 州 ( 3 1 国 这里= 忙。一q 旷是组f 内的价值函数。这样以的值依赖于q 的几何特 性和c 的位置。 一般来说，可用一个通用距离函数d k ，q ) 代替组i 中的向量坼，则相应的 总价值函数可以表示为： ，= 以= j d k q ) i ( 3 1 t 3 ) 1 5 l f 。l i ，h e g f 为简单起见，这里用欧几里德距离作为向量的非相似指标，且总的价值函数 表示为( 3 1 2 ) 式。 划分过的组一般用一个c 行的二维隶属矩阵u 来定义。如果第，个数据点x ， 属于组i ，则u 中的元素为1 ；否则该元素取0 。一旦确定聚类中心c ，可导 出如下使( 3 1 2 ) 式最小蜥： 驴器对每似f ，如蕊q - - c k 0 2 叫， 重申一点，如果c 。是x ，的最近的聚类中心，那么石，属于组f 。由于一个给定 数据只能属于一个组，所以隶属矩阵u 具有如下性质： = l ， w = l ，疗 ( 3 1 5 ) 且 吻= 力 ( 3 1 6 ) 另一方面，如果固定则使( 3 1 2 ) 式最小的最佳聚类中心就是组i 中所有向 量的均值： 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 铲而1 。娶 ( 3 i 7 ) 这里i q i 是q 的规则或b i = 。 1 - 1 下面给出数据集x ，( 1 ，2 ，拴) 的k 均值算法：该算法重复使用下列步骤，确 定聚类中心a 和隶属矩阵u ： 步骤1 ；初始化聚类中心c ，f = l ，c 。典型的做法是从所有数据点中入取c 个点。 步骤2 ：用( 3 1 4 ) 式确定隶属矩阵u 。 步骤3 ：根据( 3 1 2 ) 式计算价值函数。如果它小于某个确定的阀值，或者它 相对于上次价值函数的改变量小于某个阀值，则算法停止。 步骤4 ：根据( 3 1 5 ) 式修正聚类中心。返回步骤2 。 该算法本身是迭代的，且不能确保它收敛于最优解。k 均值算法的性能依赖 于聚类中心的初始位置。所以，为了使它可取，要么用一些前端方法求好的初始 聚类中心；要么每次用不同的聚类中心，将该算法运行多次。此外，上述算法仅 仅是一种代表的方法；我们还可以先初始化一个任意的隶属矩阵，然后再执行迭 代过程。 3 1 3 模糊c 均值聚类 模糊c 均值聚类( f c m ) ，即众所周知的模糊i s o d a t a ，是用隶属度确定每 个数据点属于某个聚类的程度的一种聚类算法1 1 7 】【1 8 】。1 9 7 3 年，b e z a d e k 提出了 该算法，作为早期硬c 均值聚类( i - i c m ) 方法的一种改进。 f c m 把n 个向量一( 1 ，2 ，刀) 分为c 个模糊组，并求每组的聚类中心，使得非 相似性指标的价值函数达到最小。f c m 与h c m 的主要区别在于f c m 用模糊划 分，使得每个给定数据点用值在0 ，1 间的隶属度来确定其属于各个组的程度。 与引入模糊划分相适应，隶属矩阵u 允许有取值在0 ，l 问的元素。不过，加上 归一化规定，一个数据集的隶属度的总和等于1 ： = l ， w = l ，以( 3 1 8 ) 那么，f c m 的价值函数( 或目标函数) 就是( 3 2 ) 式的一般化形式： “y ，c r ，吱) = 以= 吆m “。2 ( 3 1 9 ) 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 这里介于0 ，1 间；q 为模糊组i 的聚类中心，d u = 忙一_ l 为第1 个聚类中心 与第歹个数据点问的欧凡里德距离；且辨车【1 ，* ) 是一个加权指数。 构造如下新的目标函数，可求得使( 3 1 9 ) 式达到最小值的必要条件： 了移，c l - _ ，q ，五，以) = 巾 ，c o ) + 氛f 窆一1 1 。 。产? 。、5 1 、7 ( 3 1 1 0 ) = 打绷+ 乃l 一l i j = l jj 2 it = l 这里乃，j = l 到n ，是( 3 1 8 ) 式得n 个约束式的拉格朗日乘子。对所有出入参量 求导，使( 3 1 9 ) 式达到最小的必要条件： 和 “；o c t = “孑 - i p 。丽 ( 3 1 11 ) ( 3 1 1 2 ) 由上述两个必要条件，模糊c 均值聚类算法是一个迭代过程。在运行时， f c m 用下列步骤确定聚类中心c 和隶属矩阵u ： 步骤1 ：用值在0 ，1 问的随机数初始化隶属矩阵u ，使其满足( 3 1 8 ) 式中的 约束条件。 步骤2 ：用( 3 1 1 1 ) 式计算c 个聚类中心q ，i = 1 ，c 。 步骤3 ：根据( 3 1 9 ) 式计算价值函数。如果它小于某个确定的阀值，或者它 相对于上次价值函数的改变量小于某个阀值，则算法停止。 步骤4 ：根据( 3 1 1 2 ) 式计算新的u 矩阵。返回步骤2 。 上述算法也可以先初始化聚类中心，然后再执行迭代过程。由于不能确保 f c m 收敛于一个最优解。算法的性能依赖于初始聚类中心。因此，我们要么用 另外的快速算法确定初始聚类中心；要么每次用不同的初始聚类中心启动该算 法，多次运行f c m 。 华东筛苑大学计算视科学技术系2 0 0 7 年硕士毕业论文 3 2 m f m o e 建模 介绍了f u z z y c = m 咖s 以后，我们就可以用它作为门网络。门网络是专家混 合系统中的重要一环，它与专家网络一起组成了专家混合系统，是动态型的委员 会机器的一个重要标示【2 ”。使用f u z z yc m e a n s 作为门网络的专家混合系统，我 们就称为模块化模糊专家混合系统( m f m o e ) 。 3 2 1 模型基本框架 设x = 目r ，飒。吼为p 维特征空间中的q 个样 本，其中表示第g 个样本。f = 。t ：白r 为q 个样本对应的标准值。 系统对样本q 的总体预报输出表达式为( 为清晰起见，以下隶属度用代替 上面的) 儿= 艺以 。) ( 3 2 1 ) 其中，c 为类别数，段，。为样本g 对类别c 的隶属度，对应的是门网络的输出， 它对应的是模糊系统；畋。是类别c 对应的单个专家网络的输出，它对应的是专 家网络系统。每个求和项是组合器规则，取得的是该类对该专家混合系统最终输 出值的贡献量( 如图3 1 ) 。 口i ，g 口2 口 口c ，q 图3 1 模块化模糊专家混合系统总体结构 以下两小节将分别介绍模糊系统训练过程和专家网络系统训练过程。 3 2 2 模糊系统训练过程 3 2 2 1 模糊c 均值系统训练过程 如3 1 3 节介绍，我们建立目标函数： 华东师范大学计算机科学技术系2 0 0 7 年硕士毕业论文 m j n 以：壹兰心吐。： c iq z l 盯儿 = 1 z = 厶+ 蓦 _ ( 蓦敝。一，) 求善生：o 即可以得到： o u c 4 吒2 专