（交通信息工程及控制专业论文）基于多分类器神经网络集成的手写体数字识别.pdf

h a n d w r i t t e nd i g i tr e c o g n i t i o nb a s e do nn e u r a l c o m b i n a t i o no fm u l t i p l ec l a s s i f i e r s d i s s e r t a t i o ns u b m i t t e dt o d a l i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g b y t a n gw e i d o n g ( t r a f f i ci n f o r m a t i o ne n g i n e e r i n g & c o n t r 0 1 ) d i s s e r t a t i o ns u p e r v i s o r ：p r o f e s s o rj i ac h u a n y i n g f e b 2 0 0 6 y 85 5 7 7 8 学位论文 基于多分类器神经网络集成的手写体数字迟型 ( 题目) 唐卫东 ( 作者姓名) 指导教师 贾传荧教授 申请学位级别工学硕士 专业名称 交通信息工程及控制 学位授早单位大连海事大学 2 0 0 6 年3 月 摘要 存模式识别领域，不同的分类算法常常得到不同的分类性能，但是没有一辛p 分类算法能对所有的应用都能取得良好的结果，甚至，没有种分类尊法能对原 始对象的所有模式都能取得良好的结果。因此，分类器集成逐渐成为模式识别领 域中的热点问题之一。 多分类器集成方案设计主要涉及两个问题：( 1 ) 分量( 单) 分类器集合的选择， ( 2 ) 系统设计。在分量分类器集合的选择时，应该确保集合内的各分类器之问的相 关性尽量小，由于目前在分量分类器之间的相关性确定方面尚没有严格的 警论指 导，本文重点讨论了单分类器集合的优化。在系统设计方面主要考虑系统的结构 设计和集成算法的选择和确定，因而本文讨沦了多种系统结构和多种集成算法， 以及这些算法选择的优化。 由于各分类器之间的相关性确定尚没有严格理论指导，本文选择学刊能力强 的b p 神经网络作为集成器进行手写体数字识别研究。鉴于b p 神经网络存在些 不足，探讨了b p 神经网络的不足点及相应的改进方法。手写体数宁识别选择 m n i s t 手写体字库，结果表明：相对于单分类器，多分类器集成的识别率有了良 好的改善：b p 神经网络作为集成器有较强的提取各分量分类器之1 相互关系的能 力，并有良好的推广能力。 关键词：多分类器簟成；阴神缝圈络；手写体数字派别；模式识别 a b s t r a c t i nt h ef i e l do fp a t t e r nr e c o g n i t i o n ，d i f f e r e n tc l a s s i f y i n ga l g o r i t h m sa l w a y sl e a dt o d i f f e r e n tp e r f o r m a n c eo fc l a s s i f y i n g ，b u tn oo n e c a nl e a dt og o o dp e r f o r m a n c e | b ra l l a p p l i c a t i o n s ，e v e nf o ra l lt h ep a t t e r n so ft h eo r i g i n a lo b j e c t s a sar e s u l t ，c o m b i n a t i o no f c l a s s i f i e r sb e c o m e so n eo f t h ea t t e n t i o n si np a t t e mr e c o g n i t i o n t h ed e s i g no fm u l t i - c l a s s i f i e rs y s t e mm a i n l yr e f e r st ot w op r o b l e m s ：( 1 ) c l a s s i f i e r c o l l e c t i o n ，( 2 ) s y s t e md e s i g n w h e nc h o o s i n gc l a s s i f i e r s ，m a k es u r et h a tt h er e l a t i o n s h i p b e t w e e ne a c ht w oc l a s s i f i e r si ss m a l le n o u g h t h i sp a p e rd i s c u s s e so p t i m i z i n go f c l a s s i f i e rc o l l e c t i o n ，a sl a c ko ft h e o r e t i cg u i d ei nt h es e l e c t i o no fc l a s s i f i e r sw h e n t a k i n gs y s t e md e s i g ni n t oa c c o u n t ，t h i sp a p e rd i s c u s s e ss e v e r a ls y s t e ma r c h i t e c t u r e sa n d c o m b i n i n gm e t h o d s ，a sw e l la st h e i ro p t i m i z i n g d u et ob pn e u r a ln e t w o r k sh i 曲a b i l i t yo fl e a r n i n g ，i ti sc h o s e na sc o m b i n a t o ri n t h eh a n d w r i t t e nd i g i tr e c o g n i t i o no ft h i sp a p e r , a st h e r ei sn o tt h e o r e t i cg u i d ei nd e c i d i n g t h er e l a t i o n s h i pb e t w e e ne a c ht w oc l a s s i f i e r s ，d u et ot h ed e f e c t so fb p , i m p r o v i n g m e t h o d sa r eg i v e ni nt h i sp a p e r w h e nr e c o g n i z i n gh a n d w r i t t e nd i g i t s ，t h ed a t ab a s eo f m n i s ti sc h o s e n ，a n dt h er e s u l t si n d i c a t et h a tt h er a t eo fr e c o g n i t i o nb yc o m b i n a t i o no f c l a s s i f i e r si sm u c hb e t t e rw h e nc o m p a r e dt os i n g l ec l a s s i f i e r m o r e o v e r , b pn e u r a l n e t w o r kc a l le x t r a c tt h er e l a t i o n s h i po fc l a s s i f i e r s ，a n dh a sf a v o r a b l ea b i l i t yo f g e n e r a t i o n k e yw o r d s ：c o m b i n a t i o no fc l a s s i f i e r s ；b pn e u r a ln e t w o r k ；h a n d w r i t t e nd i g i t r e c o g n i t i o n ；p a t t e r nr e c o g n i t i o n 大连海事大学学位论文原创性声明和使用授权说明 甄创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博士硕士学位论文 ：基王多岔耋登盘丝圜垒塞盛的壬兰住数主立! 型：。 除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体 已经公开发表或未公开发表的成果。 本声明的法律责任由本人承担。 、 敝储戤：孕撕、 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位论 文的复印件和电子舨，允许论文被查阅和借阅。本人授权大违海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于：保密口 不保密口( 请在以上方框内打“”) 论文作者签名：导师签名 唧彳棠 门期：州年j 月多。同 第1 章绪论 1 1 课题研究背景 实现人类能力在计算机上的模拟，使计算机具有视、听、触等感知外部世界 的能力，是人类长期不懈追求的目标。随着i i 十年代计算机的出现和信号处理技 术的不断发展，人工智能的研究迅速发展为研究领域的热点之一。 模式识别作为人工智能的一个重要研究领域，随着人1 智能的发艘，其研究 也越来越引起人们的注意。特别是在近几十年来，随着计算机硬件的迅速发展、 计算机应用领域的不断拓宽以及现代数字信号处理技术的突飞猛进，急切地要求 计算机能更有效地感知诸如声音、文字、图像等人类信息材料。而计算机对外部 感知能力的低下，成为开拓计算机应用的瓶颈，也与其高速的运算能力形成强烈 的对比。因此，着眼于拓宽计算机的应用领域，提高其感知外部信息能力的学科一 模式识别得到了迅速发展，许多研究成果在实际中也得到了很好的应用，如联机 汉字识别技术、语音识别技术等。随着社会经济的发展和科学技术的不断革新， 模式识别的应用领域不断拓宽，同时对模式识别研究提出了更高的要求，因此对 模式识别的研究有待于进一步深入。 手写体数字识别是模式识别中的热点问题之。它的深入研究有利予推动模式 识别的发展，因为手写体数字种类少( 只有l o 种) ，笔画简单，便于各种模式识别 方法的研究和测试。它的广泛应用能带来良好的经济效益和社会效益，如邮政编 码的自动识别和邮件的自动分类、统计报表和财务报表的自动化生成以及银行票 据自动处理等。 1 2 模式识别概述 模式识别是人类的一颈基本智链，在r 常生活中，人们经常在进行“模式识 别”。随着2 0 世纪4 0 年代计算机的出现以及5 0 年代人工智能的兴超，人们当然 也希望能用计算机来代替或扩展人类的部分脑力劳动。( 计算机) 模式识别在2 0 世 纪6 0 年代初迅速发展并成为一门新学科。 什么是模式和模式识别? 对象( 或样本) 被表示成适当的形式，以便对它们进行 处理，这种表示形式就称为模式( p a t t e r n ) ，而模式识别( p a t t e r nr e c o g n i t i o n ) 是门 研究对象描述和分类方法的科学i “， 模式识别的研究主要集中在两个方面，即研究生物体( 包括人) 是如何憋知对象 的，以及在给定的任务下。如何用计算机实现模式识别的理论和方法。前者楚4 ： 理学家、心理学家、生物学家、神经生理学家的研究内容，属于认知科学的范畴： 后者通过数学家、信息学专家和计算机科学】作者近几十年来的努力，已经取得 了系统的研究成果。 一个计算机模式识别系统基本上是由三个相互关联而又有明显区别的过程组 成的，即数据生成、模式分析和模式分类，如图1 1 所示。数据生成是将输入模式 的原始信息转换为向量，成为计算机易于处理的形式。模式分祈是对数据进行加 工，包括特征选择、特征提取、数据维数压缩和确定可能存在的类别等。模式分 类则是利用模式分析所获得的信息，对识别系统进行训练，从而制定判别标准， 以期对待识别模式进行分类。 图ll 模式识别框图 f i g i 1a r c h i t e c t u r eo f p a t t e r nr e c o g n i t i o n 随着模式识别理论的不断发展和成熟，形成了众多的模式识别方法，从总体 上来看可以分为以下几类： ( 1 ) 统计模式识别：是对模式的统计分类，即结合统计概率论的贝叶斯决策系 统进行模式识剐的技术，又称为决茨理论识别方法拉j ， ( 2 ) 句法( 结构) 模式识别：该方法是利用模式与子模式分屡结构的树状信息所完 成的模式识别工作【引。 ( 3 1 神经网络识别：利用神经网络的并行运算、信息的分稚式存储和强的学习 能力对输入模式进行学习和识别以达到分类的目的。 ( 4 ) 模糊模式识别：该方法将模糊集理论引入模式识别中，处理在模式识别中 的不确定性，实现模式分类。 1 3 多分类器集成 在模式识剐领域中，不闻的分类算法常常得到不同的分类性能，但是没有一种 分类算法能对所有的应用都取得良好的结果，甚至，没有一种分类算法能对原始 对象的所有模式都能取得良好的结果。对于某个问题，传统的做法是通过试验 寻求性能最优的分类器。传统的方法不足之处主要在于当先验知识不充分时，通 常很难确定最优的分类器。由于分类器的选取尚缺乏统一的理论指导，因此，导 求广义上提高分类性能的方法成为分类算法的一个研究方向。在研究【 i 发现，对 于某些模式识别问题，通常有多种特征可用于表征和识剐，如果各种特征之问的 差异太大，则难以将它们集中到单一分类器中进行决策。另外，模式识剐的飚用 领域中存在着多种基于不同理论的分类算法，尽管各分类算法的性能小同，但它 们的误识别集合却并不一定交叉，这表明不同的分类算法之间存在着互补信息。 在此背景下，s u e n l 3 l 予1 9 9 0 年提出了多分类器集成的概念。随后，基于多分类器 集成的系统在模式识别领域得到了广泛的应用。 1 4o c r 技术 本文所讨论的分类器神经网络集成方法主要通过脱机手写体数字识别束验让。 因此我们有必要简单的介绍一下手写体数字识别的技术理论。 o c r 是光学字符识别( o p t i c a lc h a r a c t e rr e c o g n i t i o n ，o c r ) ，又称为脱机 ( o f f - l i n e ) 字符识别。与联机( o n 1 i n e ) 字符识别不同。脱机字符识别无法直接获取输 入字符的笔画顺序、笔画方向以及字符大小等信息，因此与联机字符识别相比， 更其挑战性，也更有现实意义。o c r 的常见应用有：盲人辅助阅读设备、邮政编 码自动识别和分类、车牌的自动识别、自动支票处理等等。 不同的o c r 系统，在具体处理一幅待识别图像时，处理的步骤可能不完令相 同，但它们的基本方法大体相似。一个完整的o c r 系统( 脱机字符识别) 需要经过 以f 几个处理阶段鸭如图1 2 所示。 3 的不确定性，实现模式分类。 13 多分类器集成 在模式识别领域中，4 i | 一的分类算法常常得到不同的分类性能，但足没有一种 分类算法能对所有的应用都取得良好的结果，甚至，没有种分类算法能对原始 对象的所有模式都能取得良好的结果。对于某个问题，传统的做法是通过试骑 寻求性能最优的分类器。传统的方法不足之处主要在于当先验知识不充分日、j ，通 常很难确定最优的分类器。由于分类器的选取尚缺乏统一的理论指导，闲此，、 求广义上提高分类性能的方法成为分类算法的一个研究方向。在研究中发现，对 于某些模式识别问题，通常有多种特征可用于表征和汉剐，如果各种特祉之间的 差异太大，则难以将它们集中到单一分类器中进行决策。另外，模式识别的应用 领域中存在着多种基于不同理论的分类算法，尽管各分类算法的性能不同，但它 们的误议别集合却并不一定交叉，这表明不同的分类算法之间存在着瓦补信息。 在此背景下，s u e n t “于1 9 9 0 年提出了多分类器集成的概念。随后，基于多分类器 集成的系统在模式识别领域得到了广泛的应用。 1 4o c r 技术 本文所讨论的分类器神经网络集成方法主要通过脱机手写体数字以别来验证。 因此我们有必要简单的介绍一下手写体数字识别的技术理论。 o c r 是光学字符识* 1 1 ( o p t i c a lc h a r a c t e rr e c o g n i t i o n ，o c r ) ，又称为脱机 ( o f f - l i n e ) 字符识别。与联机( o n 1 i n e ) 字符识别不同，脱机字符识别无法直接获取输 入字旃的笔画顺序、笔画方向以及字符大小等信息，因此与联机字符识别相比， 更具挑战性，也更有现实意义。o c r 的常见应用有：盲人辅助阅读设备、邮政编 码自动识别和分类、车牌的自动识别、自动支票处理等等。 不同的o c r 系统，在具体处理一幅待识别图像时，处理的步骤可能不完全相 同，但它们的基本方法大体相似。一个完整的o c r 系统( 脱机字符识别) 需要经过 以f 几个处理阶段1 4 l ，如图l2 所示。 以下凡个处理阶段【”，如图l2 所示。 图l2 0 c r 流程框图 f i g l2f l o w o f o c r ( 1 ) 图像采集获取原始数据 该过程是利用扫描仪、数码相机等图像采集设备，将原始的文本字符转换成字 符图像，采集得到图像就是用于识别的原始数据。 ( 2 ) 预处理 预处理是模式识别过程中关键步骤之。它是将原始的输入图像数据转变成叮 以进行特征提取的数据，预处理的好坏直接影响到整个系统的性能。 预处理的算法及预处理豹内涵在每个系统中也不完全相同，通常是和特征提取 及分类相结合的。般包括图像的分割、二值化、滤波、归一化、细化或笔画糊 缅调整等处理步骤。 ( 3 ) 特征提取 经过预处理的字符图像如累直接输入到分类器进行识别，尚有大量冗余信息， 特征提取是为了去除图像中的对分类器分类没有帮助或者帮助非常小的部分将 图像信息用一些具有代表性的几个特征表示。特征提取的基本原则是p l ： 选择的特征应有较好的稳定性。所谓“稳定性”就是指同一个字符发，匕微 小的变形时，对应的特征量变化的程度。当对应的特征量不变时，我们稔 该特征的稳定性好。显然，选择稳定性好的特征有助于减少特征库的规模 和降低系统的拒识率。 选出的特征应该能较多地表征出字符的有用识别信息，具有较强的分类能 力。所谓“分类能力”就是指不厕模式类之闯可区分性。若某种特征能够 区分相近的模式，则我们称该特征的分类能力强。 选出的特征提取方法应该能简单实现，使模式系统离效快捷，可实用性强。 ( 4 ) 识剐分类 4 此阶段是将提取的特征通过分类确定输入模式对应类剐的一个阶段。在这骱 段，可以得到一个初步的识别结果。与特征抽取的多样性样，分类方法也是多 种多样的。根据不同的准则，o c r 方法可以分为以下几种： 模板匹配法； 统计决策法； 句法结构法： 模糊判别法； 逻辑推理法； 神经网络法。 ( 5 ) 后处理和结果输出 后处理阶段是指系统在识别出单个字符后，利用上下文信息对识别结果进行修 j 下的一个阶段。它不是系统所必须的，但往往能改善和提高系统的整体性能。 结果输出只是一个简单的结果显示或者存储的过程。 1 5 手写体数字识别的发展现状 手写体字符识别可分为联机( o n l i n e ) 手写体识别和脱机( o f f - l i n e ) 手写体识剐，它 俐之问的主要区别在于：脱机手写体是书写在普通的介蕊( 如纸等) 上的，而联机手 写俸是书写在种敏感的介面( 如触摸屏等) 上的，通过敏感介面可以获得书写字符 的笔画顺序等实时信息。因丽脱机手写体数字识别的难度较大，也富有挑战性1 6 】。 本文主要研究脱机手写体数字识别。 手写体数字识别是o c r 系统的典型代表之一，因此结合o c r 系统发展的过程 简述手写体数字识别系统的发展过程和研究现状。 o c r 系统的历史可以追溯到1 9 2 9 年，但是真正的o c r 是上世纪5 0 年代随着 计算机的出现而到来的。 第一代商用o c r 系统是在本世纪6 0 年代初期出现的，这一代系统主要特点是 能淡别有限字型的字符。其中最有代表性的系统是n c r 4 2 0 ，它能识别些特定字 符。另一个具有代表性的系统是f a r r i n g t o n 电子公司的f a r r i n g t o n 3 0 1 0 ，与n c r 4 2 0 一样它识别的也是一些特定的字符。还有一些系统如i b m l 4 1 8 ，1 4 2 8 ，1 8 5 以及n e c 的n 2 4 0 d 1 ，这些系统都是些特定字符的识别系统，他们构成了第代的字符 识别系统。 第二代的o c r 系统在6 0 年代中期至7 0 年代早期出现，这一代的o c r 系统是 以识别比较工整的手写体为特点。一个著名的系统是i b m l 2 8 7 ，它利用数：和模 拟技术实现了这一功能。第一个邮政编码自动分捡机是t o s h i b a 公司研制出来，2 年后n e c 公司也推出了自己的邮政编码自动分捡机。同时第二代的o c r 系统在 识别印刷体字符上也有很多的改进，它能识别系列规j f 的印刷体字符。如 r e c o g n i t i o ne q u i p m e n t 公司的r e t i n a 系统。手写体数字谚 别系统在这一代系统 中有很大的比例，可以说第二代的o c r 系统是手写体数字识别系统的 端。 第三代o c r 系统的目标是让计算机处理一般的更复杂的情况，t ：e 女ne i j 席t 质量 比较差的字符或更为一般的手写体字符，而且文字本身字符种类很多，如汉字， 日文等。目前可以认为第三代系统只是部分实现。近年来出现的手写体数字识别 系统多属于第三代。 1 6 本文研究工作概述 本文主要研究基于b p 神经网络的多分类器集成及其在手写体数字识别中的 应用，利用b p 神经网络集成不同分量分类器的输出而得出最终结果。主要的= 1 ：作 和研究结果总结如下： ( 1 ) 总结了多分类器系统设计的多种方案，并结合各种方案的优缺点加以改进。 ( 2 ) 总结了多分类器集成算法，并探讨各种算法之阔的关系和优缺点。 ( 3 ) 根据b p 神经网络在实际应用中遇到的一些问题，分析各问题存在的原因， 并论述改进办法。 ( 4 ) 在试验部分，利用m n i s t 提供的手写体数字素材，利用多分类器集成方法 进行识别，并对结果进行分析。 1 7 本文内容安排 本文共分五章，第一章简要概述了模式识别和o c r 技术；第二章阐述多分类 器系统的多种设计框架和相应的集成方法；在第三章中针对b p 神经网络在实际应 用中存在问题，提出相应的改进措施；第四章在m n i s t 手写体数据库上实践多分 类器集成；第五章是结论与展望。 6 第2 章多分类器集成方案和算法 在模式识剐领域，多年来的实践表明：对一- 个复杂的识别分类问题，单一的 方法难以获得令人满意的识别性能，同时不同的分类方法之间往往存在肴互补， 把多个分类器集成可以降低识别错误率以及增强鲁棒性，因此多分类器集成方法 近年来已经成为研究者们关注的一个热点。 2 1 融合级划分 分类器集成实质上是信息融合的一种。在模式识别系统中，信息融余根捌融 合的信息源不同可以分为特征级( f e a t u r el e v e l ) 融合和决策级( d e c i s i o nl e v e l ) 融 合。 2 1 1 特征级融合 特征级融合就是指将输入多分类器的特征先组合起来，形成一组大的特征， 再将组合后的特征输入到某种分类器中识别分类。即：将同一输入样本的各种特 征向量联合起来，形成一组更大的特征向量，再将该组特征向量输入到某分类器 中识别分类。该方法可以很好的防止在融合之前输入信息的丢失，但是，这种融 合形成的高维特征向量使分类器的设计和实现比较困难，有时候甚至不可能实现。 2 1 2 决策级融合 决策级融合是指将多个分类器的输出作为融合的信息源，通过某种融合规则 将这些信息融合成最终结果的过程，由于各分类器本身的缺陷，不可避免的会造 成原始输入信息的丢失，但是，这种融合对分类器的设计和实现的要求相对低了 很多，原始输入信息经过分类器的分类识别，超到了信息过滤和压缩的作用，也 为融合规1 4 4 的确定提供的方便。 决策缴融合属于高级( 专家缴) 融合，在各种融合系统中被广泛使用。 2 2 分类器输出结果分类 在多分类器集成系统中，由于分类器本身的特性或者系统的要求不同，其输 出结果所含的信息量也不同。根据分类器的输出结果中所含的信息量的多少可以 将输出结果划分为以下三个层次1 7 ： ( 1 ) 符号输( a b s t r a c tl e v e lo u t p u t ) ：该层次输出结果只将输入模式划分到个 特定的类别中。 ( 2 ) 排序输( r a n dl e v e lo u t p u t ) ：该层次输出是输入模式属于全部或者部分类 别的可能性排序。 ( 3 ) 度量输( m e a s u r e m e n tl e v e lo u t p u t ) 分类器：该层次输出结果给出了输入模 式属于各类剐的置信度值。 显然，从符号输出到度量输出，输出结果所古的信息量逐渐增多，度量输出i j j 以较容易地转化为排序输出结果和符号输出结果。 分类器输出结果类型在集成算法的设计和确定方面起主要作用，也即，使用 不同层次的输出会有相应的集成算法。 表2 1 分别列出了三种不同层次输出结果对应的集成算法，同时还给出了这螳 算法的优缺点和是否需要训练这两个重要属性。 表2 1 分类器集成方法l 胃纳 t a b 2 1 c o n c l u s i o no f c l a s s i f i e rc o m b i n a t i o nm e t h o d s 8 中值规i j l i l ( m e d i a n ) ( 动态) 线性组合法 k 近邻法 d e c i s i o nt e m p l a t e s 法 d e m p s t e r - s h a f e r 法 模糊积分法 传统分类器法 运算量大f r r 和f a r 可能不平衡 采用汪据理论代替概率理论 2 3 多分类器集成系统设计 多分类器集成系统( m u l t i c l a s s i f i e rs y s t e m ，简称m c s ) 是通过某种规则将系统 中各分类器的判决结果融合起来，得到系统的最终决策结果。从m c s 的运作过程 可以看出，它可由4 个互不排斥的部分表征 9 1 ，分别是系统输入、分类器集合的确 定、m c s 体系结构、融合规则。系统输入是指输入的表示方式及单个分类器输入 的确定：分类器集合的确定是指分量分类器种类和数量的确定以及各个分最分类 器学习算法和相关参数等的确定；m c s 体系结构有串行和并行两种典型结构，决 策森林可以作为m c s 体系结构的最一般形式，因为它既包含串行结构( 棵树的 不同层) ，又包含并行结构( 不同予树) ；融合规则指分类器判决的融合方法。 上i 这4 个部分确定，一个m c s 也随之确定。 对于一个m c s ，系统输入与具体问题有关，但是其他部分变化相对较少，因 而其设计主要集中在对分类器集合的确定、m c s 体系结构和融合规则的设计j ：。 图2 1 给出了s c s ( s i n g l ec l a s s i f i e rs y s t e m ，单分类器系统) 和m c s 的设计流 程 1 0 】。从图中可以看出，两个流程具有相似性。对于m c s ，如果把参与融合的分 类器集合看作分类特征，而把融合规则作为一个分类器，则m c s 实际就是一个 s c s 。两个流程中都存在反馈回路，是因为当前分类系统的设计没有统一的理论知 道，可行的方法只能通过试验来验证修改。 9 图2ls c s 与m c s 设计流觯 f i g 2 1d e s i g nc i r c l e so f s c sa n dm c s 2 3 j 性能评估 分类系统的性能通常用识别率来评价，识别率是对测试样本被正确判决程俊 的度量，可由公式2 1 计算。 铡草= 驾豁紫 ( 2 1 ) 但是，仅用识别率不足以评估一个分类系统，因为同样一个系统，可以通过 增大识别闽值来提高识别率，而实际上系统并没有本质的改变。因此，系统性能 的评估还需要另外一个参数一可信度。可信度指系统得到的判决的可信任程度， 可由公式2 2 计算。 n f 信度 量堑：堕兰塑：壁垒墼 判荆为目标的样奉总数 ( 2 2 ) 2 3 2m c s 体系结构设计 m c s 体系结构设计是整个m c s 设计中的重要环节之一。从总体上看，m c s 体系机构是一种树型结构，可以分为并行和串行两种。 ( 1 ) 并行结构 在该m c s 体系结构中，对于输入的未知模式，各分类器独立地做出决策，这 些决策全部或部分地送入集成器中进行信息融合。其结构框图如图2 2 所示。浚结 构的优点是输入到集成器的信息量较大，易于融合，缺点是由于多个分类器的同 时计算，在速度性能上稍差。 图2 2 m c s 并行结构 f i g2 2p a r a l l e la r c h i t e c t u r eo f m c s 图2 3 改进的m c s 并行结构 f i g2 3i m p r o v e dp a r a l l e la r c h i t e c t u r eo f m c s 鉴于完全的并行结构在速度性能上的欠缺，可利用第个分量分类器分类结果 的置信度来确定是否需要其他分类器参与计算和集成【1 1 1 1 2 1 ，如果第个分类器的 置信度丈于系统门限置信度，则其他分量分类器不参与计算和集成，如果不 大于g 。，则其他分类器参与计算和集成。这在一定程度上降低了m c s 的计算复 杂度，在性能上也不明显差于全并联的m c s 。其机构框图如图2 3 所示。 这种改进的并行结构对第一个分量分类器的要求较高，如果第一个分量分类 器的识别率和识别可信度比较高，则可以减少其他分量分类器参与计算的次数， 这不仅可以提高整个系统的识别率丽且还有较快的运算速度，如果第一个分量分 类器的识别率和识别可信度比较低，其他分量分类器需要频繁的参与讨算，和全 并行结构相比，改进的效果不是很明显。在实际应用中，由于实际问题的复杂性， 第个分量分类器的性能的稳定性和可信度难以保证，可以先计算多个分量分类 器识别结果的可信度，然后再判断是否需要其他分量分类器参与计箨和集成。 ( 2 ) 串行结构 串行结构是相对于并行结构而言的，这种结构的主要特征是逐渐应用各个分 量分类器，因此在每一个阶段都只有一个分类器用于识别模式，而每经过个阶 段输入模式的候选目标类别数就会减少一部分，直到确定最终类别。其结构如图 2 4 所示。这种结构采用逐渐缩小输入末知模式的候选类别集，达到最终的识别酣 的，由于分类器之间的差异，后续分类器在如何使用前一级分类器提供的信息的 策略难以确定。m a r k 0 3 等提出了另一种串行策略，如图2 5 所示。 圈2 4 m c s 典型串行结构 f i g 2 4s e r i a la r c h i t e c t u r eo f m c s 输出结果 拒识 输结果 拒识 输m 结果 圈2 5 一种改进的串行结构 f i g 2 5i m p r o v e ds e r i a la r c h i t e c t u r eo f m c s 本质上树形分类器组合f ”t 也是一种串行结构，如图2 6 所示。 图2 6 树形分类器组合框图 f i g 。2 6 a r c h i t e c t u r eo f t r e ec l a s s i f i e rc o m b i n a t i o n i 3 2 4 融合算法及分析 根据分类器输出结果类型的j i 同，人们已提出了各种各样的融合算法。本叟 只讨论基于度量输出的融合算法。对于度量输出，根据分类器输出结果的含义选 择相应的算法进行融合计算：当分类器输出结果表示样本属于各类别的后验概率 时，可以用贝叶斯方法、加权平均及其它一些线性算予；如果这些输出结果被解 释为模糊隶属度或者置信度的时候，就要用模糊积分及d s 证据理论等方法术完 成融合计算。然而，所有这些算法都可以看作为通过某种方式为参与亡1 算的各分 类器赋予权值，这些权值往往是通过训练过程来确定，它反映了各分类器存融合 中的重要程度，并使得一些分类器在决策时比其他分类器具有更商的优先级。 由于b p 神经网络有较强的学习和适应能力，作为集成器对分量分类器的输出 岔义没有严格的要求，是一种比较好的融合算法选择。 为介绍算法方便，先定义些表示符号，这种表示方法将贯穿本章的所有内 容。 在一个模式分类问题中，设输入样本为，共有m 种候选类别，其集合为 q = q ，0 ) 2 ，) ，设计分类器的目的就是在错误分类的概率最小的前提f ，将肖 划分到q 的某个类别中去。设共有个分类器用于融合计算，记为 f = 鼻，e ，五) ，而第f 个分类器使用的样本特征为，从孩分类器中输出的样 本属于各类别的置信度值为c i = c f ，c 一，c ) ，p ( e o ，h ) 表示分类器f 使用样本 特征x i 将输入样本分类到类别国，的后验概率，p 细，) 为样本属于类别珊，的先验 概率，其中i = 1 ，三，j = 1 ，2 ，m 。e 的理想值为样本的分类的后验概率而 在实际中，e 只是后验概率的估计值。应该指出，在m c s 中，各个分类器可能基 十相同的样本特，征进行分类，也可以根据不同的特征完成分类任务，就是说存 由样本特征工( i = 1 ，三) 组成的特征集合中，有些特征可能是相同的。 2 4 1 融合算法介绍 下面，介绍一些常用的多分类器融合算法，主要有均值法( 简单平均和加权平 1 4 均) 、乘法规则、最大最小规则、贝叶斯法、训练的分类器法。 ( 1 ) 简单平均( s a s i m p l ea v e r a g e ) 与加权平s j ( w a w e i g h t e da v e r a g e ) s a 将各分类器的输出结果作简单平均，取均值最大的那个类别为最终t 别结 果，即 ，( z ) = q ，f ，z 1 蕃l 乩= 嚣毛z 1 善l m 。)( 23 ) w a 将各分类器的输出结果作加权平均取加权平均最大的那个类别为最终i = 别结果，即 f ( 朋= q ，矿圭妻= 恶( 二1 善1 ) ( 2 - 4 ) 其中w 为各分类器的置信度权值。此外，可根据输入样本的特征分布确定各 分类器的置信度权值，实现了动态分类器组合【1 5 1 。 ( 2 ) 乘法规贝1 ( p r o d u c tr u l e ) 类似于均值法，只不过是将各分类器的输出结果相乘，取相乘结果的最大的 那个类别为最终识别结果，即 f ( x ) = q ，i ，j 1 珥l 助= 嚣z i 罂l ) ( 2 5 ) ( 3 ) 最大值与最小值规则( m a xr u l e & m i nr u l e ) 从各个分类器关于某类别的霍信度中选取最大( 小) 的那个值作为融合后该类 别的置信度，并取融合后最大置信度值对应的类别作为最终的识别结果。即 ，( x ) 2 q ，f 。m a x 。乩2 喊m a x ( ，黔) ( 2 6 ) ，( x ) 2 q ，i f h m ，i n y ，2 嚣，( = l m ，i n ，。y f m ) ( 27 ) ( 4 ) 贝叶斯( b a y e s i a n ) 方法 根据贝叶斯理论，当给定样本特，证蕾，i = 1 ，l 时，样本x 应被分入类后验 概率最大的那个类别，即： f ( x ) 2 q ，fp ( q i _ ，x ，+ ) = 。m “a x ( p ( c o 1 苫】，屯) ) ( 2 8 ) 此即为最大后验概率决策规则。由贝叶斯理论，后验概率可以写成如下形式： 其中 p 小一，_ ) = 堕p 掣 ( 2 9 ) 【o 一，x ， m p ( x l ，x l ) = p ( x l ，- ，托l 咖( )( 2 i o ) m = l 由式2 8 和式2 9 得贝叶斯决策得似然比形式 f ( x ) = 甜，i f墨蔓：堕匕! 丛绁 p ( ，1 ，z ，i ) p ( c a ，) v qf 2 1 1 1 在上式中，类条件联合概率密度函数p 瓴，x ll a ) j ) 具有高阶特性，在实际j 世 用中几乎无法计算该数值。为此引入了分类器条件独立的假设来简化计算，即 l p ( 而，。，x ，i ，) = p ( x li ，) p ( x f ，) = n p ( x ll ，) ( 21 2 ) f - 1 在该假设下，似然比决策规则转化为 蹦m ，矿黜黜 篱，v q 皿 这样，样本特征的联合概率密度就可以通过单独计算各个样本特征的条件概 率密度来实现，从而使贝叶斯方法具有现实可操作性。 ( 5 ) 训练分类器法 该方法主要是利用普通的分类器作为集成器，将各分类器的输出作为集成器 的输入，经过训练后得到一个良好的集成器。常用的分类器( 作为集成器使用) 有： k n n 分类器、贝叶斯分类器、支持向量机( s v m ) 、神经网络等。 2 4 2 融台算法分析 前面介绍的融合算法并不是相豆孤立的，而是相互联系的。贝叶斯法可以在 定的假设条件下转化为均值法、蔡法规则和最大( 4 9 规则，贝时斯分类器法也是 基于贝叶斯理论模型构建的。 首先假设各分类器之间条件概率无关，在条件独立和先验概率相等这两个假 设条件下，贝叶斯融合方法就简化成为乘法规则；进一步假设类后验概率同先验 概率的值相差不大，贝叶斯法就转化为加法规则；在先验概率与后验概率相差小 1 6 大的假设条件下，利用届验概率的上限和下限，可得到最大规则和最小规则。这 些相互关系的推导的详细过程可以参考文献 1 6 1 。 试验表明，相比乘法规则，加法规则对于误差不敏感，在实际中表现出良好 的效果1 7 】。贝叶斯方法的可行性要求假设各分类器条件独立，这往往难以做到， 均值法和最大( 小) 规则只有在各分类器之间的相关性很小的时候才能表现出良好 的融合效果，而且它们都是对给分类器的线性集成。贝叶斯分类器是基于她叶斯 理论构建而成的，在实际应用中采用了诸多的假设条件，难以达到很高的精度； s v m l 是一种神经网络的一种，它将低维空间的信息映射到商维宁间以线性划分类 别，主要应用于小样本分类中，是目前机器学习的重要理论之一。 b p 神经网络由于其强的学习能力在模式识别领域有着广泛的应用，作为集成 器有其研究的空1 t 目j 。 在实际的m c s 系统中，各分类器的相关性难以确定，而且各分类器之间的关 系仅用简单的线性关系难以准确表达。从这些方面思考，利用可训练的分类器作 为集成器应该能获得更好的集成效果，而b p 网络有良好的学习和的非线性函数逼 近能力，因而在本文的试验中，利用改进的b p 神经网络作为集成器，融合各分 类器的输出结果。 2 5 多分类器系统的优化 对于m c s 设计的结构设计和融合规则的确定两个阶段，存在着各种各样的方 法。为获得好的分类性能，需要合理运用这些方法，对系统的设计进于亍优化。 分类器集合设计的优化指给定一个简单的融合规则，寻求一个分类器集合， 该集合通过融合规则作用后能获得最优的分类性能。融合规则设计的优化则是指 给定一个精心设计的分类器集合，寻求种融合规则，使得分类器集合在该融合 规则下能够得到最优的分类性能。h o l l9 】把分类器集合设计的优化和融合规则设计 的优化分类成为覆盏优化和决策优化。 2 5 1 覆盖优化技术 覆盖优化是对分类器集合的优化设计。在s c s 中，分类特征的优化选择，能 使简单的分类算法获得良好的分类性能。同样，在m c s 中，分类器集合的优化设 1 7 计使得简单的融合规则能够获得良好的系统性能。g s o g h 等2 0 1 证明要获得理想的 m c s ，各分类器的性能都要很高，且他们之闻的差异尽可能大。因此，试验覆麓 优化的一个策略就是增加分类器之间的差异。为设计不同的分类器，通常的做法 是采用取样技术设计不同的训练集。取样技术有训练结合的熏新取样和特征字划 的子空间取样两种。 b a g g i n g ( 步步为营法) 川和b o o s t i n g ( 逐步推进法) 【2 2 是常用的重新取样的方法。 对于有v 个样本的训练集，b a g g i n g 对各个样本按相同的概率进行选择，每次个 样本，选择次以后产生个样本的训练集。由于选择的随机性，b a g g i n g 取得 的样本集中原始样本有的可能不出现，而有些的出现多于一次。b o o s t i n g 方法巾， 各样本初始的选择概率相同，但这些概率自适应发生改变，b o o s t i n g 的每一步都煎 新计算选择的概率。被上一次分类形成错分的样本，选择概率将会变大。比较而 言，b o o s t i n g 的训练集和分类器是按顺序得到的，而b a g g i n