（基础数学专业论文）模糊积分及其在多分类问题中的应用.pdf

摘要 i i _ 摘要 近年来，在模式识别、机器学习等领域，信息融合技术得到了迅速发展和广泛应 用。信息融合包括三个阶段：数据融合、特征融合和决策融合，大量的分类器融合方 法都是决策融合。考虑到分类器之间存在着交互影响，本文使用c h o q u e t 模糊积分这 个融合算子，将已训练好的神经网络作为分类器进行融合，并将模糊积分融合系统的 分类精度与单个分类器的分类精度进行比较。由于c h o q u e t 模糊积分的计算可以转化 成模糊测度的线性组合，关于模糊测度是可微的，可以使用标准的优化技术来确定模 糊测度。本文使用线性规划和二次规划来确定模糊测度，并在p i m a 数据库上进行测 试。实验发现。基于二次规划确定的模糊测度的系统融合精度要高于线性规划确定的 模糊测度的系统融合精度，但是二者的时间复杂度却相差不大。 关键词信息融合：神经网络；模糊积分；模糊测度：二次规划 a b s t r a c t r e c e n t l y , i nt h ef i e l d so fp a t t e r nr e c o g n i t i o na n dm a c h i n el e a r n i n g ，t h et e c h n o l o g yo f i n f o r m m i o nf u s i o nd e v e l o p sv e r yf a s ta n de x p a n d si t sw i d ea p p l i c a t i o n t h e r ea r et h r e e s t a g e si ni n f o r m a t i o nf u s i o n ：d a t af u s i o n ；c h a r a c t e rf u s i o na n dd e c i s i o nf u s i o n al o to f a p p r o a c h e st oc l a s s i f i e rf u s i o na r ed e c i s i o nf u s i o n i nm a n yr e a l i s t i cc a s e s ，m u l t i p l e c l a s s i f i e r sa r en o ti n d e p e n d e n tb u th a v ei n t e r a c t i o n i nt h i st h e s i s ，w eu s et h ec h o q u e t f u z z yi n t e g r a lo p e r a t o rt of u s et h ed i f f e r e n tn e u r a ln e t w o r kc l a s s i f i e r sw h i c hh a v eb e e n t r a i n e di na d v a n c e w ec o m p a r et h ef u s i o ns y s t e m sc l a s s i f i c a t i o na c c u r a c ya n da n i n d i v i d u a lc l a s s i f i e r sc l a s s i f i c a t i o na c c u r a c y t h ec a l c u l a t i o no ft h ec h o q u e ti n t e g r a lc a n b et r a n s f e r r e di n t ot h el i n e a rc o m b i n a t i o na b o u tt h ef u z z ym e a s u r e ，w h i c hi sd i f f e r e n t i a b t e t h i sq u a l i t ya l l o w su st ou s et h es t a n d a r do p t i m i z a t i o nt e c h n o l o g yt od e t e r m i n et h ef u z z y m e a s u r e i nt h i st h e s i s ，w eu s et h el i n e a rp r o g r a m m i n ga n dq u a d r a t i cp r o g r a m m i n gt o d e t e r m i n et h ef u z z ym e a s u r e ，t h e s em e t h o d s 1 i et e s t e di np i m ad a t as e t t h ee x p e r i m e n t s s h o w st h a t ：t h ef u s i o na c c u r a c yb a s e do nt h ef u z z ym e a s u r ew h i c hi sd e t e r m i n e db yt h e q u a d r a t i cp r o g r a m m i n gi sh i g h e rt h a nt h ea c c u r a c yb a s e do nt h ef u z z ym e a s u r ew h i c hi s d e t e r m i n e db yt h el i n e a rp r o g r a m m i n g t h e r ea r ea l m o s tn od i f f e r e n ti nt i m ea n ds p a c e c o m p l e x i t y k e y w o r d s i n f o r m a t i o nf u s i o n ；n e u r a ln e t w o r k ；f u z z ym e a s u r e ；f u z z yi n t e g r a l ； q u a d r a t i cp r o g r a m m i n g 河北大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特另l l j j n 以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学 位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了致谢。 作者签名： 写两珲 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅学校 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 、不保密晒。 ( 请在以上相应方格内打“4 ”) 作者签名： 习树聋 1 日期： 导师签名：丛丝 e t g q ： 丝月上日 煎年上月二i _ 日 第1 章绪论 1 1 课题研究的背景与意义 第1 章绪论 l e b e s g u e 积分是黎曼积分的严格推广，去除了黎曼积分的局限性，如积分与极限交 换次序，可积空间的完备性等。拓展和完善了研究领域，使其成为现代分析数学中不可 缺少的基础，并且极大地促进了现代分析数学的发展。l e b e s g u e 测度的可加性是备受关 注的条件，可加性刻画了许多理想的、无误差条件下的度量问题。然而在某些实际应用 中这个条件太强，以至于限制了它的应用范围。即当测量的误差不可避免时，它却不能 充分刻画一些实际上的，物理条件下的测量问题。 当经典测度的可加性被条件较弱的单调性代替后，具有可加性的l e b e s g u e 积分相 应地被具有非可加性的模糊积分代替。基于模糊测度的模糊积分更符合现实生活中的情 况，因此具有了更为广泛的应用前景尤其是在模式识别、机器学习的分类问题中。 决策过程中，每一种决策方法都会产生误差，更不用说在输入信息不全或者信息遭 到破坏的情况下。然而，在不同的数据上运用不同的方法就会产生不同的误差。假定所 有的方法都起作用，则将这些方法综合到一起就会产生一个整体的分类误差，我们希望 整体产生更为准确的输出继而使得整体的分类误差减小。基于此原因，信息融合技术近 年来得n t 深入地研究，它在分类领域中的应用也得到了广泛的测试【l j 。 组合多个不同的分类器获得高精度是一个重要的研究课题，大量的分类器融合方法 都是决策融合或者专家混合。实质上，分类器融合包含两类，第一类分类器选择，它们 着重改普分类器的结构，直至组合过程找到一个最好的分类器或者一组分类器为止，分 类器融合不会对分类器的输出做任何操作】。我们可以选择一个分类器进行决筇，也可 以选择多个分类器进行决策。另一类是分类器融合，它们主要是对分类器输出进行操作， 即对分类器组合的输出进行有效的计算【4 】。假设单个分类器由相互独立的特征子集训练 而成，或者是具有独立的错分率则融合简化为一般的融合算子如乘积、平均值、最大 值、最小值等。 盈兰銮：兰銮：= 兰警鲨吝 1 2 本课题的国内外发展现状 通过增加单个分类器结构的复杂度来提高分类精度通常不能满足问题的需要，而将 多个结构较为简单的分类器进行不同策略的融台能大大提高整体的分类精度，不失为明 智的选择。对分类器的输出进行融合的方法有很多种，最常见的有多数投票法i ”、加权 平均法、b o r d a 计数法【6 】、d e m p s t e r - g h a f e r 证据组合【7 】、贝叶斯方法f 8 】、神经网络弘模 糊积分、决策模板等等。 近年来，模糊积分已经成为信息融合中常用的一个融合算子，在使用模糊积分这个 非线性积分融合时，是将各个分类器对同一事例所提供的客观证据与单个分类器或者分 类器的任意组台对融合系统的重要性进行融合。计算公式中的被积函数是各个分类器对 于同一类的输出，对应于融合模板中的某- - n ，模糊测度表示单个分类器或者分类器的 任意组合的重要性。模糊测度是一个非负非可加集函数，非可加性恰恰可以用来描述分 类器之间的交互作用。 在使用模糊积分进行融合之前，先要确定模糊测度。模糊测度是定义在分类器集台 的幂集上的一个非负单调集函，不满足可加性，但是满足超可加性或者次可加性。目前 已经提出了很多种方法来学习模糊测度、g - l a m b d a 模糊测度，文献 1 1 】中，利用各个分 类器对样本的分类能力，即根据单个分类器分对分错样本的个数来定义单点集上的模糊 测度，使用神经网络、遗传算法【1 2 , 1 3 、启发式搜索和优化技术4 - ”6 1 来学习酱通的模糊 测度。基本遗传算法只使用遗传算子、交叉算子和变异算子这三种基本遗传算子t 其遗 传进化操作过程简单，容易理解。启发式搜索按照某种策略进行最优解的搜索，使得时 间复杂度相对于遗传算法来说比较低能够在较短的时间内完成搜索，但是有可能得到 的是同部最优解而不是全局最优解。 使用优化技术时。必须保证目标函数是可微的。已经形成一套完整的理论保证最优 解的存在性。如凸规划中若存在唯一的局部极值即为全局最值，而库恩一塔克条件是某 一点为极值的充要条件。如果将普通的模糊测度换为g - l a m b d a 模糊测度后，标准的优化 技术已不适用，原因是目标函数不满足可微性。只能使用某些启发式搜索的方法来求近 似最优解。达到了某些标准，我们就认为学习出了最优解。 常见的积分融合算子有s u g o n o 模糊积分和c h o q u c t 模糊积分，s u g e n o 模糊积分是 常见的积分融合算子有s u g e n o 模糊积分和c h o q u e t 模糊积分，s u g e n o 模糊积分是 第1 章绪论 e 自一i 一 取大取小算子的组合，而c h o q u e t 模糊积分是乘积求和算予的组合。这两种积分很容易 应用到实际阅题中。本文使用c h o q u e t 模糊积分融合算子，采用优化技术来学习模糊测 度。 1 3 本论文研究的主要内容研究现状 关于模糊测度的学习有很多种方法，大多数方法是利用分类器的输出，依据某种策 略来学习模糊测度。本文主要研究将c h o q u e t 模糊积分用于多分类器的融合系统时，如 何使用优化技术来学习模糊测度。 第1 章主要介绍了该课题研究的目的与意义及当前的发展现状。多个分类器之间并 不是相互独立的，而是存在着交互作用。模糊测度的非可加性恰恰能描述这种交互作用， 基于模糊测度的模糊积分融合算子得到了广泛的应用。 第2 章介绍了本文需要一些基本概念：经典测度、经典积分、模糊测度、模糊积分。 给后面的研究奠定了基础。紧接着简单地介绍了经典积分在求平面图形的面积、立体的 体积、平面曲线的弧长等方面的应用。 第3 章主要介绍模糊积分在分类问题中的应用。由于c h o q u e t 模糊积分的计算公式 是模糊测度的线性组合，关于模糊测度是可微的，允许使用优化技术来确定模糊测度。 本文使用线性规划和二次规划来学习模糊测度，实验数据表明，该确定模糊测度的方法 是有效的。 第4 章是结论与展望。实验表明基于模糊测度的c h o q u e t 模糊积分融合模型提高了 分类精度。将分类器之间的交互作用考虑进去，更加符合现实情况。但是本文还有很多 工作待续，如对予利用启发式搜索来确定g - l a m b d a 模糊测度只是给出了模型，还没有 进行实验。 河北大学理学硕十学位论文 第2 章积分的基础知识 本课题是研究模糊积分在多分类问题中的应用问题，涉及的相关知识较为广泛。为 了更好的阐述本课题的研究工作，本章将介绍一些相关的背景知识，以及经典积分的应 用问题。 2 1 l e b e s g u e 测度 这节中主要介绍l e b e s g u e 测度 1 7 1 。 以集类为定义域的函数称为集函数，设是定义在集类e 上的广义实值集函数( 可 以取得有限或无限值的函数) 。如果它满足下面的条件： 若e e ，f e ，e u f e ，r e c 、f = 0 ，贝0 z ( e u f ) = ( e ) + ( f ) ，贝q 称具 有可加性，设是定义在集类e 上的广义实值集函数。如果对于b 的任何不相交有限子 集 e i ，e ，若它的并集也在b 中，有( u 羔。瓦) - ( 蜀) ，则称具有有限可加性， i = 1 设是定义在集类e 上的广义实值集函数，如果对于e 的任何不相交序列 e ，若它的 并集也在e 中，有( u ：矗) - ( 互) ，则称具有可列可加性。 h l 定义2 i 1 ：设是定义在环贸上的非负广义实值集函数，如果它具有可列可加性， 并且( o ) = 0 ，则称为测度。 定义2 1 。2 ：设是定义在集类e 上的广义实值集函数，如果它满足下面的条件： 占e ，f e ，且e c f 。则一( e ) ( f ) ，则称是单调的。 定义2 1 3 ：设a 是定义在集类e 上的广义实值集函数，如果它满足下面的条件：若 e e e ，f e ，e c f ，尸一e e ，且l ( e ) i o 。则p ( f e ) = ( f ) 一( e ) ，则称p 具有可减性。 定理2 1 i ：设是环吼上的测度，则具有单调性和可减性。 第2 草积分的基础知识 - i ii ii ii i i _ - _ _ _ 证明；如果e e e ，f e e ，且e c f ，贝i f - e e 孵并且( f ) = ( e ) 十一( f e ) ， 因为f 是非负的，由此推出1 是单调的：如果( 丑) 是有限的，则可以从上式两端减去 p ( e ) ，由此可得可减性。 定义2 1 4 t 设是定义在集类e 上的广义实值集函数，如果对于b 中之集的每一个 增序列 e ，有l i m ( 瓯) = ( e ) ，其中l i m 。巨= e ，我们就说在e ( e e 婀) 是下 连续的如果对于e 中之集的每一个减序列 e l i m 。( e ) = ( e ) ，其中假定 e 中 至少有一项色使f ( 瓦) o 。f t l i m 。色= 露，我们就声在e 是上连续的。 定义2 1 5 ：设是环识上的测度，昱是9 t 中的一个集，若有i ( e ) i * ，则称具 有有限 野度如果存在钟的一个集序列 瓦j ，使f 1 - u 二。e 且f ( 瓦) f ，n = l 一2 则 称e 的测度是盯一有限的。如果吼中每个集e 测度都是有限( 或盯一有限的) 的，则称 测度在吼上是有限的( 或仃一有限的) 的。设是一个测度，如果它能满足下列条件。 若e 辨，f c e 且( e ) = o 则f g l ，则称为完全测度。 设x 是有限集，2 。是x 的所有子集组成的集合，即x 的幂集，用r 表示所有实数 的集合，用r + 表示所有非负实数的集合。 2 2l e b e s g u e 积分 在介绍勒贝格( l e b e s g u e ) 积分埔1 之前先来回顾一下黎曼( r i e m a n n ) 积分，并从 测度的观点建立一个可积的充要条件。 定义2 2 1 ；设，( 力在l 口，川有界，r 表示【n ，b 】的任一分划口= 算， 茸= b ， 这里n 是任意的自然数，可随r 而不同。 设m 。m 。分别表示f ( x ) 在小区间【+ 一】上的上、下确界o = 1 ，2 ，h ) ， s ( r ，厂) = 艺m ，一，s ( r ，) = z m 缸，分别叫做，( x ) 关于分划r 的大和数与小和数，这 h l扣l 里缸。= x i - - x l _ i * f f ( x ) d x = i n f s ，) ，f f ( x ) d x = s u ，p s ( f ，) 分别叫做厂( x ) 在扣，6 】 上的达布上积分与下积分，这里的上、下确界是对陋，卅的一切可能的划分r 而取的如 问北大学理学硕士学位论文 果f 厂( 善) 出；一f f ( x ) d x ，则称，( 毒) 在k 纠上胄可积并称此共同值为厂( 善) 在，占】上的 积分，记为r 厂( 出。 函数，( 功在【n ，6 】上可积的条件；函数厂( 芹) 在【口，b 】上连续，则，( 曲在 。加上r 可 积；函数，( x ) 在【d ，b 】上有界且只有有限个问断点，则f ( x ) 在【玎。b 】上r 可积。 r i e m a n n 积分对处理连续函数和几何，物理中的计算问题时候是很有效的。但是 r i e m a n n 积分在理论中存在一些缺陷，主要表现在以下几个方面： 1 可积函数对连续性的要求。 设f ( x ) 是定义在【，b 】上有界实值函数，区间，b 】的任一分划 口= x o x t 工= b 令五5 m 。a 。x , ，则厂( 在 口，6 上可积的充要条件是 i m 百x ( m ，一m t ) 觇= 0 ( 2 1 ) 其几何意义就是曲线y = ，( 功的下方图形 曲边梯形) 的外接阶梯形与内接阶梯形 面积之差趋于零。由于r i e m a r m 积分对被积函数的连续性要求太强，这样就限制了 r i e m a n n 积分的应用。 例l 、狄里克霄( d i r i c h l e t ) 函数。( x ) = 托，：舅霎蒜在区间 。，1 上不 满足条件( 2 2 1 ) 。因此d ( x ) 不是r i e m a n n 可积的。 2 r 积分与极限可交换的条件太严格 设 正( x ) 是区间 以明上的连续函数列，并且在p ，纠上正( x ) 处处收敛于，( x ) 。一 般情况下，f ( x ) 未必在区间陋，6 】上可积。即使f ( x ) 在区间【口，6 】上可积 l i mf o ) d x = f m ) d x ( 2 2 ) 也未必成立。为了使，o ) 在区间【以，6 】上可积并且( 2 2 2 ) 成立的一个充分条件是 正( x ) ) 是f f f l 间 a ，6 】上一致收敛于厂砷。 3 可积函数的空间的不完备性 设埘4 ，6 】是区间，加上r 可积函数的全体，在r a ，卅上定义距离 第2 苹积分的基础知识 d ( f ，g ) = f i ，o ) 一g ( 划2 d x ，ge 置【口，6 】 ( 2 3 ) 贝l j r a ，卅称为一个距离空间。 工( 是月k ，6 】的函数列，若l i m d ( l ，厂) = 0 ，则称 正( 按距离收敛于厂( 石) ，g a ，州中的函数列 正( 工) ) 称为c a u c h y 列。有例子表明，r a ，6 】中 并非每一个c a u c h y 列 工( x ) ) 都是收敛的，即r a ，6 】不是完备的空间。 鉴于r 积分的上述缺点人们长期以来就致力于改进的尝试，直到1 9 0 2 年法国数 学家l e b e s g u e ( 1 8 7 5 1 9 4 1 ) 才成功的引进一种新的积分理论，后人称为l e b e s g u e 积分 由于它很大程度上摆脱了r 积分的困境，而且大大扩大了可积函数的范围。 定义2 3 2 ： f ( x ) 婕z e c r “( m e - l 。通常l a m b d a - 模糊测度被表示为乳，当 c 是一个盯一代数，并且鼠( z ) = 1 时，g 。一模糊测度也被称做是s u g e n o 测度。 例2 、若肖= 口，b ，c ，( ) = 1 ，( 口) ) = “6 ) ) = o 2 ，( c ) ) = o 1 是一个 g - l a m b d a 模糊测度，求2 值。 根据公式( 2 8 ) 我们有1 = ! ! 竺边q 蔓颦尘尘型 整理得l0 , 0 4 3 ) + o 8 a 一5 = 0 ，解之得五= 一2 5 ，如= 5 。因为- 2 5 0 和任意的可测 j e c d j ，( 2 以n 爿成立。 定理2 4 4 ：( c ) i f d # o 和 j - tj t l j 5 占 o 都是正确的。因此，( 肛s 肛证毕。 例3 、- - i v 有三个工人五，茹：。坞在生产相同的产品，假定乇工作1 0 天，如工作 1 5 天，矗工作7 天。每天他们单独或者联合生产的产品数如表2 所示： 第2 章积分的基础知识 _ - _ _ _ _ _ - _ _ _ _ _ l _ l _ _ 自日_ 自_ _ i ii - _ _ l l _ _ _ _ _ _ _ - - _ 表2 、产品数量表 l ( o ) o ( x ：) ) 6 ( “，x ：) ) 1 4 u c x 2 ，】) 1 6 l ( “。) ) 5 ( 协，) ) 8 ( “，x ，) ) 7 ( “，x 2 ，x j ) 1 8 由题意可知f ( x ，) = 1 0 ，f ( x ：) = 1 5 ，f ( x ，) = 7 ，这里的称为效能函数。 固j 锄= 墨旭) 一f ( x i _ 。) m ) = ( ，u ) 一o ) 从“，x 2 ，而) ) + ( ，“) 一盹) l “，而) ) + u 1 屯) 一u ) 掀 b ) ) = 7 x 1 8 + ( 1 0 7 ) 1 4 + ( 1 5 - 1 0 ) x 6 = 1 9 8 f d t = f ( x o a ( ，x j ) + ( f ( x o 一他) 掀魄，x j ) + c c ( x a 一他) + 确) 掀岛 ) = l o x l 4 + 0 5 - 1 q x l 6 + f 7 - 1 5 + 1 9 x 8 = 2 3 6 由此可以看出，王氏积分值的确大于c h o q u e t 积分值，从优化的角度考虑说明前者 安排工人的合作策略更能激发工人们的潜能。 河北大学理学硕士学位论文 第3 章模糊积分在多分类问题中的应用 在模式识别问题中，通过增加单个分类器结构的复杂度来提高分类精度通常不能满 足问题的需要，而将多个结构较为简单的分类器进行不同策略的融合能大大提高整体的 分类精度，不失为明智的选择。分类器融合包含两类，第一类着重改善分类器的结构， 在分类过程找到最好的分类器或者一组分类器，分类器融合不会对分类器的输出徽任何 操作。另一类则主要是对分类器输出进行操作，即对分类器的输出进行有效的计算。对 分类器输出进行操作的方法有很多种，最常见的有最大( 小) 值法、乘积法、多数投票 法、加权平均法、贝叶斯方法、d e m p s t e r s h a f e r 证据组合、模糊积分等。 假设各个分类器之间是相互独立的，使用加权平均法融合多个神经网络分类器时， 各个分类器的权重w j 0 ，f = l ，2 ，h ( ，l 为分类器的个数) 满足w i = 1 。然而这种假 西 设在现实问题中往往不成立，即不同的分类器之间是存在着交互影响的。考虑到这种交 互影响，基于模糊积分的融合模型得到了广泛的发展与应用。下面着重介绍本文的工作： 使用c h o q u e t 模糊积分融合多个不同的神经网络分类器，来提高融合系统的分类糖度， 增强系统的容错性。 3 1 神经网络 具有多个简单计算单元、单元之间具有广泛连接、且连接强度可以根据输入输出数 据调节的算法或结构模型称为人工神经网络【2 3 l 。 3 1 1 人工神经网络的特性 ( 1 ) 并行分布处理：神经网络具有高度的并行结构和并行实现能力，因而能够有较 好的耐故障能力和较快的总体处理能力。这特别适于实时控制和动态控制。 第3 章模糊积分在多分类问题中的应用 _ _ - _ _ _ _ _ _ _ _ - _ l l _ _ - _ _ _ i - _ _ _ l l _ - _ _ _ _ _ _ _ _ _ _ _ l _ _ - _ i - - _ - _ _ _ _ - - _ _ _ _ _ ( 2 ) 非线性映射：神经网络具有固有的非线性特性，这源于其近似任意非线性映射 ( 变换) 能力。这一特性给非线性控制问题带来新的希望。 ( 3 ) 通过训练进行学习：神经网络是通过所研究系统过去的数据记录进行训练的。 一个经过适当训练的神经网络具有归纳全部数据的能力。因此神经网络能够解决那些 由数学模型或描述规则难以处理的控制过程问题。 ( 4 ) 适应与集成：神经网络能够适应在线运行，并能同时进行定量和定性操作。神 经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号，解决 输入信息间的互补和冗余问题，并实现信息集成和融合处理。这些特性特别适于复杂、 大规模和多变量系统的控制。 ( 5 ) 硬件实现：神经网络不仅能够通过软件而且可借助软件实现并行处理。这使得 神经网络具有快速和大规模处理能力。 十分显然，神经网络由于其学习和适应、自组织、函数逼近和大规模并行处理等能 力，因而具有用于智能控制系统的潜力。神经网络在模式识别、信号处理、系统辨识和 优化等方面的应用，已有广泛研究。在控制领域，已经作出许多努力，把神经网络用于 控制系统，处理控制系统的非线性和不确定性以及逼近系统的辨识函数等。 3 2 2 神经网络的主要学习算法 神经网络主要通过两种学习算法进行训练。即指导式( 有导师) 学习算法和非指导 式( 无导师) 学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做 无导师学习的一种特例。 ( 1 ) 有导师学习 有导师学习算法能够根据期望的和实际的网络输出( 对应于给定输入) 间的差来调 整神经元间连接的强度或权。因此，有导师学习需要有个导师来提供期望或目标输出信 号。有导师学习算法的例子包括d e l t a 规则、广义d e l t a 规则或反向传播算法以及l v q 算法等。 ( 2 ) 无导师学习 无导师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模 式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无导师 河北大学理学硕士学位论文 i ii i i _ - _ _ _ _ _ _ _ _ _ - 一 学习算法的例子包括k o h o n e n 算法和c a r p e n t e r g r o s s b e r g 自适应谐振理论( a r t ) 等。 ( 3 ) 强化学习 如前所述，强化学习是无导师学习的特例。它不需要老师给出目标输出。强化学习 算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度( 质量因数) 。 强化学习算法的一个例子是遗传算法( g a s ) 。 3 1 3 人工神经网络的典型模型 不同的单元计算特性、单元问的连接方式( 网络结构) 、和连接强度调节的规律( 学 习算法) 形成了不同的人工神经网络模型。迄今为止，有3 0 多种人工神经网络模型被 开发和应用。下面是它们之中有代表性的一些模型。 ( 1 ) 自适应谐振理论 a r t ) ；由g r o s s b e r g 提出的，是一个根据可选参数对输入数 据进行粗略分类的网络。a r t - 1 用于二值输入，而a r t - 2 用于连续值输入。a r t 的不 足之处在于过份敏感，输入有小的变化时，输出变化很大。 ( 2 ) b o l t z m a n n 机( b m ) ：由h i n t o n 等提出的，是建立在h o p f i e l d 阏基础上的，具 有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比b p 网络要长。 ( 3 ) 反向传播( b p ) 网络；最初由w e r b o s 开发的反向传播训练算法是一种迭代梯度 算法，用于求解前馈网络的实际输出与期望输出问的最小均方差值。b p 网是一种反向传 递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是 目前应用最广的网络之一。 ( 4 ) h o p f i e l d 网：由h o p f i e l d 提出的，是一类不具有学习能力的单层自联想网络。 h o p f i e l d 网模型由一组可使某个能量函数最小的微分方程组成。其短处为计算代价较 高，而且需要对称连接。 ( 5 ) m a d a l i n e 算法：是a d a l i n e 算法的一种发展是一组具有最小均方差线性网络 的组合，能够调整权值使得期望信号与输出问的误差最小。此算法是自适应信号处理和 自适应控制的得力工具，具有较强的学习能力，但是输入输出之间必须满足线性关系。 ( 6 ) 感知器( p e r c e p t r o n ) ：由r o s e n b l a t t 开发的，是一组可训练的分类器- 为最古 老的a n n 之一，现已很少使用。 ( 7 ) 自组织映射网( s o m ) ：由k o h o n e n 提出的。是以神经元自行组织以校正各种 笫3 章模糊积分在多分类问题中的应用 具体模式的概念为基础的。s o m 能够形成簇与簇之间的连续映射起到矢量量化器的 作用。 本文中主要是利用b p 算法训练神经网络，下面详细地介绍反向传播( b p ) 网络【2 4 】： 基于误差反传原理( 简称b p 算法) 的多层前馈神经网络是应用最广( 约占8 0 9 0 ) 、 通用性最好的能用于分类、模式识别和函数逼近的神经网络模型，它是一种模拟人脑信 息处理方法的大规模并行处理的自学习、自组织、自适应的非线性模拟系统。b p 神经网 络由一个输入层、一个输出层和若干个隐( 含) 层组成。同层之间的节点没有联系，相 邻层的节点两两相连，前一层的输出即为后一层的输入。最初由w e r b o s 开发的反向传 播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均 方差值。当参数适当时，此网络能够收敛剐较小的均方差。b p 网的缺点是训练时间较长， 且易陷于局部极小。b p 网络的运行机制由信息正向传播和误差反向传播两个过程组成， 输入信息从输入层经隐含层逐层计算各单元的输出值：而输出误差逐层向前算出隐层各 单元的误差，并依次误差修正前层权值。 图3 1 b p 神经网络 河北大学理学硕士学位论文 _ i 目l _ 3 2 基于模糊积分的多分类器融合模型 近年来，模糊积分已经成为信息融合中常用的一个融合算子，。在使用模糊积分这 个非线性积分融合时，将各个分类器对同一事例所提供的客观证据与单个分类嚣或者分 类器的任意组合对融合系统的重要性进行融合。积分公式中的被积函数是各个分类器对 于同一类的输出，对应于融合模板中的某一列，模糊测度表示单个分类器或者分类器的 任意组合的重要性。模糊测度是一个非负非可加集函数，非可加性恰恰可以用来描述分 类器之间的交互作用。因此，模糊积分融合算予在各种识别系统中得到广泛而迅速的发 展。例如，手写数字识别、手写汉字识别、人脸识别、图像识别、分类问题等等。 在整个训练集上训练出玎个不同的神经网络作为已知的分类器x = x ，算：，x 。l ， c = e l ，c ：，c 。 是类标集合。给定一个事例x ，分类器_ 的输出是一个m 维向量 圻= 【z 。( x ) ，厶( n ，厶( x 矿，f = 1 , 2 ，一对应于融合模板中的某一行- 融合系统将各个 分类器对同一类的输出和分类器在融合过程中所起的重要性进行组合，系统的输出是将 事例分为该类的支持度。 模糊积分融合模型如图3 2 所示。 一 k = a r g m a x ) l 孟l ：i m 图3 2 、c h o q u e t 模糊积分融台模板 类器的输 本文中，我们选用c h o q u e t 模糊积分做为融合算子，盯= 吮如i 垢p r ， 融 胁 融 严一 一 1 鼍警( j ) = ( c ) p 舡) ( 3 - 2 ) 3 4 1 线性规划确定模糊测度 对于所有训练样例，将不等式( 3 2 ) 转化为下列线性规划问题： r a i n 茧 f ( c ) 忡+ 和扣肛( 3 3 ) j “b j e c t t d j 茧0 ， i = 1 , 2 ，q 10 ，1 ，j = 1 , 2 。2 ”一2 i 一满足单调性 缶是一系列的松弛变量q = n - ( m 一1 ) ，线性规划共有2 “一2 个朱知变最， + 一1 ) + n 2 ”1 个约束条件，n ( m 一1 ) + 2 ”一2 个边界条件。通过求解该线性问题， 将未知变