（计算机软件与理论专业论文）模糊分类模型的研究.pdf

摘要 摘要 模糊分类是模糊集合理论的一个重要应用。模糊分类规则被广泛认为是分 类知识较好的表示，与人类表达的知识类似，具有可读性和解释性。模糊分类 在图像处理、文字识别、语音识别、文本分类、遥感、气象及工业自动化控制 等许多领域得到广泛应用。 模糊划分和模糊分类规则的自动产生，分类规则的表达式，分类规则的调 整及分类识别率的提高是模糊分类模型研究的关键问题。为了研究这些问题， 这篇论文提出了三种模糊分类模型和一种多分类器集成方法，从不同的角度， 利用不同的方法和技术，探索解决上述问题的思路和方法。 模型i ：基于模糊核超球感知器的模糊分类模型( 简称f c m b f k p ) 。首先这 种模型选择适当的核函数，将训练模式从输入空间映射到高维特征空间。在特 征空间中，利用提出的模糊核超球感知器学习算法，对每一类训练模式找一个 超球。这个超球将覆盖该类别的所有训练模式。将每个超球，看作为一个模糊 划分，并为之建立一条i f t h e n 分类规则。以超球中心和半径为参数，定义超 圆锥体的隶属函数。考虑到各超球之间有交迭区域的可能，以超球半径作为规 则的调整参数，提出了调整策略和算法。用权威的机器学习数据库中的数据集 对模型的性能进行了实验评测，并与核超球感知器( k h p ) 乖is v m 方法进行比 较，验证了模型的有效性。 模型i i ：基于进化式核聚类的模糊分类模型( 简称f c m b e k c ) 。首先，这种 模型也是选用适当的核函数，将训练模式从输入空间映射到高维特征空间。在 高维特征空间，利用提出的进化式核聚类算法，对每一类训练模式进行聚类， 得到多个超球。然后，将每个超球看成一簇，每一簇就对应一个模糊划分。每 个模糊划分产生一条模糊i f t h e n 规则。以每簇的中心作为参数，定义超椭圆 体的隶属函数。考虑到不同类别的簇之间可能存在交迭区域，提出了基于遗传 算法的，并以簇的半径作为调整参数的规则调整方法。定义了适应度函数和介 绍了规则调整算法。采用权威的机器学习数据库中的数据集，对模型的性能进 行了实验评测，并与神经网络( a n n ) 和多层感知器( m l p ) 方法进行比较，验证了 模型的有效性。 模型i i i ：基于支持向量机的模糊分类模型( 简称f c m b s v m ) 。这种模型的 基本思想是分类模型构建初期，以每个训练模式为中心，进行模糊划分，即， 每个训练模式，对应一个模糊划分。每个模糊划分，建立一条模糊i f t h e n 分 类规则。选用适当的隶属函数，构造核函数。用支持向量机的学习方法，求出 第i 页 摘要 支持向量和规则的参数。根据规则的参数，提出了模糊分类规则选择准则，即 对于非支持向量的模式所对应到的分类规则被去掉。这种分类模型能实现模糊 划分和模糊分类规则的自动产生。分析了隶属函数参数以及惩罚参数，对分类 规则的产生以及分类性能的影响，提出了参数确定方法。基于这种模型的多类 分类问题，也进行了介绍。用双螺旋线数据和典型的数据集对模型的性能进行 实验评测，并与a d a b o o s t 和核f i s h e r 判别等方法进行比较，验证了模型的有效 性。 论文还提出了一种基于模糊积分的多分类器的集成方法。分类器集成的对 象是论文中提出的三种模糊分类模型。其目的是进一步减少在模糊分类模型生 成过程中，主观因素的参与成份，使分类模型具有更好的稳定性和更高的分类 识别率。论文中，提出了基于隶属度矩阵的模糊积分密度确定方法；介绍了基 于模糊积分的分类器集成算法；对分类器集的选择方法也进行了介绍。用权威 的机器学习数据库中的数据集作为实验数据集，将提出方法与已有的分类器集 成方法进行实验比较，评测了方法的有效性。 关键词：模糊分类，模糊规则，模糊划分，隶属函数，核函数，支持向量机， 模糊核感知器，进化式核聚类，遗传算法，分类器集成，模糊积分， 模糊积分密度 中图分类号：t p 3 9 第1 1 页 a b s t r a c t a b s t r a c t f u z z yc l a s s i f i c a t i o n i sa i l i m p o r t a n ta p p l i c a t i o no ff u z z y s e tt h e o r y f u z z y c l a s s i f i c a t i o nr u l e sa r ew i d e l yc o n s i d e r e daw e l l s u i t e dr e p r e s e n t a t i o no fc l a s s i f i c a t i o n k n o w l e d g e s i n c et h e yr e s e m b l et h ew a yw h i c hh u m a n sw o u l dp o s s i b l yf o r m u l a t e t h e i rk n o w l e d g e , t h e ya r er e a d a b l ea n di n t e r p r e t a b l e f u z z yc l a s s i f i c a t i o nh a sb e e n w i d e l ya p p l i e di nm a n yf i e l d s ，s u c ha si m a g ep r o c e s s i n g ，w o r d sr e c o g n i t i o n ，v o i c e r e c o g n i t i o n ，t e x tc l a s s i f i c a t i o n , r e m o t es e n s i n g ，w e a t h e ra n di n d u s t r ya u t o m a t i o n t h ek e yp r o b l e m so ft h em o d e lr e s e a r c ho nf u z z yc l a s s i f i c a t i o na r et h e a u t o m a t i cg e n e r a t i o no ff u z z yp a r t i t i o n sa n df u z z yc l a s s i f i c a t i o nr u l e s ，t h ee x p r e s s i o n o f f u z z yr u l e s ，t h eo p t i m i z a t i o nt u n i n go f c l a s s i f i c a t i o nr u l e sa n dt h ei m p r o v e m e n to f c l a s s i f i c a t i o nr e c o g n i t i o nr a t e t os t u d ya b o v ep r o b l e m s ，t h r e ef u z z yc l a s s i f i c a t i o n m o d e l sa n dam e t h o do fc l a s s i f i e re n s e m b l ea r ep r o p o s e dw i t hd i f f e r e n tv i e w s ， d i f f e r e n tm e t h o d sa n dt e c h n i q u e si nt h i sp a p e r m o d e li ：f u z z yc l a s s i f i c a t i o nm o d e lb a s i n gf u z z yk e r n e lh y p e r b a l ip e r c e p t r o n ( f c m b f k p ) i nt h i sm o d e l ，f i r s t l yt h ep a r e m si nt h ei n i t i a li n p u ts p a c ea r em a p p e d t oh i g hd i m e n s i o n a lf e a t u r es p a c eb ys e l e c t i n gas u i t a b l ek e r n e lf u n c t i o n i nt h e f e a t u r es p a c e ，t h eh y p e r b a l lw h i c hc o v e r sa l lt r a i n i n gp a t t e r n so fac l a s si sf o u n d e d f o re v e r yc l a s sb yt h ea l g o r i t h mo ff u z z yk e m e lh y p e r b a l lp e r c e p t r o n ah y p e r b a l li s r e g a r d e da saf u z z yp a r t i t i o na n dai f t h e nr u l ei sc r e a t e df o raf u z z yp a r t i t i o n a h y p e r c o n em e m b e r s h i pf u n c t i o ni sd e f i n e dw i t hr e g a r d i n gt h ec e n t e ra n dr a d i u so f t h eh y p e r b a l la sp a r a m e t e r s c o n s i d e r i n gt h ep o s s i b i l i t yo fo v e r l a p p i n ga r e a sa m o n g h y p e r b a l l s ，t h ep o l i c ya n da l g o r i t h mo ft u n i n gt h er u l e sa r ep r o p o s e dw i t hr e g a r d i n g t h er a d i u so ft h eh y p e r b a l la st u n i n gp a r a m e t e r e x p e r i m e n t sw i t l lt h ed a t as e t so f s t a n d a r dm a c h i n el e a n i n gd a t a b a s ee v a l u a t et h ep e r f o r m a n c e so ft h i sm o d e lw i t h c o m p r i s o no f e x p e r i m e n tr e s u l t so f t h e m e t h o d so f k e r n e lh y p e r b a l lp e r c e p t r o n ( k h p ) a n ds v m m o d e li i ：f u z z yc l a s s i f i c a t i o nm o d e lb a s i n g e v o l v i n g k e r n e l c l u s t e r i n g ( f c m b e k c ) s i m i l a r t ot h em o d e li ，f i r s t l yt h ep a t t e r n si nt h ei n i t i a li n p u ts p a c ea r e m a p p e dt oh i g hd i m e n s i o n a lf e a t u r es p a c eb ys e l e c t i n ga s u i t a b l ek e r n e lf u n c t i o n i n f e a t u r es p a c e ，t r a i n i n gp a t t e r n so f e v e r yc l a s sa r ec l u s t e r e db yt h ep r o p o s e de v o l v i n g k e r n e l c l u s t e r i n ga l g o r i t h m f o re a c hc l a s s ，m u l t i p l eh y p e r b a l l s a r e g o t a n da h y p e r b a l li sr e g a r d e da sac l u s t e rw h i c hr e l a t e st oaf u z z yp a r t i t i o n a ni f t h e n 第1 i i 页 a b s t r a c t f u z z yr u l ei sc r e a t e df o raf u z z yp a r t i t i o n ah y p e r e l l i p s o i dm e m b e r s h i pf u n c t i o ni s d e f i n e dw i t hr e g a r d e d i n gt h ec l u s t e rc e n t e ra sp a r a m e t e r c o n s i d e r i n gt h e p o s s i b i l i t y o fo v e r l a p p i n ga r e a sa m o n gd i f f e r e n tc l u s t e r s ，t h ef i t n e s sf u n c t i o ni sd e f i n e da n dt h e m e t h o do ft u n i n gr u l e sb a s i n gg e n e t i ca l g o r i t h m ( g a ) i sp r o p o s e d e x p e r i m e n t sw i t h t h ed a t as e t so fs t a n d a r dm a c h i n el e a n i n gd a t a b a s ee v a l u a t et h ep e r f o r m a n c e so ft h i s m o d e lw i t hc o m p r i s o no f e x p e r i m e n tr e s u l t so f t h em e t h o d so f a n na n dm l p m o d e li l k f u z z y c l a s s i f i c a t i o nm o d e l b a s i n gs u p p o r t v e c t o rm a c h i n e ( f c m b s v m ) ，t h eb a s i ci d e a lo ft h i sm o d e li sa sf o l l o w i n g a tt h ei n i t i a ls t a g e so f c o n s t r u c t i n gc l a s s i f i c a t i o nm o d e l ，af u z z yp a r t i t i o ni sb u i l d e da r o u n de a c ht r a i n i n g p a t t e r na n de a c ht r a i n i n gp a t t e mc o r r e s p o n d st oaf u z z yp a r t i t i o n af u z z y c l a s s i f i c a t i o nr u l ei sd e f i n e df o re v e r yf u z z yp a r t i t i o n t h ek e m e lf u n c t i o ni s c o n s t r u c t e db ys e l e c t i n gs u i t a b l em e m b e r s h i pf u n c t i o n s b yt h em e t h o do fs u p p o r t v e c t o rm a c h i n e ，t h es u p p o r tv e c t o r sa n dt h ep a r a m e t e r sa r eg o t t h ep r o p o s e d m e t h o do fs e l e c t i n gr u l e si st h a tt h ec l a s s i f i c a t i o nr u l et h a ti sc o r r e s p o n d e dt on o ta s u p p o r tv e c t o rw i l l b et a k e do u t f o rt h i sm o d e l ，t h ef u z z yp a r t i t i o na n dt h e c l a s s i f i c a t i o nr u l e sa r cp r o d u c e da u t o m a t i c a l l y t h ee f f e c t so ft h em e m b e r s h i p f i m c t i o n sp a r a m e t e r sa n dt h ep e n a l t yp a r a m e t e r sf o rt h ec l a s s i f i c a t i o nr u l ea n d c l a s s i f i e rp e r f o r m a n c ea r ea n a l y z e d t h em u l t i c l a s sc l a s s i f i c a t i o nb a s i n gt h i sm o d e l i sa l s oi n t r o d u c e d e x p e r i m e n t sw i t ht w o s p i r a ld a t aa n dt y p i c a ld a t as e te v a l u a t e t h ep e r f o r m a n c e so ft h i sm o d e lw i mc o m p r i s o no fe x p e r i m e n tr e s u l t so ft h e m e t h o d so fa d a b o o s ta n dk e m e lf i s h e rd i s c r i m i n a n t ac l a s s i f i c a t i o ne n s e m b l em e t h o db a s i n gf u z z yi n t e g r a li sp r o p o s e d t h eo b j e c t o f t h i sm e t h o di st or e d u c es u b j e c t i v ef a c t o ri nb u i l d i n ga f u z z yc l a s s i f i c a t i o nm o d e l b yc o m b i n i n gt h r e et y p ef u z z yc l a s s i f i c a t i o nm o d e l sw h i c ha r ep r o p o s e di nt h i s r e s e a r c h ，a n dt oi m p r o v et h ec l a s s i f i c a t i o nr e c o g n i t i o n r a t ea n ds t a b i l i t yf o r c l a s s i f i c a t i o ns y s t e m f o rt h i so b j e c t ，am e t h o do fd e t e r m i n i n g f u z z yi n t e g r a l d e n s i t yb a s e do nm e m b e r s h i pm a t r i xi sp r o p o s e d ，a n dt h ec l a s s i f i e re n s e m b l e a l g o r i t h mb a s i n gf u z z yi n t e g r a li si n t r o d u c e d t h em e t h o do fs e l e c t i n gc l a s s i f i e r s e t si sa l s os t u d i e d t h ep r o p o s e dm e t h o di se v a l u a t e db yt h ec o m p a r i s o no f e x p e r i m e n t sw i t hs t a n d a r dd a t as e t si nm a c h i n el e a r n i n gd a t a b a s ea n dt h ee x i s t e d c l a s s i f i e re n s e m b l em e t h o d s k e y w o r d s ：f u z z yc l a s s i f i c a t i o n ，f u z z yr u l e ，f u z z yp a r t i t i o n ，m e m b e r s h i pf u n c t i o n ， k e r n e lf u n c t i o n ，s u p p o r tv e c t o rm a c h i n e ，f u z z yk e r n e lp e r c e p t r o n ，e v o l v i n g 第1 v 页 a b s t r a c t k e r n e lc l u s t e r i n g ，g e n e t i ca l g o r i t h m ，c l a s s i f i e re n s e m b l e ，f u z z yi n t e g r a l ，f u z z y i n t e g r a ld e n s i t y c l c ：t p 3 9 第v 页 模糊分类模型的研究 t h em o d e ir e s e a r c ho n f u z z y c l a s s i f i c a t i o n 导师 指导小组成员 阳爱民 胡运发教授 施伯乐教授 胡运发教授 顾宁教授 葛家翔教授 图表目录 图表目录 图1 1 模糊划分( a ) 格状划分( b ) 树状划分( c ) 散状划分 图1 2 输入空间映射到特征空间的模式分布。 图2 1 两种模糊集隶属函数( a ) 高斯型( b ) 三角形 图2 2 ( a ) 梯形隶属函数c o ) d o n t r e 隶属函数， 图2 3 一个超盒体分类器的分类模糊区域视图 图2 4 模糊划分例子( a ) 格状划分( b ) 散状划分 图2 5 最优分类超平面。 图3 1 特征空间中的一超球 图3 2 超圆锥体隶属函数空间示图 图3 3 特征空间中多类超球关系 图3 4 训练模式分布与隶属函数关系 图3 56 。边界下界分析 图3 66 。边界上界分析 图3 7 被错误分类模式的6 。边界分析 图3 86 。的调整示图 图3 9 不相交迭的相邻规则的边界最优化分析 图3 1 0 核函数及参数与分类模型影响分析图 图4 1 支持向量聚类示意图 图4 2 支持向量聚类的例子 图4 3 参数q 与边界关系 图4 4 多超球核聚类示意图 图4 5 分类模型构建流程图 图4 6 规则区域空间示图 图4 7 进化式核聚类示例 图4 86 。j 的变化与隶属度之间关系 图4 9 染色体及个体的组成 图4 1 0 种群的组成 图5 1 o n e a g a i n s t - a l l 方法中的不可分区域( 1 ) 。 图5 2 o n e a g a i n s t a l l 方法中的不可分区域( 2 ) 图5 3 o n e a g a i n s t o n e 方法中的不可分区域 图5 4 扩展后的可预测区域 第i v 页 0 0加u嵋m旧弛姐踮盯孵蛆鸵蛎盯螺肌驺骗卯盯鹋鸥斛 图表目录 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图5 1 1 图5 1 2 图5 1 3 图6 1 图6 2 图6 3 图6 4 模糊划分示例 模糊子集对应隶属函数示意图 端轴上的隶属函数 四种隶属函数 双螺旋线分类 支持向量与隶属函数关系图 6 与相似度及识别率的关系 双螺旋线模式分布图 6 、c 与识别率、规则数之间关系图 分类器集成方式( a ) 级联方式( b ) 并联方式 分类器集成系统构建流程 两个分类器在同一数据集上的错分情况 分类器集谚 别率与差异度关系 表2 1 模糊区域划分方式比较 表3 1 不同的核函数及参数实验结果比较 表3 2 实验数据集情况表 表3 3 不同数据集的实验结果 表4 - 1f c m b e k c 模型实验结果( w i n e 数据集) 表4 2f c m b e k c 方法与文献【7 6 】方法的实验结果比较 表4 3f c m b e k c 模型实验结果( 手写体数字识别数据集) 表4 4 不同方法的识别率比较 表5 1 双螺旋线分类实验结果 表5 2 采用不同隶属函数的分类结果比较 表5 - 3 其它方法在i m a g e 数据集上的错误识别率 表5 4 多类分类实验比较( i r i s 数据集) 。 表6 1 两个分类器的错分表 表6 2 个体分类器的识别率及参数 表6 3 个体分类器的错分表 表6 4 基于i r i s 数据集的一分类器隶属度矩阵 表6 5 分类集成系统与个体分类器识别率比较 表6 6 本研究的分类器集成方法与其它集成方法识别率的比较 第v 贞 盯鹋他乃m他跎眈卯 他铊的n他踮鼢泓盯鲫睨呓 t ， 第一章绪论 1 。1 研究的背景 第一章绪论 模糊集合( f u z z ys e t s ) l 埋- 论【l1 7 ，l1 9 】是由美国加州柏克莱分校l - a z a d e h 教授 1 9 6 5 年提出的概念1 1 1 ，用来处理模糊不清、不严密和不明确的问题。主要的特 点是将明确集合( c r i s ps e t s ) 加入模糊的观念，并用模糊集合来描述输入模式空间， 即利用输入空间的模糊子集合或模糊规则来描述复杂或不确定的系统。模糊集合 用隶属度( m e m b e r s h i pd e g r e e ) 来表示元素属于集合的程度，隶属度在o 到1 之间取 值。这改变了传统数学二值逻辑的明确集合表示，将之扩展为连续多值的模糊集 合表示，并使之接受具有模糊现象存在的事实。 模糊集合理论是采用严格精确的数学手段来处理“模糊”的现象，以达到消 除“模糊”的一门学科。它是人类认识能力的深化和精确的反应。模糊集合理论 在形式化思维和复杂化系统之间架起了一座桥梁，基于模糊集合理论的模糊系统 具有处理复杂的、非线性和用简单的数学方法难于处理的动态系统的能力。因此， 已被广泛应用在诸如模式识别、模糊控制、模糊决策及模糊软件等许多领域，并 取得了令人瞩目的成就。 模式( p a t t e r n ) 分类在生活与工程领域一直扮演着相当重要的角色，分类器的 设计与应用也一直受到重视。一般而言，现实的分类问题中往往包含许多不确定 性或噪声，而模糊分类器( f u z z yc l a s s i f i e r ) 的特性很适合实际分类问题的解决，这 是将模糊系统与分类器结合的主要原因。模糊分类( f u z z yc l a s s i f i c a t i o n ) 是模糊集 合理论的一个重要应用 2 3 。基于模糊i f t h e n 分类规则被广泛的认为是分类知 识较好的一种表示，与人类表达的知识类似，具有可读性和解析性。模糊分类在 图像处理、文字识别、语音识别、文本分类、遥感、航天、气象及工业自动化控 制等许多领域得到了广泛应用。 在模糊分类系统中，最重要的工作在于针对一个具体的分类问题，找到一套 合适的模糊分类规则。实际应用中，通常有两种选择：从多个专家处获得的专业 知识直接产生模糊推理规则；通过机器学习的方式，从己知的训练模式集中推 导出模糊分类规则。第一种方法带有明显的主观性和经验性，受人为因素影响很 大。因此，近十余年来，许多对模糊分类规则的研究都是怎样自动的从训练模式 集提取模糊分类规则。 模糊分类模型通常是从数字化的数据中产生规则。对于模式分类问题，从数 字化的数据中产生规则，由两个阶段组成：其一是输入模式空间的模糊划分 第1 页 第一章绪论 ( f u z z yp a r t i t i o n ) ；其二是决定与模糊子空间( f u z z ys u b s p a c e ) j f j 适应的模糊规则 ( f u z z yr u l e ) 。一般模糊分类模型的设计要考虑以下几方面的内容： 模糊分类器的结构确定，即确定模糊分类规则表达式及分类输出判别函 数的表达式。 模式输入空间的模糊划分方式及模糊集隶属函数( m e m b e r s h i pf u n c t i o n ) 的选择。 模糊规则产生方法及调整方法的确定。 一个性能优良的模糊分类模型的设计应追求达到以下三个最佳化目标，即： 最少的模糊规则数量。 最短的模糊规则长度( 即i f t h e n 规则中，i f 部分的长度) 。 具有最高的识别率。 为了获得性能优良的模糊分类模型，许多研究者将其领域的方法和技术运用 到模糊i f t h e n 分类模型的研究上。例如，将神经网络用于模糊规则学习及隶属 函数特征参数的调整【4 6 】：将遗传算法( g e n e t i ca l g o r i t h m ，g a ) 用于模糊规则的学 习，且建立基于遗传算法模糊分类器【7 1 6 】；将聚类方法用于模糊分类器的产生 1 7 1 8 】；将提升( b o o s t i n g ) 算法用于模糊规则的产生【19 】。文献 2 0 中用模糊熵将 输入特征空间划分成决定区域，选择特征空间，减小模糊分类规则产生的数目等。 由于模式分类问题的复杂性，模糊分类模型在如何确定模糊划分方式及划分 方法，模糊集隶属函数的选择，模糊分类规则的产生等方面有一定的困难。例如， 如果模糊系统应用于比较复杂的系统中，则模糊系统会有大量的隶属函数和模糊 规则，但获取和优化隶属函数和模糊规则不是一个很容易的任务。同时，在复杂 的系统中，模糊划分和模糊分类规则的自动产生、自动调整，显得尤为重要。 在文献 2 1 中，将模式输入空间的模糊划分方法分为三类：( 1 ) 格状划分( g r i d p a r t i t i o n ) 方式；( 2 ) 树状划分( t r e ep a r t i t i o n ) 方式：( 3 ) 散状划分( s c a t t e rp a r t i t i o n ) 方 式。如图1 1 所示。( 关于模糊划分在第二章2 1 3 有相关的介绍) 图11 模糊划分( a ) 格状划分( b ) 树状划分( c ) 散状划分 f i g1 if u z z yp a r t i t i o n ( a ) g r i dp a r t i t i o n ( b ) t r e ep a r t i t i o n ( c ) s c a t t e rp a r t i t i o n 选择不同的划分方式和划分方法，会得到不同的模糊子空间，而不同的模糊 子空间又会影响模糊分类规则的产生和表示。在模式具有高维特征的分类问题 第2 页 笫一章绪论 中，要单凭直觉去判断采用何种划分方式和划分方法来划分模糊区域并不容易。 因此，如何选择最适当的模糊区域划分方式和方法，是值得探讨的问题。 在模糊子空间确定后，如何选择适当的隶属函数和规则表达式，来最优化表 示模糊子空间，使模糊分类模型有最大的识别率，这也是值得更进一步研究的问 题。传统的方法大多是用错误尝试法或使用启发性知识来确定模糊隶属函数与模 糊规则，但这种方式对模式具有大量输入特征变量的分类问题，难以使用。 研究模糊划分和模糊规则的自动产生和调整，尽量减少分类模型参数的人为 主观因素的参与等问题，对提高模糊分类模型的识别率和增强其稳定性是非常必 要的。特别对模式具有高维的输入空间和大容量的模式分类问题，这些问题的解 决更为必要。 自动模糊划分，模糊分类规则的自动产生，模糊分类规则表达式生成，规 则的优化调整以及分类识别率的提高就构成了模糊分类模型研究中的关键问 题。研究和探讨解决这些关键问题的模糊分类模型，具有理论和实用价值。 1 2 研究的目的 针对1 1 节提出的问题从理论和实现方法上，研究和探讨通过构建新的模糊 分类模型，来解决这些问题，是这篇论文的研究目的。 为达到这一目的，我们的研究基本思路如下：首先，利用核函数( k e m e l f u n c t i o n ) 方法，选择适当的核函数，将模式从输入空间映射到高维特征空间，如 图1 2 所示。然后，采用模糊核感知器( 缸西可k e m e lp e r c e p t r o n ) 、进化式核聚类 ( e v o l v i n gk e m e lc l u s t e r i n g ) 及支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 1 2 0 等方 法进行自动模糊划分和自动模糊规则产生，建立相应的模糊分类模型，定义模糊 分类规则的表达式，研究对自动生成模糊分类规则和规则的优化调整的算法以及 提高模糊分类模型识别率的方法。为了进一步减少分类模型参数的人为主观因素 的参与，本研究将利用模糊积分( f u z z yi n t e g r a l ) 的理论将建立的多个模糊分类模 型起来，研究基于模糊积分的多分类器集成( c l a s s i f i e re n s e m b l e ) 方法。 图1 2 输入空间映射到特征空间的模式分布 f i gi 2d i s t r i b u t i o no f p a t t e r n sm a p p e df r o mi n p u ts p a c et of e a t u r es p a c e 本研究提出了三个模糊分类模型和一种分类器集成方法，具有如下的研究 第3 页 第一章绪论 价值： 将机器学习领域中研究比较热门且有广泛应用前景的支持向量机与具有 良好的解释性的模糊集合理论相结合，建立相应模糊分类模型，对模糊分类进行 研究。从支持向量机的角度，解决了模糊分类模型中，自动模糊划分和模糊分类 规则的自动产生问题，研究得到相应的技术和方法；也拓广了支持向量机的应用 范围。 提出在高维特征空间，确定模糊划分的模糊核超球感知器算法和进化式核 聚类算法，并建立相应的模糊分类模型。从核感知器和核聚类的角度，为模糊分 类模糊中自动模糊划分和模糊规则产生，提供了新的思路和方法。 利用核函数方法，解决模糊分类模型中，模式维数“灾难”问题。 提出的分类模型，以权威的机器学习数据库中数据集作为实验数据集，对 提出的模型进行评测，并与相关方法进行比较，验证其有效性。因此，本研究具 有很强的实用价值。 t 3 相关的研究 下面对模糊分类系统相关的研究，进行简单介绍。 1 精简模糊规则数量的方法 精简模糊规则数目是设计高效的分类模型的一个重要目标。下面的研究方法 都试图达到这一目标。 模糊规则选择 i s h i b u c h i 等人 2 2 2 3 在探讨高维度的模式分类问题时，建议用遗传算法 ( g e n e t i ca l g o r i t h m ，g a ) 来选择模糊分类规则，以减少分类规则的数目。其研究的 模糊区域主要为格状划分方式，采用固定的三角形隶属函数。 特征集选择 并非所有的模式输入特征属性都必须用来作解决高维度的分类问题，可运用 遗传算法的特征选择方法，选取其中一组最佳的特征集合 2 4 ，来进行模糊分类 模型的构建。t h a w o n m a s 和a b e 【2 5 】提出分析模糊分类模型的规则类别时，可先 将不具有相关特性的特征先舍弃，这种方式可以提升分类的速度。l e e 等人 2 0 将模糊熵用于将输入特征空间划分，选择特征空间，减小模糊分类规则产生的数 目。 特征空间的划分方式选择 j y e n 研究了模糊区域以不同的划分方式对分类器性能的影n 向 2 1 。m a n d a l 提出可以从训练集的相关位置求出其特征空问，再将此特征空间分解使之可用超 盒体( h y p e r b o x e s ) 的划分方式来相互重迭分析使用 2 6 。 第4 页 第一章绪论 聚类方法。 r o u b o s 和s e t n e s 建议先用聚类方法求出初始的模糊分类规则基 2 7 1 。然后， 将相似的规则基简化，并采用多目标遗传算法的优化学习方式，既减小模型的复 杂性，同时又能使分类识别率提高。 2 模糊分类识别率的提高研究 通过选择具有较大灵活性( f l e x i b l e ) 的调整参数的隶属函数，来提高识别 率。隶属函数的形状要有足够的灵活，才能产生正确的模糊划分和提高分类的正 确率 2 8 1 。然而，具有较大灵活性参数的隶属函数，会增加需要最优化调整参数 的数目，因此，必须要有强有力的最优化算法来配合 2 9 。 通过同时进行隶属函数和模糊规则的调整，来提高识别率。h o m a i f a r 和 m c c o r m i c k 3 0 认为此种方法可增强模糊分类系统的分类正确率 1 8 】。但对于高 维度模糊分类问题的研究，因为会大量增加最优化的参数数目，很难做到同时进 行隶属函数和模糊规则的调整设计。 通过调整每个模糊规则的置信度( g r a d eo f c e r t a i n t y ) ，来提高识别率。 i s h i b u c h i 和n a k a s h i m a 确信这种方法可提高模糊分类的识别率 3 1 】。为了提高遗传 算法的效率，在规则结论部分采用一种启发式方法( h e u r i s t i c m e t h o d ) 2 2 2 3 。 3 其它方面 在模糊规则的自动处理的也有相关的研究，且开发了一些系统。例如，基于 神经网络的 3 2 3 3 】，基于遗传算法的 3 4 3 5 ，基于聚类的 1 7 1 8 等系统a 在隶属函数的选择方面，根据模糊区域的形状，有以下几种：基于超盒体 ( h y p e r b o x ) 区域的模糊分类器 3 6 - 3 7 ；基于多面体( p o l y h e d r a l ) 区域的模糊分类器 3 8 ；基于椭圆体( e l l i p s o i d a l ) 的模糊分类器 3 9 - 4 0 。 另外，模糊划分的相关研究，将在第二章2 1 3 节介绍；模糊分类与核函数方 法、支持向量机等相关的研究，将在相关章节作简单的介绍。 1 4 研究的内容 本研究，通过构建新的模糊分类模型来研究模糊分类的技术和方法，以提 高模型的识别率和减少模型构建中参数人为因素参与的成分为目的。研究内容 如下： 基于模糊核超球感知器的模糊分类模型的研究 研究中，利用核函数方法，选用适当的核函数，将输入模式映射到高维的 特征空间，提出在特征空问的模糊核超球感知器( f u z z yk e r n e lh y p e r b a l l p e r c e