（计算数学专业论文）模糊不确定性度量的探讨及扩展.pdf

西北大学硕士学位论文 摘要 摘要 信息的不确定性一般包括概率不确定性、模糊不确定性和分辨力不确定性。 在模糊信息系统中，模糊信息熵问题是当前比较感兴趣的课题之一，它具有重 要的理论和实践意义。 本文在以下几个方面对模糊不确定性的定量测度进行了较为深入的研究： 第二章，推广了模糊熵的概念，定义了模糊集的偏熵、关联熵和关联熵系 数，然后详细分析了它们的性质，并与鉴别信息、模糊散度建立了联系。最后 指出了关联熵系数在模式识别中的应用。 第三章，将( 七，q ) 阶广义概率熵、q 一阶s h a n n o n 概率熵推广到模糊集理论中， 首次引入了模糊集的( t ，q ) 一阶广义熵、g 一阶s h a n n o n 模糊熵。本文证明了q 一阶 s h a n n o n 模糊熵满足模糊熵的四个公理化条件并且它是一个盯一熵。然后讨论了 g 。阶s h a n n o n 模糊熵和g 阶r e n y i 模糊熵的关系。 第四章，首先系统地给出了直观模糊集的熵、距离测度和相似测度的公理 化定义并讨论了它们之间的基本关系，然后讨论了直观模糊集的t o - 熵、盯一距离 测度和仃相似测度及其关系。 第五章，在第四章中定义的距离测度和相似测度基础上分别产生了一些新 的直观模糊集的熵。 第六章，给出了区间值直观模糊集的熵、距离测度和相似测度以及o - 一熵、盯一 距离测度和仃一相似测度的定义，并讨论了它们的关系。 关键词模糊集直观模糊集区间值直观模糊集熵距离测度相似测度盯一熵 洙墅作者、罨师同露 _ 勾全文公韶 西北大学硕士学位论文 a b s t r a c t t h ed i s c u s s i o na n d e x p a n s i o n o nm e a s u r e m e n t o f f u z z yu n c e r t a i n t y a b s t r a c t i ng e n e r a l ，t h eu n c e r t a i n t yo fi n f o r m m i o ni n c l u d e s p r o b a b i l i s t i cu n c e r t a i n t y , f u z z yu n c e r t a i n t ya n dr e s o l u t i o n a lu n c e r t a i n t y i nf u z z yi n f o r m a t i o ns y s t e m s ，f u z z y i n f o r m a t i o ne n t r o p yp r o b l e mi sa tp r e s e n tam u c hm o r ei n t e r e s t i n gi s s u et h a ti sv e r y i m p o r t a n tf r o m t h et h e o r e t i c a la sw e l la sf r o mt h ep r a c t i c a lp o i n tv i e w t h i sp a p e rs t u d i e ds e v e r a la s p e c t so fq u a n t i t a t i v em e a s u r e so ff u z z i n e s sa s f o l l o w s ： i nc h a p t e rt w o ，a st h ed e v e l o p m e n to ft h ec o n c e p to ff u z z ye n t r o p y , t h en e w c o n c e p t so f p a r t i a le n t r o p y , r e l a t i v ee n t r o p ya n d r e l a t i v ee n t r o p yc o e f f i c i e n t so f f u z 巧 s e t sw e r ed e f i n e df i r s t l y t h e ns o m ep r o p e r t i e so f t h e mw e r ea n a l y z e di nd e t a i l ，a n d t h er e l a t i o nb e t w e e nt h er e l a t i v e e n t r o p ya n df u z z yd i v e r g e n c e , d i s c r i m i n a t i o n i n f o r m a t i o nw a se s t a b l i s h e d f i n a l l yt h i sp a p e rp o i n to u ta p p l i c a t i o no fr e l a t i v e e n t r o p yc o e f f i c i e n ti np a r e mr e c o g n i t i o n i n c h a p t e rt h r e e ，t h i sp a p e re x t e n d e d ( ，g ) 一o r d e rg e n e r a l i z e dp r o b a b i l i s t i c e n t r o p ya n dg - o r d e rs h a n n o np r o b a b i l i s t i ce n t r o p y t ot h ef u z z ys e t st h e o r y , a n d i n t r o d u c e d ( _ j ，q ) o r d e rg e n e r a l i z e de n t r o p ya n dq o r d e rs h a n n o ne n t r o p yo ff u z z y s e t sf o rt h ef i r s tt i m e p r o v e d q o r d e rs h a n n o nf u z z ye n t r o p ys a t i s f i e df o u ra x i o m c o n d i t i o n so fe n t r o p y t h e nt h er e l a t i o n s h i pb e t w e e nq - o r d e rs h a n n o nf u z z ye n t r o p y a n d q o r d e rr e n y if u z z ye n t r o p y w e r ed i s c u s s e d i nc h a p t e rf o u r ，g a v et h ea x i o md e f i n i t i o n so fe n t r o p y , d i s t a n c em e a s u r ea n d s i m i l a r i t ym e a s h r eo fi n t u i t i o n i s t i cf u z z ys e t s ，a n dd i s c u s s e db a s i cr e l a t i o n sa m o n g t h e m 。t h e n 仃- e n t r o p y , 盯一d i s t a n c e m e a s l l r e a n d 盯一s i m i l a r i t y m e a s u , r eo f i n t u i t i o n i s t i cf u z z ys e t sa r ed i s c u s s e da n dt h er e l a t i o n sa m o n gt h e m a r eg i v e n i n c h a p t e rf i v e ，b a s e d o nt h ea x i o md e f i n i t i o n so fd i s t a n c em e a s u r ea n d s i m i l a r i t y m e a s u r er e s p e c t i v e l yi n c h a p t e rf o u r , s o m en e we n t r o p y f o r m u l a so f i n t u i t i o n i s t i cf u z z ys e t sa r ei n d u c e d i nc h a p t e rs i x ，g a v et h ea x i o md e f i n i t i o n so f ( o ) e n t r o p y , ( 盯一) d i s t a n c em e a s u r e a n d ( 仃) s i m i l a r i t ym e a s u r e o fi n t e r v a lv a l u e di n t u i t i o n i s t i cf u z z ys e t s ，a n dd i s c u s s e d b a s i cr e l a t i o n sa m o n gt h e m i i 两北大学硕士学位论文a b s t t a c t g u o x i a o z h i ( c o m p u t i n gm a t h e m a t i c s ) d i r e c t e db yp r o fx i n x i a o l o n g k e yw o r d s ：f u z z ys e t ，i n t u i t i o n i s t i cf u z z ys e t ，i n t e r v a lv a l u e di n t u i t i o n i s t i cf u z z y s e t ，e n t r o p y ，d i s t a n c em e a s u r e ，s i m i l a r i t ym e a s u r e ，仃- e n t r o p y 1 1 1 独创性声明 y 6 2 3 8 3 8 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交 的学位论文是本人在导师的指导下进行研究工作所取得的成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含任何其 他个人或集体己经公开发表或撰写过的研究成果，也不包含为获得西 韭太堂或其他教育机构的学位或证书而使用过的成果。对本文的研究 做出重要贡献的个人和集体均已在文中明确方式标明并表示谢意。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：名p 毅乏 签字日期：妒啤岁月日 西北大学硕士学位论文 第一章绪论 1 1 课题背景 第一章绪论 研究信息，特别是研究不确定性信息的表达和处理是当今信息时代的个 重要问题。要研究信息处理和传输的规律，首先要对信息进行定量的描述，即 信息的度量，这是信息论研究的出发点。而迄今为止最成功、应用最广泛的是 建立在概率基础上的信息度量，即概率信息熵( 香农( s h a n n o nc e ) 信息熵) ) ， 它是概率平均不确定性的度量，进而建立在此信息量基础上的信息论成功地解 决了信息处理和可靠传输中的一系列理论问题。 随着生产科技的发展，由于度量尺寸的模糊性而产生、或者是由于人们对 事物的认识不充分，现有的信息存在着过渡的趋势所引起的模糊信息受到人们 的重视，人们逐渐认识到它引起的不确定性是与随机性不同的又一种不确定性。 信息的不确定性一般包括概率不确定性( p r o b a b i l i s t i cu n c e r t a i n t y ) 、模糊不确定 性( f u z z yu n c e r t a i n t y ) 和分辨力不确定性( r e s o l u t i o n a lu n c e r t a i n t y ) 。后来，哈 尔滨建筑工程学院的王光远院士在长期从事建筑工程理论研究中发现了不同于 以上三种信息不确定性的又一种不确定性，未确知性( u n a s c e r t a i n t y ) 。1 9 6 5 年， 模糊集理论e 1 1 的诞生为迸一步发展信息科学奠定了基础，它是表现和处理模糊信 息的有力工具，成为信息处理研究中的一个新的分支。 在信息科学日益受到人们广泛关注的今天，模糊不确定性的数量化，即模 糊信息熵问题成为异常活跃的新兴研究领域。虽然同属于信息熵的概率信息熵 和模糊信息熵都是平均不确定性的度量，但它们无论是在概念上还是在本质上 都是不同的。前者度量了随机不确定性，具有统计意义，后者度量了模糊不确 定性，具有非统计意义。而本课题主要针对模糊不确定性研究了模糊集、直观 模糊集与区间值直观模糊集的熵、距离测度和相似测度等相关问题，密切跟踪 科技的发展，必将丰富模糊信息熵的研究，也将为模糊信息科学的深入发展提 出新的思路。 1 2 模糊性的信息熵回顾 模糊集的模糊程度的数量化或度量称为模糊信息熵。对于这样一个测度， 我们应该考虑有关的性质。首先，使用任何一个测度度量分明集的模糊性应该 是0 ，即对于一个元素是否属于这个集合并没有模糊性。如果一个集合是最模糊 西北丈学硕士学位论文 第一章绪论 的( 心( x ) = o 5 ，v x ) ，则它的模糊性应该是最大的。当一个元素的隶属函数值趋 近于0 或1 时，则这个元素属于这个模糊集的模糊性减小。一个模糊集爿。叫做a 的峰化形式，如果满足下面的条件： ，( 工) u 月( x ) 若u h ( x ) 0 5 ：t ( t ) ，( x ) 若p a ( x ) 0 5 。 对于a 的峰化形式a ，其模糊性应该减小。另一个直观的性质是模糊集的模糊 测度与它的补集的模糊测度是相等的。 一般说来，对于离散论域= x ix ：， 上的模糊集的模糊信息熵是一个 映射，即 h ：f ( x ) _ 月+ ，其中f ( x ) 是工上所有模糊集的集合。 对于模糊信息熵日，它应满足下面四条公理 3 】：v a f ( x ) ， p 1 片( 彤= 0 甘心魄) = 0 或l ，v x , x ； p 2 h ( a ) 取最大值心( t ) = 0 5 ，屯x ； p 3 日( h ( a ) ，其中a 是a 的峰化形式； p 4 h ( a ) = h ( 4 ) ，其中a 为a 的补集，即约( ) = 1 一心( 一) ，屯z 。 p 1 表明任何分明集不存在模糊性。p 2 表明在( x ) 中仅有一个模糊性最大 的集合，p 3 说明若一峰化则意味着它的模糊性减少了，p 4 说明4 与它的补集的 模糊性相等。 1 9 6 8 年，扎德埘最先提出了度量模糊不确定性的设想，这种方法与概率论 紧密联系在一起，是一个与模糊集a 和概率p 有关的测度。设x a i = l 2 ，胛) 发 生的概率是p ，则k ( 4 ，e ) ：- z t o 鳓( x ，) 只l o g p ，v a f c d ，可以验证上式 不满足熵的四条公理p 1 p 4 ，从形式上看它仅是一种加权熵，而且还可以看出 具有概率p 的模糊事件的h 口( 一，尸) 小于香农信息熵( h s ( p ) = 一二。只l o g p 。) 。 自从扎德提出这个概念以后，人们总是试图对它作进一步的探讨，第一个 没有参照概率条件下的模糊性的度量是由意大利学者d e l u c a 和t e r m i n i 给出的， 并且给出了熵的四个公理化条件【3 1 ，他们利用香农函数的形式定义了模糊熵，即 日d ( 爿) = 一k ：，【“l o g 一+ ( 1 - l ，) l o g ( 1 一“) 】，v a f ( 工) ，其中k 是一个归一 化因子。之后便激发了人们对信息度量的研究热情，他们从各个不同方面给出 了定义和构造方法，促进了模糊信息熵在模式识别、聚类分析、系统分析和图 像处理等领域的应用。下面的表格归纳了后来出现的较常用的模糊不确定性的 2 西北大学硕士学位论文 第一章绪论 定量测度( 具体参见文献 3 1 3 ) 作者及时间模糊测度性质 d e l u c aa n d t e r m i n i ， p l 一尸4 1 9 7 2 ( 模糊熵) m ( 一) = 一k 【“l i l “+ ( 1 一“) 1 n ( 1 一h ) 】 ，= l k a u f m a r m ，1 9 7 5 日。f 似) = - ( 1 l o g n ) 妒( 鸬) l o g 矿( “) ， 只满足 ( 模糊熵) l 霉lj p l 其中妒( 儿) = 一z 。、以，f = 1 2 ，n j p l 一p 3 k n o p f m a c h e r a n d h l ( = = i q a h 以) l ，其中+ 是一个r + 是一个 l o o ，1 9 7 7 ( 模糊不确 ，t l 定性) 常数，& 和h 都要满足一定条件。 y a g e r , 1 9 7 9 ( 模糊不 h r ( q ，一) = d 9 ( y ，f ) 一d 4 ( 一，j ) ) d 9 ( l _ ) ， p 1 一p 4 确定性) 其中】，是一个分明集。 k o s k o ，1 9 8 6 ( 模糊熵) 日0 e ( g ，爿) = d q ( a ，a ”) d 9 ( 4 ，a j 8 r ) j p l 一p 4 p a la n dp a l ，1 9 8 9 ( 俨i 1 善n ( h 矿叫1 一h ) 扩) 标准化 ( 模糊熵) 后满足 p 1 一p 4 b h a n d a r ia n d p a l ， 刚，= 甏另 | p 1 一p 4 1 9 9 3 ( 模糊熵) b h a n d a r ia n d p a l ， ( 刚) = 丽1 丽善n l n ( + ( 1 一一) 。) ， p 1 一p 4 1 9 9 3 ( 高阶模糊熵) a 0 a 1 j l f a na n d yl m 文 = 志洒郭胁如) 口+ ( ，一胁刚“卜】 尸1 一p 4 2 0 0 2 ( 高阶模糊熵) f l * o , a n 口1 在有些情况下，隶属函数a a x ) 义一个 o ，1 】中的数作为它的隶属度， 集( o 模糊集) 的概念。、 ( x x ) 不能完全恰当地给每个对象工定 于是在1 9 7 5 年，扎德又提出了区间值模糊 在普通模糊集中若对该隶属度求补，则可得到每个对象不属于爿的程度。 即该隶属度仅是【o ，1 】中的一个单值，它既包含了支持该对象的证据，同时也包 西北大学硕士学位论文第一章绪论 含了反对该对象的证据，它不可能只表示其中的一个，更不可能同时表示支持 和反对的证据。为了解决普通模糊集无法处理这类模糊性的不确定信息的问题， k a t a n a s s o v 于1 9 8 3 年引入了直观模糊集【1 5 2 5 - 2 6 1 的概念。非空集x 中的一个直 观模糊集a 表示为：a = 仁心( 破屹( 砷) 卜z ，其中- i a ：斗【o ，1 】，v a ：寸【o ，l 】， 0 - - 弘a ( x ) + v a ( 力l ，工。以是工属于爿的隶属度，叱是x 属于a 的否定隶属 度。这两个界构成【o ，1 】的一个子区间 心( ，l 一( x ) 】，例如：设a 为一个直观 模糊集，假定一直观模糊值【鳓( 功，卜( x ) 】= 【o 5 ，0 8 ，可知心( 工) = o 5 ， v a ( x ) = 1 0 8 = 0 2 ，此时，可将x 属于a 的程度解释为：z 属于a 的程度为o 5 ， 不属于“的程度为0 2 。我们可用投票模型来解释它：即赞成票为5 票，反对票 为2 票，而弃权票为3 票。用普通模糊集是无法表示和处理这类模糊信息的。 1 9 9 3 年，台湾学者g a uw e n 1 u n g 定义了v a g u e 集【16 】，非空集x 中的一个 v a g u e 集v 由一个真隶属函数0 和一个假隶属函数力表示，即t v ：z - - ) o ，1 】， 万：x _ 【0 ，1 ，0 t a x ) + 矗( x ) 1 ，v x v 。t v ( x ) 是从支持x 的证据所导出的x 的 隶属度的下界，0 ( z ) 是从反对工的证据所导出的工的否定隶属度的下界。可以 看出v a g u e 集实质就是直观模糊集。而且在文献 1 7 1 中已经证明区间值模糊集和 直观模糊集是普通模糊集的等价广义形式。 1 9 8 9 年，k a t a n a s s o v 对直观模糊集的概念作了进一步的推广，定义了区间 值直观模糊集1 3 9 l 的概念。 目前，国内外对上述几类模糊集的研究时间较短，且大都集中于它们的运 算和性质等的研究。对于它们的模糊熵的研究较突出的有波兰学者j k a c p r z y k ， 西班牙学者h b u s t i n c e 及国内学者李凡，范九伦，马远良等人。j k a c p r z y k i l 驯 在对直观模糊集的几何解释的基础上利用两直观模糊集的距离的概念得到了一 个非概率型熵测度，而且证明了这个熵也可以由直观模糊集的基数的比值来定 义。李凡等人还研究了基于模糊集的直观模糊集的熵睁2 0 1 和基于直观模糊集的 近似推理等问题。 1 3 本文的研究内容及创新性成果 迄今为止，对模糊性的定量测度的研究只有3 0 多年的历史，现有的理论还 不能完全满足解决实际问题的需要，还需要在实践和理论中不断丰富和发展。 4 西北大学形1 1 一学位论文第一章绪论 本文的主要工作和主要研究成果包括以下几个方面： 1 作为事物不确定性度量一熵的概念之推广，本文定义了一种新的模糊测 度，即模糊集的偏熵与关联熵，并定义了关联熵系数。然后详细探讨了它们的 性质，并与文献【2 中定义的另一种信息测度模糊散度建立了联系。最后通过 举例指出了它们其中的一个应用。 2 在回顾了几种高阶熵之后，将q 一阶香农概率熵推广到模糊集，首次定义 了模糊集的( ，可) 阶广义熵，q 阶香农模糊熵，研究了它们的一系列性质，证明 了当q 0 5 时，玎阶s h a n n o n 模糊熵满足模糊熵的四个公理化条件并且它也是 一个o - 熵。然后讨论了g ，阶香农模糊熵和q 一阶瑞义模糊熵之间的关系。 3 近年来，中外有的学者致力于直观模糊集( 或区间值模糊集) 的熵、距 离测度和相似测度的研究并取得了一系列成果【1 8 2 7 五引。本文在此基础上首先系统 地给出了直观模糊集的熵、距离测度和相似测度的公理化定义并讨论了它们之 间的基本关系，然后给出了直观模糊集的仃一熵、盯- 距离测度和仃相似测度的 定义并讨论了它们之间的基本关系。 4 在第四章中，我们已经得到了直观模糊集的距离测度和相似测度的公理 化定义，本章分别在距离测度和相似测度定义的基础上产生了一些新的直观模 糊集的熵公式。 5 本文给出了区间值直观模糊集的( o - ) 熵、( 盯一) 距离测度和( 盯一) 相似测度的定义，并讨论了它们之间的基本关系。 6 结束语。对以上各章节进行总结，简述了本文的创新之处以及有待进一 步研究的问题。 总之，本文较深入的讨论了模糊集的有关熵、距离测度和相似测度的一些 问题，得出了一些新颖的结果。 西北大学形! 士学位论文 第二章模糊集的偏熵与关联熵 第二章模糊集的偏熵与关联熵 关于不确定性问题的度量准则一熵一给现代信息科学奠定了基础。本章推 广了熵的概念，引入了模糊集的偏熵与关联熵，分析其特性并与鉴别信息、模 糊散度建立了联系，定义了关联熵系数；最后，通过举例指出了其中的一个应 用方向。一方面，这些概念将在不确定环境中的归纳学习有一定的参考价值， 另一方面，也为模糊信息学的深入发展提供了新的思路。 2 1 预备知识 定义2 1 1 ”“设随机变量x 与y 的分布为 x：髀”j剖只愍剖,bxplp 2 , , p xql,qxl ， j【，9 2 ，j 那么x 关于y 的偏熵定义为 h a x ) ：一宝吼l 。g 风 定义2 1 2 3 2 1 随机变量x 与y 之间的关联熵定义为它们的偏熵之和，即 日( x ；】，) = h r ( x ) + h x ( y ) 定义2 1 3 【3 2 1 随机变量x 与y 的偏关联系数与关联系数分别定义为 从耻器， 棚= 器， ，、，、一日( x ) + 日( y ) y ( x ；y ) 2 h r ! ( x 1 ) + h 卫x ( r ) 。 定义2 1 4 【他1 模糊集a 和b 之间的模糊散度d ( a ，b ) 定义为 d ( a ，b ) = i ( a ，b ) + ，( 曰，4 ) = 喜陋咿删，h 筹如c 咿盹班n 粼 ，其中 6 西北大学母 士学位论文 第二章模糊集的偏熵与关联熵 州瑚= 私c 圳n 糕州他c 舭# 锱 ， 邶= 喜k m 糕州铂c 舭# 鬻 分别表示a 区别于b 的模糊信息和b 区别于a 的模糊信息，也叫a 与b 的鉴别 信息。反映了两个模糊集a 与b 之间的差异。 性质2 1 1 【1 2 】( 1 ) d ( a ，b ) o ，d ( a ，占) = 0 当且仅当a = b 。 ( 2 ) d ( a ，b ) = d ( b ，a ) 但是d ( a ，b ) 不满足度量的三角不等性质，因此d ( a ，b ) 只能作为一个伪度量。 需要说明的是上面定义的d ( a ，b ) 没有包括分明集的情况。所以文献 2 1 】对 上回的定义作了以f 修改： 定义2 1 5 t 2 1 1 d ( a ，b ) = e ( a ，b ) + e ( b ，4 ) 2 喜 鳓瓴m 斫河才+ ( 1 一约( 耳) m f 可瓦1 i - 瓦, u a 再( x , 而) + ( 一) k 可互石= = + ( 1 一如( ) ) h t 二可互乏云舌；辜之i 两j 性质2 1 1 口”刚) - 1 一i 盏d ( 丘- 2 ) 在本章中，f ( x ) 表示离散论域x = 薯l i = 1 ，2 ，1 l 上所有模糊集的集合， f ( x ) 中的任意模糊集a 记为 a = 心( t ) 如，i = 1 ，2 ，” ，其中以( ) 表示对4 的隶属度。 设_ 和b 是论域x 的两个模糊集，扎德把爿的补集j 定义为心( 薯) = 1 一心( ) ， v x , x 。a 和b 的并和交分别定义为： u 口( ) = m a x 月( ) ，r e ( x 3 ，v _ y ；2 a n b ( 一) = r a i n 2 ( x , ) ，鳓( ) ) ，v t r 。 本章中模糊集a 的熵采用文献【3 】中给出的对数形式： t 刚) 一志萋k ( x i ) l n , u a ( x , ) + ( 1 一鳓( i 汕( 1 一) ) 】，嫩眦) 西北大学硕士学位论文第二章模糊集的偏熵与关联墒 2 2 模糊集的偏熵 定义2 2 1 设a ，b 是f ( x ) 中的任意两个模糊集，则a 关于b 的偏熵定义为 瓦( 一) = 一 鳓( 一) l n t 。( 一) + ( 1 一。( ) ) l f l ( 1 一心( 薯) ) i = l 上式中口称为基准模糊集。在上述定义中，按惯例规定0 i n 0 = 0 ，l n 0 = 一。 与模糊熵的定义相类似，偏熵毛( 0 ) 也是模糊集a 的不确定性程度的一种度量。 特别地，如果取基准模糊集日为 如( t ) = 万忑了譬，扛l ，2 ， g ，口2 0 5 ，则偏熵岛( 爿) 变为 心( 一) 9l n z a ( x ，) + ( 1 一，( 一! ! ：生丛1 一! 生苎_ ! ! 智 u ( t ) 9 + ( 1 一i t ( t ) ) 9 借用q - 阶香农熵的定义，上面的式子称为模糊集4 的香农函数形式的口- 阶广义 熵，记为s q ( a ) 。并且当q = 1 时，s q ( a ) = n l n 2 e ( a ) 。 有关& ( 彳) 的内容将在第三章中详述。 模糊集爿关于模糊集b 的偏熵具有如下性质： 一般地，e e ( a ) e ( b ) ，下面的性质表明，偏熵易( 爿) 总是非负的。 性质2 2 1 e 日( 彳) o ，v a ，b f ( x ) 证明由0 1 ( ) l ，0 1 - p ( 工。) 1 ，得l n a ( ) o ，l n 0 一心( t ) ) 0 ； y o i tb ( ) 1 ，0 1 - , u b ( x ，) l ，所以 ( 4 ) = 一 口( t ) h ，“( t ) + ( 1 一。( 薯) ) l n ( 1 一，“( 一) ) 】o 。 ，；l 下面的性质表明j 关于百的偏熵与4 关于b 的偏熵是相等的。 性质2 2 2 岛( j ) = ( 一) ，v a ，b e f ( x ) 证明因为互= ( 1 一弘。( x ，) ) ，i = 1 ，2 , - - - , 蚪 ，五= ( 1 一, u a ( x ，) ) ，i = 1 ，2 ，h ) ， g 西北太学硕士学位论文第二覃模糊奥的偏熵与关联熵 所以岛( j ) = 一【( 1 一心( ) ) l n ( 1 一心( ) ) + ( t ) 1 n 一( t ) 】- b ( 一) 。 i = i 下面的性质表明偏熵具有可加性。 性质2 2 3 乓( 4 u b ) + & ( a n b ) = e c ( 4 ) + e c - ( 日) ，v a , b , c f ( x ) 证明记+ = x i x x ，以( x ) 鳓( x ) ，x 一= x l x z ，。( 工) 1 2 时，u _ ( 彳n j ) = 一【，“( ) l i l ( 1 一，( t ) ) + ( 1 一卢( 蕾) ) l n ，( ) 】 = n - ( 4 u 4 ) 。从而得证。 下面的性质给出了偏熵岛( 4 ) 的上、下界。 性质2 2 6 对给定的模糊集a ，当基准模糊集b 变化时： - z ，l n m a x ( # 。( ) ，i - # 。( ) ) e n ( a ) 一hr n i n ( ，“( ) ，1 - # a x , ) ) 证明只需证明 - i n m a x ( # ( x ) ，1 一心( x ) ) 蔓一【心( x ) l n 鳓( 工) + ( 1 一鳓( x ) ) 城l 一一( x ) ) 】及 ( x ) l i l 。( x ) + ( 1 一u o ( x ) ) l n ( 1 - , u 。( x ) ) 】一l i l 毗( 功，1 一，“( x ) ) ，v x e x 即可。 因为一【鳓( x ) h 胁( x ) + ( 1 - 儿( x ) ) i i l ( 1 一心( x ) ) 】= 一h 以“0 - # 。( z ) ) ” ， 又因为函数f ( x ) = 一l n x 是一个单调递减函数，所以欲求 一l n 心( x ) 蹦( 1 一儿( x ) ) 1 4 枷 的最大值与最小值，只需求 g ( ( 工) ) = u 。o ) “( 1 一心 ”“。的最小值与最大值即可。因为g ( ( x ) ) = 一( z 严“) ( 1 一心( 珈o - p s ( o ) i n 百兰甓胬，当以( x ) ( 卜心( 砌时，即一( x ) i 2 时，g ( k t s ( x ) ) 0 ，所以g ( 心( 工) ) 关于( x ) 单调递增，即( 1 - 以( 工) ) g ( 心( x ) ) 1 0 两北大学硕士学位论文 第二章模糊集的偏蛹与关联熵 a 。( z ) ，从而1 n 心( x ) 一1 n 一( x ) “r ( 1 一以( 工) ) 。- m 枷 一1 n ( 1 一心( x ) ) ，其中 左边等号成立时鳓( x ) = l ，右边等号成立时心( x ) = 0 ；当u 。( 工) s ( 1 - 心( x ) ) 时， 即以( z ) 1 2 时，g ( 心( x ) ) 0 ，所以g ( p 。( x ) ) 单调递减，即一( x ) g ( 鳓( x ) ) s ( 1 一心( x ) ) ，从而一t n ( 1 一。( x ) ) s 一1 n 以( x ) “。( 1 一鳓( z ) ) ( 1 ”删 一i n 以( 工) ，其 中左边等号成立时鳓( x ) = 0 ，右边等号成立时如( x ) = 1 。综合上述两种情况便 有：一i n m m x ( , u 4 ( 工) ，1 一( 工) ) 一 b ( 工) l i l ，“( x ) + ( 1 一b ( z ) ) h ( 1 一，( x ) ) 】以及 一 ，如( 工) m ，( z ) + ( 1 - ( x ) ) l n ( 1 - z a x ) ) - - i n m i n ( g ( x ) ，1 - y a x ) ) 。 通过上述证明还可以看出当不等式取等号时，b 退化为一个分明集。 2 3 模糊集的关联熵与关联熵系数 定义2 3 1 模糊集4 与模糊集占之间的关联熵定义为它们的偏熵之和，即 e ( ；b ) = ( 一) + 瓦( b ) = - - m ( x , ) l n p 。( x 2 + 0 - 。( 一) ) l n ( 卜心( t ) ) i = 1 + 声4 ( 蕾) h 1 鳓( t ) + ( 1 一_ l f s a x , ) ) i n ( 1 一鳓( 薯) ) 显然e ( 爿；曰) 关于。和是对称的，而且总是非负的，即 性质2 3 1e ( 一；b ) = e ( b ；a ) 0 下面的性质与模糊集a 和模糊集b 的模糊散度建立了联系。 性质2 3 2 e ( 一；b ) h l n 2 ( e ( 4 ) + e ( 曰) ) ，而且e ( 4 ；b ) = n l n 2 ( e ( a ) + e ( b ) ) 当且仅当a = b 。 证明因为e ( a ；b ) - n i n 2 ( e ( a ) + e ( b ) ) = d ( a ，曰) ，由性质2 1 。l 得 d ( a ，曰) 0 。而且当且仅当d ( a ，占) = 0 时，即e ( a ；b ) = n l n 2 ( e ( a ) + e ( b ) ) 时， a = b 。从而得证。 由证明已经看出e ( a ；b ) - n i n 2 ( e ( a ) + e ( b ) ) 即为文献( 2 】中定义的a 与口 的模糊散度d ( a ，b ) = i ( a ，b ) + ，( b ，a ) 。 下面是关联熵的几个有趣的性质： 西北大学硕士学位论文第二章模糊集的偏熵与关联熵 性质2 3 3 e ( a u b ；a f i b ) = e ( a ；b ) ，v a ，b ef ( x ) 证明记j + = x l 工x ，心( x ) - g ( x ) ，x 一= x l x ，以( 工) 盹 ) ) ，则 e ( a u b ；a n b ) = e n 8 ( 彳u b ) + e u 日( 一n b ) = 一 。( x ) l n p 。( x ) + ( 1 一, u s ( x ) ) l n ( 1 一。( 工) ) ，e x + + ( x ) l n p b ( x ) + ( 1 一( x ) ) l n ( 1 - p b ( 工) ) 】 一 - t a ( x ) l n p 。( x ) + ( 1 一心( z ) ) m l 一儿( x ) ) j e 。r 一 十b ( x ) k ，“( x ) + ( 1 - p b ( x ) ) 1 i l ( 1 一1 ( z ) ) 】 = 一 儿( x ) l n g a x ) + ( 1 一 j b ( x ) ) l n ( 1 一以( x ) ) j e x + “( x ) l n u 日( x ) + ( 1 一( x ) ) h i ( 1 - a 8 ( x ) ) 】= e ( 一；占) 。 性质2 3 4e ( a u b ；c ) s e ( a ；c ) + e ( 四；c ) ，v a ，b ，c f ( x ) 证酮i g x + = x l x x ，卢( 工) 口( x ) ) ，x 一= x j x x ，。( 功 o ，o h 立丛蔓掣 o ，o l n f l 一垫掣1 ，所 以避免了原来的缺陷。而且通过证明，此定义满足性质2 2 1 - - 2 2 5 ，所以定义 2 4 1 的修改是可行的。 定义2 4 2 模糊集以与模糊集b 之间的关联熵定义为它们的偏熵之和，即 e ( a ；b ) = b ( 爿) + 只( b ) = 一喜i 。c t ，h 兰垒! 掣+ c 一。c t ，h ( ，一z 生掣) + 。( 葺) h 1 兰垒量! 立! 2 生! 盐+ ( 1 一卢。( t ) ) h ( 1 一鱼苎掣 i 通过证明，此定义满足性质2 3 1 - - 2 3 4 ，并且e ( a ；b ) 一”l i l 2 ( e ( 4 ) + e ( b ) ) 即为定义2 1 5 所修改的模糊散度d ( a ，功。而且有e ( a ；a ) = 2 n l n 2 是一个定值。 按照上面的定义得到的模糊集a 与模糊集b 的偏关联熵系数与关联熵系数 满足性质2 ，3 ，5 - - 2 3 8 。 根据上面的新定义对例2 3 1 重新进行计算。 解b 与4 ，4 ，4 ，以，4 的关联熵系数为：p ( 4 ；动- - 0 9 7 7 2 ，鹏；固- 0 9 6 2 4 ， p ( 4 ；b ) = o 9 4 0 5 ，p ( 丘；b ) = o 8 6 8 9 ，p ( 4 ；b ) = 0 9 7 1 4 由于p ( 4 ；口) 最大，所以b 与4 归于一类，和例2 3 1 的分析结果是一致的。 但可以看出，上面的计算得到的关联熵系数和例2 3 1 的计算结果相比较， 不如例2 3 1 计算得到的关联熵系数间的差别明显。 通过进一步分析我们可以对偏熵、关联熵的定义作更一般的修改： 定义2 4 3 设a ，b 是f ( x ) 中的任意两个模糊集，则a 关于b 的偏熵定义为 西北大学硕士学位论文 第二章模糊集的偏嫡与关联熵 毛( 爿) = 一 如( t ) l n ( ( 1 一口) 一( t ) + 掣。( t ) ) + ( 1 - u 。( ) ) l n ( 1 一( ( 1 一口) 心( t ) + 掣。( 一) ) ) ，0 口 o ， o h ( ( 誓) + ( 1 一日) ( ) ) o ，0 0 口1 。 1 一o r 百、 显然有l i m 。+ l 爿”e 位：a ) = n l n 2 e d r ( ) 。 其中e d 7 ( 彳) = 一专善【n ( 薯) 1 n 以( t ) + ( 1 - 心( _ ) m ( 1 - 鸬( ) ) 】。在1 9 9 1 年， r a t h i e 和t a n e j a 对概率分布( a ，p 2 ，n ) 的离散随机变量给出了一般的( a ，卢) 一 1i ，一vl 舻3 1 9 南悟j 。1p 0 ”o ，蝉h 裼黜歃黼辙黻 上面公式的特殊形式。对于模糊集，马远良等人【1 3 】根据上面的分析得到了位，) 一 模糊熵( 册= 百兰丽喜 ( 以( t r + ( 1 一以( 犷p - 1 ，卢o ，a 。，口1 。当 口号0 时得到口阶熵，进而当口_ 1 时得到n i n 2 e o r ( a ) 。以上包括e d r ( 彳) 在内 1 7 西北大学硕士学位论文 第三章模糊集的一类新的广义熵 的五种熵都满足熵的四个公理化条件而且是盯熵，我们依参数a ，卢写成统一的 形式如下： 对口 o 和任意的，定义) = ( 爿) ，d l ，0 ( 爿) ，a l ，= 0 艺( 一) ，窿l ，= 1 。( 4 ) ，口1 ，卢= a p ( 爿) ，a = l ，= 1 定理3 1 1 f i m e 。( a ) = l “i m 艺( 一) = l i m e , 。( 彳) = ”i n 2 r ( 爿) 利用罗必达法则很容易证明。 定义3 1 1 【2