第8章-模糊模式识别---西安电子科技大学.ppt

1、第8章模糊模式识别,8.1模糊集合 8.2模糊关系 8.3模糊模式识别的基本思想 8.4模糊聚类分析 习题,8.1 模 糊 集 合 8.1.1模糊子集的概念 模糊集合也称模糊子集, 是由其隶属函数来定义的。 定义8.1给定论域U, 如果对任意的uU, 都确定了一个数, 表示u属于的程度, 则称为论域U上的一个模糊子集; 称映射,(8-1),为的隶属函数; 称为u对的隶属度。 隶属函数是模糊性的一种度量, 表示元素u具有性质的程度, 或u属于的程度。 【例 8.1】取论域U是实数集R, 模糊子集表示“远大于1的实数”, 其隶属函数可以选择为(如图8-1所示),图 8-1例8.1中隶属函数的示意图

2、,【例 8.2】以年龄作论域, 取U=0, 200, 模糊子集 表示“年老”, 表示“年轻”, 它们的隶属函数可以选择为(如图8-2所示),若U为有限集合或可数集合, 则模糊子集可表示为,(8-2),若为无限不可数集，则可表示为：,(8-3),其中，“”与“”并不是求和与积分, 而是表示模糊子集 中各个元素与隶属度的对应关系。 ,图 8-2例8.2中隶属函数的示意图,当的值域为0, 1时, 退化为一个普通子集的特征函数, 便退化成一个普通子集, 因此, 普通子集 是模糊子集的特殊形态。 若把论域U上全部模糊子集所组成的集合记作F(U), 则有, 其中P(U)是U的幂集。 当 时, 称为真模糊子

3、集。 此时, 至少存在一个元素u0, 使 。 ,如果存在至少一个元素u0U, 使得, 则称 为正规模糊子集(Normal), 否则称为非正规模糊子集。 如果对任意的u1, u2U, 0, 1, 都有 则称为凸模糊子集(Convex)。 假设论域U为实数域R, 如果既是正规模糊子集, 又是凸模糊子集, 则称为模糊数(Fuzzy Number)。,8.1.2隶属函数的确定 隶属函数的确定需要对描述的概念进行充分的了解, 经过人脑的加工和某种心理过程, 采用一定的数学方法来表达。 确定隶属函数的方法有许多, 如模糊统计法、 模糊分布、 专家打分法、 推理法和对比排序法等。 这里主要介绍模糊统计法与模

4、糊分布。 ,1. 模糊统计法 在某些场合下, 隶属度可用模糊统计的方法来确定。 模糊统计试验有四个要素: (1) 论域U, 例如年龄的集合; (2) U中的一个元素u0, 例如50岁; (3) U中一个边界可变的普通集合A*, 例如“年老”, A*对应一个模糊集及其相应的模糊概念a; (4) 条件s, 它对应按概念a所进行的划分过程的全部主、 客观因素, 制约着A*边界的改变, 例如不同试验者对“年老”的理解不一样。,模糊性产生的根本原因就是, 条件s对按概念a所作的划分引起A*的变异, 导致u0对A*的隶属关系不确定, 即A*可能覆盖了u0, 也可能不覆盖u0。 例如, 有的试验者认为50岁

5、是“年老”, 但有的试验者认为不是。 模糊统计试验要求在每一次试验下, 对u0是否属于A*作一个确切的判断。 经过 n 次试验以后, 可计算出u0对的隶属频率:,u0对的隶属频率=,(8-4),一般地, 随着n的增大, 隶属频率表现出稳定性。 u0对的隶属度定义为,(8-5),得到统计结果后, 可选用某种分布函数进行拟合, 适当调整参数就可以得到隶属函数的数学表达式。,2. 模糊分布 在许多实际应用中, 一般以实数集R作为论域。 实数集R上模糊集合的隶属函数称为模糊分布, 记为F分布。 在实际应用中, 可根据具体问题的特点选择相应的F分布。 也可以通过统计, 给出隶属度的大致曲线, 将它与F分

6、布比较, 选择相似的一种, 再根据实验确定符合实际的参数。 这里给出常用的几种F分布。,1) 矩形分布 (1) 偏小型(见图8-3(a):,(2) 偏大型(见图8-3(b):,（3）中间型（图8-3（c）,图 8-3矩形分布 (a) 偏小型; (b) 偏大型; (c) 中间型,2) 梯形分布 (1) 偏小型(见图8-4(a):,(2) 偏大型(见图8-4(b)：,(3) 中间型(见图8-4(c):,图8-4 梯形分布 (a) 偏小型；(b) 偏大型；(c) 中间型,3）抛物形分布 （1）偏小型（图8-5（a）,（2）偏大型（图8-5（b）,（3）中间型（图8-5（c）,图8-5 抛物形分布 (

7、a) 偏小型；(b) 偏大型；(c) 中间型,4）正态分布 （1）偏小型（图8-6（a）,（2）偏大型（图8-6（b）,（3）中间型（图8-6(c)）,图8-6 正态分布 (a) 偏小型；(b) 偏大型；(c) 中间型,5）柯西分布 （1）偏小型（图8-7(a),（2）偏大型（图8-7(b),（3）中间型（图8-7(c)）,图8-7 柯西分布 (a) 偏小型；(b) 偏大型；(c) 中间型,6）岭形分布 （1）偏小型（图8-8(a),（2）偏大型（图8-8(b),（3）中间型（图8-8(c)）,图8-8 岭形分布 (a) 偏小型；(b) 偏大型；(c) 中间型,8.1.3模糊子集的运算 1.

8、基本运算 两个模糊子集之间的运算是通过对两个隶属度作逐点的运算来实现的。 (1) 相等: 设和为论域U上的两个模糊子集, 若, 有, 则称和相等, 即,(8-6),(2)包含：设和为论域U上的两个模糊子集，若 ，有 ，则包含，即,(8-7),(3) 空集：设为论域上的模糊子集，若，有，则称为空集，记为，即,(8-8),(4) 补集：设 和 为论域上的两个模糊子集，若 ，有,(8-9),则称 为 的补集。,(5) 全集：设 为论域U上的模糊子集，若 ，有 ，则称 为全集，记为，即,(8-10),(6)并集：设，都为论域上的模糊子集，若 ，有 ，则称 为 与 的并集，即,(8-11),(7) 交集

9、：设 ， ， 都为论域U上的模糊子集，若 ，有 ，则称 为 与 的交集，即,(8-12),2. 模糊子集运算的基本性质 一般地, 除互补律以外, 在普通集合中成立的各种基本性质对于模糊集合也都成立。 模糊子集运算的基本性质如下: (1) 自反律:,(8-13),（2）反对称律,(8-14),(8-16),（3）传递律,(8-15),（4）幂等律,（5）交换律,(8-17),(8-18),（6）结合律,（7）吸收律,(8-19),（8）分配律：,(8-20),(8-21),（9）双重否定律,（10）对偶律（德摩根定律）,(8-22),（11）定常律,；,(8-23),（12）一般地，互补律不成立

10、,(8-24),3. 模糊集合与普通集合的相互转化 截集概念和分解定理是普通集合与模糊集合之间的联系纽带, 可以把模糊集合论的问题转化为普通集合论的问题。 与之对应的是, 扩张原则把普通集合论的方法扩展到模糊集合论中去。 扩张原则是Zedah于1975年提出的, 可作为公理来使用, 但实质上是一个定义。 ,定义8.2对于给定的模糊集合 , 对任意0, 1, 称普通集合,(8-2),为 的截集。 A是 的隶属度达到或超过的元素的集合。 不难证明, 截集A满足如下三个性质: ,(8-26),(8-27),(8-28),此外, 容易验证, 模糊数 的截集为实数轴的一个闭区间, 即A=a, b。 定义

11、8.3设, 称A1为 的核; 称 为 的支集; 称 SuppA1为 的边界。 若模糊子集为正规模糊集, 则的核是非空的, 反之亦然。,Supp,定理8.1 （分解定理） 设为论域U上的一个模糊子集， A是的截集, 0, 1, 则可以分解为,(8-29),其中, 模糊子集A称为与A的“乘积”, 其隶属函数为,(8-30),8.2 模 糊 关 系,8.2.1模糊关系的定义 设U、 V是两个论域, 记,(8-33),UV称为U与V的笛卡尔乘积集。 ,由式(8-33)可以看出, 笛卡尔乘积集是两个集合元素间的无约束搭配。 如果对搭配加以约束, 便形成了一种特殊关系, 相应的元素对构成笛卡尔乘积集的一个

12、子集, 该子集体现了相互之间的这种关系。 因此, 在普通集合论中, U到V的一个关系被定义为UV的一个子集R。 相应地, 模糊关系就是论域UV上的一个模糊子集。 ,定义8.5称论域UV上的一个模糊子集为从U到V的一个模糊关系, 记作 。 模糊关系的隶属函数为,(8-34),当论域U、 V都是有限集合时, 模糊关系 可以用一个矩阵R来表示, 即,(8-35),其中，,，,(,)。,矩阵R称作模糊矩阵。 若,(,),(8-36),则矩阵R退化为布尔矩阵。 布尔矩阵表示的是一种普通关系, 因而普通关系是模糊关系的特例。,模糊关系的建立主要包括如下两个步骤: (1) 数据规范。 把各对象的数据规范化,

13、 一般把数据规范到闭区间0, 1。 (2) 计算对象i与j之间具有某种关系 的程度rij(一般是对象i与j之间的相似程度), 其中, 1in, 1jm, n和m为对象个数, 从而确定模糊关系 所对应的模糊矩阵R。,8.2.2模糊关系与模糊矩阵的运算 下面定义模糊关系与模糊矩阵的运算, 它们之间是等价的。 1. 并、 交、 补、 相等和包含运算 定义8.6用Fnm表示n行m列模糊矩阵的全体, 对任意R=(rij), S=(sij)Fnm, 定义,(8-37),(8-38),(8-39),2. 截矩阵 定义8.7对任意0, 1, 记R=(ij), 其中,称R为R的截矩阵, 它所对应的关系称为 的截

14、关系。,8.3 模糊模式识别基本思想,8.3.1特征的模糊化 特征的模糊化是指根据一定的模糊化规则把普通意义下的一个或几个特征变量变成多个模糊变量, 用来表达原始特征的某一局部特性。 其中, 模糊化规则通常是根据具体应用领域的专门知识人为确定或通过试算确定的; 当论域为实数域时, 模糊变量一般为模糊数。,例如, 在统计模式识别中, 人的身高是一个数字化的特征。 在模糊模式识别中, 根据需要, 可以把身高特征分为“偏矮”、 “中等”和“偏高”三个模糊特征。 每个模糊特征是一个连续变量, 分别表示身高属于偏矮、 中等和偏高的程度, 而不是身高的具体数值。 这种表示方法通常称为1ofN编码(N分之一

15、编码)。 特征的模糊化将一个确定的点x=(x1, x2, , xn)TU= U1U2Un 转换成一个模糊集 , 其中, U为论域。 主要有两种映射方法: ,(1) 单值模糊产生器。 若集合 对于支撑集x为模糊单值, 则对于某一点x=x, 有 , 而对其余所有 xx, 有 。 (2) 非单值模糊产生器。 当x=x时, 有; 当x逐渐远离x时, 从1开始衰减。 模糊特征能够更好地反映问题的本质, 简化分类器的设计和提高分类器的性能, 特别是, 若对特征与分类问题之间的关系有一定的先验知识, 则这种方法一般能取得较好的结果。 ,8.3.2结果的模糊化 在普通模式识别中, 分类就是把样本空间(或样本集

16、)分成若干个子集。 在模糊模式识别中, 用模糊子集代替确定子集, 从而得到模糊的分类结果, 即分类结果的模糊化, 其中, 一个样本以不同的程度属于各个类别, 而不再属于某个确定的类别。 ,与确定的分类结果相比, 模糊化的分类结果主要有两个显著的优点: (1) 可以反映出分类过程中的不确定性, 有利于用户根据结果进行决策。 (2) 模糊化的分类结果比明确的分类结果中包含更多的信息, 有利于进一步决策。 ,8.3.3硬分类和模糊分类 1. 硬分类 在硬分类中, 把样本集x1, x2, , xN分成m类, 每一个xk必须完全属于某一类, 同时, 每一类至少包含一个样本。 这种分类结果可以用一个mN阶

17、矩阵V来表示, V中元素vik表示样本xk是否属于第i类Ai(i=1, 2, , m, k=1, 2, , N), 即,矩阵V具有如下性质: (1) vik0, 1;,(2),；,(3),。,【例 8.3】已知样本集为x1, x2, x3, x4, x5。 若分类结果为x1, x5, x3, x4, x2, 则分类矩阵V为,其中, 矩阵的列代表样本, 行代表类别。 若分类矩阵为,则分类结果为x1, x2, x3, x5, x4。,2. 模糊分类 当硬分类矩阵中元素的取值位于0, 1区间, 即硬分类矩阵V变成模糊分类矩阵, 则硬分类变成模糊分类。 模糊分类矩阵具有如下性质: (1) vik0,

18、1;,(2),；,(3),。,【例 8.4】设样本集为x1, x2, x3, 则,都是模糊分类矩阵。,事实上, 每一个模糊分类矩阵都可以用若干个硬分类矩阵的加权平均来表示。 例如, ,8.3.4模式分类的最大隶属原则与择近原则 模糊模式识别中主要有两种判决准则: 最大隶属原则和择近原则。 其中, 前者主要应用于个体的识别, 后者主要应用于群体模型的识别。 1. 最大隶属原则 普通模式识别中的模式是明确、 清晰和肯定的, 例如印刷体汉字识别中, 模式就是印刷体汉字。 但是, 在很多实际问题中, 模式本身就具有一定的模糊性, 如“矮个子”、 “中等个子”和“高个子”。 对于这类问题, 可以根据最大

19、隶属原则来进行分类。 ,模式分类的最大隶属原则就是直接利用样本的隶属度, 将其归入对应于最大隶属度的类别中。 设是论域U上的m个模糊子集, 其隶属函数分别为 , 对任一给定的u0U, 如果,那么, u0隶属于。 这个原则称为最大隶属原则。,【例 8.5】根据人的年龄, 把人分为年轻、 中年、 老年三类, 分别对应三个模糊子集。 考虑论域U=(0, 100, 的隶属函数分别为(如图8-9所示)：,张三今年40岁，由上述隶属函数，有 ，根据最大隶属原则,他是中年人。 隶属原则的思想简单，其效果依赖于模式类隶属函数的建立。此外，隶属原则主要适用于个体的识别。,图8-9 例8.5中隶属函数示例图,2.

20、 择近原则 如果模式本身是U上的一个模糊子集, 识别的对象也是论域U上的一个模糊子集, 而不是某一特定的单个元素, 则可以利用模糊子集之间的接近程度(即贴近度)进行模式分类。 定义8.17 设 ，若映射,：,满足条件: ,(1),；,(2),；,(3) 若,或,，则,则称,为模糊子集与的贴近度; 称为F(U)上,的贴近函数。,目前, 针对不同的问题, 已经提出了多种贴近度的计算方法, 主要的几种如下: 1) 距离贴近度 (1) 海明距离贴近度。 设 为有限论域, 则之间的海明距离贴近度为,，,(8-45),进一步, 当U为实数域上的闭区间a, b时, 则有,(8-46),(2) 欧几里德距离。

21、 设 , U=u1, u2, , un为有限论域, 则之间的欧几里德距离贴近度为,(8-47),进一步, 当U为实数域上的闭区间a, b时, 则有,(8-48),(3) 明可夫斯基距离。 设 , U=u1, u2, , un为有限论域, 则之间的明可夫斯基距离贴近度为,(8-49),进一步, 当U为实数域上的闭区间a, b时, 则有,(8-50),2）几何贴近度 设、 是测度空间 上的可测函数，则 之间的几何贴近度为：,(8-51),(8-52),其中, 式(8-51)和式(8-52)的积分为勒贝格积分。 进一步, 若U为实数域, 被积函数为黎曼可积, 且广义积分收敛, 则之间的几何贴近度为,

22、(8-53),(8-54),若U=u1, u2, , un为有限论域, 之间的几何贴近度为,(8-55),3) 格贴近度 设 ，之间的格贴近度为,(8-56),其中，,为内积,为外积。,【例 8.6】根据茶叶的条索、 色泽、 净度、 汤色、 香气和滋味, 把茶叶分成“特等”, “优等”, “良等”, “中等”和“差 等”五种型号, 它们对应于论域U上的模糊子集: ,“特等”: =(0.50.40.30.60.50.4) “优等”: =(0.30.20.20.10.20.2) “良等”: =(0.20.20.20.10.10.2) “中等”: =(0.00.10.20.10.10.1) “差等”

23、: =(0.00.10.10.10.10.1) 其中, 论域U=条索, 色泽, 净度, 汤色, 香气, 滋味。 ,待识别的茶叶模型对应于U上的模糊子集 ：,=,由格贴近度计算式，可得：,；,；,；,根据择近原则，待识别的茶叶模型为“特等”。,8.4 模糊聚类分析 8.4.1 模糊等价关系法 可以证明, 模糊矩阵RFnn是等价矩阵, 当且仅当对于任意0, 1, 其截矩阵R都是等价的布尔矩阵。 因此, 若 为模糊等价关系, 则对于给定的0, 1, 便可得到相应的普通等价关系R, 从而得到一个水平的分类。 进一步, 若01, 则截矩阵R所分出的每一类是截矩阵R所分出的某一类的子类, 即R的分类法是R

24、分类法的“加细”。 当从1逐渐降为0时, 分类结果逐步归并(逐渐变粗), 形成一个动态聚类图。,【例 8.7】设论域U=x1, x2, x3, x4, x5, 模糊矩阵为,R具有自反性、 对称性和传递性, 即R对应一个模糊等价关系 。 现考察不同水平的分类结果。,(1) 若0.621, 则截矩阵为,此时, 得到“最细”的分类: x1, x2, x3, x4, x5, 即每个元素自成一类。,(2) 若0.480.62, 则截矩阵为,此时, 得到四类: x1, x3, x2, x4, x5。,(3) 若0.470.48, 则截矩阵为,此时, 得到三类: x1, x2, x3, x4, x5。,(4

25、) 若0.410.47, 则截矩阵为,此时, 得到两类: x1, x2, x3, x5, x4。 (5) 若00.41, 则截矩阵R的元素全为1, 此时, 得到“最粗”的分类, 即5个元素合为一类。 ,8.4.2传递闭包法 定义8.18设 是论域U上的模糊关系, 包含 的最小模糊传递关系称为 的传递闭包, 记为。,对于 的传递闭包, 有如下结论: (1) 对于任意模糊传递关系, 有。 (2) 模糊关系 的传递闭包 为,(3) 的传递闭包, 当且仅当,。,(4) 若 是有限论域U上的模糊相似关系, U包含n个元素, 对应的模糊矩阵是nn的模糊相似矩阵, 则存在自然数kn, 使得, 且对于ik,

26、有。 此时, 是一个模糊等价关系, 对应的模糊矩阵是模糊等价矩阵。 ,【例 8.8】设论域U=x1, x2, x3, x4, x5, 模糊矩阵为,容易验证, 模糊矩阵R具有自反性与对称性, 但不满足传递性, 因为,因此, R仅是模糊相似矩阵, 对应的模糊关系仅是模糊相似关系。 类似地, 可以求出R4与R8, 并且R4= R8, 因此, R4对应的模糊关系就是模糊等价关系。 ,8.4.3模糊K均值算法 在K均值算法中, 把N个样本x1, x2, , xN划分成K个子类G1, G2, , GK, 使得所有样本到聚类中心的距离平方和最小, 也就是使下式的准则函数,(8-58),达到最小。 式(8-58)中: mj为第j个子类Gj的聚类中心; xi表示分到Gj的所有样本, j=1, 2, , K。 模糊K均值算法就是, 在K均值算法中, 把硬分类变为模糊分类。 设j(xi)是第i个样本xi属于第j类Gj的隶属度, 利用隶属度定义的聚类