中科院《模式识别》课件——第八章.ppt

1、第八章 模糊模式识别方法简介,8.1 引言,1965年，Zadeh提出了著名的模糊集理论，创建了一个新的学科 模糊数学 (L.A. Zadeh, “Fuzzy Sets”, Information and Control, Vol. 8, 1965, 338-353.) 。 模糊集理论是对传统集合理论的一种推广 在传统集合理论中，一个元素或者属于一个集合，或者不属于一个集合； 对于模糊集而言，每一个元素都是以一定的程度隶属于某个集合，也可以同时以不同的程度属于几个集合。 现实生活中大量使用的一些含义确定但又不准确的语言表述，比如“今天天气很热”，“车速很高”等，模糊数学能够较好地表达。,8.1

2、 引言,模糊数学的几种不同名称 模糊集：它是相对于经典的集合理论而言的； 模糊逻辑：它是相对于传统的“是或者不是”而言的； 模糊数学是一种更广泛的叫法，更倾向于指从数学角度对模糊集和模糊逻辑的研究； 从应用的角度，很多人习惯于用模糊系统的称法，用来指采用了模糊数学思想和理论的方法或系统，而其中采用的一些技术往往称为模糊技术或模糊方法。 模糊数学名词本身也具有很大的模糊性，但其实质都是基本相同的，因此这里不去严格区分这些说法。,8.1 引言,模糊数学的应用 将模糊技术应用于各个不同领域，产生了一些新的学科分支 和人工神经网络相结合，产生了模糊神经网络； 应用到自动控制中，产生了模糊控制技术和系统

3、，并得到了很好的效果（地铁模糊控制系统，洗衣机、电饭锅的模糊控制等）； 应用到模式识别领域，产生了模糊模式识别。,8.1 引言,模糊模式识别的形成 模式识别从一开始就是模糊技术应用研究的一个活跃领域 人们针对一些模糊式识别问题设计了相应的模糊模式识别系统； 对传统模式识别的一些方法，人们用模糊数学对它们进行了改进。 模糊技术在模式识别中的研究与应用逐渐形成了模糊模式识别这一新的学科分支。,8.2 模糊集的基本知识,隶属度函数 隶属度函数是表示一个对象x隶属于集合A的程度的函数，通常记作A(x) 其自变量范围是所有可能属于集合A的对象（即集合A所在空间的所有点），取值范围是0, 1，即 ； A(

4、x)=1表示x完全属于集合A，相当于传统集合概念上的 ； A(x)=0表示x完全不属于集合A，相当于传统集合概念上的 。,8.2 模糊集的基本知识,模糊集合 一个定义在空间X=x上的隶属度函数就定义了一个模糊集合A，或者叫做定义了在空间X=x上的一个模糊子集A。 对于有限个对象，模糊集合A可以表示为 或者写成,8.2 模糊集的基本知识,模糊集合 借用传统集合中的概念，模糊集合中的xi仍然称为模糊集A中的元素。 与模糊集相对应，传统的集合可以称作确定集合或脆集合（通常在没有指明是模糊集时所说的集合是指确定集合）。 空间X中A的隶属度大于0的对象的集合叫做模糊集A的支持集S(A)，即 支持集中的元

5、素称作模糊集A的支持点，或不严格地称作模糊集A的元素。 确定集可以看作是模糊集的特例，即隶属度函数之取1或0时的集合。,8.2 模糊集的基本知识,模糊集合 如果模糊集中的元素可以用一个标量x来表征，则隶属度函数A(x)就是x的一个单变量函数。 例：用水温表示“开水”这个概念。,8.2 模糊集的基本知识,模糊集合 在上例中 如果用确定集合表示，则“开水”的定义是水温为100摄氏度的水（图a）；或者标准放宽一些为水温在80-100摄氏度之间的水（图b）。 如果用模糊集表示，则可用隶属度函数在表征水开得程度（图c） 模糊集表示更接近于我们日常的理解。,8.2 模糊集的基本知识,模糊集合 模糊集通常可

6、以用来表示某种人为的概念（比如上面提到的“开水”），即用数学形式来表达人们的语言变量，因此隶属度函数需要人为定义。 一些常见的单变量隶属度函数的形式包括斜台阶型、三角型、梯型、高斯函数型等。,8.2 模糊集的基本知识,模糊集运算 对于定义在同一空间X=x上的两个模糊集A和B，模糊数学中定义的最基本运算有 并：模糊集A和B的并集 的隶属度函数定义为C(x)=maxA(x), B(x)； 交：模糊集A和B的并集 的隶属度函数定义为C(x)=minA(x), B(x)或C(x)=A(x) B(x) ； 补：模糊集A和补集C=A的隶属度函数定义为C(x)=1- A(x)。,8.2 模糊集的基本知识,模

7、糊集运算 并、交和补运算在一维情况下的图例 与确定集合中不同，在模糊集中，集合的补集与原集合的交并不是空集。,8.2 模糊集的基本知识,模糊集运算 d个变量x=x1, x2, , xd上的多变量隶属度函数通常定义为d个单变量隶属度函数的张量积，即 A(x)=A(1)(x1) A(2)(x2) A(d)(xd) 其中A(1), A(2), A(d)分别对应于各个变量的模糊集，A(i)(xi)是各自相应的单变量隶属度函数。 建立在模糊集概念和相关运算基础上的推理成为模糊推理。,8.3 模糊特征和模糊分类,模糊化特征 模糊模式识别就是在解决模式识别问题时，引进模糊逻辑的方法或思想。 模糊特征是指根据

8、一定的模糊化规则（通常根据具体应用领域的专门知识人为确定或经过计算确定），把原来的一个或几个特征变量分成多个模糊变量，使每个模糊变量表达原特征的某一局部特征，用这些新的模糊特征代替原来的特征，进行模式识别。,8.3 模糊特征和模糊分类,模糊化特征 例子：在某个问题中，人的体重本来一个特征使用。现在根据需要可以把体重特征分为“偏轻”、“中等”和“偏重”三个模糊特征，每个模糊特征的取值实际上是一个新的连续变量，它们表示的不再是体重的数值，而是关于这个体重的描述，即分别属于“偏轻”、“中等”和“偏重”的程度。,8.3 模糊特征和模糊分类,模糊化特征 把原来的一个特征变为若干个模糊特征的目的在于使新特

9、征更好地反映问题的本质。 在很多情况下，用一个特征（比如体重）参与分类（例如判断是否患有某种可能导致体重变化的疾病），正确分类结果与该特征之间可能是复杂的非线性关系。 如果能根据有关知识适当地提取模糊特征，虽然特征数可能增多，但却可能使分类结果与特征之间的关系线性化，从而大大简化后面分类器的设计，提高分类器的性能。 如果我们对所提取的特征与要研究的分类问题之间的关系有一定的先验知识，则采用这种方法往往能取得良好的效果。,8.3 模糊特征和模糊分类,结果的模糊化 模式识别中的分类就是把样本空间（或样本集）分成若干个子集。 我们可以用模糊子集的概念来代替确定子集，从而得到模糊的分类结果，或者说使分

10、类结果模糊化。,8.3 模糊特征和模糊分类,结果的模糊化 在模糊化的分类结果中，一个样本将不再属于每个确定的类别，而是以不同的程度属于各个类别。 这种结果与原来确定的分类结果相比有两个显著优点 在分类结果中可以反映出分类的不确定性，有利于用户根据结果进行决策； 如果分类是多极的，即本系统的分类结果将与其它系统的分类结果一起作为下一级分类决策的依据，则模糊化的分类结果通常更有利于下一级的分类，因为模糊化的分类结果比明确的分类结果中包含更多的信息。,8.3 模糊特征和模糊分类,结果的模糊化 如果训练样本中已知的类别标号就是以模糊类的隶属度函数的形式给出的，那么我们就需要对原有的模式识别方法进行改变

11、，以适应这种模糊类别的划分（如模糊k近邻法）。 这里所说的结果的模糊化，是指训练样本和分类器仍是确定的，只是根据后续的需要把最终的输出分类结果进行模糊化。 结果的模糊化并没有固定的方法，通常需要结合有关知识，根据所用的分类器进行设计，比如可以根据样本离类别中心的距离、离分类面的距离或与已知样本之间的某种相似性程度、以及神经网络输出的相对大小等作为模糊化的依据。,8.4 模糊聚类方法,模糊C均值算法 动态聚类方法的目的是把n个样本划分到c个类别中的一个，使各样本与其所在类均值的误差平方和最小，即使如下准则函数最小： 其中mi为第i类的样本均值， 是分到第i类的所有样本。 使上述准则最小化的基本方

12、法就是C均值方法。 将这种硬分类变为模糊分类，即可得到模糊C均值方法。,8.4 模糊聚类方法,模糊C均值算法 为了实现模糊聚类，可将问题的有关符号重新定义如下：xi, i=1,2,n是n个样本组成的样本集合，c为预定的类别数目，mi (i=1,2,c)为每个聚类中心， j(xi)是第i个样本对第j类的隶属度函数。 用隶属度函数定义的聚类损失函数可写成： 其中b1是一个可以控制聚类结果的模糊程度的常数。,8.4 模糊聚类方法,模糊C均值算法 在不同的隶属度定义方法下最小化上述损失函数，可得到不同的模糊聚类方法，其中最有代表性的是模糊C均值算法，它要求一个样本对于各个聚类的隶属度函数之和为1，即,

13、8.4 模糊聚类方法,模糊C均值算法 在上述约束条件下求聚类损失函数的极小值。令Jf对mi和j(xi)的偏导数为0，可得必要条件如下：,8.4 模糊聚类方法,模糊C均值算法 用迭代方法求解上述必要条件，即得模糊C均值算法，其步骤如下： （1）设定聚类数目c和参数b （2）初始化各个聚类中心mi （3）重复如下运算，直到各个样本的隶属度值稳定 用当前的聚类中心根据必要条件中j(xi)的算式计算隶属度函数； 用当前的隶属度函数根据必要条件中mj的算式更新计算聚类中心；,8.4 模糊聚类方法,模糊C均值算法 当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值，从而完成了模糊聚类划分。

14、如果需要，还可以将模糊聚类结果进行去模糊化，即用一定的规则把模糊聚类划分转化为确定性分类。,8.4 模糊聚类方法,改进的模糊C均值算法 在模糊C均值算法中，由于引入了归一化条件 ，在样本集不理想的情况下可能导致分类结果不好。 例如：如果某个孤立样本远离各类的聚类中心，本来它严格属于各类的隶属度都很小，但由于归一化条件的要求，将会使它对各类都有较大的隶属度（比如两类情况下各类的隶属度都是0.5），这种孤立样本的存在将影响迭代的最终结果。,8.4 模糊聚类方法,改进的模糊C均值算法 为了克服这种缺陷，人们提出了放松的归一化条件，使所有样本对各类的隶属度总和为n，即： 在这个新的条件下，计算mi的公

15、式不变，而计算j(xi)的公式变为：,8.4 模糊聚类方法,改进的模糊C均值算法 仍用前面给出的模糊C均值算法步骤，而隶属度的更新进行了修改，即为改进的模糊C均值算法。 显然，用改进的模糊C均值算法得到的隶属度可能大于1，因此并不是通常意义上的隶属度函数。 必要时，可以把最终得到的隶属度函数进行归一化处理，这时已不会影响聚类结果。 如果聚类结果要求进行去模糊化，可以直接利用这里得到的隶属度函数进行。,8.4 模糊聚类方法,改进的模糊C均值算法 改进的模糊C均值算法较前面提到的模糊C均值算法具有更好的鲁棒性，它不但可以在有孤立样本存在的情况下得到较好的聚类效果，而且可以放松隶属度条件，而且因为放松了隶属度条件，使最终聚类结果对预先确定的聚类数目不十分敏感。 与确定性C均值算法和模糊C均值算法一样，改进的模糊C均值算法仍然对聚类中心的初值十分敏感，为了得到较好的结果，可以用确定性C均值算法或模糊C均值算法的结果作为初值。,8.5 讨论,模糊集理论是为了表达人的自然语言和推理中的不确定方面而提出的，因此其应用中往往不可避免地带有一定的主观因素，比如隶属度函数的选