第2课判别函数.....ppt

1、第2章判别函数，演示者：张永利，2-1，判别函数2-2，线性判别函数2-3，线性判别函数的特性2-4，广义线性判别函数，第2章判别函数，2-1判别函数，例如下图：3一个是线性判别函数：线性判别函数广义线性判别函数(广义线性判别函数是将非线性判别函数映射到另一个空间并将其替换为线性判别函数)分段线性判别函数，另一个是非线性判别函数(1)两种茄子类型的问题，即3360 1。二维情况：如果取两个固有向量，则判定函数：对于两个茄子类别，判别函数g (x)具有以下特性：这是二维的，由判别分类。图：1。二维情况，N=2时，二维条件的判别边界是直线。当N=3时，判别边界是平面的，当n3时，判别边界是超面的。

2、2 .n维情况，(b)多类问题，多类问题，模式为1，2，m个类别。可分为三种茄子情况：1。第一种情况：可以在每个模式类和其他模式类之间使用单个判别平面来分隔类。在牙齿的情况下，M类可以有M个判别函数，并且具有以下特性：如下图所示，每个类都可以使用单个判别边界与其他类分离。如果模式X属于1，则可以在图中看到3360牙齿g1(x) 0和g2(x) 0，g3(x) 0。类1和其他类之间的边界由g1(x)=0确定。1 .在第一种情况下，例如，已知的三个茄子类别1，2，3的判别函数如下：因此，三个茄子判别边界为，1。第一种情况下(继续)，(1)二分法，如下所示绘制：x=(x1，x2第一种情况是(继续)M

3、(M _ 1)/两个判别平面。对于两种茄子类型的问题，M=2具有判别平面。同样，三种茄子类型的问题有三个茄子歧视平面。判别函数：判别边界：判别条件：2。在第二种情况下：每个图案类和其他图案类可以分别由一个判别平面分隔。假设判别函数如下：判别边界为，2。第二种情况(继续)，判别函数特性：结论：判别间隔增加，不确定间隔减少，IR，第三种情况下，判别函数：判别规则：判别边界：gi(x)=gj(x)或gi(x) -gj(x)=0，也就是说，如果确定模式X属于该类，则首先将X赋给M个判别函数。类和类之间的边界由gi(x)=gj(x)或gi(x) -gj(x)=0确定。每个类有M个判别函数，右图显示了M=

4、3的示例。对于类1模式，必须满足g1(x) g2(x)和g1(x) g3(x)。假设判别函数如下：判别边界是，3。在第三种情况下，用(继续)、结论判别函数替换：判别函数为：因为图案x=(1，1)T属于类。3 .第三种情况(继续)，三种茄子方法概要，2，多种问题，M，M(M-1)/2，M，最大，最小，否，更难，更容易，更容易，2-3，由线性判别函数的性质，1，模式空间和加权空间模式空间：组成的N维欧几里得空间。W是牙齿空间中的加权向量，确定图案的分割介面H，W与H正交。权重空间：由变量组成的欧几里得空间模式空间和权重空间的几何体如下图所示。牙齿修饰符表示通过权值空间原点的平面。牙齿平面是权重空间

5、图的平面，g (x2)=g (x3)=g (x4)=0，分别通过权重空间原点；权重空间配置：权重空间子界面中的一点，替换1，图案空间和权重空间。这是一个不等式方程，该解是由类1的所有模式确定的平面的正边和类2的所有模式确定的平面的负边上的凸边时的圆锥。如图所示，(b)是权重空间，(c)是规格化权重空间。从上面可以得出权重空间中的所有子界面都通过坐标原点的结论。这是权重空间的特性。为了更加明确，下面以第二位的空间表示解向量和解区。1，使模式空间和权重空间(继续)，1，模式空间和权重空间(继续)，在3D空间中使w3=0成为二维权重空间。图：给定图案X，即介面H，W和H正交，W称为解矢量。解决方案向

6、量的变动范围称为解决方案领域。X1、x21、x3和x42最接近图中所示的x1、x3牙齿，因此介面H可以是x1、x3之间的任何直线。垂直于这些线的W形成了解决方案区域，解决方案是扇形平面，即阴影区域。右图：2，解向量和解区，不等式方程正则化：正则化：2，解向量的解球(继续)，g(x)=WTX=0确定决策接口。g(x)为线性时，超平面H通常将要素空间分为两个半空间。也就是说，1，2个空间，X在1个空间时，g(x)0，W指向1，H的正侧，反之，H的负侧。3，超平面的几何特性，3，超平面的几何特性，矢量到H的正交投影与值成正比。其中x p: x W方向的单位向量。3，超平面的几何特性(继续)，特性：另

7、一方面，3，超平面的几何特性(继续)是超平面的第二个特性。矢量x到超平面的正交投影与g(x)的函数值成正比。特性：3，超平面的几何特性(继续)，特性：3，超平面的几何特性(下图(A)，线性不可分)示例：四个样例具有多个茄子分法。图(B)线分离x1，每条线可以将4个样本分成1 2个类别，4个样本分成2个类别的可能总分割为24=16个，其中2个无法作为线性分类实现的路线为14个。概率是14/16。4 .二分法能力，结论：N个样本线性分数线(条件：样本分布良好):4。您可以看到，二分法能力(继续)，N和N的各种组合的D(N，N)值在下表中表示，N，N牙齿缓慢增加会导致D(N，N)快速增加。4。二分法能力(继续)、线性可分离性概率：以曲线显示常识：插图的横坐标显示为=N/n 1。图中的讨论：4。二分法能力(继续)，结论：在实际工作中，分类的训练非常重要，并由已知样本训练。因为已知样品是有限的，未知样品是无限的。选择已知类别的培训样品数的方法为4。二分法能力(继续):如果有训练样本N N0牙齿，则设计分类器的分类能力太差。因为训练样本太少。训练样品N牙齿太多，样品太多，计算量，存储量太大。所以在实际工作中，要采取4。二分法能力(继续)，2-4，广义线性判别函数，这些非线性判别函数通过映射转换为线性判别函数