模式识别(4-1)

1、 模式识别模式识别 第四章线性判别函数（第四章线性判别函数（1）回顾：回顾：():( |)jjPp x先验概率已知：判别函数分类类条件概率密度贝叶斯分类器4.1 4.1 引言引言4.1 4.1 引言引言q假设对一模式X已抽取n个特征，表示为：q根据模式根据模式X的的n个特征来判别模式属于个特征来判别模式属于1 ,2 , , m 类中的那一类类中的那一类?维空间的一个向量是n),.,(321XxxxxXTn4.1 4.1 引言引言n例如下图：三类的分类问题，它们的边界线就是一个判别函数。123边界2x1x4.1 4.1 引言引言n判别函数包含两类：判别函数包含两类：q一类一类 是线性判别函数：是

2、线性判别函数：n线性判别函数n广义线性判别函数q（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）n分段线性判别函数q另一类是非线性判别函数另一类是非线性判别函数4.1 4.1 引言引言x的各个分量的线性函数或以x为自变量的某些函数的线性函数。n对于c类问题：n优点：q最优？次优？q计算简单；容易实现；需要的计算量和存储量小0)(wxwxgT0)(iTiiwxwxg利用样本集估计参数利用样本集估计参数wi和和wi0，并把未知样，并把未知样本本x归到具有最大判别函数值的类别中去。归到具有最大判别函数值的类别中去。4.1 4.1 引言引言n寻找线性判别函数的问题被形式化

3、为极小化准则函数的问题。以分类为目的的准则函数可以是样本风险，也可以是训练误差。n目标：目标：能够正确地对新的样本进行分类能够正确地对新的样本进行分类线性判别函数的基本概念线性判别函数的基本概念1212,.,.TdTdx= x xxw= w ww0( )Tg xw xw设样本设样本d维特征空间中描述，则维特征空间中描述，则两类别问题两类别问题中线性判别函数中线性判别函数的一般形式可表示成的一般形式可表示成其中其中w0是一个常数，称为阈值权。相应的决策规则可表示成是一个常数，称为阈值权。相应的决策规则可表示成 g(x)0就是相应的决策面方程，在线性判别函数条件下它对就是相应的决策面方程，在线性判

4、别函数条件下它对应应d维空间的一个超平面。维空间的一个超平面。12g0g0g0 xxxxx( ) , 则决策如果( ) yxwyw x yxw 使用使用Fisher准则方法确定最佳线性分界面的方法是一个准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人著名的方法，尽管提出该方法的时间比较早，仍见有人使用，如人脸识别中用于特征提取。使用，如人脸识别中用于特征提取。其中而(2)与(3)则是以不同方式考虑 与 不等的影响，以减小先验概率不等时的错误率。(1) 式中只考虑采用均值连线中点作为阈值点，相当于贝叶斯决策中先验概率相等的情况。例例1：设五维空间的线性方程为

5、：设五维空间的线性方程为 试求出其权向量与样本向量点积的表达式试求出其权向量与样本向量点积的表达式 中的中的W，X以及增广权向量与增广样本向量形式以及增广权向量与增广样本向量形式 中的中的a与与Y。 解：解：123451234555,68,32,16,26,10,55,68,32,16,261,TTTTWXxxxxxaYxxxxx例例2：设两类样本的类内离散矩阵分别为：设两类样本的类内离散矩阵分别为 试用试用fisher准则求其决策面方程。准则求其决策面方程。 解：解：由于两类样本分布形状是相同的（只是方向不同），因此由于两类样本分布形状是相同的（只是方向不同），因此 应为两类均值的中点应为两类均值的中点 1221*0mmWwT0120*xwXWT例例3.已知两类数据，其先验概率相等，样本分别为：已知两类数据，其先验概率相等，样本分别为： 1121,001 2101,011 (1, 1)Tx根据Fisher准则求取最佳投影方向W，并对样本进行分类。 1341()/333Tm12x +x +x245622()/333Tm x +x +x解：第一类样本均值第二类均值 121331233 S22133163 S124032003w SSS13043020w S*1123021.5