第2章 线性判别函数_第一讲.ppt

1、第二章 线性判别函数,主要内容：,线性空间、线性判别函数 矩阵分析简介 感知器准则 松弛算法 最小平方误差算法,2.1 线性判别函数和判别界面,线性不可分情况,线性判别函数,x=(x1, x2, xd)t: 特征矢量； w=(w1, w2, , wd)t: 权矢量； w0：偏置(bias)。,线性分类器的分类界面,两类问题线性判别准则,分类界面的几何解释,线性分类界面H是d维空间中的一个超平面； 分类界面将d维空间分成两部分，R1，R2分别属于两个类别； 判别函数的权矢量w是一个垂直于分类界面H的矢量，其方向指向区域R1 ； 偏置w0与原点到分类界面H的距离有关：,线性判别函数的增广形式,y=

2、(1, x1, x2, xd)t: 增广的特征矢量； a=(w0, w1, w2, , wd)t: 增广的权矢量；,多类问题（情况一）,每一类模式可以用一个超平面与其它类别分开； 这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面； 第i类与其它类别之间的判别函数：,多类问题（情况一）分类界面,多类问题（情况一）判别规则,若存在i，使得gi(x)0， gj(x)0，ji，则判别x属于i类； 其它情况，拒识。,多类问题（情况二）,每两个类别之间可以用一个超平面分开； c个类别的问题需要c(c-1)/2个线性分类界面； 第i类与第j类之间的判别函数为：,多类问题（情况二）

3、分类界面,多类问题（情况二）判别准则,如果对任意ji ，有gij(x)0 ，则决策x属于i。 其它情况，则拒识。,多类问题（情况三）,情况三是情况二的特例，不存在拒识区域。,广义线性判别函数,2.2 矩阵分析简介,线性代数基础 模式识别常用距离 矩阵微分初步,线性代数基础,线性空间（向量空间） 向量内积 欧几里德范数 线性无关 行列式、迹 矩阵的逆 特征值、特征向量,对称性：,非负性：,三角不等式：,样本间的“距离”,常用的距离函数,欧氏距离：(Eucidean Distance),是x与y之间的内积,常用的距离函数,街市距离： （Manhattan/city block/taxicab di

4、stance）,常用的距离函数,明氏距离：(Minkowski Distance),街市距离,欧氏距离,仅当 时，明氏距离具有旋转平移不变性,角度相似函数：(Angle Distance),为矢量x的长度，也称为范数,矩阵微分相对于数量变量的微分,对于n维函数向量 对数量变量 t 的导数为： 对于mn阶函数矩阵 对数量变量 t 的导数为：,设 及数量函数 对数量变量t均可导，则：,矩阵微分相对于数量变量的微分,例:求二次型 对t 的导数 其中 是n维函数向量 是数字矩阵,矩阵微分相对于数量变量的微分,矩阵微分相对于向量变量的微分,1，数量函数的导数 2，函数向量的导数,设 是以向量 为自变量的

5、数量函数，定义,矩阵微分相对于向量变量的微分,1，数量函数的导数,设 是以向量 为自变量的数量函数，定义,矩阵微分相对于向量变量的微分,1，数量函数的导数,设 ，有：,矩阵微分相对于向量变量的微分,1，数量函数的导数,例：求函数 对 的导数,矩阵微分相对于向量变量的微分,1，数量函数的导数,设 且 是向量 的函数向量，定义：,矩阵微分相对于向量变量的微分,2，函数向量的导数,设 则,矩阵微分相对于向量变量的微分,2，函数向量的导数,例：a）求行向量 对 的导数 b）求列向量 对 的导数 c）求二次型 对 的导数 d）求数量函数 对 的导数,矩阵微分相对于向量变量的微分,2，函数向量的导数,矩阵微分复合函数微分,1，数量函数的求导公式 2，向量函数的求导公式,矩阵微分复合函数微分,