模式识别复习重点总结

.1线性判别方法（ 1）两类：二维及多维判别函数，判别边界，判别规则二维情况：（ a）判别函数：（ b）判别边界：（ c）判别规则：g (x)g(x)=0;w1 x1w2 x2w3 ( w为参数， x1, x2为坐标向量)gi ( x)0, x0, x12n 维情况：（ a）判别函数：g (x)w1 x1w2 x2.wn xnwn 1也可表示为：g (x)wt xw( w , w ,., w , w12nn 1)t 为增值权向量，（ b）判别边界：g1(x)1 =w2 tx=0 nx(x , x ,., x ，xn1)t 为增值模式向量。（ c）判别规则：gi ( x)wixt0, x0,其它,ii1,2,.,m。（2） 多类： 3 种判别方法（函数、边界、规则）(a) 第一种情况：(a)判别函数： m 类可有 m 个判别函数gi ( x)wixt式中wi权向量。(wi1 , wi 2 ,., win , win 1, ) 为第i个判别函数的t(b)(c)判别边界： i （i=1,2,n）类与其它类之间的边界由判别规则：g i(x)=0 确定gi ( x)wixt0, xi0, 其它, i1,2,., m。(b)第二种情况： (a)判别函数：有m(m _ 1)/2 个判别平面gij ( x)wijtx(b)(c)判别边界：判别规则：gij ( x)00g ij ( x)0当x当xiijj;.(c) 第三种情况：(a)判别函数：gk ( x)wk x(b) 判别边界：gi(x) =gj(x) 或 gi(x) -gj(x) =0(c) 判别规则：gi ( x)w t x最大，当 xik小，其它2. 分段线性判别方法1） 基于距离 :（ 1）子类，类判别函数（ 2）判别规则,)（ 1）子类：把i 类可以分成li 个子类 :1i(i2 ,.,l分成 l 个子类。ii子类判别函数：gi(x)iminxl l 1, 2,., l在同类的子类中找最近的均值（ 2）判别规则：g j (x)mingi (x), i1,2,., m这是在 m 类中找最近均值。则把x 归于 j 类完成分类2） 基于函数： （ 1）子类，类判别函数（ 2）判别规则（ 1）子类类判别函数：对每个子类定义一个线性判别函数为：g l (x)wl x, 其中wl 为l 子类的权向量。iiii（ 2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于m 类，可定义m 个判别函数gi(x),i=1,2,.m因,此，决策规则g j (x)maxi 1, 2,., mgi ( x), 则xj3） 基于凹函数的并： （ 1）析取范式，合取范式，凹函数判别规则析取范式： p=(l11 l12 l1m ) (lq1 lq2 lq m)合取范式： q= (l11 l12 l1m) (lq1 lq2 lqm)凹函数： pi=li1 li2 lim判别规则：设第一类有q 个峰，则有q 个凹函数。即 p=p1 p2 pqlijwij x0, x0, x1,i2 , j1,2,.,q子类。1,2,., m每个子类的判别函数数 。p判别规则：p0,则x10,则x23. 非线性判别方法（ 1）1 集中，2 分散)定义1判别函数 :g(x)k2( xt1 ( x1 ), k的大小，决定超平面的大小。11其中：1为1均值，1为1协方差判别规则：g ( x)g ( x)0, x10, x2;.判别平面：g1 (x)0是个超球面由k控制大小（ 2）1 ,2 均集中如果1，2都比较集中，那么定义2g ( x)kiii为( x1，i)ti1 ( xi其中：2均值，i 为)， i1，两个判别函数：1,22 协方差判别平面方程：g( x)1g1 ( x)g 2 ( x)tx2 (t 1121 ) x122(111t221 ) x(111t 2222)(k1k)20;.判别规则：g( x)0, x10, x2k1, k2可用来调整二类错误率。4. 分类器的设计（ 1）梯度下降法（迭代法）：准则函数，学习规则（ a）准则函数： j(w)j(wk)+ jt(w- wk)+(w- wk)td(w- wk)t/2其中 d 为当 w = wk 时 j(w)的二阶偏导数矩阵（ b）学习规则：从起始值w1 开始，算出w 1 处目标函数的梯度矢量j(w1)，则下一步的 w 值为： w2 = w1- 1 j(w1)其中 w1 为起始权向量，1 为迭代步长， j(w1) 为目标函数，j(w1)为 w1 处的目标函数的梯度矢量在第 k 步的时候wk+1 = wk- k j(wk)最佳步长为k =| j| 2/ jtdj这就是梯度下降法的迭代公式。（ 2）感知器法：准则、学习规则（批量，样本）（ a）准则函数：（ b）学习规则：j(w)xx 0wt x其中 x0 为错分样本1. 错误分类修正wkk如 w tx0并且 x1w k+1= wk+kxkt如 w tx0并且 x2wk+1= wk-kx 2.正确分类， wk 不修正如 w k x 0 并且 x 1k如 w tx 0 并且 x 2 wk+1= wk（ 3）最小平方误差准则法（mse 法）（非迭代法） ：准则、权向量解(a) 准则函数：(b) 权向量解：j (w )2| e | xw12b |n2wti 1x ibixwx t xx t bxb其中 xx t x1t 称为 x的伪逆（规范矩阵）（ 4）韦霍氏法（lms 法）（迭代法） ：准则，学习规则(a) 准则函数：j (w )2| e | xw2b |n2tt kkw1i 1x ibi(b) 学习规则：w1 任意， wk+1=wk+k(bk -wk x ) x取 kkk 随迭代次数k 而减少，以保证算法收敛于满意的w 值（ 5）何卡氏法（h-k 法）（迭代法） ：准则， b ， w 的学习规则(a) 准则：j (w )2| e | xw12b |n2iwt xbii1它的解为： wx t xx t bxb（ b） b， w 的学习规则：对b前后两次迭代后，bk1bkbk其中bk为b的增量bkcek| ek |其中c 为矫正系数， ek 为误差矢量， ek=xwk -bkw k 1xbk 1xbkbk xb kxbkw kc xek| ek |初始条件w1=x+b 1 并且 b10迭代时检测如果 ek 0时， xw b ，系统线性可分，迭代收敛如果 ek 0 时， xw 0 时rk+1= 0xk+1 1 并且 kk(xk+1)时0rk+1= 1xk+1 2 并且 kk(xk+1)0 时rk+1= 0xk+1 2 并且 kk(xk+1)时0rk+1= -15. 1）二类问题的贝叶斯判别（ 1）判别函数的四种形式（ 2）决策规则（ 3）决策面方程（ 4）决策系统的结构（ 1）判别函数的四种形式：( a) g( x)p(1x)p(2x), (后验概率 )(b) ) g( x)（ 2）判别规则：p( xp( x1 ) p(1 )1 )p(p( x2 )2 ) p(2 ), (类条件概率密度 )(c) g( x)p( x2 )p(1 ),( 似然比形式 )(d) ) g (x)ln p( x1)p( x2 )ln p(p(2 ) ,(取对数方法 )1 )( a)p(1x)p(2x)x12(b) )p( x(c) p( x1 )p(1 )p(x1 )p(2 ) p(2 )x1212 )xp( x2 )p(1 )2(d) )g( x)ln p( xp( x1 )ln p(2 )x12 )p(1 )2（ 3）决策面方程：g（x） =02）多类问题的贝叶斯判别（ 1）判别函数的四种形式（ 2）决策规则（ 3）决策面方程（ 4）决策系统的结构（ 1）判别函数的四种形式：m 类有 m 个判别函数g1 (x), g2(x),mg(x).( a)g(x)p(1x)p(2x), (后验概率 )( b)g(x)p(x1 )p(1 )p(x2 )p(2 ), (类条件概率密度 )(c)g( x)p(x1 )p(x2 )p(2 ) ,(似然比形式 ) p(1 )( d)g( x)（ 2）决策规则：ln p( x1 )p( x2 )ln p(p(2 ) , (取对数方法 )1 )gi ( x)p( xmaxi ) p(p(xi )j )p(j )xi , (i1,2,., m )1 j m另一种形式：gi ( x)ln p( xi )ln p(i )maxln p( xj )ln p(i )xi1 j m（ 3）决策面方程：gi ( x)g j ( x), 即gi ( x)g j ( x)06. 三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程（ 1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况 )(a) 判别函数：gi ( x)wt xwi 0, (线性判别函数 )i其中： wi12, w2ii01t22iiln p(i )(b) 判别规则：g ( x)wt xwmaxwt xwxi(c) 决策面方程：gi ( x)ii 0g j ( x)1 w mjj 0i0w( xx0 )0其中wijij20ijx1 () 2ln p(i )ijp(j )i（2） 第二种情况：i 相等，即各类协方差相等。(a) 判别函数：gi ( x)其中 wiw t xwi0（,1i线性函数）wi 01t1ii2ln p(i )(b) 判别规则：g ( x)w t xwmax w t xwxiii 01j mjj 0i(c) 决策面方程：若i 与j 相邻g i ( x)g j ( x)0wt (xx0 )0, 其中w(ij )。x(10ij )2ln p(p()t(iji ) (ij )1 (1j )ij )（3） 第三种情况(一般情况 )：?为任意，各类协方差矩阵不等，二次项xt ? x 与 i 有关。所以判别函数为二次型函数。i(a) 判别函数：gi ( x)xtw i xw t xwi 0,其中w i11, (ni12n矩阵)wi(b) 判别规则：ii (n维列向量 )，wi 01t1t2iii1 ln2iln p(i )gi ( x)x wi xttwixwi 0 tmax xw j xwj xwj 0xi1 j m(c) 决策面方程：gi (x)g j (x)07. 最小风险贝叶斯分类器：判别函数，判别规则（1） 判别函数： 条件风险：rixeijmij pj 1jx , i1, 2,., a.(am )i：表示把模式x 判决为 i 类的一次动作期望风险：rrxx px dx, (平均风险 )（2） 判别规则：若rkxminri 1, 2,., mix ,则xk：8. 最小最大损失准则判决（二类）：准则，判别规则，（1） 准则：讨论在p(i)变化时如何使最大可能风险最小；p* (1) 的确定（2） 判别规则：风险rabp1其中： a221222p x2 dx2b11222111p x1 dx21222p x2 dx1通过最小风险与先验概率的关系曲线，确定最大风险，使最大风险最小。*（3） p (1 ) 的确定：如果选择1,2使b0, r与p1 无关.即11222111p x1 dx21222p x2 dx01这时候最大风险为最小， ra221222p x2 dx29（ 1）贝叶斯估计算法思想：准则，求解过程(a) 准则：通过对第i 类学习样本xi 的观察，使概率密度分布p(xi/ 转)化为后验概率p(/xi) ，再求贝叶斯估计；(b) 求解过程： 确定 的先验分布p( 待), 估参数为随机变量。 用第 i 类样本 xi=(x1, x2,.nx)t 求出样本的联合概率密度分布p(xi| ，)它是的函数。 利用贝叶斯公式,求 的后验概率p(| x i)p( x i |).p() 求贝叶斯估计p(| x i)dp( x i |) p() d（2）正态分布情况下：的计算对的估计为20nnn0 2若令 p( )=n( 0,2n2xkk 120n0 220)=n(0,1)nx1knn1 k 19. 非参数估计的条件密度计算公式（1） parzen 窗口估计的三种形式，条件密度的计算（ a）窗口的选择： （ a）方窗函数； （ b）正态窗函数； （ c）指数窗函数(u)1,| u|120.其他(u)1exp 21 u 22(u)exp| u |（ b）条件密度的计算：pn ( x)k nn1n1(| xxi |)v nni 1 v nh n（2） k-近邻估计的基本思想及用k-近邻法作后验概率估计的方法（a） 基本思想：以x 为中心建立空胞，使v，直到捕捉到kn 个样本为止。（b） 用 k-近邻法作后验概率估计的方法：由kn 近邻估计知n 个已知类别样本落入 vn 内为 kn 个样本的概率密度估计为k npn ( x)n v nn 个样本落入vn 内有 kn 个， kn 个样本内有ki 个样本属于i 类，则联合概率密度：kipn (x,i)np( x |vni)p(i)根据 bayes公式可求出后验概率：p(ip( x |np(x |i 1i )p(i )i )p(i )pn (x,mpn (x,j 1i )n| x)i )后验概率的估计：pn (i | x)k ik n27. 模糊聚类分析方法1） 基于等价关系（ 1）-水平截阵（ 2）等价划分（ 1） 水