线性判别函数fisher省公开课一等奖全国示范课微课金奖课件_第1页
线性判别函数fisher省公开课一等奖全国示范课微课金奖课件_第2页
线性判别函数fisher省公开课一等奖全国示范课微课金奖课件_第3页
线性判别函数fisher省公开课一等奖全国示范课微课金奖课件_第4页
线性判别函数fisher省公开课一等奖全国示范课微课金奖课件_第5页
已阅读5页,还剩27页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

线性判别函数第1页已知条件贝叶斯决议实际问题利用样本集直接设计分类器,即给定某个判别函数类,然后利用样本集确定出判别函数中未知参数。条件未知一类简单判别函数:线性判别函数第2页线性判别函数(discriminantfunction)是指由x各个分量线性组合而成函数,普通表示式为:权向量(weightvector)法向量(normalvector)阈值(threshold)偏置(bias)第3页对于两类问题决议规则为: 假如g(x)>0,则判定x属于C1, 假如g(x)<0,则判定x属于C2, 假如g(x)=0,可将x任意分到某一类,或拒绝。两类情况:第4页方程g(x)=0定义了一个判定面,它把归类于C1点与归类于C2点分开来。当g(x)是线性函数时,这个平面被称为“超平面”

(hyperplane)。若x1,x2在H上,即:w和超平面H上任意向量正交,即w是H法向量。第5页任意x,在H上投影xpX与xp距离r第6页多类情况:将c类问题转化为c个两类问题,有c个判别函数。把ωi作为一类,其余作为一类,构建c个超平面第7页更复杂一些,用C(C-1)/2个线性判别函数进行判别。第8页超平面Hij法向量决议规则:对一切i≠j有gi(x)>gj(x),则把x归为ωi类。判别函数和决议面:第9页广义线性判别函数在一维空间中,线性函数不能处理下述分类问题(黑红各代表一类数据),可见线性判别函数有一定不足。第10页为处理上述分类问题,我们建立一个二次判别函数

g(x)=(x–a)(x–b) =c0+c1x+c2x*x决议规则仍是:假如g(x)>=0,则判定x属于R1,假如g(x)<0,则判定x属于R2。第11页如图所表示:R1R1R2xg(x)第12页如图:映射y把一条直线映射为三维空间中一条抛物线第13页令:第14页普通对于任意高次判别函数g(x),都能够经过适当线性变换化为广义线性函数来处理。aTy不是x线性函数但却是y线性函数,它在Y空间确定了一个经过原点超平面。经过扩维,将高次问题划为线性问题来求解,不过维数增加,会造成维数灾难。第15页线性判别函数齐次简化令x0=1则:增广特征向量增广权向量第16页一个三维增广特征空间y和增广权向量a(在原点)第17页这是广义线性判别函数一个特例。y与x相比,即使增加了一维,但保持了样本间欧式距离不变。变换得到y向量依然都在d维子空间中,即原X空间中,方程aTy=0在Y空间确定了一个经过原点超平面H’,它对d维子空间划分与原决议面wTx+w0=0对原X空间划分完全相同。Y空间中任意一点y到H’距离为:第18页设计线性分类器主要步骤1.给定一组有类别标志样本集S2.确定准则函数J(S,w,w0)3.用优化技术得到极值解w*,w0*这么就得到线性判别函数g(x)=w*Tx+w0*,对未知样本xk,计算g(xk),然后依据决议规则就可判断xk所属类别。第19页Fisher线性判别问题中维数问题把d维空间中样本投影到一条直线上

降低维数Fisher线性判别第20页把同一组样本点向两个不一样方向作投影。(右图更易分开)第21页始于R.A.Fisher(1936年)Fisher法处理基本问题:怎样依据实际情况找到一条最好、最易于分类投影线。第22页d维到一维数学变换其中:对xn分量作线性组合:得到N个一维样本yn组成集合,分为两个子集Y1和Y2第23页基本参量1.在d维X空间各类样本均值向量:样本类内离散度矩阵:总类内离散度矩阵:样本类间离散度矩阵:第24页2.在一维Y空间各类样本均值:样本类内离散度:总类内离散度:第25页目标:投影后,在一维Y空间里各类样本尽可能做到:1.分得开2.各类样本内部尽可能密集第26页准则函数化简分子:求准则函数极大值第27页化简分母:第28页代入准则函数Lagrange乘子法求极值:令:定义函数:?第29页对w求偏导并置零:Sw非奇异第30页因为:其中:标量

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论