特征提取的原则和方法

特征提取的原则和方法第1页，共115页，2023年，2月20日，星期六要点：特征提取的重要性特征提取的基本任务特征提取的基本要求特征提取的基本原则特征提取的基本方法课堂练习1，课堂练习2第2页，共115页，2023年，2月20日，星期六特征提取的重要性在一个较完善的模式识别系统中，或者明显地或者隐含地要有特征提取的技术环节，通常其处于对象特征数据采集和分类识别两个环节之间，特征提取方法的优劣极大地影响着分类器的设计和性能。举例返回第3页，共115页，2023年，2月20日，星期六模式识别系统的基本组成一个完整的模式识别系统主要由5个基本部分组成：传感器预处理器特征提取器分类器后处理器输入决策分割器上下文信息调整返回第4页，共115页，2023年，2月20日，星期六正常细胞和癌细胞的识别试对如何区分正常细胞和癌细胞进行特征提取，并构造分类函数。返回想一想：有没有其他较好的解决办法？正常细胞异常细胞第5页，共115页，2023年，2月20日，星期六细胞特征的提取过程找出各种对识别可能有用的细胞属性选择容易计算的细胞属性构成原始特征对易计算属性进行再次选择和重组产生合理、有效的关键特征返回第6页，共115页，2023年，2月20日，星期六一些对识别有用的细胞属性细胞总面积、细胞总周长、总光密度、胞核密度、核浆比、细胞形状、核内文理等这些属性的数目可能很多，有些不易计算和描述，通常需要进行选择，以保留那些容易计算的属性。返回第7页，共115页，2023年，2月20日，星期六一些容易计算的细胞属性细胞总面积、细胞总周长、胞核密度等。这些特征称为原始特征。返回第8页，共115页，2023年，2月20日，星期六关键特征的生成返回第9页，共115页，2023年，2月20日，星期六细胞分类函数的构造返回第10页，共115页，2023年，2月20日，星期六特征提取的基本任务特征提取的基本任务是研究如何从众多的特征中求出那些对分类识别最有效的特征，从而实现特征空间维数的压缩。返回

第11页，共115页，2023年，2月20日，星期六特征提取的基本要求区分度高，即样本类内距离应尽量小，类间距离尽量大。具有较高的稳定性和鲁棒性。易于提取，在保证系统性能的前提下，特征的维数不宜过高，以减少运算量和提高系统的效率。返回第12页，共115页，2023年，2月20日，星期六特征提取的基本原则目的性原则简约性原则返回第13页，共115页，2023年，2月20日，星期六目的性原则以分类的目的为指导：当分类的目的决定之后，如何找到合适的特征就成为模式识别的核心问题。解决不同的分类问题通常需要提取不同的特征，需要具体问题具体分析。举例：例1，例2。返回第14页，共115页，2023年，2月20日，星期六不同的问题需要不同的特征问题1问题2问题3返回第15页，共115页，2023年，2月20日，星期六分类问题1返回第16页，共115页，2023年，2月20日，星期六分类问题2返回第17页，共115页，2023年，2月20日，星期六分类问题3返回第18页，共115页，2023年，2月20日，星期六言语识别和说话人识别在言语识别中，需要设法提取不同人语音中的共性在说话人识别中，则需要设法提取不同人语音中的区别返回第19页，共115页，2023年，2月20日，星期六简约性原则寻找对分类最有效的特征:在保证所要求的分类识别的正确率和节省资源的前提下，使用最少的特征达到所要求的分类识别的正确率。通常需要构造准则函数，使得所选特征在该准则下最优。举例返回第20页，共115页，2023年，2月20日，星期六特征提取准则函数举例如果设J是一个准则函数，那么从n个原始特征选择d个关键特征时，应满足其中是n个特征中的任意d个原始特征返回第21页，共115页，2023年，2月20日，星期六特征提取的基本方法总结各种可能对分类和识别有帮助的可计算属性，从中生成原始特征对原始特征进行直接选择，变换选择或多级选择产生关键特征。返回第22页，共115页，2023年，2月20日，星期六直接选择从n个特征中直接选择两个特征从n个特征中直接选择m个特征返回第23页，共115页，2023年，2月20日，星期六从n个特征中直接选择两个特征返回其中第24页，共115页，2023年，2月20日，星期六从n个特征中直接选择m个特征返回其中第25页，共115页，2023年，2月20日，星期六变换选择对n个特征进行线性变换产生m个特征主成分分析K-L变换（Karhunen-Loève变换）Fisher变换返回第26页，共115页，2023年，2月20日，星期六主成分分析主成分分析的基本思想零维主成分分析一维主成分分析多维主成分分析主成分析的数学变换返回第27页，共115页，2023年，2月20日，星期六主成分分析的基本思想寻找在最小均方差意义下最能够代表原始数据的投影方法。返回第28页，共115页，2023年，2月20日，星期六零维主成分分析设有n个d维样本X1,X2,…,Xn，如何仅仅用一个d维向量X0来最好地表达这n个样本，使X0与其他样本Xk(k=1,2,…,n)的距离平方和最小。如果定义平方误差准则函数J0(X0)如下：那么当X0等于样本均值时J0(X0)最小，即：试证明之。返回第29页，共115页，2023年，2月20日，星期六零维主成分的证明返回第30页，共115页，2023年，2月20日，星期六一维主成分分析作一条通过均值的直线，如果e表示直线方向的单位向量，那么直线的方程为：其中a表示直线上某点离开m的距离。如果用m+ake来代表Xk，那么通过最小化平方误差准则函数，可以求得一组最优的ak和最优的方向e：返回第31页，共115页，2023年，2月20日，星期六最优的ak由于，将对ak求偏导，并且令结果为0可得：返回第32页，共115页，2023年，2月20日，星期六最优的方向e定义离散度矩阵(scattermatrix)为：将代入化简得：关键在的条件下求的最大值返回第33页，共115页，2023年，2月20日，星期六的最大值计算构造拉格朗日函数：对e求偏导，并且令结果为0，得：因此，为S的最大本征值，e为S的最大本征值对应的单位本征向量。返回第34页，共115页，2023年，2月20日，星期六多维主成分分析如果考虑过样本均值的多维子空间：并定义新的平方误差准则函数：则可进行多维主成分分析，结果为：是S的前个本征值对应的本征向量返回第35页，共115页，2023年，2月20日，星期六主成分析的数学变换如果选择

个主成分，那么数学变换为：返回第36页，共115页，2023年，2月20日，星期六对n个特征进行线性变换产生m个特征返回第37页，共115页，2023年，2月20日，星期六K-L变换K-L变换的计算过程K-L变换举例K-L变换的原理K-L变换的特点返回第38页，共115页，2023年，2月20日，星期六K-L变换的计算过程1.把给定n维样本表示为X1,X2,…,XP2.计算样本均值3.计算协方差矩阵Snn4.计算Snn的特征根及特征向量5.生成变换矩阵

6.构造K-L变换7.计算均方误差

返回第39页，共115页，2023年，2月20日，星期六计算样本均值返回第40页，共115页，2023年，2月20日，星期六计算协方差矩阵返回第41页，共115页，2023年，2月20日，星期六计算特征根及特征向量计算上式的所有特征根1,2,…,n及相应的单位化特征向量1,2,…,n。返回第42页，共115页，2023年，2月20日，星期六生成变换矩阵选择前m个（最大的m个）特征根对应的单位化特征向量1,2,…,m生成变换矩阵:返回第43页，共115页，2023年，2月20日，星期六构造K-L变换其中yk代表第k主成分，第1主成分代表最分散的方向。返回第44页，共115页，2023年，2月20日，星期六计算均方误差返回第45页，共115页，2023年，2月20日，星期六K-L变换举例已知计算从2维中选择1维的K-L变换计算过程计算结果示意图返回第46页，共115页，2023年，2月20日，星期六计算过程计算样本均值计算协方差矩阵S22计算S22的特征根及特征向量生成变换矩阵

构造K-L变换计算均方误差

返回第47页，共115页，2023年，2月20日，星期六计算样本均值返回第48页，共115页，2023年，2月20日，星期六计算协方差矩阵返回第49页，共115页，2023年，2月20日，星期六计算特征根及特征向量计算特征根计算特征向量返回第50页，共115页，2023年，2月20日，星期六计算特征根返回第51页，共115页，2023年，2月20日，星期六计算特征向量计算结果。返回第52页，共115页，2023年，2月20日，星期六特征向量的计算结果返回第53页，共115页，2023年，2月20日，星期六生成变换矩阵返回第54页，共115页，2023年，2月20日，星期六构造K-L变换返回第55页，共115页，2023年，2月20日，星期六计算均方误差返回第56页，共115页，2023年，2月20日，星期六计算结果示意图返回第57页，共115页，2023年，2月20日，星期六K-L变换的原理随机向量的坐标基表示坐标基表示的分量计算随机向量的坐标基截断表示坐标基截断表示的误差估计坐标基截断表示的最优条件返回第58页，共115页，2023年，2月20日，星期六随机向量的坐标基表示设X是一个n维的随机向量，则它可以用下式无误差地展开：

其中i是n维列向量，且满足：返回第59页，共115页，2023年，2月20日，星期六坐标基表示的分量计算返回第60页，共115页，2023年，2月20日，星期六随机向量的坐标基截断表示假定只保留Y向量的分量的一个子集{y1,y2,…,ym}，m<n，可以对X构造下面的截断估计量：

其中bi是选定常数。返回第61页，共115页，2023年，2月20日，星期六坐标基截断表示的误差估计误差向量均方误差返回第62页，共115页，2023年，2月20日，星期六误差向量返回第63页，共115页，2023年，2月20日，星期六均方误差其中E[f(X)]表示f(X)的均值。返回第64页，共115页，2023年，2月20日，星期六向量函数的均值设f(X)是向量X的标量函数，如果选取X的N个样本Xi(i=1,2,…,N)，则f(X)的均值定义为：返回第65页，共115页，2023年，2月20日，星期六坐标基截断表示的最优条件最优的bi值可以通过下式得到：所以此时的均方误差返回第66页，共115页，2023年，2月20日，星期六最优条件下的均方误差其中是X的协方差矩阵。此时的极值条件。返回第67页，共115页，2023年，2月20日，星期六均方误差的极值条件可用Lagrange乘数法求出2的最小值:其中i为Language乘数。返回取极小值的必要条件为：第68页，共115页，2023年，2月20日，星期六极值条件的简化及误差表示这说明i是协方差矩阵X的本征向量，i是X的相应的第i个本征值。从而不难得到：返回第69页，共115页，2023年，2月20日，星期六K-L变换的特点每个特征yi在代表X方面的有效性由与它相对应的本征值i所确定，本征值的大小可以作为特征选择的依据。各个特征互不相关，也就是说Y的协方差矩阵是对角的。X的本征向量在满足正交归一条件时使2(m)为最小值返回第70页，共115页，2023年，2月20日，星期六Fisher变换Fisher变换的基本思想Fisher最优方向，举例Fisher最优方向的数学描述Fisher变换的求解方法及举例Fisher变换的缺点返回第71页，共115页，2023年，2月20日，星期六Fisher变换的基本思想Fisher变换，又称Fisher线性判别，是一种降低特征空间维数的方法。其基本思想是：把d维空间的所有模式投影到一条过原点的直线，从而把维数降低到1。返回第72页，共115页，2023年，2月20日，星期六Fisher最优方向求Fisher变换的关键是要寻找最优的投影方向，即Fisher最优方向，满足下面两个条件：1.各类模式投影均值彼此间相距尽可能大2.使同类模式的投影比较密集返回第73页，共115页，2023年，2月20日，星期六Fisher最优方向举例x2x1返回第74页，共115页，2023年，2月20日，星期六Fisher最优方向的数学描述样本和投影直线的表示样本均值及其投影均值投影均值间的距离投影类内离散度Fisher准则函数及其Rayleigh比表示返回第75页，共115页，2023年，2月20日，星期六样本和投影直线的表示设给定两类样本集1和2，各有n1和n2个d维样本。Fisher变换的目标是要找到一条直线，使得该直线对样本分类最有利。令W表示直线的方向，。1和2对直线的投影得到的集合分别是1和2，即:yi(i=1,2)，Xi

，使得y=WTX。返回第76页，共115页，2023年，2月20日，星期六样本均值及其投影均值设mi是第i类d维样本的均值：这些样本在直线W上的投影的均值是：返回第77页，共115页，2023年，2月20日，星期六投影均值间的距离返回第78页，共115页，2023年，2月20日，星期六投影类内离散度一类模式投影的密集程度可以用类内离散度来表示，即：总的模式投影的密集程度可以表示为总的类内离散度，即：返回第79页，共115页，2023年，2月20日，星期六Fisher准则函数Fisher最优方向以用下面的Fisher准则函数来描述求Fisher最优方向的问题可转化为求W使得J(W)达到极大的问题。返回

第80页，共115页，2023年，2月20日，星期六Fisher准则函数的Rayleigh比表示辅助定义投影转化Rayleigh比表示返回第81页，共115页，2023年，2月20日，星期六辅助定义1.第i类离散度矩阵：2.类内离散度矩阵：3.类间离散度矩阵：返回第82页，共115页，2023年，2月20日，星期六投影转化返回第83页，共115页，2023年，2月20日，星期六Rayleigh比表示Fisher准则函数可以写成W的显示函数：Rayleigh比表示具有下面的性质：1.J(W)=J(aW)，a是任意实数2.J(W)的极值只与W的方向有关，与W的大小无关返回第84页，共115页，2023年，2月20日，星期六Fisher变换的求解方法用Lagrange乘数法求极值直接计算偏导求极值Fisher方向的表示Fisher变换的表示返回第85页，共115页，2023年，2月20日，星期六用Lagrange乘数法求极值令构造Lagrange函数：极大值条件为：即：返回第86页，共115页，2023年，2月20日，星期六直接计算偏导求极值返回第87页，共115页，2023年，2月20日，星期六Fisher方向的表示若Sw非奇异，则有：因为其中是常数，所以：返回

第88页，共115页，2023年，2月20日，星期六Fisher变换的表示由于比例因子不影响直线的方向，因此Fisher方向可简化为将该W单位化后，可构造Fisher变换如下：返回第89页，共115页，2023年，2月20日，星期六Fisher变换的求解举例已知两类样本如下：求Fisher变换计算类心，计算类内离散度计算Fisher方向，构造Fisher变换返回第90页，共115页，2023年，2月20日，星期六计算类心返回第91页，共115页，2023年，2月20日，星期六计算类内离散度返回第92页，共115页，2023年，2月20日，星期六计算Fisher方向返回第93页，共115页，2023年，2月20日，星期六构造Fisher变换单位化的Fisher方向为Fisher变换为:返回第94页，共115页，2023年，2月20日，星期六Fisher变换的缺点Fisher变换得到的结果有一定局限，它只是对准则函数最优，即J(W)最大，在许多情况下，结果并不理想。返回第95页，共115页，2023年，2月20日，星期六多级选择多级选择的神经生物学基础多级选择的基本过程返回第96页，共115页，2023年，2月20日，星期六多级选择的神经生物学基础视觉信息的传递通路视觉信息的传递过程视觉信息的分级处理仿生智能、生物特征识别和生物信息计算是当前的几个热点研究领域返回第97页，共115页，2023年，2月20日，星期六视觉信息的传递通路返回第98页，共115页，2023年，2月20日，星期六视觉信息的传递过程返回视感受细胞神经节细胞外侧膝状体视觉皮层中枢第99页，共115页，2023年，2月20日，星期六视觉信息的分级处理在动物和人的视觉信息系统中存在着对特定信息起反应的神经元，形成由简单到复杂的分级信息处理结构，主要表现在不同层次上的细胞具有不