模式识别及Python实现 课件 第6章 特征提取与选择

PPT下载/xiazai/第六章:特征提取与选择模式识别及Python实现123基本概念类别可分性判断依据主成分分析法目录

CONTENT4多维尺度分析5特征选择方法PART

1基本概念PART01BasicConcept​​特征维数灾难：当特征小于某值时，分类器的性能随着特征个数的增加而增加，当特征个数大于某值时，分类器性能不升反降2.特征降维：以人体识别为例，选择其中一个或者两个有代表性的特征即可完成任务，无需将每个特征都进行识别。这种减少特征数量的过程被称为“特征降维”。3.特征选择与特征提取：降低特征空间维数有两种方式：特征选择和特征提取，特征选择是从D个特征中选出d（d＜D）个特征；特征提取是通过适当的变换把D个特征转换成d（d＜D）个新特征。特征选择是通过计算的方法从原特征中挑选出最具有辨别能力的特征；特征提取是通过某种数学变换产生新的特征。两种方法都可以降低特征空间维数，减小分类器的计算量，使分类器更容易实现；另一方面，还可以消除特征之间可能存在的相关性，提高分类效率。特征选择和特征提取不是完全分离的，在一些问题中，可以先进行特征选择，去掉对分类任务没有帮助的特征，然后再对选择出的具有辨别能力的特征进行特征提取。

PART

2类别可分性判断依据PART02ClassSeparabilityCriteria

PART

3主成分分析法PART03PrincipalComponentAnalysis​

下图给出一个对二维空间数据进行主成分分析的示例。在很多情况下，经过分析，排在后面的主成分往往表明它们所包含的信息具有随机性，并且对整个特征分析的过程来说影响较小。此时可以对原特征进行主成分变化后，将后几个本征值很小的主成分置零，再进行主成分分析的逆变换，就可以实现对原始数据的降噪。

主成分分析示例

PART

4多维尺度分析PART04MultidimensionalScaling1.基本概念多维尺度法(Multidimensionalscaling，MDS)也称作“多维排列模型”、“多维标度”，是一种经典的数据映射方法。MDS可以将多维空间中的样本点按照比例进行缩放，并在二维或者三维的低维度状态下表示出来。多维尺度法可以分为度量型和非度量型。度量型MDS根据原空间中样本间的距离或是不相关性关系，从定量的角度进行度量，使得低维空间下依旧可以很好的保持原有维度样本之间的距离数量关系；非度量型MDS不再保留定量关系，而是将原空间样本之间的距离或不相关性关系，定性的在低维空间中表示，仅仅确定样本间的顺序关系，但无法进行详细比较。以地图举例，多维尺度法，将原本的三维城市关系尽可能的表示到二维平面上，使得二维的地图中的城市间的距离可以将实际中的距离更好的表示出来。可以看到，将城市间三维数据进行MDS处理后得到的结果与我们平时所常见的地图一致。

PART

5特征选择方法PART05​​BoostingMethods​最优搜索算法（分支定界法）分支定界法（branchandbound，BAB）是一种自顶向下的全局搜索算法，其基本思想是根据每种特征的重要性生成一棵由不同特征选择组成的树，再按一定规律进行搜索，最终得到全局最优解，而不必遍历整棵树。分支定界法可以分为两步：生成特征树和搜索回溯