模式识别的分类算法PPT学习课件

1、模式识别的分类算法,1,2020/7/30,目录,研究背景 应用领域 相关算法,2,2020/7/30,研究背景,模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。,模式识别又常称作模式分类,3,2020/7/30,分类,有监督的分类（Supervised Classification）,无监督的分类(Unsupervised Classification),二者的主要差别在于： 各实验样本所属的类别是否预先已知。,4,2020/

2、7/30,应用领域,主要应用领域是图像分析与处理、语音识别、声音分类、通信、计算机辅助诊断、数据挖掘等学科。,5,2020/7/30,K最邻近结点算法 (k-Nearest Neighbor algorithm),该算法的基本思路是：在给定新的样本后，考虑在训练集中与该新样本距离最近（最相似）的 K 个样本，根据这 K 个样本所属的类别判定新样本所属的类别,KNN,KNN,6,2020/7/30,1.根据特征项集合描述训练样本集的向量,在新样本到达后，提取特征,确定新样本的特征向量表示,在训练集中选出与新样本最相似的 K 个文样本，计算公式为：,基本步骤,7,2020/7/30,4.在新样本的

3、K个邻居中，依次计算每类的权重计算公式如下：,比较类的权重，将文本分到权重最大的那个类别中。,8,2020/7/30,KNN,9,2020/7/30,LDA,线性判别式分析 (Linear Discriminant Analysis, LDA)，,基本思想：将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性,10,2020/7/30,假设对于一个n维空间有m个样本分别为x1,x2,xm,即每个x是一个n行的矩阵,LDA,11,2020/7/30,根据符号说明可得类i

4、的样本均值为：,总体样本均值：,LDA,12,2020/7/30,类间离散度矩阵和类内离散度矩阵：,LDA,13,2020/7/30,LDA,Fisher鉴别准则表达式：,其中 为任意n维列矢量。Fisher线性鉴别分析就是选取使得公式（5）达到最大值的矢量 作为投影方向。,14,2020/7/30,最佳投影矩阵：,LDA,15,2020/7/30,LDA,16,2020/7/30,Example,17,2020/7/30,Example,18,2020/7/30,Example,19,2020/7/30,文献,一种基于中心文档的KNN中文文本分类算法 鲁婷，王浩，姚宏亮 Computer Engineering and Applications计算机工程与应用 Information Content Weighting for Perceptual Image Quality Assessment Zhou Wang, IEEE TRANSACTIONS ON IMAGE PROCESSING CW-SSIM BASED IMAGE CLASSIFICATION IEEE Internati