PCA+SVM人脸识别

1、PCA+SVM人脸识别人脸识别组员学号：201224020331-34组员姓名：张润德雒亚彤刘卫东赵光远概述概述： 编程平台：Matlab； 数据： ORL人脸库。40人，每人10幅图，图像大小为112*92像素。图像本身已经经过处理，不需要进行归一化和校准等工作； 数据处理：主成分分析法（PCA） 分类器： 支持向量机（SVM）人脸识别算法步骤概述人脸识别算法步骤概述： 1、读取训练数据集； 2、主成分分析法降维并去除数据之间的相关性； 3、数据规格化（去除数据单位因素对分类造成的影响，这个对此实验造成的影响不大）； 4、SVM训练（选取径向基和函数）； 5、读取测试数据、降维、规格化； 6

2、、用步骤4产生的分类函数进行分类（多分类问题，采用一对一投票策略，归位得票最多的一类）； 7、计算正确率。PCA简要介绍：简要介绍：PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift（尺度不变特征转换），surf（角点检测）等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对

3、比，找出与之最近的图片。这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个，如果我们数据库中有一百万张图片，这个存储量是相当大的，建立索引也很耗时，如果我们对每个向量进行PCA处理，将其降维为64维，就非常的节约空间了。主成分分析（主成分分析（PCA）预备知识）预备知识 所用到的数学方法： 样本X和样本Y的协方差(Covariance)： 协方差为正时说明X和Y是正相关关系，协方差为负时

4、X和Y是负相关关系，协方差为0时X和Y相互独立。 Cov(X,X)就是X的方差(Variance). 当样本是n维数据时，它们的协方差实际上是协方差矩阵（对称方阵），方阵的边长是 。比如对于3维数据(x,y,z)，计算它的协方差就是：主成分分析（主成分分析（PCA）预备知识）预备知识主成分分析（主成分分析（PCA）预备知识）预备知识 对A进行奇异值分解就能求出所有特征值和Q矩阵。 A * Q = Q * D( D是由特征值组成的对角矩阵) 由特征值和特征向量的定义知，Q的列向量就是A的特征向量。主成分分析（主成分分析（PCA）过程）过程 1.特征中心化。即每一维的数据都减去该维的均值。这里的“

5、维”指的就是一个特征（或属性），变换之后每一维的均值都变成了0。 2.原始数据矩阵A，每一列减去该列均值后，得到矩阵B； 3.计算B的协方差矩阵C； 4.计算协方差矩阵C的特征值和特征向量。主成分分析（主成分分析（PCA）过程）过程 5.选取大的特征值对应的特征向量，得到新的数据集： 特征值是由大到小排列的，前两个特征值的和已经超过了所有特征值之和的97%。我们取前两个特征值对应的特征向量，得到一个新的矩阵M，这样我们就将数据集的特征显著地降低了大部分。SVM支持向量机简介：支持向量机简介： 在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型

6、，通常用来进行模式识别、分类、以及回归分析。 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine，简称SVM)。支持向量机的提出有很深的理论背景。SVM支持向量机简介：支持向量机简介： SVM的主要思想可以概括为两点: SVM的主要思想可以概括为两点:它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而 使得高维特征空间采用

7、线性算法对样本的非线性特征进行线性分析成为可能; 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。训练集训练集和和测试测试集集 在具体运用SVM工作之前我们先来了解一下训练集和测试集。 在机器学习方法当中，分为监督学习，非监督学习，强化学习。而SVM支持向量机是一种监督学习的算法。所谓监督学习，就是给予机器一套题目并附上标准答案，让它去做题，自己总结了一套做题的方法（这些方法就是建立的模型），它在根据已经学习好的方法来做一套新的题目，把题目做对，尽可能打高分。训练集训练集和和测试测试集集 训练集就是给予机

8、器的一套题目及标准答案，测试集就是给它的一套新题。而训练集有标签和数据之分，标签就是标准答案，标签有着1和0，就表示这些训练集中有两类，像我们的人脸数据有40种人脸，我们就用1到40来表示。数据就是有着多维的表征一个事物的数据，就是给机器的第一套题目。测试集也有数据，就是后面给机器测试的题目，如果测试集原本含有标签，这些标签就可以作为标准给机器前面训练总结的方法（模型）打分，查看准确率。 在这个人脸库中，每个人有10张图，我们将前5张作为训练集，就有200张图。用一个矩阵来表示这200张图，就形成了一个200*10304的矩阵。后5张图用来当测试集。SVM支持向量机作用：支持向量机作用： SVM支持向量机分类器是一个二类分类器，但是本次人脸