人脸识别工作汇报.ppt

C A S I P P,人脸识别工作汇报,C A S I P P,人脸识别的一般概念：给定一个场景中的静态图像或视频，利用给定的人脸数据库信息，鉴别或确认该场景中的一位或多位人的过程。,一个完整的人脸识别系统一般包括三个部分： （1）图像获取 （2）人脸检测与分割 （3）人脸识别（特征选择与提取、模式匹配）,人脸识别的概念,C A S I P P,特征选择与提取,（1）当实际用于分类识别的特征数目d给定后，直接从已获得的n个原始特征中选出d个特征，根据这d个特征来判断。,（2）根据某一类别可分性判据原则，对n个原始特征进行变换，使之变换到较低维空间或便于分类的空间，在变换后的空间对它进行分类识别。,C A S I P P,人脸识别方法的分类（根据特征提取方法）,第一类：基于表象（全局特征）的方法 全局匹配方法是用整个人脸区域作为输入，作为一个整体与已知人脸数据库进行匹配。如Eigenfaces、Fisherfaces、SVM等。,第二类：基于结构（局部特征）的方法 基于局部特征的结构匹配方法是根据人脸图中的局部特征（眼睛、鼻子、嘴巴等）在人脸图像中的位置和各自自身的结构确定对人脸图像进行识别。如Hidden Markov Model Based Methods（HMM）等。,C A S I P P,特征脸的含义,人脸图像中包含着大量有意义的人脸局部和全局特征信息，这些特征不仅包含如眼睛、鼻子、头发等仅凭人的直觉就能感受到的特征，还包含其它一些人的直觉没法体会的重要特征。这些特征以一定的形式分布在人脸图像中，从一张人脸图像中抽取相关的信息并尽可能有效的方式表示出来，然后，将以这种方式表示的人脸与以同样方式表示的人脸模型库相比较。,C A S I P P,从数学的观点，可以将人脸图像作为高维空间的一个点或一个向量，而且这些高维向量的在空间中的分布没有一定的规律性。如果能将这个高维向量映射到维数较低的向量空间，或者映射到分布规律明显的空间，用映射空间的向量表示人脸图像，则更方便我们进行人脸识别。,C A S I P P,人们想到了用主成份分析方法，又称离散K-L变换、Hotelling变换，它是用原始空间中的随机变量X的协方差矩阵的特征向量构成的特征矩阵作为变换矩阵，对原始空间中的向量进行变换，使原始空间中高维、复杂的向量变成变换后的特征空间中的低维、简单的向量。,这种变换是一种基于统计特性的最佳正交变换，变换之后具有如下特性： （1）变换后的新的分量正交或不相关； （2）以部分新的分量表示原向量均方误差最小； （3）变换后的向量更趋确定、能量更趋集中。,C A S I P P,在人脸识别中，人们用离散K-L变换对人脸图像的原始空间进行转换，即构造人脸图像数据集的协方差矩阵，对之进行正交变换，求出协方差矩阵的特征向量，再依据特征值的大小对这些特征向量进行排序，每一个向量表示人脸图像中一个不同数量的变量 ，这些特征向量表示特征的一个集合，它们共同表示一个人脸图像。在人脸识别领域，人们能常称这些特征向量为特征脸 。每一个体人脸图像都可以确切地表示为一组特征脸的线性组合。,C A S I P P,特征脸的构造与计算,人脸图像集：,向量形式 ：,训练集的平均脸 ：,人脸图像与平均脸的差 ：,C A S I P P,用正交变换求出协方差矩阵的特征向量和特征值：,人脸图像集的协方差矩阵：,变换后的特征空间为：,C A S I P P,由于离散K-L变换使能量相对集中，且与特征向量相对应的特征值具有如下性质：,由于精确地构造图像是不必要的，一个较小的m个特征向量对识别就足够了 ，因此，我们可以取前m个特征向量，构成变换后的特征脸空间。,因此，对于取前m个特征所对应的特征向量，对原始空间中的向量进行变换，变换后的均方误差取最小值。,C A S I P P,在特征脸空间进行人脸匹配,一幅人脸图像将它映射到特征脸上可用下式运算求得：,它在特征脸空间中的向量：,得到特征脸空间后，对人脸图像的识别可以将原始的高维空间向量映射到该特征空间，再进行模式匹配。,C A S I P P,确定相似性度量方法,在人脸识别中，以上进行的工作是只是人脸特征提取与选择，下一步要做一工作是对这些提取后的特征向量进行分类。为此要确定一种相似性度量方法，求出各提取后的特征向量之间的相似度，进而确定待分类识别的人脸是否属于某一已知类别。,C A S I P P,平均欧式距离法,在统计模式识别方法中，我们抽取和选择的是能代表这个模式的特征，用这些特征构成的特征向量占有由它们构成的特征空间的一个点。显然，两个模式如果在模式空间相距很近，则它们的各个分量，也就是各个特征也应相差很小，因此，两个模式之间相似性的一种合理的度量就是它们在特征空间的距离，即距离越小，相似性越高。提起距离，我们首先会想到欧氏距离，即用最小欧氏距离法，对特征向量进行分类和识别。,C A S I P P,对于某一待分类人脸图像，则它与第k类的欧氏距离为：,当求得的最小的值小于某一给定的阈值，则这幅人脸图像属于该类，否则不属于该类。,首先计算出的相应的特征脸模式向量的平均值。确定阈值，它表示距离某一人脸类和距离人脸空间的最大允许值。,C A S I P P,相似性度量的另一种方法,相似性函数定义为两个向量之间的归一化内积，对于某一待分类人脸图像相应的特征向量与第k类人脸图像的特征向量之间的相似度为：,它表示的是向量之间的夹角余弦，值越大，表示两者之间的夹角越小，相似性越大。这种方法我们称它为基于夹角最小的相似性度量方法。,C A S I P P,最近邻法则,设有一组n个样本：,每个样本都已标以类别标志，将待分类样本X分到与之相距最近的一个样本所属类中，这种方法称为最近邻法。,C A S I P P,对于基于夹角最小法则的特征脸法人脸识别，用最近邻法的判别函数为：,C A S I P P,算法实现,采用MATLAB进行编程仿真,仿真对象是ORL（Olivette Research Lab) 标准人脸库 该标准人脸库由40人，每人10幅11292图像组成。这些图像是拍摄于不同时期的、人的脸部表情和脸部细节有着不同程度的变化、人脸姿态也有相当程度的变化。,C A S I P P,C A S I P P,算法训练过程,1 构造训练样本集trainingSet 即从人脸图像目录中读取多个人脸图像到trainingSet 中； 2 计算出所有训练样本的平均脸meanImage 和各训练样本相对于平均脸的差值图像differenceImages； 3 用特征值分解的方法求差值图像differenceImages 的特征值和特征向量Eimage Eval； 4 求训练集中的每个差值图像相对于各特征向量上的投影值xuWeight构成的特征脸向量； 5 计算每一类的平均投影值xuAveWeight（对于最近邻法不需要这一步）,C A S I P P,算法识别过程,1 读取一幅待识别图像recogniseImage 2 求取该图像相对于平均脸meanImage 差值图像recDiffIm 3 求差值图像recDiffIm 在各特征向量上的投影weight 4 求该投影值weight构成的向量与各类的xuAveWeight构成的向量之间的欧氏距离xuDiffWeight （基于夹角最小法则：该投影值weight构成的向量与各训练样本的xuWeight构成的向量之间的夹角余弦 ） 5 判断与最小的欧氏距离xuDiffWeight则该图像属于该类 （基于夹角最小法则：判断最小的夹角余弦所对应的训练样本所属类为该图像的类别）,C A S I P P,仿真结果,平均欧氏距离法实验结果,夹角最小的最近邻法实验结果,C A S I P P,其它方面一,对于人脸识别，从感性上，人脸的轮廓应该比人脸的细节远远重要，因此在人脸识别过程中能否先考虑轮廓信息再考虑细节信息。 两个问题： （1）轮廓信息与细节信息如何区分、分割； （2）对轮廓信息的识别与细节信息的识别如何合理的融合到一起。（？）,C A S I P P,1用Harr小波包对人脸图像进行一级分解（对图像进行多尺度分解）， 得到四个独立的图像，分别为（近似部分A1、水平细节部分H1、垂直细节部分V1、对角细节部分D1）； 2对每个独立的部分用标准的特征脸法进行分类识别 3得到的结果是近似部分的图像的识别率与原始图像的识别率几乎相等，其它几个部分很小； 4用Harr小波包对人脸图像进行二级分解，得到十六个部分，再分别对之用传统的特征脸方法进行识别，结果相同，而且细节信息越丰富，正确率越低。,轮廓信息与细节信息分割,C A S I P P,其它方面二,基于小波分解的方法进行分析,1用Harr小波包对人脸图像进行二级分解，将图像分解成十六个部分；,2计算出每一部分的均值和标准差；,3用Bhattacharyya距离来度量。,C A S I P P,根据小波变换后的均值和标准差 构造BP人工神经网络进行学习和识别,将均值与标准差作为神经网络的输入向量样本数为traningSamples 输入神经元数为31 InVector=zeros(31,trainingSamp