随机过程第一次大作业(THU).doc

随机过程第一次project 基于主成分分析的人脸识别目录基于主成分分析的人脸识别11 引言21.1 PCA简介2一、主成分的一般定义3二、 主成分的性质3三、 主成分的数目的选取41.2 人脸识别概述42 基本理论及方法53 人脸识别的具体实现63.1 读入图像数据库63.2 计算特征空间73.3 人脸识别94 对实验算法的综合评价115 结论116、参考文献117、附录121、代码说明：122、实验感想12摘要：本文利用基于主成分分析(Principal Component Analysis，PCA)进行人脸识别。该过程主要分为三个阶段，第一个阶段利用训练样本集构建特征脸空间；第二个阶段是训练阶段，主要是将训练图像投影到特征脸子空间上；第三个阶段是识别阶段，将测试样本集投影到特征脸子空间，然后与投影后的训练图像相比较，距离最小的为识别结果。本方法具有简单、快速和易行等特点,能从整体上反映人脸图像的灰度相关性具有一定的实用价值。关键词：人脸识别；PCA；识别方式 1 引言PCA是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合，根据矩阵的行数与列数的区别于差异，PCA又可以划分为DPCA（Distributed PCA1和CPCA（Collective PCA）2。1.1 PCA简介PCA方法，也被叫做特征脸方法(eigenfaces)，是一种基于整幅人脸图像的识别算法，被广泛用于降维，在人脸识别领域也表现突出。一个NN的二维脸部图片可以看成是N的一个一维向量，一张11292的图片可以看成是一个10，304维的向量，同时也可以看成是一个10，304维空间中一点。图片映射到这个巨大的空间后，由于人脸的构造相对来说比较接近，因此，可以用一个相应的低维子空间来表示。我们把这个子空间叫做“脸空间”。PCA的主要思想就是找到能够最好地说明图片在图片空间中的分布情况的那些向量。这些向量能够定义“脸空间”，每个向量的长度为N，描述一张NN的图片，并且是原始脸部图片的一个线性组合。对于一副M*N的人脸图像，将其每列相连构成一个大小为D=M*N维的列向量。D就是人脸图像的维数，也即是图像空间的维数。设n是训练样本的数目；Xj表示第j幅人脸图像形成的人脸向量，则所需样本的协方差矩阵为： Sr= (1)其中u为训练样本的平均图像向量： u = (2) 令A=x1-u x2-uxn-u,则有Sr=AAT,其维数为D*D。一、主成分的一般定义 设有随机变量X1，X2，Xp， 其样本均数记为 ， ， ，样本标准差记为S1，S2，Sp。首先作标准化变换，我们有如下的定义： (1) 若C1=a11x1+a12x2+ +a1pxp，且使 Var(C1)最大，则称C1为第一主成分； (2) 若C2=a21x1+a22x2+a2pxp， ，(a21，a22，a2p)垂直于(a11，a12，a1p)，且使Var(C2)最大，则称C2为第二主成分； (3) 类似地，可有第三、四、五主成分，至多有p个。 二、 主成分的性质 主成分C1，C2，Cp具有如下几个性质： （1) 主成分间互不相关，即对任意i和j，Ci 和Cj的相关系数 Corr(Ci，Cj)=0 ij(2) 组合系数(ai1，ai2，aip)构成的向量为单位向量，(3) 各主成分的方差是依次递减的， 即 Var(C1)Var(C2)Var(Cp) (4) 总方差不增不减， 即 Var(C1)+Var(C2)+ +Var(Cp) =Var(x1)+Var(x2)+ +Var(xp) =p 这一性质说明，主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。 (5) 主成分和原变量的相关系数 Corr(Ci，xj)=aij =aij (6) 令X1，X2，Xp的相关矩阵为R, (ai1，ai2，aip)则是相关矩阵R的第i个特征向量(eigenvector)。而且，特征值li就是第i主成分的方差， 即 Var(Ci)= li 其中li为相关矩阵R的第i个特征值(eigenvalue) ll1l2lp0三、 主成分的数目的选取 前已指出，设有p个随机变量，便有p个主成分。由于总方差不增不减，C1，C2等前几个综合变量的方差较大,而Cp，Cp-1等后几个综合变量的方差较小, 严格说来，只有前几个综合变量才称得上主(要)成份，后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。 保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比便可决定保留几个主成分；如果多留一个主成分，累积方差增加无几，便不再多留。1.2 人脸识别概述人脸识别的研究起源比较早，Galton 在1888年和1910年就已在Nature杂志发表两篇关于如何使用人脸进行身份识别的论文。在他的文章，他使用一组数字表示相异的人脸侧面特征，同时还对人类本身的人脸识别能进行了研究分析。自动人脸的研究历史相对比较短，到现在不过五十多年的时间。不过1990年以来，才得到了长足的进步。现在，已变成计算机视觉领域的一个焦点，很多著名的大学和IT公司都有研究组在从事这发面的研究。对于人脸识别的研究历史可分为三个阶段：第一阶段（1964-1990）这个阶段主要采取的技术是基于人脸几何结构的。研究的重点主要在剪影上。研究人员做了大量关于如何提取面部剪影曲线的结构特征的研究。这个阶段属于人脸识别的初级阶段，突出的研究成果不多，也没有获得的实际应用。第二阶段（1991-1997）这个阶段虽然时间相对较短，但是硕果累累，出现了若干具有代表性的算法和几个商业化的人脸识别系统，如Identix（原为Visionics）公司的FaceIt系统。这个时期最具盛名的人脸识别方法是MIT媒体实验室的Turk和Pentland提出的的“特征脸”方法。后来很多人脸识别技术都与特征脸有关，现在特征脸已与归一化的协相关量方法一起成为了人脸识别性能测试的基准算法。32 基本理论及方法设人脸图像为二维灰度图像，用维列向量表示。人脸图像训练集为，其中为训练集中图像总数。根据训练集构造总体散布矩阵：其中为所有训练样本的平均向量对于人脸图像,总体散布矩阵的大小为,对它求解特征值和特征向量是很困难的,由奇异值定理，一种取而代之的方法是解个较小的矩阵。首先计算矩阵的特征向量：矩阵的特征向量由差值图像与线性组合得到取的前个最大特征值的特征向量计算特征脸，由门限值确定：其大致的实现框图为：以上图表包括具体的识别过程，即是对图片属于谁进行判断，因为本次实验要求只是对图片是不是人脸进行判断，而且本次实验所给训练图片太少。故不需要实现这一功能。3 人脸识别的具体实现3.1 读入图像数据库 一、读入所给的训练图像与待测图像为了实验方便，本次实验对图像进行从新编号，其中1-35号为训练图片，36-37为待测图片，因为图片本身即为灰度图像，故不用进行转换。具体的读入为：a=imread (strcat (num2str (i),.jpg);(i为1-37之间的数字)imshow(a); 二、把二维图像转换为一维图像一个大小为m*n的二维人脸图像可以看成长度为mn的人脸图像列向量。为了将二维人脸图像变为以为列向量，我们采取的措施为：首先计算出人脸图像的大小，然后将人脸图像经行转置，最后按列依次取出取出所有灰度值形成大小为MN的一维向量，其实整个阶段的效果相当于将图像的灰度值按行取出依次连接成一维图像向量。其具体的实现代码为：for i=1:35 a=imread (strcat (num2str (i),.jpg); %读入35张图片作为训练图片，并且把像素存入allsamples中 b=double (a (1:108*75); allsamples= allsamples; b; end3.2 计算特征空间一、对所有训练图片进行归一化 在把二维矩阵（图像）转换为一维列矩阵（图像）后，生成一个35*8100的矩阵。对每一行进行平均化，再用原图减去平均值，即得到归一化的图像。以下为归一化前后的图像对比：可以看出来，归一化之后，图片发生了比较大的变化。二、对计算特征空间人脸训练图像的方差矩阵为，其中人脸训练样本为，维度为，则协方差矩阵C的维度为。本次实验因为所给图片尺寸较小，而且涉及训练样本较少，可以直接调用matlab中的eig函数求取特征值与特征向量。当然，若所给数据库比较大，可以采用SVD分解等等方式以减少运算复杂度，提高实验效率。计算出特征值矩阵，设置阈值，算出前N个特征值，并且取出相应的特征向量，进行提取出来。一般是通过计算阈值进一步降低维数，这种方法的具体做法是把特征向量和特征值从大到小排列，选取特征值占总特征值之和的比值大于一定值所对应的特征向量。阈值一般是取0.9。计算公式是。在本次实验中，因为本身的图片就比较小，所以取0.91，发现最终符合要求的特征值有20组。（有15组已经不符合要求）画出特征脸的具体实现为：r=;b=;for m=1:20 r=resamples(m,:); b=reshape(r,108,75); subplot(4,5,m);imshow(b); end最终在特征脸如下：3.3 人脸识别人脸识别过程分为训练和测试两个阶段。在训练阶段，主要是提取数据库人脸图像的特征，并形成特征库。在测试阶段，主要是提取待识别图像的特征和计算提取的特征和特征库中特征之间的距离测度。 一、训练阶段将规范化的图像矩阵A中的每一列向量投影到特征子空间，形成特征库。二、识别阶段 由于本次实验只是要求判断所给图像是否是人脸。在本次实验过程中，先对训练图像进行比对，有实验原理可知，在每次的1-35号的训练图片与数据库进行比对时，与其一致的相应的距离函数应为0。 本部分的实现过程为：a1=imread (strcat (num2str (i),.jpg); %i可以变化读入待测图像a3=rand(3,75); %已知36号图像矩阵只有105*75，补入数字进行 a4=a1,a3;a5=a4; %imshow(a5)b1=double(a5(1:108*75);t1=b1*ji;for k=1:35 m1(k)=norm(t1-llcoor(k,:); end;对35个训练图片进行比对，本次实验通过judge函数实现。其输入值为训练图片的编号，输出与值为距离函数，即是待测图像与数据库的欧式距离的最小值。其代码为：%以下部分实现对所给的训练图像进行比对，并且保持在矩阵distance1中for r=1:35 distence1(r)=judge(r); end judge1=median(m1); %把判断的中间数作为判别依据，大于该值的判断为非，反之则为人脸 save judge1; %因为运算涉及较多的循环，把判决值保存起来。distence2=max(distence1); %取出其中的最大值，作为判断的阈值最终把所有最大的值保存在distence1矩阵中，通过取定其中的中值为阈值，如果最小距离大于阈值，则不是人脸图像，否则，则判别为人脸。以下为输入36图像时的结果：输入37图像时：由所给图像可以知道，达到了判断的效果。4 对实验算法的综合评价 本次实验，基本上安装最基本的人脸识别进行。没有涉及到算法改进等方面。（1）算法比较简单，容易实现（2）因为实验所给的训练图片比较少，实验中直接求特征值与特征向量，当然，如果涉及的数据比较多，则需要采用SVD分解等以减少运算量从而提高实验的效率（3）阈值的选取对实验的影响比较大，一般取0.9左右就可以基本上达到目的。本次实验到取0.9时，主成分取到前19个，若取0.91，则取到20个。因为本次实验给的训练图片本来就少。故主成分用来降维的效果并不是很明显。相反，若是给几百张甚至是上千张训练图片，则通过主成分分析的效果应该很明显。（4）最终的通过对所以图片的距离函数的中位数作为判断标准，虽然可以减少复杂度，但是其精确度却在一定程度上收到影响。本次实验因为样本比较小，影响不大。总体而言：本次算法比较简单，因为所给样本比较小，最终也取得了比较满意的效果。但是，对样本比较大，图像比较复杂时，算法在很多方面却得改进。5 结论人脸识别是目前较活跃的研究领域, 本文详细给出了基于主成分分析的人脸特征提取的原理与方法。并使用matlab 作为工具平台, 实现了一个人脸自动识别的系统原型。实验结果表明, 该系统识别率较高,对实验所给的测试数据取得了比较合理的结果， 达到预期的效果。如果想进一步提高人脸识别率, 可以考虑与其他方法结合。仅单独使用任何一种现有的方法一般都不会取得很好的识别效果, 将其他人脸识别方法组合是今后研究的一种趋势。也可以考虑改进分类决策的方法。本系统采用的最小距离分类法属于线性的分类器, 而利用神经网络这类学习能力更强的非线性分类器对高维人脸识别问题可能会有更好的解决。6、参考文献1 Yongming Quy，Principal Component Analysis for Dimension Reduction in Massive Distributed Data Sets2 Hillol Kargupta, Distributed Clustering Using Collective Principal Component Analysis3 邵凯