基于矩阵低秩近似的人脸识别方法研究.pdf

代号代号 分 类 号分 类 号 学号学号 密级密级 1070110701 tp181tp181公开公开 11071224631107122463 题题 中 英 文中 英 文 目目基于矩阵低秩近似的人脸识别方法研究基于矩阵低秩近似的人脸识别方法研究 face recognition method base on low rankapproximations of matrices 作 者 姓 名作 者 姓 名 赵扬扬赵扬扬 指导教师姓名指导教师姓名 职称职称 周水生周水生教授教授 学 科 门 类学 科 门 类 理学理学 提交论文日期提交论文日期 二二 一四年一月一四年一月 学科 专业学科 专业应用数学应用数学 万方数据 万方数据 西安电子科技大学西安电子科技大学 学位论文创新性声明学位论文创新性声明 秉承学校严谨的学风和优良的科学道德 本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果 尽我所知 除了文中特别加以标注 和致谢中所罗列的内容以外 论文中不包含其他人已经发表或撰写过的研究成果 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意 申请学位论文与资料若有不实之处 本人承担一切的法律责任 本人签名 日期 西安电子科技大学西安电子科技大学 关于论文使用授权的说明关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定 即 研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学 学校有权保留 送交论文的复印件 允许查阅和借阅论文 学校可以公布论文的全部或部分内容 可以允许采用影印 缩印或其它复制手段保存论文 同时本人保证 毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学 本人签名 日期 导师签名 日期 万方数据 万方数据 摘要 人脸识别的主要任务是提取人脸数据的有效特征 再利用这些有效特征 将 人脸数据划分为相应的模式类别 其中特征提取是人脸识别的关键点 有效的特 征提取方法不仅可以简化后续的分类器设计 而且能够提高人脸的识别率 本文 主要研究了基于矩阵低秩近似的人脸特征提取方法 重点从以下三方面展开研究 1 全面介绍现有的低秩近似方法 其中包括基于向量和基于矩阵的低秩近 似 基于向量的低秩近似方法主要包含 奇异值分解 svd 主成分分析 pca 线性判别分析 lda 和局部保持投影 lpp 基于矩阵的低秩近似方法有 二维主 成分分析 2dpca 和矩阵的广义低秩逼近 glram 2 提出了一种矩阵广义低秩逼近的新的非迭代算法 nglram 针对 glram算法需要多次迭代来获得左右投影变换矩阵 需要大量的训练时间 本文 利用2dpca算法通过协方差矩阵获得右投影变换矩阵 进一步对其投影特征矩阵 降维获得左投影变换矩阵 提出glram算法的一种非迭代算法 最后在orl和ar 人脸数据库的实验研究表明 新的非迭代算法在图像重建和图像识别都取得了和 glram的迭代算法相近的效果 同时节省了大量的训练时间 而较2dpca 新算 法以较大的压缩率取得更好图像重建效果和识别率 3 提出了一种glram与slpp 监督的局部保持投影 相结合的人脸识别方 法 先使用glram算法对于人脸图像进行降维 删除人脸图像固有的冗余 获取 人脸数据的有效特征 进一步利用slpp对这些有效特征继续降维来获得人脸的局 部有效性特征 在orl和yale人脸数据库的实验研究表明 该方法取得了较高的识 别率 效果优于单独运用glram方法和pca与slpp相结合的人脸识别方法 同时 实验效果好于glram和其他基于向量的识别算法相结合的识别方法 关键词 人脸识别关键词 人脸识别svdpcaldalpp2dpcaglramslpp 万方数据 万方数据 abstract the primary task of face recognition is feature extraction of facial data and dividing the facial data into corresponding categories of model with these effective characteristics feature extraction is the key point to face recognition an effective facial feature extraction method not only helps to simplify subsequent classifier design but also can improve the face recognition rate this paper studies facial feature extraction methods based on low rank approximation of matrices and we begin studying from the following three important aspects 1 we comprehensively introduce the existing low rank approximation method including vector based and matrix based low rank approximation vector based low rank approximation methods involve singular value decomposition svd principal component analysis pca linear discriminant analysis lda and locality preserving projections lpp matrix basedlowrankapproximationmethodsincludetwo dimensional principal component analysis 2dpca and generalized low rank approximation of matrix glram 2 we propose a new non iterative algorithm for generalized low rank approximation of matrix nglram glram uses an iterative algorithm to solve the left and right projection transformation matrix resulting in high degree of complexity in this paper we get the right projection transform matrix by the covariance matrix of 2dpca algorithm and gain left projection transform matrix by dimensionality reduction of feature matrix of 2dpca then we propose a new non iterative algorithm for glram experiments on orl and ar face database show that the new nglram saves a lot of training time to get the similar performance with glram in image reconstruction and image recognition compared with 2dpca nglram obtains the better results in image reconstruction and image recognition with the larger compression rate 3 we proposed a face recognition method which combine glram with slpp supervised locality preserving projection firstly we use glram algorithm for face image dimensionality reduction to delete the inherent redundancy and get effective features of face image then we obtain partial effectiveness features of face using slpp to further dimension reduction of effective features experiments on orl and yale face database show that the new method achieved a high recognition rate better than 万方数据 glram method and the method combing pca with slpp this new method also have better recognition rate than the methods combing glram with other vector based recognition algorithm key words face recognitionsvdpcaldalpp2dpcaglram slpp 万方数据 目录 第一章 绪论 1 1 1 研究的背景及意义 1 1 1 1 人脸识别研究可促进多门相关学科的发展 1 1 1 2 人脸识别技术作为一种生物特征识别技术有着广阔的潜在市场前景 2 1 2 相关研究的现状 2 1 3 人脸识别系统的主要研究内容 3 1 4 本文的主要研究内容 5 1 4 1 本文的主要工作 5 1 4 2 本文的内容安排 5 第二章 低秩近似方法综述 7 2 1 奇异值分解 7 2 1 1 奇异值分解定理及其性质 7 2 1 2 奇异值分解定理在应用于人脸识别时的优缺点分析 9 2 2 主成分分析 pca 10 2 2 1 k l 变换 10 2 2 2 pca 方法 11 2 3 lda 算法 12 2 3 1 lda 算法的原理 12 2 3 2 lda 算法的优缺点分析 13 2 4 2dpca 算法 14 2 4 1 2dpca 算法概述 14 2 4 2 2dpca 算法的优缺点分析 15 2 5 glram 算法 16 2 5 1 glram 算法概述 16 2 5 2 子空间维数的选择问题 19 2 5 3 子空间问题的实验分析 20 2 6 本章小结 21 第三章 nglram 算法 23 3 1 nglram 算法概述 23 3 2 算法的复杂度分析和对数据的压缩率 24 3 3 实验结果及分析 25 3 3 1 图像的重建误差和识别率比较 25 3 3 2 训练时间和检测时间比较 27 3 4 本章小结 29 第四章 glram 和 slpp 相结合的人脸识别方法 31 4 1 lpp 算法 31 4 1 1 lpp 算法概述 31 4 1 2 lpp 算法优缺点分析 32 4 2 slpp 算法 33 万方数据 4 3 glram 和 slpp 相结合的人脸方法 33 4 4 实验结果及分析 34 4 4 1 glram pca slpp 和 glram slpp 方法的识别率比较 34 4 4 2 glram slpp 方法和其他相关方法的识别率比较 35 4 5 本章总结 36 第五章 总结与展望 39 5 1 总结 39 5 2 展望 39 致谢 41 参考文献 43 硕士在读期间研究成果 49 万方数据 第一章 绪论 1 第一章 绪论 人脸识别就是使用计算机分析人脸数据 提取人脸数据的有效特征并进行身 份鉴别的一种生物特征识别技术 人脸识别可以促进相关学科的发展 具有广阔 的潜在应用前景 越来越成为模式识别和人工智能领域的一个研究热点 本章全 面介绍人脸识别研究的背景意义 现状和主要内容 具体阐述如下 1 1 研究的背景及意义 人脸识别技术 1 2 3 是使用计算机分析人脸图像 提取出人脸的有效信息 并 完成身份鉴别的一种最直接 最容易被人们接受的生物特征识别技术 4 人脸识别 研究已有长达40多年的发展历史 一直是模式识别和人工智能中一个研究热点 近几年来 国内外各大研究机构通过大量相关项目的研究 不断推动人脸识别技 术的发展 人脸识别技术研究的重要意义主要表现两个方面 一方面 人脸识别 技术的研究可促进多门相关学科的发展 另一方面人脸识别技术的研究具有广阔 的潜在应用前景 1 1 1 人脸识别研究可促进多门相关学科的发展 人脸识别研究涉及模式识别 计算机视觉和机器学习 5 等学科 并且与其它生 物特征识别技术有着紧密的联系 作为一个图像模式识别的重要研究方向 人脸 识别技术的研究对于构建上述学科研究的基础实验平台有重大作用 同时可以用 于尝试上述学科出现的新方法 验证上述学科所提出的新理论 解释上述学科涌 现的新现象 总而言之 人脸识别技术的不断深入研究可以在很大程度上促进上 述学科的发展和成熟 首先 人脸识别作为一个模式识别的问题 由于人脸数据存在样本种类数目 庞大 不同样本的差异微妙 因此被认为是最具挑战性的问题之一 其次 人脸识别作为一个计算机视觉问题 一个很有价值的研究问题是如何 利用人脸的有效信息来准确地重构人脸的特定结构 最后 人脸识别本质就是要给予计算机区分不同人类个体的能力 即 判别 的能力 这恰恰是机器学习研究需要解决的重大问题之一 也是人工智能的重要 表现 万方数据 基于矩阵低秩近似的人脸识别方法研究 2 1 1 2 人脸识别技术作为一种生物特征识别技术有着广阔的潜在市场前景 身份鉴别是人们日常生活中经常发生的基本活动 目前 我们仍然主要依赖 于传统的身份验证手段 如钥匙 证件和口令等 来实现身份鉴别 这些传统的身 份鉴别方法存在许多明显的缺点 如证件 钥匙携带不便或丢失 证件可以被伪 造 口令可能会忘记等 这些致命的缺点导致它们已经远远不能满足人们日常生 活和社会发展的需求 因此我们亟需一种更方便和更安全的身份验证方式 生物 特征识别技术 4 biometrics 就是利用计算机分析人类自身所拥有的生理特征 如手 形 指纹 人脸 掌纹等 或行为特征 如语音 步态 笔迹等 来进行身份鉴 别的一门技术 与其他传统的身份识别方法相比 生物特征识别技术拥有更直接 更可靠的安全性 这主要由于生物特征具有唯一性 互异性等特点 因此作为一 种安全级别很高的身份鉴别技术 生物特征识别技术将给人们日常生活和社会发 展带来革命性地的改变 人脸识别技术是生物特征识别技术的一种 与其他生物 特征识别技术相比 其在可用性方面具有如下特殊的技术优势 1 可以隐蔽操作 不需要用户的主动配合 尤其适用于安全监控 2 数据采集可以通过接触式 侵犯性较小 很容易被人们接受 3 采集方便 采集设备成本低 可利用的数据资源丰富 4 符合人们的鉴别习惯 可人读亦可机读 综上所述 人脸识别研究不仅将不断推动模式识别 计算机视觉和人工智能 等学科的发展 而且还会带来庞大的市场价值和社会意义 1 2 相关研究的现状 最近几十年来 因为人们日常生活和社会发展的需要 学术界开始越来越关 注人脸识别的研究 而在众多人脸识别研究方向中 研究较多的是对于人脸正面 模式的研究 大致可分为如下三个发展阶段 第一阶段 机械式的识别阶段 主要研究人类的脸部特征 bertillon allen 6 和parker等人在这个方面做出工作 bertillon设计的系统可以利用一条简单语句从 人脸数据库的检索人脸 allen设计出了一种有效的摹写来完成人脸的测试 parker 利用计算机实现了这种思想 建立了高质量的人脸灰度图模型 7 但是上述工作全 部由操作人员完成 没有达到自动识别的目的 第二阶段 人机交互式识别阶段 在这一阶段 人脸正面图像主要由几何特 征参数来表示 8 同样也设计出了相应的识别系统 由于这个阶段仍然需要操作员 的参与 故没有完全实现自动识别 万方数据 第一章 绪论 3 第三阶段 自动识别阶段 计算机计算速度的加快给人脸识别研究带来了较 大的突破 一些全自动识别系统得到实现 并且已经得到了成功地应用 根据人 脸特征的不同提取形式 人脸自动识别方法主要包括基于几何特征 9 10 11 的识别 方法 基于代数特征 12 13 的识别方法和基于神经网络 14 15 16 的识别方法 我国对于自动人脸识别技术的研究开始于上世纪80年代 许多研究机构已经 在图像处理和模式识别等方面都取得了很多的成果 为自动人脸识别技术的基础 研究和应用开发工作做出了重大贡献 总而言之 人脸自动识别系统的最终完成 将会对人类的生产生活带来深远的影响 1 3 人脸识别系统的主要研究内容 人脸识别技术是生物特征识别技术的一个研究热点 近几十年来 由于模式 识别 计算机视觉和机器学习等技术发展的迫切要求 国内外许多学者开始了对 人脸识别技术的全面研究 从不同角度相继提出了许多优秀的人脸识别算法 但 是在现实生活中 由于人脸容易实现伪装 并且存在许多像双胞这类相似度接近 的人脸数据 人脸识别技术很难完成对于这类数据的鉴别 如何解决这类问题仍 然需要进一步研究 设计一个合理的人脸识别系统 17 我们需要研究的主要内容如下 从输入的 静态或视频中检测出人脸图像 确定人脸图像的大小 归一化人脸图像的大小 使用相关特征提取算法对检索出来的人脸图像进行处理 从中提取出人脸图像的 有效鉴别特征 选择合适的分类器 对所提取出来的这些有效特征进行对比 确 定出每张人脸图像的类别归属等方面 具体流程如图 1 1 所示 图 1 1 人脸识别系统的总体结构 万方数据 基于矩阵低秩近似的人脸识别方法研究 4 1 人脸检测 18 19 20 face detection 即从静态图像或视频中检索出人脸图 像 从中分割出人脸图像 确定人脸图像的大小 最后对这些人脸图像进行归一 化 几何校正等处理 人脸检测是自动人脸识别系统的重要组成部分 在初期的 人脸识别系统建立中 往往假定人脸图像位置已经得到或很容易得到 人脸检测 并没有得到足够重视 近几年 网络安全成为人们关注的热点问题 对于人脸识 别系统的准确度要求更高 人们开始重新认识到人脸检测在人脸识别方面的重大 作用 总之 人脸检测的准确度程度对于后续人脸特征的提取 实现人脸类别的 鉴别有着重要意义 2 特征提取 21 22 23 24 feature extraction 人脸识别系统的关键步骤是人脸 特征的提取 其目的是提取出来每一个人维数较低且相对有效的特征 这些特征 可以完全 代表 这个人 如 对于一组大小为cr 的人脸图像 一方面 由于 每幅人脸图像的维数较大 直接用其进行分类 计算量很大 难以实现 另一方 面由于在这组图像中 每幅图像之间存在相关性 若直接用其进行识别 识别率 不会太高 因此在分类之前 很有必要采取各种措施对于这高维的人脸数据进行 降维 提取出它们那些维数较小的有效特征 利用这些有效特征对于人脸进行鉴 别 经常使用的人脸特征有离散余弦变换特征 几何特征 代数特征以及统计特 征 特征提取不仅对分类识别有重要作用 而且可以减少数据库的存储量 达到 数据压缩的目的 特征提取方法的优劣程度可以简化后续的分类器的设计 决定 整个人脸识别系统的识别率的高低 3 分类 classification 即人脸图像的相似性比对 人脸数据之间的相似性主 要通过计算人脸数据的有效特征之间的距离或夹角来确定 经常用到的分类器有 l2 范式下的欧式距离 n i ii yxyxyxd 1 2 2 1 1 马氏 mahalanobis 距离 1 yxcyxyxd t 1 2 等式 1 2 中c为协方差矩阵 余弦夹角 n i i n i i n i ii yx yx yx yx yxd 1 2 1 2 1 1 3 设计合理的分类器是实现分类的重要途径 对于第二步中提取出来的有效特 征 要真正实现分类 就必须选择合适的分类器计算人脸样本的有效特征之间相 万方数据 第一章 绪论 5 似度 若与数据库中一个人脸图像的相似度接近 则待识别的人脸图像与其为一 类 在分类时 经常用的分类器主要有 余弦夹角分类器 25 最小距离分类器 26 k 近邻分类器 knn 27 28 支持向量机分类器 svm 29 30 hmm 型分类器 31 神经网络分类器 32 等 1 4 本文的主要研究内容 1 4 1 本文的主要工作 1 阅读国内外大量的相关资料 全面了解了人脸识别的研究背景和意义 研 究现状和主要研究内容 2 全面介绍了基于低秩近似的特征提取方法 推导其理论过程 分析这些特 征方法在人脸识别中的优缺点 3 提出了一种非迭代的glram算法 nglram 并通过大量实验比较显示 新算法的有效性和优越性 4 提出了一种glram和slpp相结合的人脸识别方法 并与现存人脸识别方 法比较 论证新方法的有效性和优越性 1 4 2 本文的内容安排 全文共分为五章 章节具体安排如下 第一章为绪论 简单介绍人脸识别研究的背景意义 发展现状和主要内容 第二章全面介绍了基于低秩近似的特征提取方法 对其理论进行推导 分析 这些特征提取方法在人脸识别中的优缺点 第三章提出了一种非迭代的glram nglram 算法 并使用matlab编程软件 在orl和ar人脸数据库上进行实验 证实新算法的有效性和优越性 第四章探讨了一种glram和slpp算法相结合的人脸识别方法 并使用matlab 编程软件在orl和yale人脸数据库上进行实验 论证该方法的有效性和优越性 第五章为全文的总结 对本文所取得的研究成果进行了总结 对研究中存在 的问题和不足加以说明 对有待进一步研究的方向进行了展望 万方数据 基于矩阵低秩近似的人脸识别方法研究 6 万方数据 第二章 低秩近似方法综述 7 第二章 低秩近似方法综述 低秩近似是一种重要的人脸特征提取方法 低秩近似方法大致可分为基于向 量的低秩近似和基于矩阵的低秩近似 本章详细介绍相关算法的原理以及其在应 用于人脸识别时的优缺点 2 1 奇异值分解 奇异值分解定理 svd 33 是一个非常重要的定理 该定理已经在数据压缩 图 像处理和模式识别等领域有着重要的应用价值 另一方面 奇异值分解也是一种 常用的数学方法 本文稍后将要接介绍的主成分分析 pca 二维主成分分析算法 2dpca 和矩阵低秩近似逼近算法 glram 中都要用到奇异值分解方法 hong 33 等最早将svd算法应用于图像识别 他们指出一副图像本身的灰度值 和其结构可以完全代表这副图像所包含的的全部信息 可以充分地揭示图像的本 质特征 对于一个二维图像 将其变成一个数据矩阵 因此 根据矩阵理论的基 本知识可以对这个数据矩阵进行矩阵变换 矩阵分解等数学处理 svd算法主要 提取这个图像数据的代数特征 从而可以利用这些代数特征来揭示图像的本质特 征 奇异值分解定理所提取出来的特征具有抗几何变形能力 抗噪性等优点 因 此被广泛地应用于人脸识别之中 然而 奇异值分解是一种基于向量的低秩近似 方法 计算量很大 导致其效率较低 同时对于人脸这类具有高度相似性的样本 奇异值分解所获得的特征的鉴别能力还是远远不够 因此一些新的更有效的特征 提取算法相继提取 这些算法使用不同的方法提取人脸图像不同的有效特征 人 脸识别的识别率得到了长足的提高 本文稍后将要介绍的相关主成分算法都要用到奇异值分解 因此 下面首先 详细地介绍奇异值分解的一些性质和其在应用于人脸识别时的优缺点 2 1 1 奇异值分解定理及其性质 定理定理2 1 svd 34 如果矩阵 nm a 且 a的秩rarank 则必定存在正交变换 矩阵 mm m uuu 1 nn n vvv 1 和对角矩阵 nm diag p1 使得下式成立 r i t iii t vuvua 1 2 1 万方数据 基于矩阵低秩近似的人脸识别方法研究 8 对于上式中 0 11 prr min nmp 2 i 是 t aa 的特征值 根据矩阵论的知识 可以知道 2 i 同时也是aat的特征值 2 1 pivu ii 分别 是 t aa 和aat的对应于 2 i 的特征向量 则 t vua 为矩阵 a的奇异值分解 2 1 2 pi i 就是 a的奇异值 奇异值分解定理是许多理论的基础 对于许多实际应用有重大的指导意义 即若设计出合理的数学模型将人脸图像集转变成一个数字矩阵 再使用奇异值分 解对这个数字矩阵进行相应处理 就可以提取出每个人脸的奇异特征 定理定理2 2 svd的稳定性 35 若矩阵 nm ba 的奇异值分别为 2121pp 其中 min nmp 那么对于 nm 上的任意一个酉不变范数 则有 11 abdiag pp 2 2 上述定理表明奇异值分解具有稳定性 若引入一些常用的范数 就可以得到 如下结论 1 若为谱范数 2 则式 2 2 变为 2 1 2 piba ii 2 3 2 若为f 范数 f 则式 2 2 成为 f p i ii ba 1 2 2 4 定理2 2表明 矩阵 a发生微小变动变为矩阵b 变化前后所得到的矩阵ba 的 奇异值的差异一定不大于矩阵ba 之间的差异 这一性质说明了奇异值分解定理 可以应用于人脸识别 即可以将同一个人的不同形态的图像数据当作一组变化较 小的数据矩阵 由定理2 2知 这些数据矩阵的奇异值特征较为接近 使用合适的 分类器可以很容易的将这组图像数据分为一类 定理定理2 3 svd的比例不变性 35 若矩阵 nm a min nmp ra 且0 a 矩 阵 a的奇异值为 21p aa的奇异值为 21p 则有 2121 t p t p a 2 5 成立 定理2 3进一步表明了奇异值分解求出的不同明暗程度下同一人脸图像矩阵的 奇异值只有一个常数的差异 但是在人脸识别时 需要对奇异值分解求出的奇异 值对应的奇异值向量进行归一化处理 这样不同明暗程度下对应的人脸图像的奇 异特征几乎无差别 在识别时 非常容易归为一类 万方数据 第二章 低秩近似方法综述 9 定理定理2 4 svd的压缩性 36 若矩阵 nm a 的奇异值为 p 21 且满足 0 11 prr 则 rarank 1 t rrr r i t iii vuvua 2 6 其中 srankarank ss 212121rrrrrr diagvvvvuuuu 设正整数rs 令 21ss diag 则有 s i t iii ts s vuvua 1 00 0 2 7 且 min nm s f s rbbaaa 2 8 由定理2 4可知 奇异值分解可以实现数据压缩 一方面 在图像重建时 图 像数据矩阵的较小的奇异值在重建时 所起的作用可以忽略不计 这样可以实现 数据的压缩 另一方面 在图像识别时 很小的奇异值所对应的奇异值特征起到 的分类作用同样可以忽略 故人脸的有效特征应该是较大的奇异值对应的奇异值 特征 2 1 2 奇异值分解定理在应用于人脸识别时的优缺点分析 由定理2 1 若将一副人脸图像当作一个数字矩阵 nm a 若其奇异值按降序 排列 即 21p 则奇异值分解的结果是唯一的 可以利用该定理求出其 左右投影变换矩阵 取那些较大的奇异值所对应的左右投影变换矩阵构成新的子 空间 将原始图像矩阵投影到这个子空间 得到每幅人脸图像的奇异值特征 svd定理是人脸提取特征的一个有效方法 由于奇异值特征具有较强的抗几 何形变和抗噪声的能力 故可以被成功地应用于人脸识别 下面对于奇异值分解 定理应用于人脸识别时的优缺点进行总结 首先 若原始图像矩阵 nm a 发生一些小的变化得到矩阵 nm b 由定理 2 2知 奇异值特征也会有相应的差异 但是他们的差异会受到公式 abdiag pp 11 的约束 因此若一个人脸的表情发生较小变化得 到一组人脸图像 它们之间的奇异值特征变化不大 则分类结果相对稳定 其次 定理2 3表明 对人脸图像进行旋转 平移等操作 操作前后矩阵的奇 异值特征变化不大 若对人脸图像进行旋转 则相当于对该图像矩阵点乘一个正 交变换矩阵 而正交变换不会改变人脸数据的奇异值特征 若人脸图像发生平移 则相当于对图像矩阵做了一系列初等变换 同样初等变换不会改变奇异值特征 总之 对矩阵进行旋转或平移等操作不会改变奇异值特征 但是 旋转 平移等 变换会造成图像矩阵出现一些空像素点 空像素点会影响到人脸识别的精确度 万方数据 基于矩阵低秩近似的人脸识别方法研究 10 因此很有必要对空像素点进行适当的填充或剪裁 而这样做会引起图像矩阵的奇 异值特征发生变化 最后由上述定理知 若对图像进行压缩 奇异值特征也会做出相应的改变 如原图像矩阵 a做出缩变 即aab 时 则相应的奇异值特征变化如下 2121 t p t p a 2 9 而若对奇异值特征进行归一化处理 对应的奇异值也不会发生太大变化 最初 hong 33 等首先将奇异值分解应用于人脸识别 但是所得到的识别率并 不是很高 这主要由于所使用的数据中人脸样本的数量较少 许多svd的改进算 法相继提出 来解决人脸识别的小样本问题 这些改进算法都提取的都是图像矩 阵的奇异值特征 同时选择了合适的分类器进行人脸分类 取得了较好的识别效 果 但是这些方法不能处理大数据 仍然需要进一步研究 但是 许多研究表明 svd算法所提取的奇异值特征只包含了人脸的少量有用信息 故其鉴别能力仍然 不足 tian 37 等学者指出奇异值分解所得到的正交矩阵u和v包含着大量人脸图 像的有用特征 他们将人脸图像矩阵投影到每类样本均值矩阵利用svd分解所得 到的两个正交矩阵上 获得每个人脸数据的有效特征 接着利用其进行人脸鉴别 选择贝叶斯分类器进行相似度比对 在orl人脸数据库上获得了相当高的识别率 2 2 主成分分析 pca 主成分分析 pca 12 38 39 的主要思想是将人脸图像矩阵 cr i a 其按列排成 一个维数为cr 的向量 i a 利用karhunen loeve变换 k l变换 40 将这个高维向量 投影到一个低维的子空间中 得到其低维特征 这样可以利用这个低维特征进行 身份鉴别 2 2 1 k l 变换 pca 方法是由 turk 12 提出的一种基于 k l 变换的低秩近似方法 故这里很有 必要对 k l 变换作个介绍 假设x为n维变量 则x可以用n个基向量的线性组合来表示 n ni ii ax 2 10 式中 i a是系数 i 是基向量 则式 2 10 的矩阵表示形式为 aaaax nn 2121 2 11 则系数向量为 xa t 2 12 万方数据 第二章 低秩近似方法综述 11 这样 k l 变换的系数向量可由以下步骤得出 step1 计算随机向量x的自相关矩阵s 由于没有考虑包含大量的类别信息 的均值向量x 自相关矩阵s常常没有实际意义 因此在实际应用中 应该把所用 训练数据的协方差矩阵 t xxxxes 作为 k l 坐标系的基矩阵 这里x为 总体均值向量 step2 计算协方差矩阵s的n 个特征值 i 和与其对应的单位正交特征向量 i 令 n 21 step3 系数向量xa t k l 变换实质上是建立一个新的坐标系 将原始数据投影到这个新的坐标系的 变换 通过去掉那些带有较少信息的坐标系 k l 变换可以很好地消除了原始数据 之间的相关性 达到数据降维的目的 2 2 2 pca 方法 pca 方法也被称为特征脸方法 eigenfaces 12 通过对人脸图像的降维 提取 人脸的全局特征 pca 方法是一种基于向量的低秩近似方法 在识别前 需要将 一个人脸图像矩阵按列相连变换成一个向量 如人脸图像的大小为 112 92 则按 列相连变换成是一个 10304 维的向量 图像变换到这个巨大的空间后 利用 k l 变换得到人脸在低维空间的分布 pca 的主要目的就是寻找那些能够很好地说明 人脸图像在低维空间分布情况的向量 这些向量称为 脸空间 具体地讲 对于每副的人脸图像矩阵 2 1 nia cr i 将其每列首尾相 连得到一个列向量 2 1 nix n i 其中crn 为人脸图像的大小 n为训 练样本的大小 这样所需的协方差矩阵可定义为 t aas 2 13 其中 21 xxxxxxa n x 为训练样本的平均图像向量 n i i x n x 1 1 易知 协方差矩阵s维数为nn 由 k l 变换的原理知 所需的坐标系是由协方差矩阵s的较大特征值所对应 的特征向量构成 由于图像的维数一般情况下较大 导致协方差矩阵s的维数太大 计算其特征值和特征向量的难度太大 由奇异值分解 svd 定理知 可以通过求解 aat的特征值和特征向量来获得 t aa的特征值和特征向量 令 2 1 di i 为矩 阵aat的d个非零特征值 i v为对应于 i 的特征向量 则 t aa 的正交归一特征向 量 i u 为 2 1 1 diavu i i i 2 14 则可得到投影变换矩阵 21d uuuu 万方数据 基于矩阵低秩近似的人脸识别方法研究 12 对于任意一张人脸数据 i x 将其投影到u上 得到其 特征脸 空间 i t i xuy 在识别时 可将每一幅待识别的人脸图像投影到u上 得到其所对应的 特征脸 空间 再选择合适的分类器进行相似性比对 综上所述 pca是以k l变换为基础 可以很好地消除了原始数据之间的相关 性 降维后的数据可以充分的保留人脸图像的有效信息 此外 goldstein 41 证明 了利用pca对人脸数据进行降维可以很好地消除原来各个人脸样本之间的相关 性 故pca方法可以增大类与类之间的差别 由于训练样本的个数小于图像维数 故矩阵aat远远小于矩阵 t aa 利用svd分解定理可以极大的减少了pca算法的 计算复杂度 但是 pca算法仍然有着许多的缺点 首先 人脸图像是一个二维矩阵 将 其转换成向量后 破坏了人脸原先的二维结构 这样会造成识别率并不是特别高 其次 pca是一种无监督的学习方法 没有考虑样本间的类别信息 这也使得识 别率并不会太高 最后 基于k l变换的pca算法可以很好地解决两类分类问题 取得比较满意的结果 但是一般情况下 人脸识别问题都是一个多类分类 而基 于k l变换的pca算法很难解决这类问题 实验效果并不是太理想 因此 许多pca 的改进算法相继提出 2 3 lda 算法 正如前文所述 主成分分析 pca 是一种无监督的学习方法 并没考虑训练样 本的类别信息 导致识别效果并不是很理想 线性判别分析 lda 42 43 也称为 fisher判别分析 是一种新的有监督的特征提取算法 它是通过求解fisher准则函 数来对数据进行线性降维 主要目的是 使得同一类别的样本尽量地聚集在一起 而不同类别的样本尽量地分散开来 这样提取出来的低维特征的鉴别能力得到了 显著提高 2 3 1 lda 算法的原理 设有n个样本图像 21n xxx 每个样本的大小为cr 且包含在c个类 21c ccc 中 样本的类间协方差矩阵 b s和类内协方差矩阵 w s 的定义如下 t i c i iib ns 1 2 15 c icx t ikikw kk xxs 1 2 16 万方数据 第二章 低秩近似方法综述 13 其中 n i i x n 1 1 为全部训练样本的均值 ii cx i i i x n 1 为第i类训练样本的均 值 i n 表示第i个类的样本数目 lda的目的是最大化样本的投影子空间的类间散度 同时最小化类内散度 因此最优的投影方向 通过求解fisher准则函数来得到 w t b t opt s s fmaxarg 2 17 式 2 17 中 是矩阵束 wb ss的广义rayleigh商 可以通过largarange乘子法求解 令分母 w ts 等于一非零常数b 则largarange函数可以定义为 bssl w t b t 2 18 其中 是largarange乘子 令式 2 18 等于0 关于 求偏导并可得 iwib ss 2 19 则最优投影方向 opt 可通过求解式 2 19 的最大特征值所对应的特征向量得到 这样可得到一组投影方向 21d 其中 i 是计算式 2 19 所得到的第i 个最大特征值 i 所对应的特征向量 因此 可得到最佳投影变换矩阵 dopt b 21 对于任意一张人脸图像所生成的向量x将其投影到 opt b上 便可得到其特征向 量 y xby t opt 2 20 将所有的人脸图像按式 2 20 进行投影 就可得到所有人脸的特征向量 这样 可以使用合适的分类器进行分类 2 3 2 lda 算法的优缺点分析 综上所述 线性判别分析 lda 是以样本数据可分性为目标的有监督线性降维 方法 可以较好解决分类问题 但是lda在应用于人脸识别时仍然存在着许多问 题 一方面 lda算法的类内协方差矩阵是奇异的 这主要是由于人脸图像的样 本向量维数远远大于训练样本的个数 这样造成很难直接求解式 2 19 得到最佳投 影变换矩阵 因此许多学者提出了许多新算法来解决这个问题 如 kongsontana 44 提出了基于矩阵低秩近似的单边lda算法 2dlda noushath 45 提出了一种基于 矩阵低秩近似的双边lda算法 2d2 lda 另一方面 在lda算法中 由于引入 类间协方差矩阵和类内协方差矩阵 这样在人脸图像重建时 重建误差较大 人 脸的重建效果较差 万方数据 基于矩阵低秩近似的人脸识别方法研究 14 2 4 2dpca 算法 基于向量的 svd pca lda 等数据降维方法 都是需要将人脸图像矩阵表 示成一个维数较大的向量形式后进行相应的处理 在主成分分析 pca 中由于转换 后的协方差矩阵的维数过高 容易超过样本数目 出现奇异矩阵 运算复杂度高 和对计算机硬件要求较高等问题 从而 导致人脸图像特征提取困难 最近 yang 46 等人提出了一种直接利用图像矩阵计算协方差矩阵的方法 其优点是在有效减少 算法复杂度的同时 能够很好保持人脸图像的空间结构关系 其算法描述如下 2 4 1 2dpca 算法概述 设矩阵 cr a 表示一张人脸图像 x 表示c维单位列向量 通过如下线性变 换 axy 2 21 将 a投影到x上得到一个r 维的投影向量 y 称为图像矩阵 a的投影特征向量 如 何确定最优投影向量x yang 46 指出样本的总离散度可以衡量投影特征向量y的鉴 别能力 而样本的总离散度由投影特征向量的协方差矩阵的迹来描述 故定义如 下准则函数 x stracexj 2 22 其中 x s表示投影特征向量的协方差矩阵 x strace表示 x s的迹 通过最大化式 2 22 就可以得到一个最优投影方向x 其中 投影特征向量的协方差矩阵 x s可由下式 计算 xeaaeaaex xeaaxeaae eyyeyyes t t t t x 2 23 则 xaeaaeaexstrace t t x 2 24 定义如下矩阵 aeaaeaeg t 2 25 称矩阵g为图像的协方差 散度 矩阵 若给定有n幅训练样本图像 第i幅图像用cr 维矩阵 2 1 niai 来表示 则g可用下式表示 n i i t i aaaa n g 1 1 2 26 万方数据 第二章 低秩近似方法综述 15 其中 n i i a n a 1 1 为训练样本的平均图像 因此 式 2 22 可表示为 gxx xaaaaex xeaaeaaex xeaaxeaae eyyeyyestracexj t i t i t ii t ii t t iiii t iiiix 2 27 这个标准被称为广义的总离散度标准 最大化 xj可得到最佳的投影方向 opt x 由 矩阵的基本知识可知 最佳投影方向 opt x应该为矩阵g的最大特征值所对应的单位 正交特征向量的方向 通常情况下 将人脸图像投影到一个最优投影方向上所获得的有效特征的鉴 别能力远远不能满足人脸识别系统的要求 因此很有必要求出一组相互正交且极 大化准则函数的投影向量 xxx 21 即求解如下问题 2 1 0 2 1 maxarg jijixxst ixjx j t i ii 2 28 由矩阵理论知识知 这里的最佳投影方向 2 1 ixi就是协方差矩阵 t g 的 第个i最大特征值对应的特征向量 2dpca 算法步骤如下 input 矩阵 i a r和c ni 2 1 output 矩阵x和 i d ni 2 1 1 计算矩阵 n i iii a n an 1 1 2 计算协方差矩阵 n i i t i nn n g 1 1 3 求出g最大的 个特征值向量 xxx 21 构造正交投影变换矩阵 21 xxxx 4 则图像矩阵 i a对应的投影特征矩阵xad ii 2 4 2 2dpca 算法的优缺点分析 2dpca 是一种直接基于二维图像矩阵的主成分分析算法 一方面 这种方法 可以很好地解决基于向量低秩近似方法中存在由于维数过大而造成的较高计算复 杂度 另一方面 2dpca 算法没有打破人脸图像的二维空间结构 可以更好地保 万方数据 基于矩阵低秩近似的人脸识别方法研究 16 留人脸图像的空间信息 利用 2dpca 算法进行人脸鉴别 和 pca 算法相比 识 别率明显较高 但是 与 pca 相比 由于 2dpca 使用了人脸图像像素之间的位置信息 导 致其在人脸图像重构过程中所需的存储空间要大于 pca 最近 2dpca 算法的许多改进算法相继提出 如基于1l范数的 2dpca 47 稀疏的二维主成分分析算法 48 基于模块的 2dpca 49 等 这些算法都从不同的角 度对 2dpca 算法做出了改进 下面一小节将要介绍的 glram 算法就是另外一种 基于矩阵的双边的主成分分析算法 2 5 glram 算法 glram 50 即矩阵的广义低秩逼近 它是 ye 50 于 2005 年提出的 主要目的是 用低秩矩阵来逼近给定的矩阵集合 最近 lu 51 根据共轭子空间分析法 csa 52 提出了 glram 的一种简化算法 直接通过数据的协方差矩阵独立地获得左右投 影变换矩阵 但该算法所得到左右投影变换矩阵都非最优解 并且与最优解相差 较大 liang 53 证明了 glram 问题的最优性质 提出了 glram 的一种非迭代算 法 但是 hu 54 证明在其分析过程中存在问题 其非迭代算法不完全正确 最近 inoue 55 提出了一种对称化的 glram 算法 该算法首先对每个图像数据进行对称 化处理 通过迭代方法求解 取得了较