【毕业学位论文】（Word原稿）线性子空间特征融合的人脸识别算法研究及应用-软件工程

硕士学位论文 （ 专业学位 ） 线性子空间特征融合的人脸识别算法研究 及应用 姓 名： 学 号： 所在院系：软件学院 职业类别：工程硕士 专业领域： 软件工程 指导教师： 二 一三年八 月 A in 2013 性子空间特征融合的人脸识别算法研究及应用 同济大学 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意 如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日 同济大学 硕士学位论文 摘要 I 摘要 19 世纪以来，生物特征的识别技术得到快速发展，人脸识别技术作为生物特征识别技术的典型代表，已被应用于身份认证与识别、信息安全、监控系统等领域。但在实际应用过程中，由于一些不利因素的影响，人脸图像的表观容易受到很大的改变，这些影响对识别精度影响很大。 针对实际需求，采用合适的小波变换和降维算法，将人脸图像映射到特征空间并进行识别，可以得到很好的识别效果。本文所做主要工作如下：首先介绍了图像降维算法在人脸识别中的应用，并详细介绍了主成分分析、二维主成分分析和独立成分分析的基本理论；为了 解决光照条件等外部环境对人脸识别的影响，并通过对传统小波变换、 以一定程度的减少外部噪声的影响，并研究发现 换对多姿态人脸识别极为有利；由于小波子带不能很好获取人脸局部的纹理特征并且没有方向选择性，这样就不能很好的表征人脸， 且 波对人脸鼻子、嘴巴、眼睛的滤波响应不是很突出等问题，通过研究表明：双树复小波能很好的表达人脸各种器官纹理特征，并且具有很好的方向选择性，还不会因为方向的漏选而丢失较好的人脸纹理特征。本文最终提出了复小波线性子空间特征融合的人脸识别算法能很好 的解决传统小波与 波的不足，并解决多频带识别率不一样的问题，并对其进行加权融合，达到比较好的识别效果。 通过使用 脸图像库对本算法进行验证与测试，实验结果表明：与实验中的其他算法（二维独立成分分析、传统小波、 比，本文算法能明显提高人脸识别率，是一种有效的人脸识别算法。 但是论文中算法还 存在很多不足并且处于实验阶段，还没有广泛应用 ，希望通过继续研究和改进之后能得到广泛应用。 关键词 ： 人脸识别，二维独立成分分析，双树复小波，不确定度，特征融合 I 9th as a of in in of of to be In of is to is it as on CA be By it of of in is be to so be a of is it of of of of a At it of of of is as At RL to in II it is an 济大学 硕士学位论文 目录 录 第 1 章 引言 . 1 题研究背景 . 1 究现状及内容 . 1 脸识别算法的研究现状 . 1 脸识别算法的研究内容 . 2 文组织 . 3 第 2 章 线性子空间降维算法介绍 . 4 成分分析子空间 . 4 维主成分分析子空间 . 6 基本思想 . 7 于 2 人脸特征提取 . 8 类器 . 9 维独立成分分析子空间 . 9 立成分分析 . 9 维独立成分分析子空间的人脸识别 . 13 第 3 章 线性子空间特征融合的人脸识别算法 . 16 脸特征提取理论基础 . 16 波变换与 波变换 . 16 树复小波变换 . 17 于小波变换的多方向人脸特征的提取 . 20 性子空间特征融合的人脸识别算法 . 22 确定度 . 22 波多方向特征独立成分的不确定度 . 23 波多方向特征独立不确定度的权值 . 24 性子空间特征融合的人脸识别算法详细描述 . 25 性子空间 特征融合的人脸识别算法的实现 . 26 第 4 章 线性子空间特征融合的人脸识别算法验证及应 用 . 34 法验证基础 . 34 同济大学 硕士学位论文 目录 V 脸图像库的建立 . 34 法验证的系统环境 . 34 证的过程及结论分析 . 35 证的过程框 图 . 35 证结论及结论分析 . 36 法的应用 . 39 第 5 章 总结及展望 . 42 结 . 42 望 . 42 致谢 . 43 参考文献 . 44 个人简历、在读期间发表的学术论文与研究成 果 . 47 第 1 章 引言 1 第 1 章 引言 题研究背景 人脸图像具有非常大的可变性，由于一些 外界环境等 因素的影响，人脸图像的 特征 容易受到很大的改变。这些 因素严重影响 人脸识别 的 准确率 ，并且这些 不利因素可以分为两大类：自身的因素和外在的因素。自身的 因素主要包括那些自身各种因素的变化导致面部图像变化的因素，比如随着年龄的增长脸部皱纹的增加、头部各种姿势导致拍摄角度的变化、表情变化导致脸部肌肉的变化、化妆导致脸部纹理的变化、各种饰品（如眼镜、围巾）遮挡了人脸的若干部分等因素；外在的因素则包括哪些外部可以控制的各种环境因素，比如光照变化，人脸采集设备的优劣、设备的压缩率、镜头焦距、成像算法、外部环境噪声等因素 1。 可见，人脸识别过程中，不管是自身因素的影响还是外部因素的影响，人脸图像的纹理特征极易受到影响，从而造成了人脸识别中的种种困难。如同全球最具有 影响力的 人脸识别供应商测试”在 2006 的测试报告中指出 2，由于人脸年龄长时间跨度造成的面部老化、室外光照变化、人脸姿态大角度变化、光源变化等因素的存在，严重影响了人脸识别正确率。 所以在人脸识别过程中，特征选择和特征提取时至关重要的。特征选择的方法是尝试找到人脸图像的一种变量（包括人脸属性或特征），使用这些变量的优化组合，可以比较好的表达人脸。人脸图像的各种变换算法不仅滤除了外部各种环境的影响因素，还很好的选择了人脸特征，在诸多问题 的解决方案中起到了比较好的效果。特征提取是把人脸的高维空间的数据中的数据变换到比较低维的空间中，这样的数据变换可以是线性的，比如主成分分析 3，当然也可以是非线性的。本文 主要 讨论的线性的数据绛维算法二维 独立 成分分析 4算法。 究 现状及 内容 脸识别算法的研究现状 同济大学 硕士学位论文 线性 子空间特征融合的人脸识别算法研究 及应用 2 20 世纪 60 年代末就已经出现了人脸识别 技术的 研究 ， 随着 图像处理、生物特征、模式识别和各种分类算法等 技术的 发展而逐步的完善，并为我们的生活和工作带来各种各样的便利和安全 。 近年来，国内外反恐、国家安全和社会安定的需求，整个世界各 个国家都对安防领域加大了投入，而人脸识别作为生物识别验证的一个重要的特征，越来越受到世界的关注。而美国作为人脸识别技术发源较早的国家，由其军方机构研究的 人脸识别 算法的 评价标准 5，统一了各种各样的人脸识别标准 。 国内 863 计划、国家科技支撑计划、自然科学基金都拨出专款资助人脸识别的相关研究 ， 其中中科院、清华大学和浙江大学尤为突出 ， 各种各样的科研成果 层出不穷 。 近来，国内也已建成世界上较全面、规模最大的东方人脸图像数据库 6。 人脸识别技术目前的发展主要包括两个 方向 ：第一是整个面部的纹理特征的方法 ，脸整体 的纹理 特征 的 不仅保留了面部 各个 组件的拓扑结构，还保留了所有组件 本身 的信息。包括基于特征脸的 人脸识别 方法 3主要是采用 换得到较大特征值的特征向量、基于 弹性图匹配 的人脸识别 方法 7主要是使用人脸特征点进行各种匹配特征信息完成人脸识别的过程、基于 隐马尔可夫模型 的人脸识别 方法 8能够将人脸的各个器官的特征值采用 隐马尔可夫模型 有效的结合起来对其进行识别以及基于 神经网络 的人脸识别算法 9。第二个是基于局部纹理的人脸 识别 方法 10 11， 局部特征提取是从 人脸提取各个器官的 位置关系 或者人脸器官 的 几何特征的人脸特征提取。二十一世纪， 随着科技的进步，人脸识别 3究人员已经考虑非理想的条件下， 大数据人 脸图像数据库的人脸识别问题 ，针对此问题相关研究 有 光照锥技术 12是一种光照补偿方法并形成光照 锥 构建人脸模型 ，支持向量机的人脸识别技术 13 14主要是将二维图形映射到更高维的空间方便分类 ，三维变量模型 1516， 7等流行的学习 算法 。 脸识别算法的研究内容 人脸识别 技术 18可 基本上可以 分为 三个部分： 人脸检测、 人脸特征提取和人脸识别。人脸检测，即对 待检测的图像 进行检测 判断， 判断 图像 中是否存在人脸 ， 如果存在 ， 则对其进行精确定位 ， 通过特征提取 ， 获得人脸 特征 信息 ，并 进行身份验证 ，完成 人脸识别。 第 1 章 引言 3 （ 1）人脸检测： 就是通过使用人脸检测算法检测图像中的人脸图像，如果图像中有人脸图像，则检测人脸的具体位置、大小等信息，并把人脸图像提取出来。检测过程有也会用到人脸的各种特征的选择过程，但是又区别于人脸识别的特征提取，因人脸检测相当于二分类，即人脸与非人脸的分类。 （ 2）人脸特征提取：对人脸检测找到的人脸，通过特征提取算法提取人脸特征，具体的人脸特征形式各种各样，一般随着各种识别算法的不同而不同。但是现在人脸图像的数据都是高维数据，数据计算量巨大，通常都需要先进行人脸图像数据绛维算法得到人脸低维特征，提高识别效率。 （ 3）人脸识别：通过第二部的特征提取，可以得到图像库中所有图像的特征，利用各种模式分类算法将待识别的人脸图像与图像库里面的所有图像进行比较、分类，识别中待识别的人脸的身份信息。通常人脸识别可以分为两类：一类是验证待识别人脸在数据库中是否存在；二类是判断待识别人在库中是具体到某个人，找出此人的所有身份信息。 文组 织 本文是以研究人脸识别算法作为主要内容。人脸识别算法的研究，具有起点高、概念新、实用性强等特点，越来越 的 各界人士 也对此更加关注 。人脸识别可以广泛应用于 安防、监控、 门禁 等 系统， 并在 现实 中 具有很强的意义和 在将来具有很好 应用前景。 本文工作及主要内容如下：第二章 主要 介绍 了主成分分析、二维主成分分析和独立成分分析的基本原理，并 实现图像的降维，并通过最近邻算法能 基本的实现人脸识别；第三章 讲解了传统 小波变换、 多尺度 波变换 和双树复小波 概念、 并减少了 光照条件的变化 等外部环境 对人脸 识别 的影响，针对传统小波变换、 多尺度 波的各种缺点，本文重点提出了双树复小波多方向特征融合的人脸识别算法，可以很好的解决传统小波变换、多尺度 波的不足；第四章人脸识别设计与测试，本章分别介绍了实验过程中用到的图像集，并给出了人脸识别的实现框图，最后用实际图像对实验过程进行了测试与分析，进一步的验证了本论文算法的有效性；最后一章， 总结了本文提出的人脸识别技术。第 2 章 线性子空间降维算法介绍 4 第 2 章 线性 子空间 降维算法介绍 人脸识别算法的发展过程中子空间方法最早出现并且发展迅速，如主成分分析 (3中的特征脸由 991年提出并应用于人脸识别；独立成分分析 (4很好的解决了盲源分析问题，并可以通过使用现有的人脸样本很好的找到人脸的独立元成分用于人脸识别；线性判别分析 (22算法增加了类内和类间的分析问题，识别过程中更能区别不同类别，从而提高识别率，这些算法都是通过对人脸图像的像素矩阵直接进行计算，并得到相对的子空间人脸识别 算法。由于图像本身都是二维的，为了减少运算量，近来提出了二维子空间的一些识别算法，如 219可以直接对二维图像进行降维、识别；二维独立元分析2出现 是基于 0,不仅综合了 2效降维的优点，而且还能得到比较稳定、比较好的人脸特征，获得较好的识别效果。但 2能完全意义解决光照的影响，也不能解决多姿势的影响。 成分 分析子空间 1991 年， 基于 “ 特征脸 ” (方法 人脸 识别 算法被首次提出 ，这是一种 由 麻省理工学院的 发的主成分分析法 3的人脸识别方法。 “ 特征脸 ” (法是用于描述 人脸的一种方法 ，这是对应于人脸图像协方差矩阵 中那些 较大的特征值 对应的特征 向量。此方法可以使用 换得到的面部图像的正交变换矩阵，对应 的 基底脸 与人具有 相似的形状。 是对这些 基底脸线性组合， 用来描述人脸表情，实现人脸 识别和重建。 在人脸识别过程中，把人脸图像 映射 到由 成的特征子空间中，这样不仅可以得到人脸的特 征 ， 还可以 对图像进行 降维，所以 法 又可以用做图像 降维算法。 下面 将具体介绍 法 ，并对 人脸识别的过程 进行详细描述 : 把训练样本中的 每幅人脸图像 拉成 一个列向量， 从而得到人脸的 训练集同济大学 硕士学位论文 线性 子空间特征融合的人脸识别算法研究 及应用 5 12, , ., x x R， 其中训练 样本总数为 m ，每个样本的维数为 n 。 则 特征脸的提取过程 如下： 如下 : 11 m (2示为训练样本均值向量 为 x ，则它们 差值向量i计算 过程如下 : , 1,., , (2, ., ，则训练图像的协方差矩阵可表示为 : A (2从以上公式可以 看出，矩阵 C 为 维 矩阵 ， n 为每个样本的维数。 因为训练图像维数一般都会很大 ， 即 n 会很大， 所以矩阵 C 也会巨大 ， 通过使用矩阵 C 计算 特征向量的计算量 更是巨大 。 本文通过另一种变换的计算方法，从某方面来说减少了很大的计算量。 令 A ， 从上面公式中可知 L 为 维矩阵， m 作为 训练样本 的个数，m 相对于 n 来说就小了很多 。 假设 矩阵 L 特征向量 为 V ，则矩阵 C 的特征向量 的计算过程如下 : U (2 m 个特征值排序 得 : m a x 1 m a x 2 m i n. m 个特征值对应的特征向量为 : m a x 1 m a x 2 m i n.u u u 通常取包含 95%能量的 前 l 个最大值 (主元 )对应的特征向量为最后的特征脸 子 空间 : m a x m a x m a x( , , . . . , ) Tl l lu u u u(2练 样本 中的每幅图像 进行预处理 ， 即减去均值图像，得到 零均值图像 i ，把其映射到特征子 空间 u 中，得到 比较 低维向量 人脸特征 i 用来表述人脸 : ， 其中 1,2,. (2人脸特征已经提取结束，人脸识别过程 如下 : 然会涉及到非人脸图像，为了判别非人脸图第 2 章 线性子空间降维算法介绍 6 像，这里设置一个 阈 值 来测试是否人脸 : 1 m a x | | | | , , 1 , . . . ,2 ij i j m (2像 减去样本的均值人脸，得到零均值样本，然后也要将其投影到 人脸特征子空间 空间 u 中，得到 低维的人脸特征 向量 ，计算过程如下所示 : mr r x(2T (2试图像 特征空间 与每个 训练人脸样本的i计算 距离 得到如下 : 22| | | | , 1 , . . . ,ii (2像 样本的 特征脸空间 重构得到 : (2试 图像与 重构 图像之间的距离 如下所示 : 2 2| | (2接着要完成 人脸识别 最后阶段，做出判决决策 : 如果 ， 则规定测试 图像 为 非人脸图像 ； 如果 并且 , 1, .,i ， 则规定测试 图像为未知人脸 ； 如果 并且 i ， 则规定测试 图像为 图像库中存在的人脸 。 维主成分分析 子空间 主成分分析方法 （ 的人脸识别 方法 是 基于 换的 在 统计 学上 最优 的算法 ，它使 降维 前后 达到最小的均方误差 ， 在 低维空间 中识别效果也很好 。但 主成分分析方法 （ 也 有 缺陷。首先，作为一种统计 学的 方法，图像中的每个像素都给予平等的 作用 ，但角度 、 照明 、 规模和 外界 的干扰会导致识别率下降，所以识别算法的脸 通常都进行了 预处理，只考虑 无任何干扰的 裸脸。其次， 人脸 空间 分布 近似 于 高斯分布，均值附近的 一般都是一般的人脸图像 ，和特殊 人脸在人 脸 空间中 的分布位于边缘， 所以 ， 图像 越来越普遍， 就 更难以确定。虽然 主成分分析的 特征脸方法捕获的 人脸 的统计特性，但 好的统计分 析同济大学 硕士学位论文 线性 子空间特征融合的人脸识别算法研究 及应用 7 能力不等于良好的分辨能力。总之， 主成分分析 特征脸识别方法需要大量的预处理 工作 ， 尽量 减少 外界的 干扰 ，故 如何 排除外界影响 和去除面部表情 对人脸识别 的影响成为 识别关键问题。 因此， 随着 近几年的发展， 出现了 许多 比 好的降维算法 ，22改进方法 19就是其中之一。 等 人针对 2提出 了 维 数据的降维，而不是 用于 分类 20。 21就 题， 2法被提出，但 由于受 光照和其他 外界 因素的影响，识别率 并不 优于 2人 22提出了判别成分分析法 （ ，尽管此方法可 尽量 尽可能的 解决 小样本事件 问题 ，但被删除的子空间 部分也许有重要的判别信息， 并且 它 也 可能 发生 维数灾难。近日， . A.23等 人对一些现有 合框架的文献 进行研究并 得出相反结论， 通过对其的 解释， 并 从 光照、 测量距离准则 等方面 解释为什么产生自相矛盾的结果， 直接计算 二维矩阵是非常 有必要的 。 通过 上面 介绍的所有 因素 综合考虑 ，使用2维图像 进行 降维 ，并提取特征是非常可取的 。 基本思想 假设图像 X 的大小为 ，且人脸的 投影 子 空间 为 ，其中 投影子空间 每列 都 为 特征矢量且他们都是 正交向量， 并且 。将 人脸 图像 X 投影到子空间 U 将 使人脸图像降维，得到 一个 的投影矩阵 ： Y (2在 2使用 Y 的总体 离散度函数 ()矩阵的迹） 来衡量 图像 投影子 空间 U 的好坏 ： ( ) ( ) (2其中 : () 迹， 人脸 投影矩阵 Y 的协方差矩阵 为 且 ( ) ( ) E x E x x E x U (2图像的协方差矩阵 G 的计算过程 为 : ( ) ( ) x E x x E x (2第 2 章 线性子空间降维算法介绍 8 其中 G 是一个 的非负正定矩阵。假设有 M 幅测试 人脸 样本图( 1, 2., )ix i M ，则 平均图像矩阵 、协方差矩阵与矩阵的迹如公式 (2示： 1111, ( ) ( ) , ( ) ( )Ti i x G x u x u J U t r U G (2为了方便分类，就必须使总体离散度最大，即 使得 ()大 ，且 U 中的每个 列向量是图像协方差矩阵 G 的特征向量 ，为了使降维后的投影矩阵具有大部分能量，从 r 个非零特征值 中选取较大的 p 个 ，从而构成 U 特征向量空间 : 12( , , . . . ) a r g m a x ( ) , 0 ; ! ; , 1 , 2 , . . . ,TP i U U J U U U i j i j p 。 (2于 2人脸特征提取 假设人脸的 训练样本集合为 : , 1 , 2 , . . . , , 1 , 2 , . . . ,i m i N J K ， i 代表 第 j 代表 第 i 类 人 脸 的第 j 幅图像， N 代表人脸样本 类数 总 数， K 代表 每类 人 脸 包含 总的 K 幅图像 总数 ， M 代表所有人脸 样本总数且 M 。 所有 人脸 训练样本的平均图像计算 过程如下 : 111 NK (2人脸 训练样本的协方差矩阵计算 过程如下 : 111 ( ) ( ) S S (2对 人脸 训练样本协方差矩阵进行特征值分解计算 过程如下 : iX i iG u X(2选取其中 p 个最大特征值 （1.对应的 p 个 正交特征向量 （1.作为 人脸 投影 子 空间。 所有的人脸 训练样本 , 1 , 2 , . . . , , 1 , 2 , . . . ,i m i N j K 向 （1.脸子空间投影得到 : *1 , . . . , (1 ) , . . . , ( ) i i i i i m pj j j p j X S X Y Y p R (2其中 矩阵 （ (1),., ( ) p） 也即是样本 硕士学位论文 线性 子空间特征融合的人脸识别算法研究 及应用 9 p 个主成份向量。 测试样本 *向 （1.脸投影子 空间投影后得到测试样本 W 的投影 特征矩阵成份向量 （ (1),., ( ) p）， 计算过程如下 : 1 ( 1 ) , . . . , ( ) , . . . Pi i i X Y p W W(2类器 所有的人脸 训练样本和测试样本经过 投影子空间投影后得到投影 特征，得到 所有的人脸 训练样本和测试样本的投影特征矩阵 , 1 , . . . , , 1 , . . . , ,i N j K Y本文使用 最近邻分类器对投影特征矩阵分类。 从上一节可以看出 (1 ) , . . . ( ) i i ij j Y p是第 i 类 人的第 j 幅图像的投影特征矩阵， 且 (1) , ., ( ) i i Y p是 随意选取 的 某类人脸 测试样本的投影特征矩阵。 接着就是将 这些 投影 特征矩阵利用 最近邻分类器 进行分类。 最近邻分类器 (据最小距离来判断测试样本所属的类别 ，接着就要计算 测试样本投影特征矩阵与所有 人脸 训练样本投影特征矩阵之间的 距离 。 其计算过程如下 : 21( , ) | | ( ) ( ) | |i j Y Y n Y n (2其中 2| ( ) ( ) |n Y n表示 两幅人脸的投影 特征向量之间的欧氏距离。 假设( , ) m i n m i n ( , )i j Y p Y Y ，则 于第 q 个人。 维独立成分分析子空间 立成分分析 20 世纪 90 年代， 在数字 信号 领域， 独立成分分析 (25被 提出 ， 以 从多 个高 维数据中 计算出共有的独立元 因子或分量。 其中 源信号 必须为 相互独立的非高斯信号，从线性 空间 方面上看 ， 它们 可以 作为 线性空间 中的 基信号，源信号 通过 线性组合 的方法，得到 观测信号 , 在源信号和线性 组合方法未知的情况下，通过 观测的混合信号中估计出第 2 章 线性子空间降维算法介绍 10 线性 空间的基 信号 或者说 是 源信号。 分 分析 随着盲信号分离 (题发展 ，科学家通过 接着下文 介绍 （ 1）盲信号分离 (26 测量得到 的混合信号中 找 出 独立的源信号， 这里的 “ 盲 ” 是指： 线性组合过程 是事先未知的； 接观察得到 的。在科学研究和工程应用中， 现实中观察到的信号线性组合过程都是未知的，并且源信号都是不可观测得到 。 题 就是这样 一个极具挑战性的课题。 “ 鸡尾酒会 ” 就是 这样 一个例子，简单说就是不同的声音源同 一 时 间 说话时，声音信号 通过 麦克