基于Andriod移动设备嵌入式机器视觉的人脸识别毕业设计

二 一 三 届 毕 业 设 计 基于 动设备 嵌入式机器视觉的人脸识别 系统设计 学 院： 专 业： 姓 名： 学 号： 指导教师： 完成时间： 2013 年 6 月 16日 二一三年七月 毕业设计报告纸 I 摘 要 人脸识别是在图像或视频流中进行人脸的检测和定位，其中包括人脸在图像或视频流中的所在位置、大小、形态、个数等信息，近年来由于计算机运算速度的飞速发展使得图像处理技术在许多领域得到了广泛应用，其中包含智能监控、安全交易、更安全更友好的人机交互等。如今在许多公司或研究所已经作为一门独立的课题来研究探索。 近年来，随着移动互联网的发展，智能手机平台获得了长足的发展。然而，手机钱包、手机远程支付等新应用的出现使得手机平台的安全性亟待加强。传统的密码认证存在易丢失、易被篡改等缺点，人脸识别不容易模仿、篡改和丢失，因而适 用于手机安全领域中的应用。 本论文在分析国内外人脸识别研究成果的基础上，由摄像头采集得到人脸图像，在高性能嵌入式系统平台上，采用 对检测得到的图像进行人脸 检测、特征定位、人脸归一化、特征提取和特征识别。 在 本文主要的研究内容：首先对当前人脸识别技术的研究现状和常用的人脸检测和人脸识别方法做了扼要的介绍，然后着重介绍了 后基于这两种人脸检测和人脸识别的算法，在 关键词 ： 人脸识别 ， 毕业设计报告纸 he is to in or of in or of in to of in as a or to In G as to by So it is on on of of at in We by to in in It on on in as of on of BP At it of by on on 毕业设计报告纸 录 第一章 绪论 . 1 究背景及意义 . 1 内外研究现状 . 2 文研究的主要内容 . 4 文结构安排 . 5 章小结 . 5 第二章 人脸检测和识别的算法选择 . 6 脸识别的研究内容 . 6 脸检测 . 6 于知识的方法 . 8 征不变量方法 . 9 板匹配的方法 . 9 于表象的方法 . 10 脸识别 . 11 于几何特征的识别方法 . 11 于特征脸的识别方法 . 11 于神经网络的方法 . 12 于支持向量 机的方法 . 12 章小结 . 12 第 三 章 法和直方图匹配原理 . 13 征与特征值计算 . 13 形特征 . 13 分图 . 14 类器 . 17 习模型 . 17 学习与强学习 . 17 法 . 18 分类器 . 20 分类器的训练及选取 . 22 分类器 . 23 毕业设计报告纸 级联分类器 . 23 脸匹配原理（直方图匹配） . 26 方图的均衡化 . 26 度变换 . 27 章小结 . 28 第四章 基于 台的人脸识别系统实现 . 30 统平台 . 30 发环境搭建 . 32 绍 . 32 译移植 . 33 体设计 . 34 用软件设计 . 34 第五章 软件实现和测试 . 36 件实现 . 36 软件实现过程 . 36 建立 面 . 36 台程序开发 . 37 函数接口 . 38 编写脚本文件 . 39 件测试 . 39 验环境 . 39 验结果 . 40 脸识别 . 42 片抓取 . 42 验结果 . 44 第六章 小结与展望 . 46 结 . 46 望 . 46 致 谢 . 48 参 考 文 献 . 49 附 录 . 51 毕业设计报告纸 共 61页 第 1页 第 一章 绪论 究背景及意义 人脸识别是一种生物特征识别技术，也是模式识别、计算机视觉和图像处理领域的研究热点。本文选择移动环境下的分布式人脸检测与识别作为研究方向，主要是基于以下四点考虑的： （ 1）信息安全问题日益重要，传统身份验证面临挑战，人脸识别技术倍受青睐随着科学技术的迅猛发展，计算机及网络技术的高速发展，信息安全性问题已经越来越重要了。传统的身份认证方法如密码、口令、智能卡等存在着很多缺点，比如携带不便、容易丢失、使用过程中的磨损、密码容易被破解等。因此，这些广泛使用的传统的身份验证方法已经面临着日益严峻的挑战。而安全、有效、便捷的身份验证方法越来越受到青睐。 生物识别技术是基于人体生理或者行为特征的身份识别方法。人的生理或者行为特征有唯一性、稳定性等特点，易于用来鉴别人的身份。并且这些特征 是人体固有的，不容易丢失，不容易被盗用。常见的生物识别技术有：人脸识别、指纹识别、掌纹识别、语音识别、虹膜识别、手势识别、 别、签名识别、击键识别、步态识别等。 而在众多生物特征识别技术中，人脸识别是最为自然的、可视化的一种生物身份识别方式。人脸识别具有稳定，方便，友好等特点，并且人脸识别系统硬件设备成本比较低。因此，人脸识别是一项很有潜力的应用技术 （ 2）应用前景广阔，应用领域众多，现实意义重大 自从 90 年代后期以来，一些商业性的人脸识别系统开始进入市场，人脸识别作为一种计算机安全技术迅速发展 起来。特别是美国 911 事件以后，人脸识别受到了更多的关注。人脸识别技术的应用前景十分广泛。可以应用于嫌疑犯照片的识别匹配，信用卡、驾驶执照与个人身份的识别，银行、超市的安全系统，公共场所的视频监控，智能门禁系统，智能玩具，家政机器人，虚拟现实娱乐游戏，视频检索，社交网络等等。 （ 3）移动智能终端不断发展和普及，人脸识别技术面临机遇与挑战 近年来，随着智能终端的不断普及，移动通信技术的不断发展，越来越多的人选择使用终端进行交互。移动智能终端由于其移动性，便携性以及创新性，已经越来越多地被人们接受，并呈现出部分取代 端的趋势。国际电信联盟最新公布的统计数据显示，截至 2010年年底，全球网民数量已达 机用户数量已达 毕业设计报告纸 共 61页 第 2页 亿。目前，人脸识别的研究大部分都是基于 年来，越来越多的更高效友好的交互技术不断被提出并应用于智能设备领域。另外，由于目前的手机终端性能相对于 何使传统的人脸识别技术在手机 终端上得到良好的应用也是一个挑战。因此，人脸识别技术在智能终端上具有非常大的发展空间。 （ 4）移动互联网近年来发展迅猛，智能手机与外界交流越来越多，独立于手机的人脸识别系统功能有限，运行受到限制，而分布式架构的人脸检测与识别系统更能满足移动互联网的需要 。 动互联网在短短的几年时间内迅速发展，其增长速度超过了几乎所有人的预测，并且今后的一段时间将保持持续发展状态。 2010年，中国移动互联网市场用户规模达近 3 亿，市场规模达 比增长 未来的几年将是移动互联网发展的高峰期，不论是市 场规模还是用户数量都将保持持续地增长。008规模和用户数量预测数据 1。 身份验证是一个在互联网应用使用得最多的资源访问控制方式之一。而便携小巧的移动设备的输入能力非常有限，一定程度上限制了传统身份验证方式的使用。人脸识别具备稳定、自然、方便、友好等特点，非常适合作为一种在移动设备中使用的身份验证方式。而这种验证方式是在移动分布式环境下进行的。因此，基于移动网络的分布式的人脸识别技术有着非常广泛的应用前景。 总之，传统人脸识别技术应用广泛，移动终端和移动互联网络的发展为人脸识别技术提供新的发展机会。随着手机服务需求的与日俱增和移动互联网的丰富，人脸识别技术在移动互联网里会得到广泛的关注和应用。因此，研究和探索移动计算环境下的人脸识别技术和应用具有非常重要的现实和研究意义。 内外研究现状 当前 很多国家展开了有关人脸识别的研究，主要有美国、欧洲国家、日本等 著名的研究机构有美国 AI 国的 2。 20世纪 90年代以来，随着高速高性能计算机的出现，人脸识别方法有了重大突破，进入了真正的机器自动识别阶段。国外有许多大学在此方面取得了很大进展，他们研究涉及的领域很广，其中有从感知和心理学角度探索人类识别人脸机理的，如美国 学的 组，主要研究人类感知人脸的规律；由 学的 授和 学的 授合作领导的小组，主要是研究人类大脑在人脸认知中的作用，并在此基础上建立了人脸认知的两大功能模型，他们对熟悉和陌生人脸的识别规律以及图像序列的人脸识别规律也进行了研究； 毕业设计报告纸 共 61页 第 3页 也有从视觉机理角度进行研究的，英国 学的 组，主要研究人脸视觉表征方法，他们对空间频率在人脸识别中的作用也进行了分析；荷兰 组，主要研究人类视觉系统的神经生理学机理并在此基础上发展了并行模式识别方法。更多的学者则从事利用输入图像进行计算机人脸识别 的研究工作 3。 在人脸识别的领域中，国际上逐步形成了以下几个研究方向： 基于几何特征的人脸识别方法，主要代表是 组，他们采用改进的积分投影法提取出用欧氏距离表征的 35 维人脸特征矢量用于模式分类； 基于模板匹配的人脸识别方法，主要代表是 学 采用弹性模板来提取眼睛和嘴巴的轮廓， 巴和鼻孔等不确定形状； 基于 换的特征脸的方法，主要研究者是 体实验室的 基于隐马尔可夫模型的方法，主要代表有 学的 组和术研究所的 组； 神经网络识别的方法，如 组提出的 经网络识别方法，英国学的 组提出的 基于动态链接结构的弹性图匹配方法，主要研究者是由 导的德国 学和美国 学的联合小组 4； 利用运动和颜色信息对动态图像序列进行人脸识别的方法，主要代表是 学的 组。 国内关于人脸自动识别的研究始于二十世纪 80 年代，主要的研究单位有清华大学，哈尔滨工业大学，中科院计算所，中科院自动化所，复旦大学，北京科技大学等，并都取得了一定的成果。 国内的研究工作主要是集中在三大类方法的研究：基于几何特征的人脸正面自动识别方法、基于代数特征的人脸正面自动识别方法和基于连接机制的人脸正面自动识别方法。 四川大学的周激流教授实现了具有反馈机制的人脸正面识别系统，运用积分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含 3D 信息，他对人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。 毕业设计报告纸 共 61页 第 4页 中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，采用基于知识的三级金字塔结构对人脸进行基本定位，前两级建立在不同分辨率的镶嵌图基础上，第三级用一种改进的边缘检测方法进一步检测眼睛和嘴巴。 清华大学彭辉、张长水等对特征脸的方法做了进一步的发展，提出采用类间散布矩阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下，大大降低了运算量。 南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研究，如用交小波变换对人脸图像作预处理，等到不同频带上的 4 个子图像，对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种适用于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。程永清，庄永明等对同类图像的平均灰度图进行 解得到特征脸空间，每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。 张辉，周宏祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸 样本的存储和人脸的快速识别 。 文研究的主要内容 本系统的开发设计主要是在 文主要研究工作包括： 种人脸检测 和人脸识别 算法的研究， 原理， （ 1）多种人脸检测和人脸识别算法的研究：目前人脸检测方法主要有基于知识的方法、特征不变方法、模板匹配方法、基于表象的方法。人脸识别方法主要有基于几何特征的识别方法、基于特征脸的识别方法、基于神经网络的方法、基于支持向量机的方法。本文主要分析了各个方法的优缺点，并选择 法和 （ 2） 然后再通过获取到的强分类进行人脸检测。 方图匹配人脸识别算法就是利用 法提取出的灰度图像进行直方图匹配实现人脸识别。 （ 3） 台开发环境的搭建： 用程序开发采用 程语言，在 统下，需要安装与配置相应的 毕业设计报告纸 共 61页 第 5页 及 提供 C C+、 P 口，这就涉及到 C C+混合编程、 序与 C C+程序互相调用的问题，故需要利用 写本地代码，并采用 译本地代码。 一个工具集，集成了 叉编译环境，并提供了一套比较方便的 以帮助开发者快速开发 C C+的共享库。 （ 4） 人脸识别软件实现：论文研究的主要是两个部分，一部分是 序的 台的开发，主要涉及到 面和程序的逻辑流程；另一部分是 就是用来链接 C C+的部分 文结构安排 本文第一章节为绪论 ,主要探讨了人脸识别的 研究背景和意义和国内外的研究现状， 本文从第二章节开始 逐一介绍了人脸检测与人脸识别的一些常用 方法 ， 并分析这些方法的优点和缺点并选择 人脸检测算法 第三章着重介绍了本课题采用的人脸检测算法 配 算法， 介绍他们的原理和功能，第四章介绍了 介绍了软件的整体设计，第五章主要介绍的软件的实现和测试，相信说明了软件的实现过程 :建立 对程序进行了测试。 最后 一章 是本文的一些结论与展望 ,以及将来的工作中要解决的问题 。 章小结 本章第一节系统说明了本论文的研究背景和意义，在第二节里较为全面的介绍了国内外的研究 现状以及先进的研究成果，第三节系统的介绍了本文的研究内容 。 第四节构架了论文的整体结构。 毕业设计报告纸 共 61页 第 6页 第二章 人脸检测 和 识别的 算法 选择 脸识别的研究内容 人脸识别的过程大致可以简单地分为三个部分，如图 示第一部分为人脸的检测 ,从简单和复杂的 、 理想的和非理想的 、 灰度的和彩色的 、 旋转的和非旋转的等等各种背景的输入图像中确定人脸的位置 ； 第二部分为人脸的特征提取 ， 利用一些 特征提取方法对人脸区域进行特征提取， 就人脸识别来说 ， 该特征提取方法一般能够为最小化同一个人的人脸特征和最大化不同人之间的人脸特征 ； 最后一个部分就是匹配过程 ， 将样本人脸的特征与人脸数据库中的人脸特征进行匹配 ， 找出最为接近的人脸 ,输出检测后的识别分类 ,完成整个识别过程 。 输 入 图 像人 脸 检 测特 征 提 取模 式 匹 配输 出 图 像图 人脸识别流程图 脸检测 对于静态图像，人脸检测是指对于给定的图像确定是否存在人脸，若有则确定人脸位置、大小、姿态，并把人脸从背景图像中分割出来；对于视频序列，除了检测人脸外还要考虑对视频系列中检测到人脸进行跟踪，提取人脸运动信息。人脸检测是人脸识别系统的首要环节，直接影响人脸识别系统的准确性。人脸存在的外貌、表情、 毕业设计报告纸 共 61页 第 7页 肤色等多种变化的特征，以及可能存在的眼镜、胡须、头发、口罩等附属物，还有光照的影响，都给人脸检测带来了很多挑战。 随着社会的进步，许多行业都需要快速的人脸自动验证。在 21 世纪后几十年，生物特征识别技术快速发展，目前主流的识别技术包括有：指纹识别，人脸识别等。在众多的识别技术中，人脸具有很强的个体性差异以及不变性，该生物特征成为了自动身份验证的理想依据。人脸识别技术应用非常广泛，可用于身份识别、视频会议以及医学等方面。人脸识别主要包含人脸检测与人脸鉴别 5，人脸检测的流程为： （ 1）图像采集：该步骤为人脸识别的第一步，主要是通过传感器采集包含有人脸的图片样本。 （ 2）图像预处理：通过前期的图像采集一般采集到是原始图像，需要经过相应的处理才能够达到应用的要求。图像处理的主要目的是为了后续检测算法。其主要内容是去除噪声、增强相关的有用信息。有时候，后续检测算法对该预处理有特殊的要求，比如有些算法只能处理某一种格式的图片等。 （ 3）人脸检测：人脸检测是人脸识别研究技术中的一个重要环节，人脸位置定位的准确性直接影响到后续人脸特征的有效性。 （ 4）特征提取：检测到人脸后，关键的一步是人脸特征的 提取，特征的提的好坏对于后续人脸检测有着至关重要的作用，如果特征提取的不够精确，这将降低人脸识别率，不同的特征提取方法也对人脸识别有比较大的影响。目前主要的提取方法有：基于几何特征的人脸特征提取、基于统计方法的人脸特征的提取、基于变换域提取特征方法、神经网络提取特征方法等。 （ 5）分类：人脸识别的最后一步是分类，该过程主要是通过对提取的人脸特征进行分类，组合相关的特征信息，按照一定的分类学些算法，最终得到一个比较好的人脸识别分类器。在早期，人脸识别算法主要是假定获取了一个正脸的正面人脸，然后通过获取的正面人 脸进行识别。随着人脸识别的应用领域越来越大，以及各行业对人脸识别领域的要求在不断提高。在假定正面人脸的情况下，已经不能够满足实际的应用需求，所以人脸检测就作为了一项对立的研究方向发展起来。从人脸识别流程图可以看出，人脸检测是人脸识别的中非常重要的一步。接下来主要详细介绍人脸检测方法。 目前，流行的人脸检测的主要方法有以下四种 6： （ 1）基于知识的方法，该方法主要使用规则来检测人脸，通过人们总结的规则来检验人脸。通常，主要是总结归纳人脸面部特征之间的关系，得出一个普适规则，然后使用该规则来进行人脸检测。 （ 2）特征不变方法，该方法主要通过特定的算法找到在不同姿势以及光照等条件下仍然具有的人脸特征，然后使用该特征进行人脸检测。 毕业设计报告纸 共 61页 第 8页 （ 3）模板匹配方法，该方法是根据已有的知识定义了几种标准的人脸模型，然后通过对输入的图像与标准人脸模型进行相似度对比以进行人脸检测。该方法的主要缺点是需要预定一个标准人脸，由于定义的标准人脸不同，可能结果大相径庭。 （ 4）基于表象的方法，该方法的思想是按照一定的算法从样本训练集中进行学习，得到一个学习模型。在进行人脸检测时，使用该模型对输入的图像进行人脸检测。 于知识的方法 基于知识的方法主要是使用规则来检测人脸，而规则是人们对于人脸所总结的先验知识。人们把所获取到的先验知识进行编码，然后按照某种算法形成检验规则，最后通过这些编码形成的规则来检验图像中是否包含有人脸信息。通常能够很容易的提取出用于表示人脸的特征以及他们之间相互关系的规则。例如，根据先验知识，在一幅包含有人脸的图像中，存在对称的眼睛，一个鼻子以及一张嘴，这几个特征是最容易辨别的，然后通过这几个特征之间所具有的相对的几何距离来描述。在进行人脸检测时，首先需要提取输入图像中所包含面部特征，并根据规则来 选定人脸候选区域。 人脸知识相关的规则 7： （ 1）轮廓规则：该规则是最简单的一个，其主要思想是把人脸看成一个椭圆形，然后进行边缘性检测，提取出相关的人脸特征曲线，并对各曲线进行组合，评估组合成人脸的概率，最后通过该概率来判断是否存在人脸。 （ 2）器官分布规则：人脸也遵循一些普遍相互对称的规则，如人脸的五官存在着规则的几何分布。根据该规则，可以通过检测图像中是否包含有满足该规则的图像信息来进行人脸检测。 （ 3）对称性规则：人脸是一个含有对称性的集合体，比如两个眼睛是相互对称等。通过使用这种对称性的规则来进 行人脸检测。总之，基于知识的方法是自上而下的，在使用该方法时，人们很难将获取到的人脸知识转化为有效的规则。当然，在定义规则时，如果定义的太过于详细，那么可能导致很多人脸无法验证通过；而如果规则定义的太过于宽泛，那么可能把许多非人脸判定为人脸。所以在自定规则时，需要有很强的先验知识作保证才能达到一个理想的结果。在 统中提供的是基于该方法的人脸检测功能。主要是通过定位人眼来判断是否有人脸。在用这种方法进行人脸判断时，主要的难点在于如何有效的对已有人脸的知识进行规则化，以达到有效检测的目的。 毕业设计报告纸 共 61页 第 9页 征不变量方法 基于特征的方法是指从已获取到的面部特征以及这些面部特征之间的几何关系进行人脸检测。与基于知识的方法恰好相反，该方法是自下而上的，其主要思想是通过一定的算法提取出人脸不变的特征进行人脸检测。在进行人脸检测时，光照、以及拍照姿势对检测结果有很大影响。而基于特征的方法主要是通过一定的特征提取算法提取出即使在这些条件影响下仍然具有的结构特征，然后使用这些结构特征对输入的图像进行人脸检测，判断出人脸位置。该方法主要是基于一个假设，即不管外在条件如何，始终存在一些不依赖外在条件的内在属性或特征。 很多算法都是通过不同的方法去寻找这种内在属性或特征，然后利用寻找的特征去匹配输入的图像，并进行人脸判断。论文所采用的 后面的章节将详细介绍 板匹配的方法 通常也使用模板匹配进行人脸检测。该方法的主要思想是将预定义的模板图像与输入图像进行对比，寻找匹配度最大的目标区域。其主要流程如下： （ 1）进行预处理并定义一个标准人脸模板。该过程主要是对输入图像做几何归一化和灰度归一化。在最简单的模型匹配算法中，主要是将人脸看成椭圆形状，然后进 行匹配，而更复杂的人脸如图 （ 2）计算输入的图像与预定义的模板的相似性，在图 标准模板中，把人脸定义成了 16 个区域，并定义了这 16 个区域间的相互关系，其中主要有 23 种关系。在计算输入图像时，主要是按照这几个区域以及区域之间的关系来进行计算。 （ 3）把相关的计算结果与预设的阈值用于比较并确定是否包含有人脸。基于模板的方法比较简单，当用该方法来进行人脸检测时，检测效果不好，检测率比较低。其主要原因在于该方法模板的定义，若模板定义的不够准确，则进行检测时会有很大的漏检率。 毕业设计报告纸 共 61页 第 10页 图 脸图 于表象的方法 该方法的主要思想是按照一定的算法从样本训练集中进行学习，得到一个模型，再把得到的模板用于人脸检测。对比于基于模板的方法，该方法是一种自下而上的方法。现在许多人脸检测方法都是这种基于表象的方法。在众多基于表象的方法中，一般都是采用统计分析等方法来自动的寻找相关的人脸信息。把学习而来的特性总结成分布模型或者判别函数，再利用这些分布模型或者判别函数来对输入