基于Andriod移动设备嵌入式机器视觉的人脸识别毕业设计.docx

二 一 三 届 毕 业 设 计基于Andriod移动设备嵌入式机器视觉的人脸识别系统设计学 院：专 业：姓 名：学 号：指导教师：完成时间：2013年6月16日二一三年七月 毕业设计报告纸摘 要人脸识别是在图像或视频流中进行人脸的检测和定位，其中包括人脸在图像或视频流中的所在位置、大小、形态、个数等信息，近年来由于计算机运算速度的飞速发展使得图像处理技术在许多领域得到了广泛应用，其中包含智能监控、安全交易、更安全更友好的人机交互等。如今在许多公司或研究所已经作为一门独立的课题来研究探索。矚慫润厲钐瘗睞枥庑赖。近年来，随着移动互联网的发展，智能手机平台获得了长足的发展。然而，手机钱包、手机远程支付等新应用的出现使得手机平台的安全性亟待加强。传统的密码认证存在易丢失、易被篡改等缺点，人脸识别不容易模仿、篡改和丢失，因而适用于手机安全领域中的应用。聞創沟燴鐺險爱氇谴净。本论文在分析国内外人脸识别研究成果的基础上，由摄像头采集得到人脸图像，在高性能嵌入式系统平台上，采用JAVA高级语言进行编程，对检测得到的图像进行人脸检测、特征定位、人脸归一化、特征提取和特征识别。在Android平台上实现了基于图像的人脸识别功能。残骛楼諍锩瀨濟溆塹籟。本文主要的研究内容：首先对当前人脸识别技术的研究现状和常用的人脸检测和人脸识别方法做了扼要的介绍，然后着重介绍了Adaboost人脸检测算法和通过LBP直方图匹配的人脸识别算法，最后基于这两种人脸检测和人脸识别的算法，在Android平台上通过移植OpenCV并进行编程从而实现了移动设备的人脸识别功能。酽锕极額閉镇桧猪訣锥。关键词：Android ，OpenCV，人脸识别，EclipseIAbstractThe face recognition is to face detection and location in the image or video stream, including the location of the face in the image or video stream, the size, shape, and then number of information in recent years due to the rapid computing speed makes the development of image processing technology has been widely applied in many fields, which includes intelligent monitoring, secure transactions, safer and more friendly and human-computer interaction. Today, as a separate subject many companies or research are to study and explore.彈贸摄尔霁毙攬砖卤庑。In recent years，smart phone platforms achieve rapid development according toprosperous of 3G wireless technologyThe applications，like mobile payment，remote transaction，make our life easier but bring more safety issues tooTraditional safety certification uses password as authentication methodwhich is 1iable to falsification and forgetfulnessFacial feature Call overcome the disadvantages brought by traditional methods，So it is fit for safety applications on smart phone platform謀荞抟箧飆鐸怼类蒋薔。Based on the research results of the analysis of face recognition at home and abroad in this paper, We obtained the facial images obtained by the camera and then used Senior JAVA language to program for face detection, feature localization , face normalization, feature extraction and pattern recognition in in high-performance embedded system platform. It implemented the face recognition function based on images on the Android platform. 厦礴恳蹒骈時盡继價骚。The research contents in this paper are as follows: first introduced the current status of the face recognition technology and the common face detection and face recognition methods briefly, and then focused on the Adaboost face detection algorithm and face recognition algorithm of matching people through LBP histogram. At last, it enabled the face recognition function of mobile devices by transplanting OpenCV and programing on the Android platform based on these two face detection and face recognition algorithm.茕桢广鳓鯡选块网羈泪。KEYWORDS: Android，OpenCV， face recognition，EclipseII 毕业设计报告纸目 录第一章 绪论1鹅娅尽損鹌惨歷茏鴛賴。1.1 研究背景及意义1籟丛妈羥为贍偾蛏练淨。1.2 国内外研究现状2預頌圣鉉儐歲龈讶骅籴。1.3 本文研究的主要内容4渗釤呛俨匀谔鱉调硯錦。1.4 论文结构安排5铙誅卧泻噦圣骋贶頂廡。1.5 本章小结5擁締凤袜备訊顎轮烂蔷。第二章 人脸检测和识别的算法选择6贓熱俣阃歲匱阊邺镓騷。2.1 人脸识别的研究内容6坛摶乡囂忏蒌鍥铃氈淚。2.2 人脸检测6蜡變黲癟報伥铉锚鈰赘。2.2.1 基于知识的方法8買鲷鴯譖昙膚遙闫撷凄。2.2.2 特征不变量方法9綾镝鯛駕櫬鹕踪韦辚糴。2.2.3 模板匹配的方法9驅踬髏彦浃绥譎饴憂锦。2.2.4 基于表象的方法10猫虿驢绘燈鮒诛髅貺庑。2.3 人脸识别11锹籁饗迳琐筆襖鸥娅薔。2.4.1 基于几何特征的识别方法11構氽頑黉碩饨荠龈话骛。2.4.2 基于特征脸的识别方法11輒峄陽檉簖疖網儂號泶。2.4.3 基于神经网络的方法12尧侧閆繭絳闕绚勵蜆贅。2.4.4 基于支持向量机的方法12识饒鎂錕缢灩筧嚌俨淒。2.4 本章小结12凍鈹鋨劳臘锴痫婦胫籴。第三章 AdaBoost算法和直方图匹配原理13恥諤銪灭萦欢煬鞏鹜錦。3.1 特征与特征值计算13鯊腎鑰诎褳鉀沩懼統庫。3.1.1 矩形特征13硕癘鄴颃诌攆檸攜驤蔹。3.1.2 积分图14阌擻輳嬪諫迁择楨秘騖。3.2 AdaBoost 分类器17氬嚕躑竄贸恳彈瀘颔澩。3.2.1 PAC 学习模型17釷鹆資贏車贖孙滅獅赘。3.2.2 弱学习与强学习17怂阐譜鯪迳導嘯畫長凉。3.2.3 AdaBoost 算法18谚辞調担鈧谄动禪泻類。3.2.4 弱分类器20嘰觐詿缧铴嗫偽純铪锩。3.2.5 弱分类器的训练及选取22熒绐譏钲鏌觶鷹緇機库。3.2.6 强分类器23鶼渍螻偉阅劍鲰腎邏蘞。III3.2.7 级联分类器23纣忧蔣氳頑莶驅藥悯骛。3.3人脸匹配原理（直方图匹配）26颖刍莖蛺饽亿顿裊赔泷。3.3.1直方图的均衡化26濫驂膽閉驟羥闈詔寢賻。3.3.2灰度变换27銚銻縵哜鳗鸿锓謎諏涼。3.4 本章小结28挤貼綬电麥结鈺贖哓类。第四章 基于Andriod平台的人脸识别系统实现30赔荊紳谘侖驟辽輩袜錈。4.1 Android 系统平台30塤礙籟馐决穩賽釙冊庫。4.2 开发环境搭建32裊樣祕廬廂颤谚鍘羋蔺。4.2.2 OpenCV 介绍32仓嫗盤紲嘱珑詁鍬齊驁。4.2.3 OpenCV 编译移植33绽萬璉轆娛閬蛏鬮绾瀧。4.3 整体设计34骁顾燁鶚巯瀆蕪領鲡赙。4.4 应用软件设计34瑣钋濺暧惲锟缟馭篩凉。第五章 软件实现和测试36鎦诗涇艳损楼紲鯗餳類。5.1 软件实现36栉缏歐锄棗鈕种鵑瑶锬。5.1.1 软件实现过程36辔烨棟剛殓攬瑤丽阄应。5.1.2 建立UI界面36峴扬斕滾澗辐滠兴渙藺。5.1.3 JAVA平台程序开发37詩叁撻訥烬忧毀厉鋨骜。5.1.4 JNI层函数接口38则鯤愜韋瘓賈晖园栋泷。5.1.5 编写脚本文件39胀鏝彈奥秘孫戶孪钇賻。5.2 软件测试39鳃躋峽祷紉诵帮废掃減。5.2.1 实验环境39稟虛嬪赈维哜妝扩踴粜。5.2.2 实验结果40陽簍埡鲑罷規呜旧岿錟。5.3 人脸识别42沩氣嘮戇苌鑿鑿槠谔應。5.3.1 图片抓取42钡嵐縣緱虜荣产涛團蔺。5.3.2 实验结果44懨俠劑鈍触乐鹇烬觶騮。第六章 小结与展望46謾饱兗争詣繚鮐癞别瀘。6.1 总结46呙铉們欤谦鸪饺竞荡赚。6.2 展望46莹谐龌蕲賞组靄绉嚴减。致 谢48麸肃鹏镟轿騍镣缚縟糶。参 考 文 献49納畴鳗吶鄖禎銣腻鰲锬。附 录51風撵鲔貓铁频钙蓟纠庙。IV 毕业设计报告纸第一章 绪论1.1 研究背景及意义人脸识别是一种生物特征识别技术，也是模式识别、计算机视觉和图像处理领域的研究热点。本文选择移动环境下的分布式人脸检测与识别作为研究方向，主要是基于以下四点考虑的：灭嗳骇諗鋅猎輛觏馊藹。（1）信息安全问题日益重要，传统身份验证面临挑战，人脸识别技术倍受青睐随着科学技术的迅猛发展，计算机及网络技术的高速发展，信息安全性问题已经越来越重要了。传统的身份认证方法如密码、口令、智能卡等存在着很多缺点，比如携带不便、容易丢失、使用过程中的磨损、密码容易被破解等。因此，这些广泛使用的传统的身份验证方法已经面临着日益严峻的挑战。而安全、有效、便捷的身份验证方法越来越受到青睐。铹鸝饷飾镡閌赀诨癱骝。生物识别技术是基于人体生理或者行为特征的身份识别方法。人的生理或者行为特征有唯一性、稳定性等特点，易于用来鉴别人的身份。并且这些特征是人体固有的，不容易丢失，不容易被盗用。常见的生物识别技术有：人脸识别、指纹识别、掌纹识别、语音识别、虹膜识别、手势识别、DNA 识别、签名识别、击键识别、步态识别等。攙閿频嵘陣澇諗谴隴泸。而在众多生物特征识别技术中，人脸识别是最为自然的、可视化的一种生物身份识别方式。人脸识别具有稳定，方便，友好等特点，并且人脸识别系统硬件设备成本比较低。因此，人脸识别是一项很有潜力的应用技术趕輾雏纨颗锊讨跃满賺。（2）应用前景广阔，应用领域众多，现实意义重大自从 90 年代后期以来，一些商业性的人脸识别系统开始进入市场，人脸识别作为一种计算机安全技术迅速发展起来。特别是美国 911 事件以后，人脸识别受到了更多的关注。人脸识别技术的应用前景十分广泛。可以应用于嫌疑犯照片的识别匹配，信用卡、驾驶执照与个人身份的识别，银行、超市的安全系统，公共场所的视频监控，智能门禁系统，智能玩具，家政机器人，虚拟现实娱乐游戏，视频检索，社交网络等等。夹覡闾辁駁档驀迁锬減。（3）移动智能终端不断发展和普及，人脸识别技术面临机遇与挑战近年来，随着智能终端的不断普及，移动通信技术的不断发展，越来越多的人选择使用终端进行交互。移动智能终端由于其移动性，便携性以及创新性，已经越来越多地被人们接受，并呈现出部分取代 PC 终端的趋势。国际电信联盟最新公布的统计数据显示，截至 2010年年底，全球网民数量已达20.8亿，手机用户数量已达52.8亿。目前，人脸识别的研究大部分都是基于PC平台的，近年来，越来越多的更高效友好的交互技术不断被提出并应用于智能设备领域。另外，由于目前的手机终端性能相对于PC机还有一定的差距，如何使传统的人脸识别技术在手机终端上得到良好的应用也是一个挑战。因此，人脸识别技术在智能终端上具有非常大的发展空间。视絀镘鸸鲚鐘脑钧欖粝。 （4）移动互联网近年来发展迅猛，智能手机与外界交流越来越多，独立于手机的人脸识别系统功能有限，运行受到限制，而分布式架构的人脸检测与识别系统更能满足移动互联网的需要。动互联网在短短的几年时间内迅速发展，其增长速度超过了几乎所有人的预测，并且今后的一段时间将保持持续发展状态。2010年，中国移动互联网市场用户规模达近3 亿，市场规模达202.5亿元，同比增长31.1%。未来的几年将是移动互联网发展的高峰期，不论是市场规模还是用户数量都将保持持续地增长。图1.2和图1.3分别是艾瑞咨询研究发布的2008-2014年中国移动互联网的市场规模和用户数量预测数据1。偽澀锟攢鴛擋緬铹鈞錠。身份验证是一个在互联网应用使用得最多的资源访问控制方式之一。而便携小巧的移动设备的输入能力非常有限，一定程度上限制了传统身份验证方式的使用。人脸识别具备稳定、自然、方便、友好等特点，非常适合作为一种在移动设备中使用的身份验证方式。而这种验证方式是在移动分布式环境下进行的。因此，基于移动网络的分布式的人脸识别技术有着非常广泛的应用前景。緦徑铫膾龋轿级镗挢廟。总之，传统人脸识别技术应用广泛，移动终端和移动互联网络的发展为人脸识别技术提供新的发展机会。随着手机服务需求的与日俱增和移动互联网的丰富，人脸识别技术在移动互联网里会得到广泛的关注和应用。因此，研究和探索移动计算环境下的人脸识别技术和应用具有非常重要的现实和研究意义。騅憑钶銘侥张礫阵轸蔼。1.2 国内外研究现状当前很多国家展开了有关人脸识别的研究，主要有美国、欧洲国家、日本等著名的研究机构有美国MIT的Media lab, AI lab, CMU的Human-Computer Interface Institute，Microsoft Research,英国的Department of Engineering in University of Cambridge等2。疠骐錾农剎貯狱颢幗騮。20世纪90年代以来，随着高速高性能计算机的出现，人脸识别方法有了重大突破，进入了真正的机器自动识别阶段。国外有许多大学在此方面取得了很大进展，他们研究涉及的领域很广，其中有从感知和心理学角度探索人类识别人脸机理的，如美国Texas at Dallas大学的Abdi和Toole小组，主要研究人类感知人脸的规律；由Stirling大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组，主要是研究人类大脑在人脸认知中的作用，并在此基础上建立了人脸认知的两大功能模型，他们对熟悉和陌生人脸的识别规律以及图像序列的人脸识别规律也进行了研究；也有从视觉机理角度进行研究的，英国Aberdeen大学的Craw小组，主要研究人脸视觉表征方法，他们对空间频率在人脸识别中的作用也进行了分析；荷兰Groningen大学的Petkov小组，主要研究人类视觉系统的神经生理学机理并在此基础上发展了并行模式识别方法。更多的学者则从事利用输入图像进行计算机人脸识别的研究工作3。镞锊过润启婭澗骆讕瀘。在人脸识别的领域中，国际上逐步形成了以下几个研究方向：基于几何特征的人脸识别方法，主要代表是MIT的Brunelli和Poggio小组，他们采用改进的积分投影法提取出用欧氏距离表征的35维人脸特征矢量用于模式分类；榿贰轲誊壟该槛鲻垲赛。基于模板匹配的人脸识别方法，主要代表是Harvard大学Smith-Kettlewell眼睛研究中心的Yuille，他采用弹性模板来提取眼睛和嘴巴的轮廓，Chen和Huang则进一步提出用活动轮廓模板提取眉毛、下巴和鼻孔等不确定形状；邁茑赚陉宾呗擷鹪讼凑。基于K-L变换的特征脸的方法，主要研究者是MIT媒体实验室的Pentland 共61页 第3页基于隐马尔可夫模型的方法，主要代表有Cambridge大学的Samaria小组和Georgia技术研究所的Nefian小组；嵝硖贪塒廩袞悯倉華糲。神经网络识别的方法，如Poggio小组提出的HyperBF神经网络识别方法，英国Sussex大学的Buxton和Howell小组提出的RBF网络识别方法等；该栎谖碼戆沖巋鳧薩锭。基于动态链接结构的弹性图匹配方法，主要研究者是由C.Von derMalsburg领导的德国Bochum大学和美国Southern California大学的联合小组4；劇妆诨貰攖苹埘呂仑庙。利用运动和颜色信息对动态图像序列进行人脸识别的方法，主要代表是Queen Mary和Westfield大学的Shaogang Gong小组。臠龍讹驄桠业變墊罗蘄。国内关于人脸自动识别的研究始于二十世纪80年代，主要的研究单位有清华大学，哈尔滨工业大学，中科院计算所，中科院自动化所，复旦大学，北京科技大学等，并都取得了一定的成果。鰻順褛悦漚縫冁屜鸭骞。国内的研究工作主要是集中在三大类方法的研究：基于几何特征的人脸正面自动识别方法、基于代数特征的人脸正面自动识别方法和基于连接机制的人脸正面自动识别方法。穑釓虚绺滟鳗絲懷紓泺。四川大学的周激流教授实现了具有反馈机制的人脸正面识别系统，运用积分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3D信息，他对人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。隶誆荧鉴獫纲鴣攣駘賽。中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，采用基于知识的三级金字塔结构对人脸进行基本定位，前两级建立在不同分辨率的镶嵌图基础上，第三级用一种改进的边缘检测方法进一步检测眼睛和嘴巴。浹繢腻叢着駕骠構砀湊。清华大学彭辉、张长水等对特征脸的方法做了进一步的发展，提出采用类间散布矩阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下，大大降低了运算量。鈀燭罚櫝箋礱颼畢韫粝。南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研究，如用Daubechies正交小波变换对人脸图像作预处理，等到不同频带上的4个子图像，对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种适用于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。程永清，庄永明等对同类图像的平均灰度图进行SVD分解得到特征脸空间，每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。惬執缉蘿绅颀阳灣熗鍵。张辉，周宏祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识别。贞廈给鏌綞牵鎮獵鎦龐。1.3 本文研究的主要内容本系统的开发设计主要是在Android手机操作系统上移植OpenCV开源库来实现人脸检测系统。本文主要研究工作包括：Android平台架构的研究，多种人脸检测和人脸识别算法的研究，AdaBoost人脸检测算法和LBP人脸识别算法的原理，Android平台开发环境的搭建和人脸识别软件实现。嚌鲭级厨胀鑲铟礦毁蕲。（1）多种人脸检测和人脸识别算法的研究：目前人脸检测方法主要有基于知识的方法、特征不变方法、模板匹配方法、基于表象的方法。人脸识别方法主要有基于几何特征的识别方法、基于特征脸的识别方法、基于神经网络的方法、基于支持向量机的方法。本文主要分析了各个方法的优缺点，并选择AdaBoost算法和LBP直方图匹配算法用于实现人脸检测和人脸识别。薊镔竖牍熒浹醬籬铃騫。（2）AdaBoost人脸检测算法和LBP直方图匹配人脸识别算法的原理：AdaBoost算法是基于人脸特征的一种自动学习的算法其主要思想是通过大量的人脸样本训练获得一个强分类器，然后再通过获取到的强分类进行人脸检测。LBP直方图匹配人脸识别算法就是利用Adaboost算法提取出的灰度图像进行直方图匹配实现人脸识别。齡践砚语蜗铸转絹攤濼。（3）Android平台开发环境的搭建：Android应用程序开发采用Java编程语言，在Windows系统下，需要安装与配置相应的EcHpse IDE、JDK、AndroidSDK 以及ADT。OpenCV只提供CC+、P on接口，这就涉及到Java与CC+混合编程、Java程序与CC+程序互相调用的问题，故需要利用JNI编写本地代码，并采用Android NDK编译本地代码。Android NDK是一个工具集，集成了Android交叉编译环境，并提供了一套比较方便的Makeffle，可以帮助开发者快速开发CC+的共享库。绅薮疮颧訝标販繯轅赛。（4）人脸识别软件实现：论文研究的主要是两个部分，一部分是Android程序的JAVA平台的开发，主要涉及到UI界面和程序的逻辑流程；另一部分是JNI接口的开发，也就是用来链接JAVA与CC+的部分饪箩狞屬诺釙诬苧径凛。1.4 论文结构安排本文第一章节为绪论,主要探讨了人脸识别的研究背景和意义和国内外的研究现状，本文从第二章节开始逐一介绍了人脸检测与人脸识别的一些常用方法，并分析这些方法的优点和缺点并选择人脸检测算法Adaboost算法和人脸识别算法LBP直方图匹配算法。在第三章着重介绍了本课题采用的人脸检测算法Adaboost算法和人脸识别算法LBP直方图匹配算法，介绍他们的原理和功能，第四章介绍了Android系统的移植和OpenCV的移植以及软件开发环境的搭建，并介绍了软件的整体设计，第五章主要介绍的软件的实现和测试，相信说明了软件的实现过程:建立UI界面、JAVA平台程序的开发、JNI层函数接口和脚本文件的编写，并对程序进行了测试。最后一章是本文的一些结论与展望,以及将来的工作中要解决的问题。烴毙潜籬賢擔視蠶贲粵。1.5 本章小结本章第一节系统说明了本论文的研究背景和意义，在第二节里较为全面的介绍了国内外的研究现状以及先进的研究成果，第三节系统的介绍了本文的研究内容。第四节构架了论文的整体结构。鋝岂涛軌跃轮莳講嫗键。共61页 第63页第二章 人脸检测和识别的算法选择2.1 人脸识别的研究内容人脸识别的过程大致可以简单地分为三个部分，如图2.1所示第一部分为人脸的检测,从简单和复杂的、理想的和非理想的、灰度的和彩色的、旋转的和非旋转的等等各种背景的输入图像中确定人脸的位置；第二部分为人脸的特征提取，利用一些特征提取方法对人脸区域进行特征提取，就人脸识别来说，该特征提取方法一般能够为最小化同一个人的人脸特征和最大化不同人之间的人脸特征；最后一个部分就是匹配过程，将样本人脸的特征与人脸数据库中的人脸特征进行匹配，找出最为接近的人脸,输出检测后的识别分类,完成整个识别过程。撷伪氢鱧轍幂聹諛詼庞。图2.1 人脸识别流程图2.2 人脸检测对于静态图像，人脸检测是指对于给定的图像确定是否存在人脸，若有则确定人脸位置、大小、姿态，并把人脸从背景图像中分割出来；对于视频序列，除了检测人脸外还要考虑对视频系列中检测到人脸进行跟踪，提取人脸运动信息。人脸检测是人脸识别系统的首要环节，直接影响人脸识别系统的准确性。人脸存在的外貌、表情、肤色等多种变化的特征，以及可能存在的眼镜、胡须、头发、口罩等附属物，还有光照的影响，都给人脸检测带来了很多挑战。踪飯梦掺钓貞绫賁发蘄。随着社会的进步，许多行业都需要快速的人脸自动验证。在21 世纪后几十年，生物特征识别技术快速发展，目前主流的识别技术包括有：指纹识别，人脸识别等。在众多的识别技术中，人脸具有很强的个体性差异以及不变性，该生物特征成为了自动身份验证的理想依据。人脸识别技术应用非常广泛，可用于身份识别、视频会议以及医学等方面。人脸识别主要包含人脸检测与人脸鉴别5，人脸检测的流程为： 婭鑠机职銦夾簣軒蚀骞。（1）图像采集：该步骤为人脸识别的第一步，主要是通过传感器采集包含有人脸的图片样本。（2）图像预处理：通过前期的图像采集一般采集到是原始图像，需要经过相应的处理才能够达到应用的要求。图像处理的主要目的是为了后续检测算法。其主要内容是去除噪声、增强相关的有用信息。有时候，后续检测算法对该预处理有特殊的要求，比如有些算法只能处理某一种格式的图片等。譽諶掺铒锭试监鄺儕泻。（3）人脸检测：人脸检测是人脸识别研究技术中的一个重要环节，人脸位置定位的准确性直接影响到后续人脸特征的有效性。俦聹执償閏号燴鈿膽賾。（4）特征提取：检测到人脸后，关键的一步是人脸特征的提取，特征的提的好坏对于后续人脸检测有着至关重要的作用，如果特征提取的不够精确，这将降低人脸识别率，不同的特征提取方法也对人脸识别有比较大的影响。目前主要的提取方法有：基于几何特征的人脸特征提取、基于统计方法的人脸特征的提取、基于变换域提取特征方法、神经网络提取特征方法等。缜電怅淺靓蠐浅錒鵬凜。（5）分类：人脸识别的最后一步是分类，该过程主要是通过对提取的人脸特征进行分类，组合相关的特征信息，按照一定的分类学些算法，最终得到一个比较好的人脸识别分类器。在早期，人脸识别算法主要是假定获取了一个正脸的正面人脸，然后通过获取的正面人脸进行识别。随着人脸识别的应用领域越来越大，以及各行业对人脸识别领域的要求在不断提高。在假定正面人脸的情况下，已经不能够满足实际的应用需求，所以人脸检测就作为了一项对立的研究方向发展起来。从人脸识别流程图可以看出，人脸检测是人脸识别的中非常重要的一步。接下来主要详细介绍人脸检测方法。骥擯帜褸饜兗椏長绛粤。目前，流行的人脸检测的主要方法有以下四种6：（1）基于知识的方法，该方法主要使用规则来检测人脸，通过人们总结的规则来检验人脸。通常，主要是总结归纳人脸面部特征之间的关系，得出一个普适规则，然后使用该规则来进行人脸检测。癱噴导閽骋艳捣靨骢鍵。（2）特征不变方法，该方法主要通过特定的算法找到在不同姿势以及光照等条件下仍然具有的人脸特征，然后使用该特征进行人脸检测。鑣鸽夺圆鯢齙慫餞離龐。（3）模板匹配方法，该方法是根据已有的知识定义了几种标准的人脸模型，然后通过对输入的图像与标准人脸模型进行相似度对比以进行人脸检测。该方法的主要缺点是需要预定一个标准人脸，由于定义的标准人脸不同，可能结果大相径庭。榄阈团皱鹏緦寿驏頦蕴。（4）基于表象的方法，该方法的思想是按照一定的算法从样本训练集中进行学习，得到一个学习模型。在进行人脸检测时，使用该模型对输入的图像进行人脸检测。逊输吴贝义鲽國鳩犹騸。2.2.1 基于知识的方法基于知识的方法主要是使用规则来检测人脸，而规则是人们对于人脸所总结的先验知识。人们把所获取到的先验知识进行编码，然后按照某种算法形成检验规则，最后通过这些编码形成的规则来检验图像中是否包含有人脸信息。通常能够很容易的提取出用于表示人脸的特征以及他们之间相互关系的规则。例如，根据先验知识，在一幅包含有人脸的图像中，存在对称的眼睛，一个鼻子以及一张嘴，这几个特征是最容易辨别的，然后通过这几个特征之间所具有的相对的几何距离来描述。在进行人脸检测时，首先需要提取输入图像中所包含面部特征，并根据规则来选定人脸候选区域。幘觇匮骇儺红卤齡镰瀉。人脸知识相关的规则7：（1）轮廓规则：该规则是最简单的一个，其主要思想是把人脸看成一个椭圆形，然后进行边缘性检测，提取出相关的人脸特征曲线，并对各曲线进行组合，评估组合成人脸的概率，最后通过该概率来判断是否存在人脸。誦终决懷区馱倆侧澩赜。（2）器官分布规则：人脸也遵循一些普遍相互对称的规则，如人脸的五官存在着规则的几何分布。根据该规则，可以通过检测图像中是否包含有满足该规则的图像信息来进行人脸检测。医涤侣綃噲睞齒办銩凛。（3）对称性规则：人脸是一个含有对称性的集合体，比如两个眼睛是相互对称等。通过使用这种对称性的规则来进行人脸检测。总之，基于知识的方法是自上而下的，在使用该方法时，人们很难将获取到的人脸知识转化为有效的规则。当然，在定义规则时，如果定义的太过于详细，那么可能导致很多人脸无法验证通过；而如果规则定义的太过于宽泛，那么可能把许多非人脸判定为人脸。所以在自定规则时，需要有很强的先验知识作保证才能达到一个理想的结果。在Android 系统中提供的是基于该方法的人脸检测功能。主要是通过定位人眼来判断是否有人脸。在用这种方法进行人脸判断时，主要的难点在于如何有效的对已有人脸的知识进行规则化，以达到有效检测的目的。舻当为遙头韪鳍哕晕糞。2.2.2 特征不变量方法基于特征的方法是指从已获取到的面部特征以及这些面部特征之间的几何关系进行人脸检测。与基于知识的方法恰好相反，该方法是自下而上的，其主要思想是通过一定的算法提取出人脸不变的特征进行人脸检测。在进行人脸检测时，光照、以及拍照姿势对检测结果有很大影响。而基于特征的方法主要是通过一定的特征提取算法提取出即使在这些条件影响下仍然具有的结构特征，然后使用这些结构特征对输入的图像进行人脸检测，判断出人脸位置。该方法主要是基于一个假设，即不管外在条件如何，始终存在一些不依赖外在条件的内在属性或特征。很多算法都是通过不同的方法去寻找这种内在属性或特征，然后利用寻找的特征去匹配输入的图像，并进行人脸判断。论文所采用的AdaBoost方法就是基于人脸特征的方法。在后面的章节将详细介绍AdaBoost算法。鸪凑鸛齏嶇烛罵奖选锯。2.2.3 模板匹配的方法通常也使用模板匹配进行人脸检测。该方法的主要思想是将预定义的模板图像与输入图像进行对比，寻找匹配度最大的目标区域。其主要流程如下：筧驪鴨栌怀鏇颐嵘悅废。（1）进行预处理并定义一个标准人脸模板。该过程主要是对输入图像做几何归一化和灰度归一化。在最简单的模型匹配算法中，主要是将人脸看成椭圆形状，然后进行匹配，而更复杂的人脸如图2.2。韋鋯鯖荣擬滄閡悬贖蘊。（2）计算输入的图像与预定义的模板的相似性，在图2.2 的标准模板中，把人脸定义成了16 个区域，并定义了这16 个区域间的相互关系，其中主要有23 种关系。在计算输入图像时，主要是按照这几个区域以及区域之间的关系来进行计算。涛貶騸锬晋铩锩揿宪骟。（3）把相关的计算结果与预设的阈值用于比较并确定是否包含有人脸。基于模板的方法比较简单，当用该方法来进行人脸检测时，检测效果不好，检测率比较低。其主要原因在于该方法模板的定义，若模板定义的不够准确，则进行检测时会有很大的漏检率。钿蘇饌華檻杩鐵样说泻。图2.2 人脸图2.2.4 基于表象的方法该方法的主要思想是按照一定的算法从样本训练集中进行学习，得到一个模型，再把得到的模板用于人脸检测。对比于基于模板的方法，该方法是一种自下而上的方法。现在许多人脸检测方法都是这种基于表象的方法。在众多基于表象的方法中，一般都是采用统计分析等方法来自动的寻找相关的人脸信息。把学习而来的特性总结成分布模型或者判别函数，再利用这些分布模型或者判别函数来对输入图像进行计算并进行人脸检测判断。在进行样本学习时都是一些高维数据，所以为了降低计算的复杂度以及提高计算效率，则一般都是需要对高维特征数据进行降维，然后再进行计算。大部分基于表象的人脸检测方法都可以使用概率的知识进行介绍与运用。提取出的特征向量设为随机变量x，分类条件函数p(x|faces)和p(x|non-face)用于把随机变量x 判别为人脸或非人脸。另一种基于表象的人脸检测方法使用了人脸和非人脸的判别函数：图像图案先被投射到低维或者高维空间，之后使用判别函数来进行分类。戧礱風熗浇鄖适泞嚀贗。2.3 人脸识别人脸识别就是选择合适的匹配策略，将待识别的人脸图像与数据库中已知人脸图像进行比较，得出待识别图像与样本图像的相似度。这一过程的核心是设计一个分类器。人脸识别包括人脸验证和人脸辨别。人脸验证解决的是“是不是他”的二类问题，人脸辨别解决的是“他是谁”的多类问题。購櫛頁詩燦戶踐澜襯鳳。 目前，人脸识别的常用方法有：2.3.1 基于几何特征的识别方法这种方法是基于人脸面部结构的几何关系的先验知识，提取人脸面部主要器官的几何特征，用一组几何特征向量来表示整个人脸。识别过程就是特征向量之间相似性的匹配过程，采用比较多的是采用欧氏距离作为判决的准则。这种方法比较简单，特征存储量比较小，但是从人脸图像提取稳定的个性化特征相对比较困难，而且特征受表情和姿态变化的影响很大。嗫奐闃頜瑷踯谫瓒兽粪。2.3.2 基于特征脸的识别方法特征脸法是一种基于主成分分析的人脸识别方法。这种方法用代数特征向量来表示人脸。Sirovich和Kirby最先将 K.L变换（Karhunen-Loeve Transform）用于人脸图像的表示。Turk和Pentland首先提出了“特征脸”方法。该方法使用 K-L 变换将图像从高维向量转换为低维向量，然后便形成一个低维的线性微量空间，人脸在这个空间的投影便是人脸的特征向量，可以用于识别。而“特征脸”其实就是这个所有子空间的正交基。在这种方法的基础上，学者们又提出了许多特征子空间方法，如Swets等人提出的线性判别法，Peng等人提出的双子空间法，Belhumeur等人提出的Fisherface方法8。“特征脸”分析法又称为主分量分析法。尽管特征脸算法是目前人脸识别技术的主流方法，但它对人脸图像的归一化要求较高，其性能易受到光照和姿态的影响，因此近几年来学者们提出了各种改进版本或扩展算法，如Yang等人提出了基于高阶统计的PCA方法；Pujol等人利用人脸样本拓扑关系提出了一种拓扑PCA方法；Takeshi等人9则将特征脸分解到两个正交的特征空间中以实现在不同的光照条件下鲁棒性识别；张辉等人10采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别；彭辉等人11也提出了特征脸的进一步改进方法，采用类间散布矩阵作为产生矩阵，以降低运算量。Brennan等人12的算法则组合了多精度、PCA方法。虚龉鐮宠確嵝誄祷舻鋸。2.3.3 基于神经网络的方法神经网络人脸识别方法的研究近几年来比较活跃。神经网络可以用于人脸特征提取，也可以用来设计分类器。其中自适应主分量网络算法是比较成熟的人脸特征提取算法。径向基函数（RBF）神经网络具有逼近性好和训练速度快等特点，在人脸识别方面发挥重要作用。神经网络还和一些传统的识别方法相结合使用，提高人脸识别系统的准确性和鲁棒性。神经网络在非线性特征提取和分类方面具有良好的分类效果。但是所需要的神经元数量巨大，网络结构复杂。性能也有可能随着样本的急剧增加而迅速下降。與顶鍔笋类謾蝾纪黾廢。2.3.4 基于支持向量机的方法支持向量机（SVM）是基于统计学习理论的学习方法。它通过构造最优超平面，使得对未知样本分类具有最优的推广能力。SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。支持向量机已经成为近年来的研究热点。Lee提出了用遗传算法提取人脸面部特征13，用支持向量机对人脸特征进行分类；Guo等提出用特征脸法提取人脸特征，然后再用支持向量机对人脸特征进行分类；支持向量机具有许多优势，但快速学习算法是其要进一步解决的问题。本文采用支持向量机LBP直方图匹配实现人脸识别系统，在后面将会详细介绍14。結释鏈跄絞塒繭绽綹蕴。2.4 本章小结本章主要介绍了多种人脸检测和匹配的方法，并对比了这些方法的优缺点， 在Android系统中主要采用了基于知识的人脸检测方法。本文采用AdaBoost的人脸检测方法和通过LBP直方图匹配的人脸识别方法。餑诎鉈鲻缥评缯肃鮮驃。第三章 AdaBoost算法和直方图匹配原理在基于计算机视觉的目标检测中，主要都是基于以下过程图15，如图3.1。图3.1 目标检测过程图在上面的过程中，特征提取和分类器是整个检测过程的核心部分。图像采集一般都是用图像感官器件获取原始图片信息。预处理为了进行特征提取而做的准备，其主要工作是把获取到的图片信息进行整理并归一化。本文主要目的是在图像上检索人脸信息，所以首先要考虑的是提取什么样的特征。接着需要考虑使用何种分类算法来将特征分开并训练分类器。本章就是按照这个顺序，介绍所使用的特征提取方法，接着介绍所使用的分类器。爷缆鉅摯騰厕綁荩笺潑。3.1 特征与特征值计算特征选取和特征计算对于AdaBoost 人脸检测训练算法是非常重要的，这两个方面决定了AdaBoost算法的运行速度。本文主要使用的是Haar特征，用于进行特征提取，并采用积分图来计算特征值。由于采用了积分图，在进行计算时，能够在常量时间范围内计算出每一个特征值，这大大的提高了人脸检测速度。锞炽邐繒萨蝦窦补飙赝。3.1.1 矩形特征在给定有限的数据情况下，基于特征的检测能够对特定区域的状态进行编码。矩形特征的定义是对输入图像使用矩形进行提取特征。对于一幅图片，所提取的矩形特征数量是巨大的，所以需要通过一定算法对所获取的矩形特征进行提取，然后通过相应的算法组合成强分类器，最终用于人脸检测。矩形特征值定义为两个不同的矩形区域像素和之差。本系统主要使用的3种类型分别为2-矩形特征、3-矩形特征、4-矩形特征，其分别对应如下的A、B、C、D各图，如图3.2。曠戗輔鑽襉倆瘋诌琿凤。图3.2 矩形特征模板根据矩形特征值的定义，图3.2 中的A，B和D这三个特征模板的特征值计算公式为：v=Sum白-Sum黑 (3.1)而对于C 图来说，计算公式如下：v=Sum 白-2Sum 黑 (3.2)轉厍蹺佥诎脚濒谘閥糞。在(3.2)中，将黑色区域像素和乘以2，主要是为了使两种矩形区域中像素数目一致。在进行特征提取时，可以通过改变特征模板的大小与所处的位置，就可以获得很多的特征值。单个矩形特征的计算是非常简单与快速的16。但是在具体的使用过程中，需要各类原型特征模板以多种尺度在图像区域内的各个位置进行计算，从而导致了特征数量的总量相当大，这也带来了非常大的计算量。假设W，H 分别为图像窗口的宽度和高度，X=W/w，Y=H/h，那么对于矩形特征原型，其特征数量的计算如下：嬷鯀賊沣謁麩溝赉涞锯。N=X Y(W+1-wx-12)(H+1-hY+12) (3.3)在人脸检测过程中，一个2424的图像窗口内的特征总数达到110000多个。如果每次都进行特征提取，都得重新计算，那么将导致后续检测的速度很慢。于是Viola 等人提出了积分图的概念，加快了特征值的计算速度。讯鎬謾蝈贺綜枢辄锁廪。3.1.2 积分图通常训练样本有近万个，随之而来的是获取到的矩形特征的数量非常庞大，于是Viola 等人基础了积分图像的概念17，加快了矩形特征的计算速度。通过计算得到所研究的积分图像后，每个位置的矩形特征都能够固定的时间内计算得到。积分图的定义为：某个像素点的积分图为图像原点到该点的矩形区域内的所有像素值之和。在计算积分图时，所使用的像素值为图像点的灰度值，如果图像为彩色图像，则需要对彩色图像进行灰度转换。兒躉讀闶軒鲧擬钇標藪。图3.3 垂直矩形的积分图像矩形的积分图像的公式定义如下：其中I(x,y)为图像在点(x,y)处的灰度值。图像I 的积分图可使用递推公式计算：sx,y=sx,y-1+ix,ycx,y=cx-1,y+sx,y (3.4)繅藺詞嗇适篮异铜鑑骠。其中s(x,y)表示为列积分，其意义表示的是图像点(x,y)及其在y 方向上所有图像点的灰度值之和。可以定义为：鮒簡觸癘鈄餒嬋锵户泼。sx,y=yyix,y (3.5)在使用积分图的表示方法下，特征值的计算只和图像端点相关。所以不管特征矩阵的位置如何，计算特征值的时间复杂度都是O(1)。只要遍历图像一,就可以求得所有图像子窗口的特征值。眯毆蠐謝银癩唠阁跷贗。其中在这些假定下，有两种运算：（1） 计算任意矩形的积分图像 图3.4 积分图计算如图3.4 所示，像素点1 的积分图像c1 的值为矩形图像区域内的所有像数灰度值之和。由于像数点1 矩形区域的一个顶点在原点，则像素点1 的积分图为：C1=sum(A)，其中sum 表示区域内中的所有像素的灰度值和。闵屢螢馳鑷隽劍颂崗鳳。与像素点1 的积分相同，像素点2、像素点3、像素点4 的积分图像分别为：