（计算机应用技术专业论文）人脸识别技术的实现及其在远程身份验证中的应用.pdf

北方工业大学硕士学位论文 摘要 远程身份验证是指用户通过网络访问远程服务器时，服务器为了确保系统 安全而采用某种手段针对用户身份有效性进行的验证。很多c s 结构的计算机 系统都要进行远程身份验证。传统的远程身份验证采用“用户名+ 密码”的方 式，存在密码被破译和盗用的危险，不能满足安全性要求较高系统的要求。 人脸作为一种人体生物特征，具有难以伪造、不会遗失、随身携带、方便 易用等特点。人脸识别已经成为了模式识别领域的一个研究热点，技术已经比 较成熟，达到了实用的程度，目前已有将人脸识别应用于门禁控制和刑侦破案 的产品，但还没有将人脸识别应用于远程身份验证的实例。 本课题将人脸识别技术应用于远程身份验证。首先研究分析了已有的人脸检 测和特征提取算法，针对远程身份验证的要求给出了基于人脸识别的远程身份验 证解决方案。在本方案中，在客户端采用基于肤色的人脸检测方法检测人脸，将 经过预处理的人脸图像提交给服务器，在服务器端采用基于奇异值和f l d 的方 法提取人脸特征，采用基空间集合方式训练人脸库，采用类内平均距离作为判据 进行身份验证。最后按上述方案实现了一个实例。实验结果证明该方案可以克服 传统远程身份验证方式的缺陷，具有可行性。本方案适用于c s 结构的对安全要 求较高的计算机系统，可提高系统身份验证机制的安全可靠性。人脸识别在远程 身份验证中的应用一定会有广阔的应用范围和良好的前景。 关键字：人脸识别，人脸检测，远程身份验证 北方工业大学硕士学位论文 r e m o t ei d e n t i f l c a t i o na u t h e n t i c a t i o ni sam e t h o da d o p t e db yt h es e r v e rt oa r l s u r e t h a tt h eu s e r si d e n t i f i c a t i o ni sa u t h o r i z e dw h e nt h eu s e l l o g g i n go nt h es c l v e r m a n yo f t h e c o m p u t e rs y s t e m sb a s e d o nc sa r c h i t e c t u r en e e d r e m o t ei d e n t i f i c a t i o n a u t h e n t i c a t i o n t h e 位a d i t i o n a lm e a r l so f r e m o t ei d e n t i f i c a t i o na u t h e n t i c a t i o nt a k e s 眦 o fi l g e rn a m ea n dp a s s w o r d b u tt h i sm e t h o dh a ss o m ed i s a d v a u t a g e ss u c ha st h a tt h e p a s s w o r dc 锄b es t o l e na n dd e c r y p t e d s ot h et r a d i t i o n a lm e i sc a nn o ts a r i s t h e s y s t e m s n e e d i n gh i 曲s e c u r i t y a so n eo f t h eh u m a n b e i n g sb i o l o g i c a lc h a r a c t e r i s t i c sf a c eh a sm a n y a s s e t ss u c ha s h a r dt ob ef a k e d , c a l ln o tb el o s t ，e a s yt ob eu s e da n ds oo n f a c er e c o g m t i o nh a s b e c o m eah o t s p o to fp a t t e r nr e c o g n i t i o n t h et e c h n o l o g yo ff a c er e c o g n i t i o nh a s b e c o m en l a t i l r ea n dc mb et a k e ni n t od r a c t i c e n o wf a c er e c o g n i t i o nh a sb e e na p p l i e d i n t oc r a c k i n gc r i m i n a lc a s e sa n de n l t s l l o 七c o n t r 0 1 i ti ss 自o m st h a tf a c er e c o g n i t i o nh a s n o tb e e n1 1 5 e da sam e t h o dt op e r f o r mr e m o t ei d e n t i f i c a t i o na u t h e n t i c a t i o n t i l i ss u b j e c ta p p l i e sf a c er e c o g n i t i o ni n t or e m o t ei d e n t i f i c a t i o na u t h e n t i c a t i o n f i r s t ，s o m ee x i s t i n gf a c ed e t e c t i o na l g o r i t h m sa n df e a t u r ee x t r a c t i o na l g o r i t h m sa r e r e s e a r c h e da n da n a l y z e da n das o l u t i o no f r e m o t ei d e n f i f i c a t i o na u t h e n t i c a t i o nb a s e do n f a c er e c o g n i t i o ni sp r o p o s e d a c c o r d i n gt ot h i ss o l u t i o n ，t h ec l i e n ta d o p t sf a c ed e t e c t i o n a l g o r i t h mb a s e d0 1 1s k i nc o l o ra n ds e n d st h ep r o c e s s e df a c ep i c t u r et ot h es e r v e r ；, t h e s e r v e ru s e sf e a t u r ee x t r a c t i o na l g o r i t h mb a s e do ns i n g u l a rv a l u ea n df l dt oe x t r a c t f a c ef e a t u r e s ，t r a i n st h ef a c eb a s eu s i n gb a s es p a c ec o l l e c t i o na n dt a k e si n n e rc l a s s a v e r a g ed i s t a n c ea si d e n t i f i c a t i o nc r i t e r i a i nt h ee n d , a ni n s t a n c eo ft h i ss o l u t i o ni s r e a l i z e d n l ee x p e r i m e n tr e s u l ts h o w st h a tt h i ss o l u t i o nc a nc o n q u e rt h ed e f e c t so f t h e t r a d i t i o n a lm e a n sa n di sa p p l i c a b l e t t l i ss o l u t i o nc a nb ea p p l i e di n t ot h ec o m p u t e r s y s t e m sn e e d i n gh i g hs e c u r i t y ，i tc a np r o v i d eam u c hm o l er e l i a b l ea n ds a f e i d e n f i f i c a t i 叫a u t h e n f i c a t i o nm e c h a n i s m t h e r ew i l lb ew i d e s c o p ea n dg o o d p e r s p e c t i v eo f t h ea p p l i c a t i o no f f a c er e c o g n i t i o ni nr e m o t ei d e n t i f i c a t i o na u t h e n t i c a t i o n k e y w o r d s ：f a c er e c o g n i t i o n ，f a c ed e t e c t i o n ，r e m o t ei d e n t i f i c a t i o na u t h e n t i c a t i o n 3 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北 友王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名：董博生签字日期：2 i ，。了年了月撕日 学位论文版权使用授权书 本学位论文作者完全了解j e 友王些太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权北方工业大学可以将学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：蔷博隹 签字日期：硼年f 月阳日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名：彳古乏形乞 签字日期：脚于月加日 i 电话： 邮编： 北方工业大学硕士学位论文 1 引言 1 1 研究的背景与意义 随着世界经济的飞速发展，科学技术的日新月异，人类社会进入了信息化 时代。信息化的快速推进，使得计算机系统安全变得越来越重要。几乎所有采 用c s 结构的计算机系统，在用户进入系统时都要通过远程身份验证确认该用 户的身份是否真实、合法，防止非法人员进入系统。远程身份验证对于保证计 算机系统的安全起着至关重要的作用。 传统的远程身份验证采用“用户名+ 密码”的方式，存在密码被破译和盗用 的危险。如今由于密码被盗用而造成损失的事件时有发生。由此可见单一传统 的远程身份验证方式已经不能满足对安全性要求很高的系统了。 人体生物特征识别是依据人体生物特征( 面像、指纹、掌纹、视网膜、虹 膜等) ，利用图像处理技术和模式识别来达到身份鉴别或验证目的的一门科 学，主要有人脸识别、指纹识别、掌纹识别、视网膜识别、和虹膜识别等。由 于人体生物特征是人体的内在属性，具有很强的自身稳定性和个体差异性，且具 有难以伪造、不会遗失、随身携带、方便易用等特点，所以人体生物特征是进 行身份验证理想的依据，使用人体生物特征识别技术进行身份验证，可以克服 传统身份验证方式的缺点。 人脸识别作为人体生物特征识别技术中的一种，在很多方面优于其他技 术。人脸识别技术不需要像指纹识别和虹膜识别一样使用特殊的特征采集设 备，只需一个摄像头即可；人脸比其他的人体生物特征更具直观性，通过人脸 图像很容易辨认出被验证的人是谁，通过保存识别纪录可以提供良好的追踪； 人脸图像相比其他生物特征更容易采集，不需要人过多的配合，易于用户接 受。 人体生物特征识别技术有着广阔的市场前景。据国际生物集n ( n 3 g ) 的统 计：到2 0 0 7 年，全球人体生物识别技术的市场将达到4 0 亿美元。人体生物特 北方工业大学硕士学位论文 征识别技术这一产业面临着前所未有的巨大机遇。有专家预测，未来1 0 到1 5 年，人体生物特征识别术将深入到人们生活的方方面面，从而被认为是保障国 家经济、国防安全以及普通公民财产、人身安全的最重要的技术，而人脸识别 技术将在这一市场中占有重要地位。 另外，人脸识别的研究还涉及一i i , 理学、生理学、人工智能、模式识别、计 算机视觉、图像分析与处理等多个科学领域，更是模式识别、人工智能和计算 机视觉的研究热点之一。对这一问题的研究，有助于其他学科的发展，人脸识 别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值。 1 2 远程身份验证 远程身份验证是指用户通过网络访问远程服务器时，服务器为了确保系统 的安全而采用某种手段针对用户身份有效性进行的验证。大量c s 结构的计算机 系统都要进行远程身份验证。传统的远程身份验证多采用“用户名+ 密码”的方 式，其工作流程如图1 1 所示。 输入用户名 谭 服务器端 i i 输入密码l 提取存储的1 i j用户密码r 7 l 发送川户名和 密码 誊 l 接收结果 1 “r 图1 1 传统远程身份验证i ：作流程图 2 北方工业大学硕士学位论文 1 3 人脸识别简介 人脸识别技术是通过计算机提取人脸图像的特征，并根据这些特征进行身份 验证或鉴别的一种技术。人脸与其他的人体生物特征一样与生俱来，它们所具有 的唯一性和不易被复制等良好特性为身份验证和鉴别提供了必要前提；同其他 人体生物特征识别技术相比，人脸识别技术具有操作简单、结果直观、用户友好 等优点。 人脸识别技术可以分为两类m ，一类是人脸鉴别，另一类是人脸验证。 人脸鉴别需要确定待识别的人脸图像是谁的，此为一对多的匹配过程。系 统将待识别人脸图像与数据库中存储的所有已知身份的人脸图像进行一一比较 来确定待识别者的身份，通过在数据库中寻找与待识别人脸图像相似度最高的 人脸图像来完成对待识别人脸图像的鉴别。 人脸验证需要确定待识别的人脸图像是否为某人的，此为一对一的匹配过 程。系统先按照待识别者所声称的身份( 如姓名或用户名) ，查找出已存储的该 人的人脸图像，然后按照某种决策或匹配原则，将存储的人脸图像与待识别者 提供的人脸图像进行对比，从而判定待识别者身份的真实性。 一个典型的人脸识别工作流程如图1 2 所示。从图1 2 可以看出，一个典型 的人脸识别过程一般需要经过以下四个步骤：人脸检测，图像预处理，特征提 取和特征匹配。下面分别对这四个步骤进行描述。 3 北方工业大学硕士学位论文 1 3 1 人脸检测 图1 2 人脸识别工作流程图 人脸检测是指在输入的图像或视频中确定存在的入脸的位置和大小。入脸 检测的输入是包含人脸的图像或视频，输出是关于图像中是否存在人脸以及人 脸的数目、位置、尺度等信息的参数化描述。 人脸识别系统要求所使用的人脸图像只包含人脸信息，尽量不要存在除人 脸图像以外的干扰信息，如背景图像等，而从摄像头等采集设备采集到的人脸 图像往往含有背景图像，所以在进行特征提取之前，需要通过人脸检测在静态 图像或视频中检测出其中包含的人脸的位置、大小，从而提取出人脸图像，把 干扰信息去除掉。通常一个完整的人脸识别过程的第一步就是人脸检测，人脸 检测效果的好坏将影响到识别的效果，因此人脸检测在人脸识别过程中是很重 要的。 4 北方工业大学硕士学位论文 1 3 2 图像预处理 人脸识别系统要求所使用的人脸图像是具有标准大小和一定厌度范围的灰 度图像，而经人脸检测得到的人脸图像往往是大小不一的彩色图象，再有由于 光照明暗程度不同，头部姿势不同以及设备性能的优劣等，使得人脸图像存在 着对比度不同、人脸位置不同等缺点，这将影响识别的正确率，我们希望在进 行特征提取之前通过图像预处理使得在不同的成像条件下拍摄到的图像具有一 致性，减轻因头部姿势的不同带来的差异。图像预处理的目的是通过使用数字 图像处理技术将人脸检测阶段得到的彩色图像转化为人脸识别算法所需要的标 准正面厌度图像，为特征提取做好准备。图像预处理效果的好坏将会影响到识 别的效果，应尽量保证图像预处理阶段取得的人脸图像的质量。 1 3 3 特征提取 模式识别中很难设计高维识别问题的分类器，由于人脸图像数据在其原始 样本空间中的维数非常高，以1 0 0 1 0 0 的位图来说，展开向量的维数高达1 0 0 0 0 维，为这样高维的模式识别问题设计分类器，几乎是不可能的，也就无法进行 有效的分类识别，所以在进行人脸识别时不会在原始样本空间中进行识别运 算，而是通过线性或者非线性的映射机制把原始人脸图像映射到一个低维空间 中，在此低维空间中进行识别。 低维空间中描述人脸所用的数据就是人脸特征，此低维空间即特征空间。 通过使用映射机制将原始人脸图像数据从高维的原始样本空间映射到低维的特 征空间中，得到人脸低维表示的操作就是特征提取。特征提取将对分类有意义 的低维信息作为该模式的特征提取出来，具有提高识别准确率、减少运算量的 作用。寻找稳定和有效的人脸特征是解决人脸识别问题的关键。良好的特征应 具有可区分性、稳定性和独立性。可区分性是指不同类别样本的特征之间具有 差异，且差异越大越好。稳定性是指相同类别样本的特征应接近，且越接近越 好。独立性是指选择的各个特征之间应彼此不相关。 人脸库中会预先存储一些已知类别的人脸图像样本。在对待识别人脸图像 进行识别之前，对所有已知的人脸图像进行运算，从而得到特征提取所需要的 5 北方工业大学硕士学位论文 映射机制，然后使用此映射机制对所有已知的人脸进行特征提取，并计算一些 对进行识别有意义的数据，这个过程称为人脸库训练。人脸库训练得到的映射 机制，人脸特征和对迸行识别有意义的数据称为训练结果，可以将训练结果存 储起来，从而提高运算效率。 1 3 4 特征匹配 人脸识别的基本功能是通过特征匹配来判断待识别人脸图像的所属类别， 完成这一功能需要我们进行分类器的设计。我们把从待识别图像中提取到的特 征输入到分类器中，通过分类器进行特征匹配，然后输出识别结果。 1 4 人脸识别应用 人脸识别技术具有广泛的应用范围，在国家安全、军事安全和公共安全等 方面都有广泛的应用。特别是在美国9 1 1 事件、伦敦地铁爆炸事件之后，国际 上无论是商业还是政府部门，对人体生物特征识别系统的需求越来越广泛，而 人脸识别作为其中最具实用潜力的一项技术，吸引着更多的学者专家研究这项 极富挑战性的课题。以下是它的几个典型应用【2 】： 1 4 1 银行金融系统中的应用 银行金融系统对安全防范控制系统有着极高的要求，如对会库的安全设 施、保险柜、自动柜员机以及电子商务信息系统等都需要人脸识别技术这种更 直观、准确、可靠的识别技术。 近年来，会融诈骗、抢劫发生率有所增高，对传统的安全措施提出了新的 挑战。而人脸识别技术根本不需要带任何的电子、机械“钥匙”，可杜绝丢失 钥匙、密码的现象。如果配合i c 卡、指纹识别等技术，就可以使安全系数成倍 增长。而且，由于对每次操作事件都保存一条有时问、日期和人脸图像的记 录，所以它具有良好的可跟踪性。 一6 北方工业大学硕士学位论文 当前，银行系统正在开展保险柜出租、托管的业务，银行使用这种识别技 术，可以提高安全系数和客户对银行的可信度。此外，若在a t m 自动取款机上 应用这种识别技术，可以解除用户忘记密码的苦恼，还可以防止冒领、盗取等 事件发生。 1 4 2 政法系统中的应用 当前，我国的公、检、法正加强对经济、刑事等犯罪行为的打击力度，正 在联合开展“追、逃”斗争。目前多是将逃犯的照片、身份证、特征资料上网 发布。但这种方法的判断要通过多种技术鉴定，它对使用假证件犯人的查询有 较大的难度，对犯罪分子的狡辩、伪装往往要消耗大量的时间和物力来进行确 认。如果利用人脸识别技术，则可以大大提高工作效率，并能对犯罪分子产生 极大的威慑力量。如在重要的车站、码头、机场、海关等出入口附近架设摄像 机，系统可在无人职守的情况下自动捕捉进、出上述场所的人员的头像，再通 过网络将头像特征数据传送到计算机中心数据库去，与逃犯的头像进行比较， 迅速准确地做出身份判断，一旦发现是吻合的头像，即自动记录并报警。如英 国伦敦警察局，由于最近使用了人脸识别系统，在三个月内破案率就提高了 3 4 。 1 4 3 其他方面的应用 除在上面两大领域的应用外，人脸识别技术可广泛应用于军队、公安、党 政机关、物业管理等部门的安全验证、监控、门禁控制等多个方面。 1 5 人脸识别的研究历史与现状 1 5 1 国外研究历史与现状 人脸识别的研究已有很长的历史 3 1 ，早在1 9 世纪后期，f r a n c i sg a l t o n 就曾 对此问题进行了研究，他用一组数字代表不同的人脸侧面特征来实现对人脸侧 面图像的识别。一直到2 0 世纪9 0 年代以前，典型的人脸识别技术始终是用人 脸正面或侧面的特征点之间的距离量度，而且早期的人脸识别多集中于对侧影 7 北方工业大学硕士学位论文 图像的研究。h a r m o n 等人利用与g a l t o n 类似的方法识别人脸，他采用9 个基准 点表征侧影，在此基准点上导出一组特征，然后利用特征之问的归一化欧式距 离进行识别。k a u f i n a n 和b r e e d i n g 也设计了一个对人脸侧影进行识别的系统， 他们采用基于特征的方法，其中特征为极坐标形式的自相关函数的系数，他们 同时对动量不变性特征进行了实验。b a y l o u 等人选择l o 个特征点对人脸侧影进 行识别，、u 和h u a n g 则采用三次b 样条函数抽取6 个侧影基准点，利用从中 导出的2 4 个特征对东方人的侧影人脸图像进行匹配识别。l a p r e s t e 等人利用距 离探测器来获得入脸侧影图像并从中抽取特征点，然后用欧式距离对人脸进行 匹配。l e e 和m i l i o s 同样利用距离图像来匹配两幅人脸侧影的相似特征。由于侧 影知识对获耿图像的约束较多，人们逐渐转向对正面人脸的识别研究。 最早的半自动正面人脸识别系统由b l e d s o e 于2 0 世纪6 0 年代提出。在该人 脸识别系统中，首先由操作员定出面部特征点，给定这些特征点之间的距离， 并将其位置输入计算机，采用最近邻原则即可识别待测试的人脸。 总的来说，早期的人脸识别方法都需要利用操作员的某些先验知识，仍然 摆脱不了人的干预。2 0 世纪9 0 年代以来，随着高性能计算机的出现，人脸识别 方法有了重大突破，进入真正的机器自动识别阶段，人脸识别研究也得到了前 所未有的重视。 国外有很多大学在此方面取得了很大进展，他们研究涉及的领域很广，其 中有从感知和心理学角度探索人类认知人脸机理的，如美国t e x a sa td a l l a s 大学 的a b d i 和t o o l e 小组：由s t i r l i n g 大学的b r u c e 教授和g l a s g o w 大学的b u r t o m 教 授合作领导的小组，主要研究人类大脑在人脸认知的作用池有从视觉机理角度 进行研究的，如英国a b e r d e e n 大学的c r a w 小组，主要研究人脸视觉表征方 法。更多的学者则是利用输入图像进行计算机人脸识别的研究工作。在用静态 图像或视频图像做人脸识别的领域中，国际上形成了以下几类主要的人脸识别 方法：基于几何特征的人脸识别方法，主要代表是m r r 的b r u n e l l i 和l o g g i o 小 组；基于模板匹配的人脸识别方法，主要代表是h a r v o r d 大学s m i t h k e t t l e w e l l 眼睛研究中心的y u i l l e 小组；基于k - l 变换的特征方法，主要研究者是m 媒 体实验室的p e n t l a n d 小组：隐马尔可夫模型方法，主要代表有c a m b r i d g e 大学 一8 一 北方工业大学硕士学位论文 的s a m a r i a 小组和g e o r g i a 技术研究所的n e f i a n 小组；神经网络识别方法，如 p o g g i o 小组提出的h y p e r b f 神经网络知识方法等。 1 5 2 国内研究历史与现状 国内关于人脸识别的研究始于2 0 世纪8 0 年代，主要是在国际上流行方法 基础上作了发展性工作。 四川大学周激流等实现了具有反馈的人脸正面识别系统，运用积分投影法 提取面部特征的关键点并用于识别，获得了较为满意的效果。他们同时尝试了 “稳定视点”特征提取方法，为使系统中包含3 d 信息，他对人脸侧影剪影识别 做了一定研究，并实现了正、侧面互相参照的识别系统。 中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，采用基 于知识的三级金字塔结构对人脸进行分割和定位，前两级建立在不同分辨率的 镶嵌图基础上，用于对人脸进行基本定位，第三级用一种改进的边缘检测方法 进一步检测眼睛和嘴。基于这些器官的匹配就可进行人脸识别。 清华大学张长水等对特征脸的方法做了进一步发展，提出采用类间散布矩 阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下大大 降低了运算量。他们对多模板的人脸检测问题也进行了研究。 南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研究，如 用d a u b e c h i e s 正交小波变换对人脸图像作预处理，得到它在不同频带上的4 个 子图像，对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种 适用于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。 他们还研究了基于f i s h e r 最佳鉴别矢量的人脸识别方法，并对神经网络用于人 脸识别也进行了研究。 上海交通大学李介谷等则专门研究了人脸斜视图像的数学模型，并对如何 从斜视图像特征中恢复出标准特征做了一定研究，对如何消除识别中斜视的影 9 北方工业大学硕士学位论文 响，提高识别率有一定的帮助。他们还研究了基于计算机视觉场模型的人脸识 别技术。 东南大学何振亚等采用对称主元分析神经网络，用去冗余和权值正交相结 合的方法对人脸进行特征提取和识别。实验表明，该方法所用特征数据量小， 特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识 别。富煌清等用基于神经网络的主成分分析法提取人脸的主特征向量，并将之 用于人脸识别和恢复。 与此同时，中科院自动化所、公安部等单位也进行了人脸识别方面的研究， 并取得了一定的成果。 1 6 本文主要工作 本文主要在研究了当前人脸识别的主流算法的基础上，给出了基于人脸识 别的远程身份验证解决方案，并实现了该解决方案的一个实例。论文的主要内 容如下： 第二章研究了主流的入脸检测算法，分析了各种算法的优缺点，确定了适 合本课题的基于肤色的人脸检测算法，并给出了实验结果。 2 第三章研究了人脸识别中人脸图像预处理所使用的数字图像处理技术，并 给出了实验结果。 3 ，第四章研究了几种典型的人脸特征提取方法，分析了它们的优缺点，确定 了适合本课题的基于奇异值和f l d 的特征提取方法。 4 第五章研究了人脸库训练方式和身份验证判据。 5 第六章对基于人脸识别的远程身份验证方案进行了系统分析并确定了技术 路线，给出了系统结构、工作流程和数据库设计。 1 0 北方工业大学硕士学位论文 6 第七章综合前面几章的工作，实现了基于人脸识别的远程身份验证方案的 一个实例。 7 最后，对本文的工作进行了总结。 北方工业大学硕士学位论文 2 人脸检测 通常，一个完整的人脸识别系统的第一步就是人脸检测，这一步效果的好 坏将影响到识别效果。本章介绍一些典型的人脸检测方法，并结合本课题的实 际情况选择了基于肤色的人脸检测方法。 2 1 人脸检测方法的选择 下面简要概括一下几种主要的人脸检测方法 6 1 。 基于知识的人脸检测方法 基于知识的人脸检测方法是基于规则的，规则来源于研究者对人脸结构特 征的先验知识( 如人脸有对称分布的两只眼睛一个鼻子和一张嘴巴，脸部器官之 间的关系可以由它们之间的距离和相对位置来表示) ，通过验证目标图像是否符 合规则，来判断是否是人脸。制定合理充分的规则是这种方法的难点和关键。 由于很难把经验转化为定义完备的规则，所以这种方法检测率不高。此外，这 种方法无法适应不同的人体姿势。 y a n g 等【7 1 首先提出了基于知识规则的由粗到细的三级结构来检测人脸。通 过平均采样的方法，可以得到原图象在多个不同分辨率下的图像，这些低分辨 率的图像被称为镶嵌图( m o s a i ci m a g e ，又称为马赛克图) 。首先，在最低两级 分辨率的镶嵌图中，采用一系列规则来快速地获得人脸候选区域，比如需符合 入脸狄度特征分布、相邻区域内灰度的关系等，这主要包括了入脸图像的概括 性描述；然后在最高分辨率图像中，提取人脸的边缘特征，符合眼睛、嘴巴结 构特征的候选区域被最终确认为人脸图像，这层的规则主要包含了对人脸各个 器官的描述，但该方法的检测精度并不高。 基于模板匹配的人脸检测方法 基于模板匹配的人脸检测方法预先将标准脸部模型通过函数式预定义或参 数化，分类时给出一幅输入图片，分别计算脸部轮廓、眼睛、鼻子以及嘴等与 一1 2 北方工业大学硕士学位论文 标准模板比较所得的相关值，人脸存在与否就根据这些相关值确定。这种方法 对人脸大小和姿态的差异比较敏感。 相关模板匹配法通过计算一个未知模式和一个固定的已知人脸模式之间的 相似性，来判定未知模式是否为人脸模式。但是由于人脸模式变化太大，所以 一个固定的人脸模板无法对其进行描述。于是，袁超等采用多个相关子模板( 比 如眼睛模板、嘴巴模板等) 来检测人脸模式上的局部特征。从本质上说，可变模 板匹配法与相关模板匹配法类似，不同之处在于，可变模板法添加了非固定的 可变单元，来适应人脸模式的不同变化。y u i l l e j 9 1 使用参数化的曲线和曲面来对 人脸上的变化较大的局部特征建模，比如对眼睛、鼻子和嘴巴建模。匹配过程 采用参数化的曲线或曲面与相应的人脸局部特征相匹配的原则，同时使模板中 变形“张力”最小。单一使用模板匹配很难达到预期的效果，因此很多论文中 的方法是将模板匹配与其它方法结合起来进行人脸检测。 基于神经网络的人脸检测方法 人脸是一个结构化的视觉模式，同时由于人脸模式难以参数化表示，所以 可以采用大量的样本学习方式训练神经网络来进行人脸检测。训练样本包括人 脸样本和非人脸样本两类。训练好的网络可以判别一个输入模式是否为人脸。 该方法无需对人脸进行建模，但是神经网络的方法需要采集大量的学习样本， 没有理论指导如何采集样本；在通常情况下，输入样本维数也很高，有可能分 类界面过于复杂，使得系统训练不收敛，运算量大，很难符合实时性要求。 基于肤色的人脸检测方法【1 0 l 对于彩色图像而言，肤色是人脸图像的重要信息，它不依赖于面部的细节 特征，对于旋转、表情等变化情况都能适用，具有相对稳定性并且能和大多数 背景物体的颜色相区别，使用肤色进行人脸检测是最直观、并且最有效的方 法。基于肤色的人脸检测方法检测成功率高，速度快，满足实时性的要求。 因为本课题需要从实时视频流的彩色图像中检测人脸，本课题采用了基于 肤色的人脸检测方法，下面将对基于肤色的人脸检测方法进行详细介绍。 1 3 北方工业大学硕士学位论文 2 2 基于肤色的人脸检测方法 肤色特征是进行人脸检测最常使用的一种特征。肤色特征由肤色模型描 述。常用的肤色模型有区域模型、简单高斯模型、混合高斯模型等。使用何种 肤色模型与色彩空间的选择密切相关。常用的色彩空间主要有r g b 、h s i 和 y c b c r 等色彩空问。 2 2 1 色彩空间 色彩属性包括亮度、色度和饱和度，亮度反映了明亮程度；色度指红色、 绿色等颜色信息；饱和度是指单色光中加入的白色光比例。同一种颜色在计算 机中有不同的表达方式，这样就形成了各种不同的色彩空间。各种色彩空间只 是颜色在计算机内不同的表达形式而已，每一种色彩空间都有各自的产生背 景、应用领域。主要的色彩空间有r g b 、h s i 、和y c b c r 等。r g b 色彩空间是 最基本的色彩空问，在此空间中，任何颜色都可以由红( r ) 、绿( g ) 、蓝( b ) - - - 种 基本颜色按不同比例混合得到。其他的色彩空间与r g b 色彩空间可以按一定的 关系进行转换。下面介绍这几种色彩空间。 r g b 色彩空间 r g b 色彩空间是人们使用最多、最熟悉的色彩空问，它采用红( r ) 、绿 ( g ) 、蓝( b ) 为基色，在此空间中任何颜色都可以由红、绿、蓝三种基色按不同比 例混合得到，三基色混合效果如图2 1 所示。r g b 色彩空间通常采用图2 2 所示 的单位立方体表示，正方体三维空阃中的三个轴分别与红、绿、蓝三基色相对 应，主对角线上，各基色的强度相等，产生由暗到明的白色，也就是不同的厌 度值，原点对应于黑色，离原点最远的顶点对应于白色，正方体的其它六个顶 点分别为红、黄、绿、青、蓝和品红，其他颜色落在三维空间中由红、绿、蓝 三基色组成的彩色立方体中。 1 4 北方工业大学硕士学位论文 黄= 红+ 绿晶红一红+ 蓝 青= 绿+ 篮白= 红+ 绿+ 蓝 图2 1r g b 三基色混合效果图 篮( o o 。1 ) 晶红椰。1 ) l ( 一 ， l i t 雾1 0 ，o o ) 红( 1 i o p ) 燎 ( 1 。l i o ) 图2 2r g b 立方体图 0 ，l o ) 在这个色彩空间中，r g b 分量均含亮度信息，相关性大，环境光照变化时 很容易导致r g b 值变化。但对于同一点，在不同亮度下的相应值是成比例的： 墅：鱼：旦 r 2g 2b 2 公式( 2 1 ) 也就是说，同一点在不同强度的光照下颜色深浅变化只是亮度不同而已。因此 常将其归一化为r g b 模型： 1 5 北方工业大学硕士学位论文 公式( 2 2 ) 由公式2 2 可以看出什g + b = 1 ，所以一般只使用r g 空间，实际上公式2 2 实现了 颜色信息从三维空间n - 维空间的转换。 r g b 色彩空间中r 、g 、b 分量相关性强，不大容易直接建立肤色模型。 为了把肤色区域同非肤色区域分离。需要使用适合不同肤色和不同光照条件的 可靠肤色模型，而对于r g b 色彩空间而言，r 、g 、b 三个分量不仅含有颜色 信息，还包含了亮度信息，于是直接利用r g b 空间聚类进行肤色分割，周围环 境光照的改变引起的图像亮度变化会使人脸检测结果不可靠。r g b 色彩空间虽 然简单，但三个色彩分量没有很好地和颜色相联系，冗余信息多，r 、g 、b 相 关性强，不便于处理，所以一般的处理方法是将r g b 空间转换到其他的色彩空 间，目的是降低分量之间的相关性，将亮度与反映颜色本质特性的色度信息分 离。 h s i 色彩空间 h s i 色彩空间用色调h ( h u e ) 、饱和度s ( s a t u r a t i o n ) 和亮度i ( i n t e n s i t y ) - 三个分 量描述颜色特性。色调表示基本的纯色，用角度表示，般定义纯红色的色调 角度为0 ，灰色系列色调角度未定义，色调的定义域h o ，3 6 0 1 。饱和度表示 颜色中掺入白光的比例，相当于颜色的纯度，即通常所说的颜色的深浅，用百 分比来度量，从o 到1 0 0 。亮度表示颜色的明暗程度，亮度值表示颜色中掺 入黑光的比例。这种格式反映了人类观察色彩的方式，比较好地反映了人对颜 色的感受。h s i 颜色模型可以用图2 3 来描述。 一1 6 一 志 北方工业大学硕士学位论文 图2 3h s i 色彩空间示意图 s 提取一类物体在色彩方面的特性时，需要了解其在某一色彩空间的聚类特 性，这一聚类特性往往体现在色彩的本质特性上，而光照明暗的干扰经常造成 影响。光照明暗直接影响物体颜色的亮度信息，若能将亮度信息从色彩中提取 出去，而只用反映色彩本质特性的色调和饱和度来进行聚类分析，会获得比较 好的效果。h s i 色彩空间的优点在于：它将亮度与反映色彩特性的色度和饱和度 分离开。 r g b 色彩空间到h s i 色彩空问的转换公式如下 p = ；【( r g ) 郴棚】 l r g ) ：+ ( r g ) ( g b ) 一f 占，g 2 b h = l 【2 万一口，g y c b c r 色彩空间 y c b c r 色彩空间常用于彩色图像压缩，其中y 代表亮度，c b 和c r 代表色 度信息。r g b 色彩空间可以转换到y c b c r 色彩空间。r g b 色彩空间到y c b c r 色彩空问的转换公式为： 0 5 8 7 0 0 3 3 1 3 0 4 1 8 7 y c b c r 到r g b 的转换公式为 刚i 1 4 0 2 0 0 一o 3 4 4 1 4 1 7 7 2 0 0 2 2 ，2 肤色模型 公式( 2 7 ) 公式( 2 8 ) 肤色特征由肤色模型描述。肤色模型是用一种代数的或查找表形式来表示 哪些像素的颜色属于肤色，或者某一像素的颜色与肤色的相似程度。用肤色模 型对肤色进行分割主要分为两个阶段：模型的建立与模型的运用。模型的建立 主要是通过对大量肤色像素进行统计分析，然后确定模型中的参数，对于模型 的运用，主要是通过已建立的肤色模型来判别所输入的像素或区域是否为肤 1 8 一 州刮 柏m啡删= 姗 n o c ； p，。l 1，j y 叻口 。l j副 2 2 y j oo ll引lj o m o 7o 北方工业大学硕士学位论文 色，或者给出其与肤色的相似程度。肤色模型大体上分为：区域模型、简单高 斯模型和混合高斯模型。 区域模型 该模型主要是利用了肤色在色彩空间的聚类性( 即取值范围) ，将一块满足一 定条件的区域标定为肤色区域。采用这个模型来判别肤色分为两步：首先通过 统计的方法确定模型( 即归属于肤色的具体范围) ；其次利用这个模型来判别像素 或区域是否为肤色。因此，对于一幅新的图像，如果某个像素或区域满足给定 的条件就为肤色，否则就是非肤色。从上面的判断过程来看，它是一种较简单 的肤色模型。此方法计算简单，使用方便，速度快，适用于特定条件下的肤色 检测。 简单高斯模型1 1 】 这种方法是假设肤色分布服从单峰高斯分布。它主要通过统计分析，预测 高斯分布的参数，其中参数确定常用的方法有e m 算法，m a x i m u m - l i k e l i h o o d 或通过统计直接求得色彩空间中每个分量( 一般利用的是该色彩空间中的色度分 量) 的均值与方差。采用这个模型来判别肤色分为两步：首先确定模型的参数( 即 均值和方差) ；其次利用该模型来判别像素或区域是否为肤色。简单高斯模型相 对区域模型能更好的表示肤色分布，它的肤色检测率也高出许多，并且模型的 参数也易于计算。 混合高斯模型 由于具有不同种族的肤色分布并不完全满足单峰高斯分布，通过研究可以 采用多峰的高斯分布来表示。因此，提出了混合高斯模型，如公式2 9 所示： p ( j ) = p ( 驴o i ) i = 1 一1 9 公式( 2 9 ) 北方工业大学硕士学位论文 其中，p ( 工) 为肤色像素在色彩空间中的混合概率密度，p ( x i ) 为分量的概率 密度，p ( ) 为分量的先验概率，i = 1 , 2 ，m 为混合密度的分量个数。该模型表 明肤色的每个像素密度都属于概率密度的混合体。在这个模型中主要难点是对 混合高斯模型的参数估计。其参数的估计常采用d e m p s t e r 等人提出的基于极大 似然的算法。利用该算法需要进行迭代，而迭代的收敛速度受参数的初值影 响，同时与分量密度个数关系很大，分量越多，运算越复杂。这种方法相对于 前面两种模型来说，肤色的检测率要高得多，误检率也要小得多，但是模型的 确定( 即模型的参数估计1 较难，速度相对来说也比较慢，不适合快速的肤色检 测。 2 2 3 基于肤色的人脸检测方法的实现 1 ，色彩空闯的选择 对彩色人脸图像而言，一般情况下，图像的数据是以r g b 形式存取 的，r 、g 、b 三个分量不仅含有颜色信息，还包含了亮度信息。但是，在 进行肤色分割研究时，更多的是关心图像的色度信息，因此通常要由r g b 色彩空间转换到其它的色彩空间。 根据前几节介绍的r g b 、h s i 、和y c b c r 色彩空间。y c b c r 色彩空问 和h s i 色彩空间都具有将色度与亮度分离的特点，但是h s i 模型存在几个 缺点：一是三个分量h 、s 、i 是由r 、g 、b 三个分量经过非线性变换得 到，因此计算复杂度高，计算效率较低；二是h s i 色彩空间中存在着奇异 点，即色点在i 轴上时，其s 值为零，而h 没有定义，而且在奇异点附近 r 、g 、b 值的微小变化会引起h 、s 、i 值的明显变化，即饱和度s 越 小，颜色越浅时，色调h 值越不稳定。而y c b c r 色彩空间受亮度变化的影 响较小，且是二维独立分布，能较好的限制肤色的分布区域，可以很容易 地从相关性较高的r g b 色彩空间到颜色分量互不相关的y c b c r 色彩空 阳i 。 因此本文选择在y c b c r 色彩空间上建立肤色模型。 2 0 北方工业大学硕士学位论文 2 肤色模型的选择 简单高斯模型相对于区域模型能更好的表示肤色分布，肤色检测率也 高出许多，相对于混合高斯模型模型的参数也易于计算，具有