（计算机应用技术专业论文）正面人脸识别中关于眼镜等饰物摘除问题的研究.pdf

摘要 自动人脸识别由于其在诸如访问控制、人机交互等领域的巨大应 用前景而成为了研究的热点。成功的人脸识别系统的一个很重要的准 则就是：其对诸如光照条件、面部表情、姿态、尺度大小及被其它的 物体所遮挡等各种各样的条件变化具有鲁棒性。在所谓的遮挡物体当 中，眼镜是其中最常见的遮挡物并且它们对于人脸识别系统的性能表 现有很大的影响。因此，研究如何摘除人脸图像中的眼镜以提高人脸 识别系统的性能表现是具有重要的意义的。 论文首先从课题的背景出发，阐述了人脸识别技术的基本理论， 介绍了常用的人脸识别算法。接着回顾了由s a i t oy 等人提出用于产 生无眼镜人脸图像的经典算法，该算法是利用主成份分析( p r i n c i p a l c o m p o n e n ta n a l y s i s ，p c a ) 来重建无眼镜人脸图像的。论文还阐述了 该方法在重构无眼镜人脸图像所存在的缺陷：p c a 的表现能力是由 训练集所决定的，因此，眼镜所带来的重建误差被分散到整幅重建人 脸图像中，这导致重建的无眼镜人脸图像上有一些眼镜的痕迹。 在基于上述研究的情况下，本文提出了一种用新的方法来重建人 脸的方法：该方法利用了独立成分分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ，i c a ) 善于表达人脸局部细节的特点，其对p c a 算法是一种 很好的补充和改进。用p c a + i c a 来进行人脸的重建，更能有助于合 成自然的特性表现更逼真的无眼镜人脸图像。在此基础上进一步提出 用多次迭代人脸重建加误差补偿的方法来对戴眼镜的人脸图像进行 处理，从而合成失真少，无眼镜痕迹的无眼镜人脸图像，并为后期的 人脸识别系统提供高质量的图像输入。本文还在m a t l a b 上实现了 算法的模拟及测试，试验结果数据也论证了该算法的有效性。 关键词自动人脸识别，主成分分析，独立成分分析，人脸图像重构， 眼镜摘 a bs t r a c t a u t o m a t i cf a c er e c o g n i t i o nh a sb e c o m ea ni m p o r t a n tt o p i co f r e s e a r c hd u et oi t sp o t e n t i a lu s ei naw i d er a n g eo fa p p l i c a t i o n s ，s u c ha s a c c e s s c o n t r o l ，a n dh u m a n - c o m p u t e ri n t e r a c t i o n o n ei m p o r t a n t r e q u i r e m e n tf o rs u c c e s s f u lf a c er e c o g n i t i o ni sr o b u s t n e s st ov a r i a t i o n s a r i s i n gf r o md i f f e r e n tl i g h t i n gc o n d i t i o n s ，f a c i a le x p r e s s i o n s ，p o s e s ，s c a l e s ， a n do c c l u s i o nb yo t h e ro b j e c t s a m o n go c c l u d i n go b j e c t s ，g l a s s e sa l eo n e o ft h em o s tc o m m o no c c l u d i n go b j e c t sa n dm e yh a v eas i g n i f i c a n te f f e c t o nt h ep e r f o r m a n c eo ff a c er e c o g n i t i o ns y s t e m s t h e r e f o r e ，i ti so f u t m o s t i m p o r t a n c et oh a v ear e s e a r c ho nh o wt or e m o v et h eg l a s s e so nf a c i a l i m a g e st oi m p r o v ef a c er e c o g n i t i o ns y s t e m s p e r f o r m a n c e t h i sp a p e rm a k e sas t u d yo ft h eb a c k g r o u n do fp r o j e c ta n db a s i c p r i n c i p l eo fa f rt e c h n o l o g y , i n t r o d u c e st h eu s u a la l g o r i t h mf o rf a c e r e c o g n i t i o n t h e nw er e v i e wt h ec l a s s i c a lm e t h o dp r o p o s e db ys a i t oy e t e ， w h i c hu s i n gp c at or e c o n s t r u c tf a c ei m a g ew i t hg l a s s l e s s w ea l s o d i s c u s st h i sm e t h o d sl i m i t a t i o n so nr e c o n s t r u c tn a t u r a ll o o k i n gg l a s s l e s s f a c i a li m a g e s ：t h er e p r e s e n t a t i o n a lp o w e ro ft h ep c a d e p e n d so nt h e t r a i n i n gs e t ，t h e r e f o r e ，e r r o r sw o u l ds p r e a do u tt ot h ew h o l er e c o n s t r u c t e d i m a g e ，r e s u l t i n gi nt h ed e g r a d a t i o no ft h eq u a l i t yw i t hs o m er e m a i n i n g t r a c e so fg l a s sf r a m e s o nt h eb a s i so fa b o v e - m e n t i o n e ds t u d y , t h i sp a p e rp r o p o s e sa l l a l g o r i t h mu s i n gp c a + i c a t or e c o n s t r u c tf a c ei m a g e ：t h i sa l g o r i t h mf u l l y u s et h ec h a r a c t e r i s t i co fi c a ，w h i c hi sa d e p ti ne x p r e s s i o no fl o c a ld e t a i l o nt h ef a c e ，i sav e r yg o o d s u p p l e m e n ta n dt h ei m p r o v e m e n tt op c a w i t ht h ep c a + i c at or e c o n s t r u c t i o n ，i tc a l l g e n e r a t em o r en a t u r a l l o o k i n ga n dm o r el i f e l i k ef a c ei m a g ew i t hg l a s s l e s s f u r t h e rm o r e ，w e p r o p o s ean e wm e t h o dt od e a lw i t hf a c ei m a g e ：r e c u r s i v er e c o n s t r u c t i o n a n de r r o rc o m p e n s a t i o n ，w h i c hc o u l dg e n e r a t eg l a s s l e s si m a g ew i t hf e w d i s t o r ta n dn og l a s st r a c e t h e n ，w ec a np r o v i d eh i g hg r a d ei m a g ei n p u t f o rl a t e ra f rs y s t e m t h i sa r t i c l eh a sa l s or e a l i z e dt h e a l g o r i t h m s i m u l a t i o na n dt h et e s to nm a t l a b ，t h et e s tr e s u l td a t aa l s op r o v e nt h i s a l g o r i t h m sv a l i d i t y k e yw o r d sa u t o m a t i cf a c er e c o g n i t i o n ，p r i n c i p a lc o m p o n e n t a n a l y s i s ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，f a c ei m a g es y n t h e s i s ， e y e g l a s s e sr e m o v a l i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：丝导师签名隼鹭日期：竺星年曲竺日 硕士学位论文第一章绪论 1 1 课题背景及项目情况 第一章绪论 技术和产业的迅猛发展极大地拓宽了计算机在人类社会生活中的应用范围， 在更加广泛地成为专业人员的研究对象或者科研工具的同时，它已经迅速渗透到 普通人日常生活的方方面面。尽管计算机本身不具有生命和情感，但是计算机作 为一种高级的“受令弦体，事实上很多人已经在心理上把计算机看成了一种“类 人生命体 ，希望能够像人与人交往一样“自然和谐一地与计算机相处。先看看 人与人之间所谓“自然和谐 的交流：我们不但通过语言来表达自己和理解别人， 同时还经常使用特殊的语气、声调、手势、表情乃至身体的动作来表达自己的思 想和情感，甚至只可意会、不可言传的信息。反观大多数情况下人机交互的现状 却令计算机研究者极为尴尬：除了按照有序的和有意义的方式敲击计算机的输入 传感器一大多数情况下只是键盘和鼠标一之外，计算机无法与使用者交流更 加谈不上理解使用者的情感并做出合适的反应。即使是和它朝夕相处的使用者， 无论他使用什么话语、多么特殊的语气、声调、手势、表情乃至身体的多么剧烈 的动作，它都同样的“面一无表情。于是多模式接口的研究应运而生：首先让计 算机能够“感觉一来自视觉、听觉乃至触觉、嗅觉、味觉等多种输入信息，然后 由此“知晓( 理解) 一使用者的思想意图乃至情感，最终目的就是要实现。自然 和谐的人机接口一而要实现这一目的，对于计算机使用者身份的确认是一项重 要的内容。感知视觉信息的人脸识别( 包括虹膜识别) 、感知听觉信息的话者识 别、感知触觉信息的指纹识别等是实现身份确认的可选途径，不同通道的信息融 合日益受到科研工作者的重视。人脸包含丰富的人脸思想和情感信息，是研究人 员关注的焦点。 本文研究视觉通道下的人脸识别问题。本论文的研究是在湖南创合世纪智能 技术有限公司研制智能安防产品的基础上提出来的。该公司是一家独立自主研发 智能人脸识别系统及应用设备的高科技企业，一直致力于基于图像和视频的智能 识别产品及安防产品的开发。公司的主要研究课题为人体生物特征识别尤其是人 脸识别的核心技术和关键问题，提出新的识别方法，解决一些影响识别率的关键 问题。其中核心技术主要包括实时精确的人脸检测与跟踪技术，快速精确的面部 特征提取算法，准确快速的人脸识别确认算法；关键问题主要包括光照问题、 姿态问题、表情问题、饰物问题、活体判别问题等。这些项目的共同的产品目标 是开发出拥有完全自主知识产权的算法、产品和系统，实现中国人体生物特征识 别领域尤其是人脸识别领域的跨越式发展。 硕士学位论文第一章绪论 1 2 国内外研究现状与水平 见诸文献的机器自动人脸识别研究始于1 9 6 6 年p r i 的b l e d s o e 的工作，几 十年以来，科研工作者在机器自动人脸识别方面进行了大量的研究，取得了丰硕 的成果。其中m i t 媒体实验室、m 1 t a i 实验室的等、意大利的等、c m u 、m a r y l a n d 大学等、斯坦福大学、苏格兰亚伯丁大学i a nc r a w 的贡献尤为突出，国内的主 要工作有：清华大学、南京理工大学、中科院自动化所、哈尔滨工业大学计算机 系等，南京理工大学在用s v d 提取代数特征进行人脸识别方面开展了有些开创 性的工作。 在国内，九十年代中后期以来，在n s f c 、8 6 3 等资助下，国内众多研究机 构的研究组开始对人脸识别进行研究。这些研究组都在人脸检测、特征提取与识 别方面进行了许多有意义的尝试，积累了宝贵的经验。另外，微软亚洲研究院的 李子青博士领导的研究组也开展了大量人脸识别方面的工作，取得了很大的进 展。尤其值得关注的是李子青博士还联合a n i li c j a i n 教授共同组织该领域内的 著名专家联合编著了一本人脸识别手册，非常全面的介绍了人脸识别的最新研究 进展，必将极大推动该领域的研究进展。 自动人脸识别研究经过近四十年的研究发展，近年来取得了长足的进步。对 于已知人脸数据库规模在1 0 0 0 人左右、成像条件理想、用户比较配合的场合， 目前最好的人脸识别系统的性能已经达到了9 0 以上，并已经在限定范围内得到 了一些应用。但这并不意味着人脸识别已经是一个被解决了的成熟技术问题，相 反，人脸识别研究目前仍旧面临诸多挑战性的问题，客观地说，在很多应用条件 下，最好的识别系统的识别率也往往达不到5 0 ，这也是为什么直到目前人脸识 别几乎没有典型的成功案例、难以推广的主要原因。因此，研究更加高效、实用 的人脸识别核心算法，提供更加有效的影响识别性能的关键问题解决方案，仍将 是相关领域内的重点研究内容。 1 3 人脸识别的研究意义与典型应用 人脸识别的研究在近4 0 年来得到了长足的发展，尤其是近几年来，更成为 一个热门的研究课题，国内外各知名大学、研究所、n i 公司等都得到了大量的 项目支持。人脸识别问题之所以得到重视，是因为其有重要的研究意义，突出表 现在其对学科发展的贡献和巨大的潜在应用前景两个方面： 一、人脸识别研究可以极大地促进多门相关学科的发展 自动人脸识别作为一个典型的图像模式分析、理解与分类计算问题，它为模 2 硕士学位论文 第一章绪论 式识别，图像处理、分析与理解，计算机视觉，人工智能，人机交互，计算机图 形学，认知科学，神经计算，生理学，心理学等多学科提供了一个良好的具体问 题，有利于构建这些学科领域的基础实验平台用于尝试新方法，验证新理论，解 释新现象。人脸识别问题的深入研究和最终解决，可以极大的促进这些学科的成 熟和发展。 人脸识别也是智能人机接口领域的重要研究内容之一。人脸识别本质上是要 赋予计算机区分不同人类个体的能力，也就是“看”的能力，这恰是智能人机接口 研究需要解决的问题之一，也是机器智能的重要表现。人脸识别问题的最终解决 可以极大的改善目前呆板、不方便的人机交互环境，从而在一定程度上改变人们 的生活方式。 二、作为生物特征识别技术的人脸识别具有巨大的潜在应用前景 身份识别与验证是人类社会日常生活中的基本活动之一。目前我们大多数情 况下仍然依赖于传统的身份验证手段来完成这些身份识别过程，这些手段包括身 份证卡等各类标识物( 如身份证、学生证等各类证件) ，钥匙，密钥( 如密码、 口令等) ，然而这些方式存在不方便、不安全、不可靠的缺点。这些缺点使得他 们已经越来越不能适应社会发展的需求，我们亟需更方便、更可靠、更安全的身 份验证方式。同时，国家公共安全、信息安全等关系国计民生的领域更需要高可 靠性、高安全性的全新身份验证技术，尤其是美国遭遇 9 1 1 ”恐怖袭击事件之后， 安全问题更加成为人们关注的热点问题，而生物特征识别技术被认为是这些需求 的终极解决方式。 所谓生物特征识别或生物测定学( b i o m e t r i c s ) 即利用人类本身所拥有的、 能够唯一标识其身份的生理特征或者行为特征进行身份验证的技术。生物特征都 在一定程度上是“人人拥有、人各不同、长期不变”的，都能反映个体特点，并与 个体的身份一一对应，从而可以用来验证个体身份的真伪。 与传统的身份验证方法相比，生物特征识别突出的优势表现在生物特征可以 从根本上杜绝伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安 全性和可用性上。因而，人们对生物特征识别技术寄予厚望，期望能够满足从国 家公共安全，社会安全，到金融安全以及人机交互等方面的各类应用。 而人脸识别作为一种典型生物特征识别技术，以其自然性、高可接受性等优 点受到了人们的青睐，可应用于各行各业中。表1 1 汇总了人脸识别的一些典型 应用的情况。 3 硕士学位论文 第一章绪论 表1 1 人脸识别应用典型应用 应用 模式 典型具体应用特点说明应用领域 出入境管理过滤敏感人物( 间谍、恐怖分子等) 嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份 敏感人物智能监控监控敏感人物( 间谍、恐怖分子等) 国家安全 网上追逃在p d a 等移动终端上进行现场比对公共安全 会议代表身份识别防止非法人员进入会场带来危险因素 身份关键场所视频监控如银行大厅，预警可能的不安全因素 识别 家政服务机器人能够识别家庭成员的智能机器人 自动系统登陆自动识别用户身份，提供个性化界面 智能a g e n t 自动识别用户身份，提供个性化界面 人机交互 真实感虚拟游戏提供真实感的人物面像，增加交互性 护照、身份证、驾照海关、港口、机要部门等查验持证人的身份 公共安全 等各类证件查验是否真实、合法 准考证查验防止替考问题 教育 机要部门物理门禁 避免钥匙和密码被窃取造成失窃公共安全 机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全 面像考勤系统方便，快捷，杜绝代考勤问题 企业应用 身份 金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全 电子商务身份验证安全可靠的身份验证手段金融安全 验证 智能卡安全可靠的授权信息安全 会议代表身份验证防止非法人员进入会场带来危险因素公共安全 屏幕保护程序方便快捷的允许合法用户打开屏保人机交互 1 4 问题的提出及本文的贡献 虽然近年来人脸识别技术已经取得了长足的进步，但到目前为止仍然有一些 问题没有得到很好的解决，其中物体的遮挡而引起识别率的显著下降是一个很关 键的问题。为了提高这类人脸图像的识别率，需要从正面人脸图像中提取并摘除 眼镜的方法，并由此合成对应输入图像的不戴眼镜的正面人脸图像，以此改善对 于戴眼镜一类人群的自动人脸识别率。该课题就是试图找到一种更好的在摘除眼 镜的同时合成低失真的人脸图像的方法，为后期的人脸识别系统提供高质量的图 像输入。 本文在分析先前各种眼镜摘除算法的优势和不足的基础上，提出了一种递归 的、误差补偿的算法来达到本文的目的。主要的研究工作包括： 一、提出用p c a + i c a 的算法来提取人脸特征，从而达到合成效果更自然 人脸图像的目的。基于p c a + i c a 的人脸重建，相对于传统的仅基于p c a 的重 4 硕士学位论文第一章绪论 建人脸方法而言，本文的方法提取出的特征向量更能精确地表达人脸局部( 细节) 特征。故输入图像在此特征空间上投影能重构出更清晰、效果更好的人脸图像。 二、本文的算法采用一个递归迭代的过程。即通过多次的人脸重构使得重 构出来的人脸图像逐步与原始的无眼镜人脸图像更接近。在多次的人脸重构过程 中，加入了误差补偿的机制以达到效果优化的目的，进一步改善了人脸图像的重 构效果。 1 5 论文的组织结构 本论文各章的组织结构如下： 第一章为绪论部分。主要介绍了本论文的研究背景及项目情况，介绍了国内 外的人脸识别技术研究现状与水平，还对人脸识别问题的研究意义及典型应用进 行了简单阐述，最后给出了本文研究的主要问题及本文的主要贡献。 第二章对人脸识别技术理论进行了简单的阐述。介绍了人脸识别问题的描 述、基本研究内容等，对人脸识别问题各环节中常见的算法进行了综述，还介绍 了一般的人脸识别系统的基本构成。 第三章是对本文采用的特征提取方法的介绍。先回顾了前人在该问题上的建 设性工作用p c a 重构合成无眼镜人脸图像。接着在介绍完一些基本的信息 论概念后，对本文采用的i c a 特征提取方法进行了较详细的介绍。最后给出了 本文新提出的用p c a + i c a 来重构人脸的方法描述。 第四章是对本文眼镜摘除算法具体流程的详细描述。先介绍了一些图像预处 理技术以增强图像的特征表述效果。再详细介绍了本文提出的用p c a + i c a 重构 图像加递归的重构过程及误差补偿的人脸眼镜摘除方法。 第五章是对本文人脸图像眼镜摘除问题的系统试验仿真的介绍。介绍了本文 试验的数据来源及质量判定标准等。最后给出了本文的仿真结果描述及分析本文 方法相对于前人方法的一些效果上的改进之处。 5 硕士学位论文第二章人脸识别技术理论简介 第二章人脸识别技术理论简介 为了在前人基础上进一步提升人脸识别系统的性能，改善设计方法，我们必 须首先从本质上彻底弄清楚人脸识别技术的具体研究内容及基本的研究方法。本 章就是对人脸识别技术理论知识的简单阐述。 2 1 自动人脸识别问题描述 人类似乎具有“与生俱来 的人脸识别能力，赋予计算机同样的能力是人类 的梦想之一，这就是所谓的“自动人脸识别 ( a u t o m a t i cf a c er e c o g n i t i o n ，以下 简称a f r ) 研究。如果我们把照相机、摄像机、照片扫描仪等看作计算机的搿眼 睛 ，数字图像可以看作计算机观察到的“影像一，简单地说，a f r 研究试图赋 予计算机根据其所“看到 的面部照片来判断人物身份的能力广义的讲，这种 识别能力包括以下不同功能的任务： 一、人脸检测与跟踪 人脸检测任务要求判断计算机的“眼睛观察到的“影像 中是否存在人脸。 如果存在，需要同时给出其在图像中的坐标位置、人脸区域大小等信息。而人脸 跟踪则需要进一步输出所检测到的人脸位置、大小等状态随时间的连续变化情 况。 二、面部特征检测与提取 这一任务既要求确定面部图像中眼睛、鼻子、嘴巴等器官的位置，还要求对 这些器官及其面部轮廓的形状信息作出描述： 三、人脸属性分类 根据面部特征检测与提取的结果，结合面部图像中的亮度分布信息，对检测 到的人脸的性别、表情、种族、年龄等属性做出判断。 四、基于人脸图像比对的身份识别 即通常意义上的人脸识别问题。通过将输入人脸图像与人脸数据库中的所有 已知原型人脸图像计算相似度并对其排序来给出输入人脸的身份信息。这包括两 类识别问题：一类是无拒识的闭集( c l o s es e t ) 人脸识别问题：即假定输入的人脸 一定是人脸库中的某个个体；另一类是有拒识的开集( o p e ns e t ) 识别，即首先要 对输入人脸是否在已知人脸库中做出判断，如果是，则给出其身份。 五、基于人脸图像比对的身份验证 即通常意义上的人脸确认问题。系统在输入人脸图像的同时输入一个用户宣 称的该人脸的身份信息，系统要对该输入人脸图像的身份与宣称的身份是否相符 6 硕士学位论文第二章人脸识别技术理论简介 作出判断。 在这几种不同的功能中，尤其需要注意的是识别问题与验证问题的区别。简 单地，可以认为识别是一个多类分类问题，而验证则通常是二个二类判别问题 m t o o ，k t 0 0 ，t k 0 1 ，j k 0 2 ，s a 0 3 。但其中涉及的关键问题是一致的，多数技术方 法是通用的。 2 2 人脸识别的不同分类 根据系统初始输入模式的不同，人脸识别的研究可以分为不同的种类。从是 否包含运动信息的角度可以将人脸识别任务分为静态图像识别和序列图像识别 两大类。尽管后者可以得到更多的关于人脸的信息，但是后者存在人脸精确分割 问题，到目前为止大多数的人脸识别研究都是在静态图像上进行的。近年来，基 于模型的编码的研究促进了对后者的研究【1 1 。从输入人脸模式的属性可以将人脸 识别分为： 一、侧面图像或者剪影识别 人脸识别研究的初期得到了很好的发展，显著通常作为正面和多姿态识别的 辅助或者用于融合算法。基于侧面的人脸识别多数采用基于几何特征的识别方 案。 二、正面或准正面人脸识别 8 0 年代和9 0 年代初始多数人脸识别研究的重点。主要的方法有：基于特征 的方案、基于局部或全局模板匹配、特征脸( e i g e n f a c e ) 、主成分分析卯、奇异值 分解、人工神经网络等。 三、多姿态人脸识别 9 0 年代中后期研究的热点问题，正在得到进一步研究。多视图模板匹配、 基于3 d 人脸模型的姿态补偿、弹性图匹配口1 是解决多姿态问题的主流方法。 四、 深度图像( r a n g ed a t a ) 识别【埒1 尽管由于深度信息的获得可以使得识别性能增强，但由于需要激光扫描器等 特殊设备，应用和研究都受到了限制，在特殊领域会有很好的应用前景。 面前人脸识别研究的重点是多姿态识别、不同算法的融合、实用系统的设计 以及多通道信息融合，但是到现在为止即使基于正面人脸的识别尚未达到很实用 的地步。 2 3 人脸识别算法综述 人脸识别的综述文献中通常将人脸识别技术笼统的分为几大类，如t 基于特 7 硕士学位论文第二章人脸识别技术理论简介 征的人脸识别、基于模型的人脸识别、模板匹配、统计分类方法、弹性图匹配、 人工神经网络等等，这种分类方法的局限性在于没有明确的将人脸识别作为一种 “类智能”活动中的“知识 运动描述清楚。本节试图从知识表达、获取、选择、 匹配四个方面来总结人脸识别研究的有关内容。 2 3 1 知识表达人脸的描述方法 对人类而言，人脸是皮肤、肌肉和器官的组合。而对计算机来说，人脸图像 是像素的灰度值矩阵，计算机中用什么样的知识来表达人脸对象就成为一个很关 键的问题。一组好的特征不仅要充分反映不同人脸之间微妙的差别，同时又必须 保证同一对象的不同人脸图像特征有好的聚类性。人脸识别文献中所采用的主要 特征可以总结为以下1 1 种： 一、 语义描述( s e m a n t i cd e s c r i p t i o n ) 这类特征实际上不是人脸的机内表达，而是较高层次的语言描述，如：大鼻 子，小眼睛，尖下巴等等。这类特征通常在信息查询中用作用户的输入请求。 二、面部构形几何特征( g e o m e t r i cf e a t u r e ) 这类特征首先定位面部的主要器官，如眼睛、鼻子、嘴、下巴和眉毛等，然 后从中选择一组反映它们之间的距离、角度、区域形状等器官的结构配置特征。 通常用于侧面和正面人脸识别中，是比较传统的人脸描述方法之一这种方法的 缺点有：1 准确的特征定位比较困难，尤其是在多姿态的情况下；2 由于只利用 了面部的结构信息，而完全抛弃了纹理信息，是一种比较粗犷的人脸表达，可能 无法保证人脸知识表达的完备性。 一 。 三、 全局局部模板( t e m p l a t e - b a s 畦v i e w - b a s e d ) 同几何特征不同，基于模板的人脸描述充分利用了面部图像的纹理信息，保 留了人脸的细节。全局或者局部模板都得到了尝试，在人脸识别领域是一种传统 而被广泛采用的方法。但是在使用中有几方面的问题需要认真解决：a ) 存储的不 紧凑性，尤其是在多姿态情况下模板需要大量的存储空间；b ) 计算的复杂性；c ) 对光照变化的敏感性； 四、变换系数特征( t r a n s f o r m a t i o nc o e f f i c i e n t ) 如主成分分析( p c a ) 、k l 扩展、f o u r i e r 变换，h a d a m a r d 变换，w a v e l e t 等。这类方法的基本思想是将人脸在空域内的高维描述转化为频域或者其他空间 内的低维描述。p c a 将图像看作具有一定分布的随即向量，由于人脸总体构形 的相似性，人脸图像在其中的分布不是随机的，p c a 可以得到人脸图像分布的 主分量方向，从而得到人脸图像的主分量来表达人脸，从本质上讲这是一种基于 统计分析的信息压缩方法。 硕士学位论文第二章人脸识别技术理论简介 五、代数特征奇异值分解( s v d ) 将图像看作一个数值矩阵，对其进行s v d 分解，得到的奇异值作为人脸图 像的描述。由于奇异值向量与图像有一一对应关系而且具有较好的稳定性和各种 变换的不变性，可以用作人脸的描述。 六、隐含特征 人工神经网络( a n n ) 被应用于人脸图像的特征提取中来，但是到目前为 止a n n 所提取的特征的物理意义是不明确的，故在此称之为隐含特征。 七、拓扑结构特征( 弹性图形可变模型) 人脸由二些关键点组成的2 d 拓扑图形来描述，改图形中的节点用其空间位 置及其与其领域节点之间的空间和角度关系来描述。弹性图反映人脸的结构和形 状，将其结合面部纹理可以有更精确的表达。 八、3 d 人脸模型( 3 df a c em o d e l ) 从知识表达完备性的角度来看，3 d 人脸表面模型由于不仅反映了人脸图像 平面内的结构信息，同时还保存了人脸的深度方面的结构信息，因此3 d 人脸模 型是人脸的较完备描述。但是特定人的3 d 人脸模型的自动生成是需要深入研究 的一个问题。 九、灰度分布统计特征 这类特征将图像看作二维随机过程，提取其中的灰度分布特征：如直方图形 状、惯性距( m o m e n t ) 等。 十、边缘、纹理、轮廓和区域等视觉特征( v i s u a lf e a t u r e ) 这类特征通常采用一些低层次的图像处理算法得到的响应函数，试图在继承 模板表达细节信息的同时实现知识表达的压缩和降低光照变化的影响。 十一、等高线特征( i s o = d e n s i t ym a p ) 文献【1 6 】中采用了这种人脸描述方式，根据图像的直方图将灰度分成8 个不 同的区域，从而形成8 级不同的等高线图，等高线用链码描述，匹配识别在8 级等高线重叠图上进行。 人脸知识表达的方法并不限于上述的1 1 种，不同的研究人员对此也有不同 的理解，很多人脸描述方法并没有直观的物理意义，但从哲学的观点来看：人脸 的知识表达作为后续工作的基础，理应得到重视和更好的总结。从目前来看，各 种变换系数特征、弹性图、多视模板、3 d 人脸模型和神经网络是人脸识别领域 采用的主流描述方法，s v d 的应用尚有待研究。 2 3 2 知识获取特征提取算法 特征提取通常被认为是模式识别问题的重点和难点，人脸的特征提取也不例 9 硕士学位论文第二章人脸识别技术理论简介 外。不同的人脸知识表达必然有不同的特征提取策略，本小节并不试图针对上述 的1 1 种人脸表达分别给出特征提取的策略，实际上很多技术是通用的，而且有 一些人类设备方案并没有显式的特征提取过程。尽管如此面部特征的定位通常都 是识别过程的必经阶段。需要说明的是人脸检测和面部分割应该是人脸识别的第 一步任务，本文主要介绍关于面部特征检测的算法。 一、手工定位 在人脸识别研究的初期是一种主流的方法。在允许交互的应用环境中，人工 干预往往可以取得比完全自动识别要好得多的效果。 二、人脸检测和面部分割 主要的方法有：模板匹配【i s 】、e i g e n f a c e 、肤色模型【冽和人工神经网络等。 三、模板匹配 用相应的局部灰度图片或者滤波输出作为参考模板，在可能的人脸区域内进 行相关量的计算，搜索极小值点，从而可以得到相应器官的粗略位置。 四、变形模板( d e f o r m a b l et e m p l a t e ) 变形模板可用于对眼睛、嘴、下巴和眉毛等器官形状的获取。由于变形模板 不但充分利用了器官构形的全局的先验知识，同时有效利用了局部的边缘、灰度、 峰谷特征，将特征的定位和形状的估计过程描述为能量函数的极小化过程，采用 优化技术来实现特征的匹配嗍，因而得到了广泛的应用。 五、h o u g h 变换 h o u g h 变换通过将边缘点从图像空间变换到合适的参数空间，使图像空间的 曲线在参数空间中呈现点聚类趋势，从而可以用于包括圆弧、线段乃至任意已知 形状的检测。 六、主动轮廓( a c t i v ec o n t o u r ) 类似于可变形模板的思想，但主动轮廓同可变形模板相比，更强调利用了局 部的图像信息( 邻域) 如连续性、曲率和内外部能量项等，最后用优化算法实现 能量函数的极小化。 七、g a b o r 小波变换 g a b o r 小波变换通常用于弹性图匹配技术中关键点的检测。文献【2 4 利用角 点的边缘曲率、灰度分布等定义了一个角点能量函数，用优化算法实现关键点地 检测。随后则利用检测到的这些关键点，对一个预定义的参考弹性图进行变形得 到对应输入人脸图像的弹性图。 八、曲线拟合 1 0 硕士学位论文 第二章人脸识别技术理论简介 2 3 3 知识精简带征选择 从知识表达的角度讲，特征提取阶段获得的原始特征通常维数较高，甚至有 些维的特征对分类也未必是有效的，因此不能直接送往分类器进行分类。为降低 分类的计算量，降低分类错误，通常都有一个对原始特征进行选择的过程。k l 变换、基于类别可分性判别准则、特征提取神经网络【2 j 、主分量分析【5 6 1 等传统 模式识别算法是通常被采用的方法。 2 3 4 知识分类一相似性度量与分类算法 通常情况下识别问题最终都归结为输入模式与已知模式在特征空间内精确 的或者模糊的匹配问题。匹配有两个核心问题：相似性度量和分类器。最常使用 的相似性度量包括g 欧氏距离、街区距离、角度相似性函数、相关量计算、能量 函数等，欧氏距离是最常采用的相似性度量准则。 一般认为不同类别的人脸在特征空间内是非线性可分的，分类器的设计很重 要。文献中的主要分类算法有： 一、最近邻k - 近邻分类 这是传统的但经常被采用的分类算法，具有简单有效的特点。多数采用几何 构形、主分量、变换系数、代数特征人脸描述方法的系统都可以使用这种分类方 法。本文采用的就是该像是性度量标准。 二、相关量计算【l 。，捌 这是一种与基于模板的人脸描述相对应的方法。用模板和输入模式之间的协 相关量作为相似性度量实现匹配。 三、b a y e s 分类器 统计模式识别中经常采用的方法，用b a y e s 定理计算输入模式属于各个类别 的后验概率实现识别。被广泛应用于需要进行分类融合的系统中。 四、弹性图匹配 这种识别技术使用弹性图作为人脸的描述方式，定义不同弹性图之间相似度 的能量函数，该函数反映它们之间的形变的程度，通常有拓扑结构能量项和空间 相似度能量项。 五、人工神经网络 人工神经网络已广泛应用于模式识别领域。自组织映射、自联想神经网络、 动态连接结构等被应用于识别和归类任务，尤其是在表情分析、性别判别、种族 分类、年龄判断等应用中得到了广泛的应用。 六、隐马尔可夫模型 文献 1 0 - - 1 2 研究了该模型在人脸识别中的应用情况。这种方法将人脸的结 硕士学位论文第二章人脸识别技术理论简介 构过程( 如自上而下的灰度变化) 看作一时间序列，用隐马尔可夫模型进行序列 分析和识别。 七、模糊逻辑 这种方法主要用作人脸识别算法级的数据融合和多通道的信息融合策略。 八、集合划分 通常用于基于特征的人脸识别系统中，考虑到不同类别在某些维特征上的可 分性很强的事实。类似的方法还有判别树分类。 另外，文献 6 】采用了将p c a 与线性判别分析( l d a ) 二者结合进行识别的方 法。 2 3 5 知识融合 近年来，信息融合技术在语音、图像等数据处理领域得到了重视。在人脸识 别领域，针对相同数据集提取的相同或不同特征，可以在不同分类算法之间实现 算法级的融合【2 2 】；针对不同输入数据集( 如侧面人脸和正面人脸) 的相同或者 不同算法之间可以实现结果之间的融合。在个人身份验证领域，由于来自多种通 道的信息可以相互支持和补偿，尤其是在某一通道高噪声的情况下，多通道信息 融合技术可以得到比单通道更好的性能和更高的可靠性【2 l 】。本文要描述的人脸 图像的重构算法就是融合了p c a 与i c a 两种算法，正好利用了两种算法之间的 优劣互补性。 2 4 人脸识别系统的构成 一个完整的人脸识别过程可用图2 1 来表示： 图2 1 人脸识别系统的组成 如图2 - 1 所示，人脸识别系统主要由5 个功能模块组成，各模块所发挥的作 用如下： 一、人脸定位模块 1 2 硕士学位论文第二章人脸识别技术理论简介 该模块用于对输入的图像进行分析，判断其中是否由人脸存在，如果由人脸 则找到人脸存在的位置，并将人脸从背景中分割出来。该项工作直接关系到后续 的特征提取和识别工作能否顺利进行。 一般情况下，对于场景的简单或者复杂，图像中人脸的数量、位置、尺度、 方向、是否存在遮挡等条件都是不可预知的，受到上述各个因素的影响，人脸的 检测和定位成为一个非常困难的问题。在某些特定的情况下，往往通过对摄像条 件的控制和调节历来对这部分工作进行简化。比如，在为犯罪的拍摄照片时，要 他们将脸的某一部分靠近标尺，这种条件下，人脸的定位就很容易实现了 二、预处理模块 通过对抽取的图像进行几何归一化、消除噪声和灰度归一化处理，消除或减 小光照强度和方向、成像系统本身性能以及外部环境等因素对待处理图像质量产 生的干扰，使不同图像中人脸大小和亮度尽量统一，以便在相同的条件下完成训 练和识别。该模块的作用是为后续处理提供高质量的图像。 三、特征提取模块 采用某种策略，对经过预处理后的人脸图像进行分析，从中提取出用于识别 操作的特征，将原来的人脸空间中的数据映像到特征空间。其本质是通过从原始 人脸图像空间到特征子空间的映像，对原始数据进行变换，以得到最能反映分类 本质的特征，从而有效地实现分类识别。所提取特征的稳定性和有效性直接关系 到识别系统的成败。 在提取特征的过程中，应根据不同的识别方法选取相应的特征形式： 统计识别方法：归于该类的特征脸方法，是利用图像相关矩阵的特征向量构 造特征脸： 基于几何特征的识别方法：这一步主要是提取特征点，然后构造特征向量； 模板匹配方法：用相关系数作为特征； 神经网络方法：直接用归一化后的灰度图像作为输入，识别结果就是网络的 输出，没有专门的特征提取过程。 四、人脸图像训练模块 对已有人脸图像库进行训练以得到供识别模块完成判别的参数。该模块作为 人脸识别的核心，与所采用的算法关系极大。 五、识别模块 根据训练所得的参数完成人脸的最后判别，得到判别结果。 本文中，将重点介绍人脸识别技术中的特征提取模块的内容。 1 3 硕士学位论文 第三章基于p c a 及i c a 的人脸重构 第三章基于p c a 及i c a 的人脸重构 多元统计分析也称多元分析，它是统计学中讨论多元随机变量的理论和统计 方法的总称。多元统计分析探讨了高维数据的内在规律，如研究多元变量间的相 互关系、数据结构和数据简化等。其内容既包括一元随机变量中某些方法在多元 变量情况下的直接推广；也包括多元随机变量特有的一些问题。 在多元统计分析中，包含很多分析方法，例如：主成分分析、独立成分分析、 因子分析、判别分析、聚类分析、相关分析等等。本文的研究主要集中于多元统 计分析的两种方法：主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 和独立成分 分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 。 3 1 主成分分析 3 1 1p c a 原理 假设p 维随机变量x = ( x l ，x ：，x ，) t 有二阶矩，总体均值向量为，总体协 方差矩阵为。考虑它的线性变换： lx = 彳x = 五+ + 。一 ( 3 1 ) l 巧= 哆x = 五p 五+ + 0 易知： 哳( 誓) = 垆 c o v ( 写，弓) = 矿 ( 汪l ，2 ，p ) ( f ，j = 1 , 2 ，p ) ( 3 2 ) ( 3 - 3 ) 如果： 一、i 与巧( f ，= 1 , 2 ，pr i i ) 不相关； 二、x 是x 的所有线性组合中方差最大的，k 是与k 不相关的所有x 的线 性组合中方差最大的，z 是与墨，e ，墨，( i = 2 ，p ) 都不相关的所有x 的线性 组合中方差最大的； 三?巧= f x 的系数满足矿= lo = l ，2 ，p ) 。 则称x 为x