（计算机应用技术专业论文）基于三维特征脸模型的面部光照参数检测技术研究.pdf

ab s 七 a c t ab s t r a c t f a c e r e c o g n i t i o n w i t h v a r i a n t p o s e , i l l u m i n a t i o n a n d e x p r e s s i o n ( p i e ) i s a v e ry c h a l l e n g in g p r o b l e m , w h i c h c a n n o t b e e a s i l y s e tt l e d b y t r a d i t i o n a l 2 d f a c e rec o 加t i o n t e c h n i q u e s . h a v i n g c o n s i d e r e d t h e l i m i t a t i o n s o f 2 d f a c e r ec o g n i t i o n , w e a i m a t t h e c h a l l e n g in g p r o b l e m一 f a ce 脚t i o n w i t h v a r i a n t p 正， t o e x t e n d o u r r e s e a r c h , p r o p o s i n g a fr a m e w o r k o f 3 d f a c e r e c o g n i t i o n s y s t e m a n d f o c u s i n g o n t h e t w o m o s t c r i t i c a l p r o b l e m o f 3 d f a c e r e c o g n i t i o n: f i r s t , h o w t o g e n e r a t e t h e a v e r a g e 3 d f a ce m o d e l , a n d s e c o n d l y h o w t o r e c o g n i z e t h e i ll u m i n a t i o n a n d p o s e o f t h e t a r g e t f a c e i n a n i n p u t i m a g e . a c c o r d i n g t o t h e r e s u l t o f o u r e x p e r i m e n t , o u r m e t h o d i s f e a s ib l e a n d 也 . c o n c l u s i o n w e r e a c h i s v e ry m e a n i n 创 过 . i n th i s p a p e r , a t f ir s t w e u s e t h e m e th o d i n 13 1 b a s e d o n q u a d r i c e rr o r m e tr ic s t o s i m p l i f y o u r i n i ti a l 3 d f a ce m o d e l ; t h e n w e p r o p o s e a r e s a m p l e m e th o d b a s e d o n k e y - f e a t u r e a li g n m e n t t o d o t h e p i x e l t o p i x e l a li g n m e n t s a m o n g t h e 3 d f a c e s , w h i c h i s t h e k e y p ro b l e m i n t h e p r e p r o c e s s i n g o f 3 d f a ce m o d e l s . c o m p a r e d w i t h o p ti c a l fl o w a l g o r it h m $ w h i c h i s c o m p l e x a n d th e 3 d -r e s a m p l e m e th o d 19 1 w h i c h n e e d s i n t e r a c t i o n , o u r m e t h o d h a s i t s a d v a n t a g e s a n d s u ffice f o r o u r w o r k r e q u i r e m e n t s ; l a s t l y b y i m p o s i n g d i ff e r e n t p i e c o n d i ti o n s o n t h e a v e r a g e m o d e l a n d m a t c h i n g i t w i t h t h e i n p u t 2 d f a c e i m a g e , w e r e c o g n i z e t h e p i e i n t h e i n p u t f a ce i m a g e . t h e m a t c h i n g i s o n l y b a s e d o n k e y - f e a t u r e s p r o n e t o p i e d i ff e r e n ce , s o i t c a n r a n a t a re l a ti v e h i g h s p e e d . k e y w o r d p i e , 3 d f a c e r e c o g n i ti o n , m e s h s im p l i fi c a t i o n , r e s a m p l e , p i x e l t o p i x e l a l i g n me n t s 甫 于 卜 大 学 学 位 乍 仑 文 电 子 滩 反 授 权 使 用 协 -m ( 请将此协议书装订于论文首页) 论 文 勤 滩籍 忽 界 准 夕 见 洲 人在 南开大学工作和学习期间创作完成的作品答辩 本人系本作品的唯一作者 ( 第一作者)，即著作权人。现本人同意将本作品收 录于 “ 南开大学博硕士学位论文全文数据库”。本人承诺:已 提交的学位论文电子 版与印刷版论文的内容一致，如因不同而引起学术声誉上的损失由本人自负。 本人 完全了 解 南 开大 学图 书馆 关于保 存、 使用 学位论 文的 管理立 丛 上乙同 意 南开大学图书馆在下述范围内免费使用本人作品的电 子版: 本作品呈交当年，在校园网上提供论文目 录检索、文摘浏览以及论文全文部分 浏览服务 ( 论文前1 6 页)。 公开级学位论文全文电 子版于提交1 年后， 在校园网上允 许读者浏览并下载全文。 注:本协议书对于 “ 非公开学位论文” 在保密期限过后同样适用。 院 系 所 “ 称 谈 物 粼种 羚 沁 作者签名: 4 七碑多 学号: 日期: ， 、 。 y 0 - 7 年 了 月 才日 南开大学学位论文版权使用授权书 本人完全了 解南开大学关于收集、 保存、使用学位论文的规定， 同意如下各项内容:按照学校要求提交学位论文的印 刷本和电子版 本;学校有权保存学位论文的印刷本和电子版， 并采用影印、缩印、 扫描、 数字化或其它手段保存论文; 学校有权提供目 录检索以 及提供 本学位论文全文或者部分的阅览服务; 学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版; 在不以 赢利为目 的的前 提下，学校可以适 当复制论文的部分或全部内容用于学术活动 。 学 位 论 文 作 者 签 名 : 多 呀 ), 0 o7 年 了 月 可日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名:学位论文作者签名: 解密时间:年月 各密级的最长保密年限及书写格式规定如下: 爵 f)ian 15 - ( fa il,: ) f . flj t- 5 t .) # l密 * 2 0 年 1 0 年”可少于 1 0 年j 2 0 年云可少于 2 0 年) 长长 最最 秘密*i u 年 ( 南开大学学位论文原创性声明 本人郑重声明: 所呈交的学位论文， 是本人在导师指导下， 进行 研究工作所取得的 成果。 除文中已经注明引用的内 容外， 本学位论文 的研究成果不包含任何他人创作的、 己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体， 均已 在文中以明 确方式标明。 本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名: ;4 夕年 5月 丫日 第一章 绪论 第一章 绪论 第一节 人脸识别的研究意义和应用价值 人脸识别由于其在公安部门、 安全验证系统、 信用卡验证， 档案管理、 人 机交互系统等方面的广阔应用前景，因而成为当前模式识别和人工智能领域的 一个研究热点。 人脸识别技术就是以 计算机为辅助手段，从静态图像或动态图像中识别人 脸。问 题一般可以 描述为:给定一个场景的静态或视频图像， 利用己 经存储的 人脸数据库确认场景中的一个或多个人。一般来说，人脸识别研究一般分为三 个部分:从具有复杂背景的场景中检测并分离出人脸所在的区域;抽取人脸识 别特征;然后进行匹配和识别。 虽然人类从复杂背景中识别出人脸及表情相当容易， 但人脸的自动机器识别 却是一个难度极大的课题。它跨越了模式识别，图像处理、计算机视觉以及神 经生理学、心理学等诸多研究领域。 如同人的指纹一样， 人脸也具有唯一性， 可用来鉴别一个人的身份， 人脸识 别技术在商业、法律和其他领域有着广泛的应用。人脸识别首先是法律部门打 击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大的应用价值。 人脸识别的商业应用价值也正在日 益增长，主要是信用卡或者自 动取款机的个 人身份核对，与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人 身份鉴别的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个 人来说没有任何心理障碍。 人脸识别的具体应用主要有以下几个方面: 嫌疑犯照片的识别匹配 第一章 绪论 信用卡、驾驶执照、护照与个人身份的识别 银行、商场安全系统 公众场合监控 专家识别系统 基于目 击线索的人脸重构 嫌疑犯电子照片簿 基于残留人脸的人脸重构 随着年龄增长的人脸估算 这些应用包括了从静态的受控背景的照片到动态的、非控背景的录像等各 个方面，各项应用都有着不同的技术难度、处理方法和分析理解方式。它们基 本上可以分为两类:静态 ( 非视频)匹配和动态 ( 视频)匹配。 第二节 论文的研究背景 1 . 2 . 1人脸识别的国内外研究现状 34 1 近3 0年来，人脸自 动识别的研究取得了很大的进展，从工程索引 ( e d 上检索到的相关文献己 达数千篇， 包括i e e e p a m i 在内的重要国际期刊也有专 栏甚至专刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会议， 如人脸/ 手势识别国际学术会议。 目 前人脸识别领域内最著名的国际研究机构包括:美国麻省理工学院媒体 实验室( m i t m e d i a l a b ) 及人工智能实验室( a i l a b ) 、 南加州大学( u s c ) . c m u 卡内基一梅隆机器人研究及交互系统实验室、马里兰大学 ( u m d ) 等。另外， 一些国家或地区也有不少研究机构在人脸识别领域进行了大量的研究工作。 9 0年代中后期以来，国内的许多研究机构在自 然科学基金、8 6 3计划、攀登计 划等资助下，开始了对人脸识别的研究。其中主要包括清华大学计算机系、自 动化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自 动化 所、上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在人 脸识别研究领域都进行了许多很有意义的尝试，积累了经验。 中科院计算所人脸识别研究小组去年 5月与专门从事人脸识别商业系统开 第一章 绪论 发和销售的四川成都银晨网讯科技有限公司全面合作， 在北京成立了i c t y c n c 人脸识别联合实验室，专门研究和开发商业人脸识别系统。一年来，实验室在 实时人脸检测与跟踪、人脸识别、人脸确认等方面进行了大量卓有成效的研究， 并开发了一套具有良好鲁棒性的实时人脸检测系统;提出了一种新的基于 s f s ( s h a p e f r o m s h a d i n g ) 的人脸识别方法， 并基于该方法开发了 一套实时人脸识 别/ ,a 认系统，目 前己 通过系统测试，并进入产品开发阶段。另外，实验室以成 熟的“ 特征脸” 人脸识别技术为基础， 对其进行了很多改进和扩充， 尝试了基于人 工神经网络、 支持向 量机、 线性判别分析、 基于g m m ( g a u s s i a n m i x t u r e mo d e l s ) 的双子空间人脸识别方法等，研究了基于 g a b o r 小波变换和弹性图匹配的人脸 识别技术，以及基于统计模型的人脸识别方法等。 1 .2 . 2 主要技术方法 人脸识别最初的研究大约在 6 0年代末、7 0年代初，当时的主要方法有两 种: 基于几何特征的方法和基于模板匹配的方法。 基于面部结构几何特征的人脸 识别是最直观的方法，也是最传统的方法，它对人脸的描述非常紧凑，但存在 特征提取比较困难、容易受头部姿态变化影响等缺点。而基于模板匹配的方法 则具有特征提取简单的优点， 其准确度也较高，但该方法容易受到光照和姿态 的影响。这两种方法通常都需要与其他算法结合，才能得到比较好的效果，目 前已很少有单独采用这两种方法的系统。 特征脸人脸识别方法是麻省理工学院m. t u r k和a . p e n t l a n d于1 9 9 1 年提 出的，直到现在， 它仍然是最流行的人脸识别算法。该方法具有简单有效的特 点，目 前已成为事实上的基准测试算法。但它对输入的人脸图像的归一化要求 较高，其性能容易受到光照和姿态变化的影响，因此，研究者对其进行了各种 各样的实验和理论分析，尝试了基于特征脸方法和各种后端分类器相结合的方 法， 并提出了 各种改 进 版本或扩展算 法， 如b a y e s i a n概率 模型、 二阶e i g e n f a c e , 线性判别分析、 人工神经网络以及双子空间分析方法等。 f e r e t 9 6测试结果也 表明，基于改进的特征脸算法的人脸识别技术仍然是主流方法。 00 年代中期以来，研究人员逐渐认识到，一种有效的人脸识别算法，必须 能够充分地挖掘人脸不同方面的特征信息，具体说，就是要有效地利用人脸的 形状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。因此，出 第一章 绪论 现了融合上述特征信息的一些新算法。其中，基于 g a b o r 小波变换和弹性图匹 配的人脸识别方法是一种人脸形状拓扑结构特征和局部灰度特征的算法。该算 法较好地利用了人脸的结构信息和局部灰度分布信息，而且还具有自 动精确定 位面部特征点的功能，因而具有良 好的识别效果，其缺点是时间复杂度高，实 现复杂。 另一种融合多种面部特征的识别方法是基于可变形统计模型的人脸识别算 法。 该方法综合利用了人脸形状信息 ( 主动形状模型a s m) 、 局部灰度分布特征 和全局灰度分布特征 ( 主动外观模型 a a m) ，该方法同 样具有自 动提取形状特 征的能力，具有较高的识别精度，其缺点同样是系统时间复杂度高，速度较慢。 基于局部特征分析( l f a ) 的 方法也是一种重要的 识别方法， 遗憾的是， 该方法在 1 9 9 6年前后已用于商业产品f a c e i t 系统中， 其技术实现细节没有被公开。 此外， 隐马尔可夫模型 ( h m m) 、奇异值分解( s v d ) 、独立元分析( i c a ) 等方法也在人 脸识别中得到了应用。 到目 前为止，尽管能够满足人们需求的理想系统尚未出现，但通过对人脸 识别问题施加一定的限制，已有的技术己经能够在一定的条件下取得较高的识 别性能。研究表明，一个实用的人脸识别系统的成败，其关键不仅仅在于识别 算法，更在于如何解决实用过程中可能遇到的问题，如光照、姿态、饰物、表 情、毛发 ( 头发和胡须) 、不同摄像机参数变化、活性判别 ( 真实人脸与照片的 辨别) 、老化等问 题，对这些问题从实用环境分析的角度出发，进行系统的、有 针对性的研究，有助于加深对现有人脸识别技术的理解，更重要的是，可以解 决实际问题，加快人脸识别技术的实用化进程。从某种意义上讲，对这些问题 的专门研究比提出新的人脸识别算法更重要。我们相信， 在未来的几年内， 人 脸识别技术将会获得更大的发展。 1 . 2 .3论文的研究内容和意义 9 0年代中后期以来，一些商业性的人脸识别系统开始进入市场。目 前，主 要商业系统包括: 1 ) v i s i o n i c s 公司的f a c e i t 人脸识别系统，该系统基于r o c k e f e ll e r大学 开发的局部特征分析( l f a ) 算法: 2 ) l a u t e c h 公司的人脸识别确 认系统，采用mr技术; 第一章 绪论 3 ) m i r o s公司的t r u e f a c e 及e t r u 。身份脸证系统， 其核心技术为神经网 络; 4 ) c - v i s公司的人脸识别 确认系统; 5 ) b a n q u e t e c 公司的 身 份 验 证系 统; 6 ) v i s a g e g a l le 丫 身 份认 证系 统， 基于m i t媒体实 验室的e ig e n f a “技 术; 7 ) p l e t t a c e l e c t ro n i c s f a c e v a c s出入控制系统; 8 )台湾的 b i o l l )系统，它基于人脸、唇动和语音三者信息融合的 b i o m e t r i c s系统。 其中， f a c e l t 系统是最具有代表性的商业产品，目 前已 在很多地方得到了 应用。 去年， 它在英国用于被称为 ma n d r a k e ， 的反罪犯系统中， 该系统在1 4 4个 监控摄像机采集的视频序列中搜索已知的罪犯或者嫌疑犯，如发现可能的罪犯， 系统将通知中心控制室的普员。f a c e l t 系统在控制光照、准正面 ( 3坐标轴上 的旋转不超过 1 5度) 、无饰物的情况下具有较好的识别性能。但在实用过程中 也发现，只有训练集人脸图像的采集条件与测试集人脸图像的采集条件基本一 致时才能具有良 好的识别性能，否则，其性能将急剧下降，尤其光照变化、姿 态变化、黑框眼镜、帽子、夸张的表情、胡须和长发等对其性能的影响更大. 国内目 前尚无实用的商用系统， 但已 经有两家通过成果鉴定。 2 0 0 1年1 月1 0日， . 基于面像识别的数字化安全与认证产品” 通过国家 8 6 3 . 项目 成果鉴定与验收， 鉴定委员会认定银晨网讯对其核心算法拥有自 主知识产权。 2 0 0 1年0 7月0 2日 “ 生物面像识别系统”在长沙研制成功，这一系统是由湖南苏博泰克数据系统 工程公司和华翔腾数码科技公司合作研制成功的。据悉，运用该成果核心技术 研制开发的“ 生物面像识别磁卡电子门票系统” 已 经问世。 第三节 论文的研究内 容和意义 在对于目 前人脸识别发展背景及研究现状有了比较充分的了 解后， 本文主 要着力于解决光照和姿态变化对于人脸识别产生负面影响的这个关键问 题，围 绕该问题展开了一系列的研究，提出了通过分析平均三维脸来识别出输入图像 中光照条件、人脸姿态，从而消除光照、姿态对识别产生的负面影响的方法设 第一章 绪论 想，并进行了相关实验验证了 方法的可行性，同时为这方面进一步的研究打开 了思路，指明了方向。 本文研究的前提假设是:平均脸代表了隐藏在各个个体三维人脸背后的一 种人脸的三维稳定结构，对于某些应用 ( 如本文的确定光照和姿态)来说，它 足够的稳定和具有代表性，可以用来近似不同的个体三维人脸。 通过实验结果的支持本文欲阐明这样的结论:对于光照、姿态识别这样的任务， 是可以通过基于平均脸的分析来完成的。 第四节 论文的基本结构 本文章节安排如下: 第一章 绪论 在第一章中主要介绍了人脸识别的研究意义及研究背景，继而提出了本文 的研究内容和所做工作的意义，给出了 本文所描述系统的一个框架. 第二章 现有面部识别方法与存在的问 题 本章首先对二维人脸识别方法进行了综述，引出了其遇到的最主要的困难 一 不同p i e 下的对于识别的影响，这也是本文所要研究的中心问题，在此基础 上指出了基于三维的识别才能从根本上解决问题，并介绍了目 前三维人脸识别 的一些主要的比较成熟的方法。 第三章 数据规格化 从本章开始到第五章详细地介绍了本文实验的全过程，这一章集中讲解了 为将原始三维脸数据向量化以用于计算需要对原始数据集做的全部预处理工 作，包括网格简化、特征点对齐和稠密对应。 第四章 基于关键特征比较的光照、姿态分析 本章详细介绍了从计算三维平均脸模型、生成光照比对库到特征的抽取、 特征的分析处理及最终的分类器设计等内容，说明了光照识别算法的整体思想 和设计、实现的全过程。 本章最后部分4 . 5 种提出了解决姿态识别问 题的思路。 第五章 实验与分析 本章给出本文进行实验的实验环境、实验内 容及设计目 的、实验结果等; 重点阐述了实验的意义，即本文研究的目的。 第一章 绪论 第六章 总结与展望 本章主要给出了对本文提出的方法结论和对进一步工作的建议。 第二章 现有人脸识别方法和研究成果 第二章 现有人脸识别方法和研究成果 第一节 引言 随着社会的发展， 各个方面对快速有效的自 动身份验证的要求日 益迫切. 由 于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身 份验证的最理想依据。这其中，利用人脸特征进行身份验证又是最自 然直接的 手段，相比其它人体生物特征它具有直接、友好、方便的特点，易于为用户所 接受。虽然人类能毫不费力地识别出人脸及其表情， 但人脸的自 动机器识别却是 一个难度极大的课题。它牵涉到模式识别、图像处理及生理、心理学等方面的 诸多知识， 与指纹、视网膜、虹膜、基因等其他人体生物特征识别系统相比， 人 脸识别系统更加直接、友好， 使用者无任何心理障碍。并且通过人脸的表情/ 姿 态分析， 我们还能获得其他识别系统难以获得的一些信息。 “ 人脸识别( f a c e r e c o g n i t i o n ) ”的研究范围广义上讲大致包括以下5个方面的内容: ( 1 ) 人脸检测( f a c e d e t e c t i o n ) : 即从各种不同的场景中检测出 人脸的存在 并确定其位置。这一任务主要受光照、噪声、面部倾斜度以 及各种各样遮 挡的影响。 ( 2 ) 人脸表征( f a c e r e p r e s e n t a t i o n ) : 即采取某种表示方式表示检测出的 人脸和数据库中的己知人脸。 通常的表示法包括几何特征( 如欧氏 距离、曲 率、角度) 、 代数特征( 如矩阵特征矢量) 、固定特征模板、 特征脸、 云纹图 等。 ( 3 ) 人脸鉴别( f a c e i d e n t i f i c a t i o n ) ( 通常 所说的“ 仄脸识别” ) : 即 将待识 别的人脸与数据库中的已知人脸比较， 得出相关信息。 这一过程的核心是选 择适当的人脸的表征方式与匹配策略， 系统的构造与人脸的表征方式密切 相关。 ( 4 ) 表情/ 姿态分析( e x p r e s s i o n / g e s t u r e a n a l y s i s ) : 即对待识别人脸的表 情或姿态信息进行分析， 并对其加以归类。 ( 5 ) 生理分类( p h y s i c a l c l a s s i f i c a t i o n ) : 即对待识别人脸的生理特征进 行分析， 得出其年龄、性别等相关信息。 第二章 现有人脸识别方法和研究成果 第二节 人脸自动识别系统的组成 人脸自 动识别系统包括下列主要技术环节( 图 2 . 1) :首先是人脸检测和定 位，即从输入图像中找到人脸及人脸存在的位置，并将人脸从背景中分割出来， 然后才是对归一化的人脸图像进行特征提取与识别。 图2 . 1人脸自 动识别系统构成 这两个环节的 研究独立性很强.由于在很多特定情况下，人脸检测与定位 的工作比 较简单，因此 “ 特征提取与识别” 环节得到了更为广泛和深入的研究; 而近几年来随着人们越来越关心各种复杂情形下的人脸自 动识别系统，人脸检 测与定位才得到了较多的重视。 评价一个人脸自 动识别系统的标准，一个是误识率即将某人错识别为其他 人，另一个是虚普率即将其他人识别为这个人。这二者之间是存在矛盾的，所 以在实际问题中往往需要进行某种折衷.如，在安全性要求较高的计算机登录 系统中，必须要求虚警率要尽可能低，而误识率则可以高一些，这样只是增加 合法用户的登录时间，并不会降低计算机系统的安全性.这一点同样适用于特 征提取与识别环节，但是对于人脸检测与定位，我们一般则要求误识率要尽可 能低，因为这样才可以保证所要识别的人不会在这一步就丢失。 常用的人脸识别实验库以美国军方的 f e r e t库最为权威，它包括多人种、多年 龄段、各种表情变化、光照变化、姿态变化的图像，图像的数量和实验人数也 非常多， 可以充分地验证人脸识别算法.另外如m i t . o r l等库也可以用来验证 算法在某些方面的能力.目 前尚没有专门测试人脸检测和定位算法的图像库。 第二章 现有人脸识别方法和研究成果 第三节 二维人脸识别方法综述 2 . 3 . 1人脸检测与定位方法 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的 待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域.其方法大致 可分为基于统计和基于知识两类.前者将人脸图像视为一个高维向量，从而将 人脸检测问 题转化为高维空间中分布信号的检测问 题; 而后者则利用人的知识 建立若千规则，从而将人脸检测问题转化为假设/ 验证问题。 1 .基于统计的人脸检测方法 ( 1 ) 事例学习. 将人脸检测视为区分非人脸样本与人脸样本的两类模式分类 问题，通过对人脸样本集和非人脸样本集，进行学习以产生分类器。目 前 国际上普遍采用人工神经网 络。 ( 2 ) 子空间 方法. p e n t l a n d等将 k l变换引入了人脸检测3 5 1 ， 在人脸识别 中利用的是主元子空间( 特征脸) ，而人脸检测利用的是次元子空间 ( 特征 空间的补空间) 。 用待检测区域在次元子空间上的投影能量， 也即待检测区 域到特征脸子空间的距离做为检测统计量，距离越小，表明越像人脸.子 空间方法的特点在于简便易行，但由于没有利用反例样本信息，对与人脸 类似的物体辨别能力不足. ( 3 ) 空间匹配滤波器方法，包括各种模板匹配方法、合成辨别函数方法等. 2 .基于知识建模的人脸检测方法 ( 1 ) 器官分布规则: 虽然人脸在外观上变化很大， 但遵循一些几乎是普遍适 用的规则，检测图像中是否有人脸即是测试该图像中是否存在满足这些规 则的图像块. 这种方法一般有两种思路: 一种是 “ 从上到下” ， 其中最为简 单有效的是y a n g等人提出的m o s a i c方法3 6 ) ， 它给出了 基于人脸区域灰 度分布的规则，依据这些规则对图像从低分辨率到高分辨率进行筛选，以 样本满足这些规则的程度做为检测的判据。另一种思路则是从下至上，先 直接检测几个器官可能分布的位置，然后将这些位置点分别组合，用器官 分布的几何关系准则进行筛选，找到可能存在的人脸. ( 2 ) 轮廓规则: 人脸的轮廓可以简单地看成一个近似椭圆， 而人脸检测可以 通过椭圆检测来完成。 g o y i n d a r a j u提出 认知模型方法，将人脸建模为两 第二章 现有人脸识别方法和研究成果 条直线( 左右两侧面颊) 和上下两个弧( 头部和下巴 ) ， 通过修正h o u g h变换 来检测直线和弧3 7 1 .近期t a n k u s利用凸检测的方法进行人脸检测1 3 8 1 ， ( 3 ) 颜色、 纹理规则:同民族人的面部肤色在颜色空间中的分布相对比较集 中，颜色信息在一定程度上可以 将人脸同大部分背景区分开来. l e e等设 计了肤色模型表征人脸颜色，感光模型进行复杂背景下人脸及器官的检测 与分割3 9 , d a i利用了s g i d ( 空间灰度共生矩阵) 纹理图信息做为 特征进行 低分辨率的人脸检测4 0 1 。 s a b e r等则将领色、 形状等结合在一起来进行人 脸检测to n ( 4 ) 运动规则: 通常相对背景人总是在运动的， 利用运动信息可以简单有效 的将人从任意复杂背景中分割出来.其中包括利用眨眼、说话等方法的活 体人脸检测方法. 文献4 2 1 对利用运动信息进行头部运动跟踪检测进行了综 述和探讨. ( 5 ) 对称性:人脸具有一定的轴对称性，各器官也具有一定的对称 性. z a b r o d s h k y提出 连续对称性检测方法， 检测一个圆形区域的 对称性， 从而确定是否为人脸【4 3 1 ; r i e s f i e l d提出 广义对称变换方法【4 a 1 ， 检测局部 对称性强的点来进行人脸器官定位. 也有人定义方向 对称变换【4 5 1 ， 分别在 不同方向上考察对称性，不仅能够用来寻找强对称点，而且可描述有强对 称性物体的形状信息，在进行人脸器官定位时更为有效。 2 . 3 .2 人脸特征提取与识别方法 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在:( 1 ) 人脸塑性变形( 如表情等) 的不确定性;( 2 ) 人脸模式的多样性( 如胡须、 发型、眼镜、化妆等) ;( 3 ) 图像获取过程中的不确定性( 如光照的强度、光源方 向等) .识别人脸主要依靠人脸上的特征。也就是说依据那些在不同 个体上存在 的较大差异而对同一个人则比较稳定的度量。由 于人脸变化复杂，因此特征表 述和特征提取十分困难. 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一 化.几何归一化是指根据人脸定位结果将图像中 人脸变换到同一位置和同样大 小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克 服光照变化的影响而提高识别率。 第二章 现有人脸识别方法和研究成果 成绩，也产生了大量的商用人脸识别系统，应该说仅利用人脸图像本身二维信 息的识别方法已经被研究的比较透彻了，很多优秀的方法针对不同的问题取得 了非常好的效果，但对于不同光照、姿态和表情 ( p i e )下的人脸识别这个最具 挑战性的问题， 这些二维识别方法都还是没能给出太令人满意的答案。 基于上述分析， 我们认为只有基于 3 d信息来改善 2 d图像外观的方法才是 解决姿态、光照变化问题的最本质的方法。 第三章 系统框架及数据规格化 第三章 系统框架及数据规格化 第一节 系统框架 本文提出的光照、 姿态识别系统框架结构如图3 . 1 所示， 在本文的后面章节 中会依次对系统的3 个主要模块做出详细的解释和说明: 规格 化 3 d人脸 图3 . 1 3 d人脸光照、姿态识别系统流程图 第三章 系统框架及数据规格化 第二节 原始数据集分析 这里首先介绍一下原始数据集的相关背景以说明预处理的必要性。实验的 数 据 集 采用 北 京工 业大 学3 d 人 脸数 据库， 即b j u t - 3 d f a c e d a t a b a s e + 1 ， 三 维 人脸数据通过c y b e r w a r e 3 0 3 o r g b / p s 激光扫描仪获取， 该扫描仪可以一次扫描得 到人头部的几何信息和彩色纹理信息，扫描仪使用柱面坐标来记录几何信息， 扫 描精度为圆周方向( 用中表示，0 -m 2 i i ) 4 8 9个采样点， 轴方向( 用 h表 示， 0 h 3 0 0 m m ) 4 7 8 个采样点扫描半径( 用r 表示) 在2 6 0 m m 到3 4 0 m m 之间，每一 个几何采样点对应一个2 4 b 纹理点( 用r , g , b 表示) ， 并以4 8 9 * 4 7 8 大小的纹理图 像存储，由于该扫描仪对于头发等复杂结构或黑色部位的扫描效果比较差，而 这里感兴趣的只是人的面部信息， 因此扫描者戴了泳帽，且没有化妆，不戴眼镜 和任何饰物， c y b e r w a r e 扫描仪获得的数据精度很高， 一个人的原始数据大约由 2 0 0 0 0 0 点和4 0 0 0 0 0 个三角面组成。 尽管得到的数据集已 经经过了初步的预处理，包括平滑、补洞、切割以及 坐标矫正等处理步骤，详细处理步骤和方法可参考文献9 3 ，为了方便处理和进 行计算，数据的规格化是必需的。 得到的数据集中每个人脸有 5 0 0 0 0 - 8 0 0 0 0个采样点，三角片数目 更是达到 了十几万。这么庞大的数据量对于处理和计算都存在着巨大的困难，同时就本 文确定光照、姿态以及人脸识别的目 的来说， 这样高的分辨率也是没有必要的。 很多已 有研究表明对于人脸识别的目 的而言， 每个3 维人脸7 0 0 0 - 1 0 0 0 0 个数据 点的 采样密度是足够并且比 较合适的1 0 1 1卜而且由 于人脸的个性差异， 扫描得到 的人脸数据有很大差别， 一般三维人脸的点数和面数不同， 点和面的排列结构也 不一致，因此， 要对预处理过的人脸数据进行规格化， 使用标准形式来表示三维 人脸数据，数据规格化是建立操作性强的人脸库的关键步骤。 第三节 网格简化 3 .3 . 1什么是网格简化 网格简化是指在保持模型对描述人脸表面一定逼真度和精度的前提下，尽 量减少模型的复杂度，取得模型复杂度与逼真度和精确度之间的折衷，简化的 第三章 系统框架及数据规格化 结果为用少量的图元，如点、线、面等表达的原始人脸模型，其数学描述如下: 艺( v , e , f ) ( v , 从f ) ( 3 . 1 ) 即 给 定 区 域 内 的 三 维 人 脸 模 型 为 : 艺( v , e , f ) , 其 中v , e , f 分 别 表 示 三 维 人脸的顶点集合、 边集合和面元集合， 则简化过程为根据一定的误差度量法则f 及面元变化规则中，将不需要的图元去掉从而得到一个简化的模型: l . ( v , e , 厂 ) 。 3 .3 .2 网格简化的目的 本文通过对数据集进行网格简化达到了两个目的，一是让模型大大简化， 方便了处理大大提高了计算速度:二是经过简化的模型就具有了统一的数据点 维数，这是3 维人脸形状信息的向 量化表示的基础条件。 3 .3 .3 网格简化方法分类 网格简化算法从不同角度有不同的分类: 1 .保持或不保持拓扑结构的方法 一般在模型简化中应该保持对象的拓扑结构，但是有一些不保持拓扑结构 的简化方法也具有较强的实用价值。 2 .误差受限或不受限的方法 构成三角网格模型的三角片数目 减少以后，模型的精度必然降低，如果对 模型简化后相对于原始模型的误差给以限制，则称为误差受限的模型简化方法。 否则称为误差不受限的方法。 3 .与视点无关和与视点有关的方法 很多简化方法都是侧重于根据模型的结构在物体空间进行。模型的简化和 使用是与视点无关的。在有些情况下，如果需要在同一模型的不同部位同时存 在不同的分辨率，就必须进行与视点有关的简化。 4 .基于规则网和基于不规则网的方法 根据人脸模型数据结构的不同，网格化简可分为两大类: 针对t i n 的化简方 法和针对g r i d的简化方法。 由于人脸自身表面结构的复杂性，原始数据集中人脸数据结构采用的是不 规则三角网( t r i a n g u l a t e d i r r e g u l a r n e t w o r k , t i n ) 表示法。所以下面主要介 第三章 系统框架及数据规格化 绍一些针对t i n 模型的简化方法: 1 ) 顶点聚合 顶点聚合的方法是由r o s s i g n a c 和b o r r e l 14 1 最先提出的。 其基本思想是 将输入模型的顶点坐标量化成整数，相当于在几何上建立了一个方格坐标， 而将所有落在一个方格内的顶点合并 ( 聚合)为一个代表该方格的顶点。被 完整包含在一个方格中的所有三角型和边也都合并为一个点。从而简化了这 些三角型和边。l o . 和t a n 通过采用”浮动方格”改进了这种方法。 2 ) 面元聚合 这种方法是指一次删除几个相邻三角形，并对由 此产生的边界重新三角 化。 较典型的方法是k a l v i n 和t a y l o r i 3 提出的一种被称为基于区域生长的 简化算法。 其基本原理是以 一个称为种子面的三角面片开始， 根据一些准则 将周围的面合并起来形成一个更大的面 ( 称为超面) 。反复地选择不同的种 子面，将模型上所有三角面片分成若干个超面，超面的内部点可以被删除， 且超面间边界上的冗余点也可以被删除，最后再对每个超面重新三角化，从 而实现三角网格的简化。 h i n k e r 和h a n s e n 在他们的几何优化算法 3 4 1 中就采 用了这种面元聚合方法。 3 ) 顶点消去 顶点消去可能是最直观的几何简化方法。这种方法的基本思想就是从输 入网格上拔去一些顶点，每拔去一个顶点，则与它相关连的所有三角型面元 也同时被消去，因而在网格上形成一个空洞，对空洞再行三角剖分，就得到 消去一个顶点的网格。 采用顶点消去作为简化手段的算法不少， 文献均就是 此类方法。它们在消去顶点的做法上的差异有两个方面:一个是选择要拔去 的顶点的方法和误差测度:另一个是对空洞进行三角剖分的方法。 4 ) 边收缩 边收缩操作是由h o p p e 2 等人最先提出的，可以说是近几年里最为流行 的简化操作。这种操作的基本思想是，将一条边的两个端点沿着该边收拢成 为一个顶点，因而消去这条边以及与它相关联的两个三角形。这种算法涉及 两个决策:一个是收缩成的新顶点应该落定在 ( 该边上的) 什么位置，另一 个是按什么顺序选择边来收缩。通常，通过定义一个评估新顶点位置的误差 测度，可以隐式地做出这两个决策。 5 ) 顶点对收缩 顶点对收缩是比边收缩更为一般化的简化操作，它允许收拢合并任意一 第三章 系统框架及数据规格化 对顶点， 不管他们是否在同一条边上1 6 ) 。由于可以 将拓扑上不相连的两个顶 点收拢为一个顶点，因此复合模型中的互不连通的组成部分在简化时就可以 被聚合，这对复杂模型的大量简化很有意义。为了把候选顶点对的数目限定 为全部顶点对的一个子集，引入了 虚拟边 ( v i r t u a l e d g e s )的概念，指在 空间上较接近的顶点对确定的边。虚拟边的选择有不同的策略，例如 d e l a u n a y 边和静态门限。 由于顶点对收缩法是对边收缩法的一般化， 绝大部 分的边收缩的误差测度可以很容易地扩展为顶点对收缩的误差测度。 3 . 3 .4 本文采用的网格简化方法介绍 本文选择的是由g a r l a n d提出的 基于二次误差矩阵的网格简化方法3 ， 这 种方法实际上也是基于顶点对收缩的。算法使用迭代的顶点对收缩策略以达到 在保证由二次误差矩阵所近似代表的表面误差最小的条件下化简模型。通过允 许收缩任意的点对 ( 而不仅仅是边) ，该算法可以根据需要连接模型的不连通的 部分 ( 图3 . 2 ) ，无论从视觉上还是从误差值上这都可以得到效果更好的近似。 之后 图3 .2 不连通的 顶点对收缩 该算法流程如下: 1 . 对于 每个初始模型的 节点， 计算它们各自 的 误差矩阵 q 对 于 定 点 v ， 其 误 差 阵 q ， = 艺k p p e p l a n e s ( v ) 其 中 气 一p x p t , p 一 a b c d ， ，代 表 每 个 包 含 点 v 的 平 面 p , a , b , 。 是 归 一 化 第三章 系统框架及数据规格化 的平面p 的单位法向 量的3 个分量, d 取满足平面方程 a x 十 b y 十 c z + d = 0 的 值。 2 . 选择所有的有效点对 任意2 点如果满足 ( 1 ) ( v i . ) 是一条边，或者 ( 2 ) d i s t ( v l ,v 2 ) 0 ，由 于 这些具 有非 零值的a ， 对应的向 量支撑了 最优分 类面， 因 此被称为 支持向 量。 对于线性s v m ， 核函数k( ， )就是两向量的点积运算; 对于非线性情形， 第四章 基于关键特征比 较的光照、 姿态分析 由核空间理论， 可通过非线性映射把输入向量映射到一个高维特征空间， 来构造 最优分类面。 网络形式。 常用的核函数形式有多项式形式、 选择不同形式的核函数k( ， . )， 径向 基形式、二层感知器神经 就可以得到不同的支持向量. 4 .4 . 3 基于s v m的分类器 在得到了直接基于特征向量间欧氏距离的分类结果后，本文又尝试了用支 持向 量机 ( s v m )实现分类，这主要基于以下几个考虑: 1 . 用于计算三维平均脸的三维样本脸数目有限 ( 2 0个) ，得出的三维平 均脸模型用于近似本组 ( 即计算平均脸的这组)这些个体样本脸的三 维结构效果是比较好的， 而与新的一组个体脸的三维结构可能就相对 有较大差距，在上面实验的结果中对于本组中人脸模型的光照识别正 确率达到了 9 4 . 6 2 % ， 而对于另外新的一组的识别率仅为 8 4 . 6 2 % ，也 充分说明了这一点。 2 ，