（计算机软件与理论专业论文）三维面貌特征提取与识别技术研究.pdf

两北人学颈，f 学位沦文三维断貌特征摊取。j 识别技术研究 三维面貌特征提取与识别技术研究 ：1 二_ 学松 2 0 0 2 5 蹦北大学汁算机科学系可视化技术研究所 摘要 一| 认脸识别是一种基丁生物特征的身份认证技术，是模式识别和机器视觉领域最为活跃的 研究方向之一，具有十分，阔的应前景。它蛹过对人脸特征的检测与分析，实现身份识别 与鉴别。通常是利用二维照片作为研究对象，基于照片的人脸识别已经取得r 一系列的进展， 同时也存在一些重人的障删，土要在1 ：姿态变化、光j ! c 不同、表情变换，都会给识别带来 困难。为解决这些问题t 眵 的专家学者采用三维深度图象作为对象，开展了相关的：c 作， 但目前研究还很不充分。1 本文主要针对三维人舱面貌进行分析，研究了三维面貌的特征提取与以别方法。文中首 先介鲋了国内外面貌识别尤其是三维面貌识别的研究现状，并从认知学角度出发，设计丁人 脸的描述特征；接着提山了三维面貌特征的自动检测与标定算法，研究了利用三维样本进行 特征的比较与面貌识别的方法；然后分析了三维面貌特征与二维正侧面照片的映射关系，并 利用二维照片作为样本进行检索识别；最后给出了系统的分析设计与实现，对三维面貌识别 技术的发展趋势和应用前景进行了展望。 一一f 主要内容包括： 一 1 ) 、提出了人脸模式的层次化描述方法，并通过特征点的欧氏距离、轮廓线分段曲率特征、 器官宏观隶属度进行最化；定义了基于生理特征的面貌坐标系，研究了三维面貌与二维 照片问的映射关系。 2 )用人脸先验知识，进行三维面貌特征的自动检测与标定，利用径向差分和改进的高斯图 方法，获取面貌的器官边缘区域；根据器官模板，通过区域边缘拟合承能量优化算法提 敬精确特征点。 3 ) 提出了基下双层语义网络的合法性校验方法，对自动检测的面貌特征结果进行整理，构 造语义图，井根据知识规则加以验证。 4 ) 利川二维样奉，根据特征欧氏距离、侧轮廓线分段曲率和止脚轮廓线隶属度方法进行面 貌识别，基于分类器自觉可信度改进投票法，对多分类器进行集成。 5 ) 提山了利用二维照片样本进行三维样本检索弃i l 识别的方法，有效地将二：维照片获取方便 的特点和三维样本特征稳定的特点相结合，扩人了三维面貌识别技术的应用领域。、r 一 ， 关键词： 人脸识别，特征提取，深度图象，三维面貌，模式识别 要! ! 查堂堡! ：堂垡堕苎二二= 三堡塑塑竺笪塑璺皇兰竖坚堑塑! ! l r e s e a r c ho n f e a t u r e se x t r a c t i o na n d f a c e r e c o g n i t i o n f r o mr a n g e i m a g e w a n gx u e s o n g 2 0 0 2 5 v i s u a l i z a t i o nt e c h n o l o g yi n s t i t u t e d e p a r t m e n to f c o m p u t e rs c i e n c e ，n w u a b s t r a c t f a c er e c o g n i t i o ni sak i n do fb i o m e t r i ct e c h n o l o g y , w h i c hi s o n eo ft h em o s ta c t i v ef i e l d sj n o a t t e r nr e c o g n i t i o na n dm a c h i n ev i s i o n f u r t h e r m o r e ，i th a sm a n yp o t e n t i a la p p l i c a t i o n s b ym e a n s o f e x t r a c t i n ga n da n a l y z i n g t h ef a c i a lf e a t u r e ，h u m a nr e c o g n i t i o na n da u t h e n t i f i c a t i o na r ea c h i e v e d - g e n e r a l l y , i td e a l sw i t h2 - di m a g e ，a n d h a sa t t a i n e das e r i e so fi m p r o v e m e n t s h o w e v e r , 2 d i m a g e s c a nc h a n g ed r a m a t i c a l l yd u et op o s e ，i l l u m i n a t i o n ，e x p r e s s i o na n dv i e w i n gv a r i a t i o n s ， w h i c hm i g h tb r i n gp r o b l e m st or e c o g n i t i o n i no r d e rt os o l v et h e s ep r o b l e m s ，t h ei n t e r n a t i o n a l e x p e r t sb e g i nt oa n a l y s i st h e3 dr a n g ei m a g e s a n dh a v ed e v e l o p e ds e v e r a lr e l a t i o n a lm e t h o d s y e tt h ec u r r e n tr e s e a r c h e sa r eq u i t ej n s u f n c i e n t i nt e r m so f3 - dh u m a nf e a t u r e ，t h et h e s i sa n a l y z e sa n dr e s e a r c h e st h em e t h o d so ff e a t u r e e x t r a c t i o na n dr e c o g n i t i o n f i r s t l y , a no v e r v i e wo ff a c er e c o g n i t i o n ，e s p e c i a l l yt h e3 - df a c e r e c o g n i t i o n ，i sp r e s e n t e d t h e n t h ef a c i a ld e s c r i p t i o ni sd e v i s e df r o mt h ep o i n to f p s y c h o p h y s i c i s t s t h e r e a f t e r , t h ea l g o r i t h mi sp u tf o r w a r dt od e t e c ta n dl a b e l3 - d f a c i a lf e a t u r ea u t o m a t i c a l l ya n d t h es t r a t e g yi ss t u d i e dt os e a r c ha n dr e c o g n i z e3 - ds a m p l e sf r o md a 协b a s e ，t o o a f t e r w a r d s ，t h e r e l a t i o n s h i pb e t w e e n3 - dh u m a nf e a t u r ea n d2 - di m a g e s ( f r o n t a la n dp r o f i l e ) i sa n a l y z e d ，a n d r e t r i e v a la n dr e c o g n i t i o nu s i n g2 - 1 9s a m p l ei m a g ea r ec a r r i e do u t f i n a l l y , t h ea n a l y s i s ，d e s i g no f t h es y s t e ma n dp r o g r a m m i n ga r ep r e s e n t e d ，a n dt h e nt h ed e v e l o p i n gt e n d e n c ya n da p p l i c a t i o n p r o s p e c t o ft h e3 df a c er e c o g n i t i o nt e c h n o l o g ya r ee x p e c t e d t h em a i nw o r k s a r ea sf o l l o w s ： 1 、t h eh i e r a r c h i c a ld e s c r i b i n gm e t h o do ff a c i a ip a t t e r n i s p r e s e n t e d ，t h e f a c i a if e a t u r ei s q u a n t i t a t i v ee v a l u a t e db y t h ee u l e rd i s t a n c eo f f e a t u r ep o i n t s c u r v a t u r ef e a t u r eo f p r o f i l ea n d s u b j e c t i o nd e g r e e o fo r g a n ，a n dt h eb i o m e t r i cf a c i a lc o o r d i n a t e si sd e f i n e d ，t h e nt h e r e l a t i o n s h i pb e t w e e n 3 - dh u m a nf e a t u r ea n d2 - di m a g e si sr e s e a r c h e d 2 1b vm e a n so ft h ee x p e r i e n t i a lk n o w l e d g e ，t h ea u t o m a t i cd e t e c t i o na n dl a b e io ft h e3 - dh u m a n f e a t u r ei sa c h i e v e d a n du s i n gt h em e t h o do fr a d i a ld i f f e r e n c ea n di m p r o v e dg a u s s i a ni m a g e ， t h ef a c i a le d g er e g i o ni so b t a i n e d b a s e do nt h et e m p l a t e , t h ea c c u r a t ef e a t u r ep o i n t sa r c e x t r a c t e db yt h ea l g o r i t h m so f f i t t i n gr e g i o ne d g ea n do p t i m i z i n ge n e r g yf u n c t i o n 3 1t h em e t h o dt ov e r i f yt h ee x t r a c t i o nr e s u l tb a s e do nd o u b l e l a y e rs e m a n t i cn e t sj sa d v a n c e d ， a n dt h er e s u l t so fd e t e c t i n g3 - dh u m a nf e a t u r ea u t o m a t i c a l l ya r ea r r a n g e dt oc o n s t r u c tt h e s e m a n t i cn e t s w h i c hi sv a l i d a t e di nt e r m so f k n o w l e d g er u l e s 4 ) m a k i n gu s eo f3 - ds a m p l e s ，t h ef a c er e c o g n i t i o ni si m p l e m e n t e db yt h ee u t e rd i s t a n c e f e a t u r e ，t h ep r o f i l es u b s e c t i o nc u r v a t u r ea n dt h eo u t l i n em e m b e r s h i pd e g r e e ，w h i l et h e m u l t i p l ec l a s s i f i e r si sc o m b i n e db yi m p r o v e dv o t i n gm e t h o d 5 ) t h e m e t h o du s i n gt h e2 - d p h o t o t or e t r i e v ea n d r e c o g n i z e t h e3 - d s a m p l ei sb r o u g h tf o r w a r d w h i c hc o m b i n e st h ec o n v e n i e n c ef o ro b t a i n i n gt h e2 - d p h o t oa n dt h es t a b i l i t yo f 3 - ds a m p l e s f e a t u r e ，s oe x p a n d st h ea p p l i c a t i o nf i e l d so f 3 - df a c er e c o g n i t i o nt e c h n o l o g y k e y w o r d s ： f a c er e c o g n i t i o n ，f a c i a lf e a t u r e e x t r a c t i o n ，r a n g ei m a g e ，3 df a c e ，p a t t e r nr e c o g n i t i o n 独创性声明 y 互2 9 7 6 7 本人声明所里交的学何论文娃本人住导帅指导f 进行的研究1 作及取得的研究成果。据 我所知，除丁史中特别加以标注利致谢的地方外，沦文t p 不包含其他人已经发表或撰写过的 研究成果，也不包含为获得蝤g 厶堂或其他教育机构的学位娥证f ；而仙用过的材料。与我一 同i ：作的| 亓】出对木i i j 究所做f f j 仟贞献l i 化沦殳- ”t 1 ：r i 们确n 勺说叫行是示傲谢。 学位论文答辩人签名 五剜公 签名e 1 j i j j ：2 蚍年月f 1 西北大学硕j - 学位论文三维面貌特征提取与识别技术研究 1 i 课题背景及意义 第一章绪论 基于生物特征的身份认证技术近年来发展迅速，计算机面貌识别技术是其中最为活跃最 有挑战性的领域之一。它结合了认知科学、神经心理学、图象处理、计算机图形学、机器视 觉和模式识别等多个研究领域，研究的成果有着广阔的应用前景。 人脸面貌能够用于身份识别，主要冈为人的面貌属丁人本身周有的生物特征，这种特征 具有不可复制，难以伪造的特点，弥补了密码、签字、口令、证件等传统手段容易泄密、遗 忘的缺点。理论上，人的生物特征只要具有唯一性和稳定性，都可以作为身份识别的依据。 研究和经验表明，人的指纹、掌纹、面孔、发膏、女l j 摸、视网膜、骨架、基冈等都具有这种 特性”，其中，人脸面貌是众多生物特征中最方便获得的，可以在1 f 接触、不侵犯隐私条件 f 得到待识别人的特征，更易为人们所接受。 通常面貌识别系统多是针对二维照片或动态视频序列进行研究，基于照相技术或者摄 像技术，以图象处理技术为基础，由于它数据获取方便、成本低、处理计算复杂度较小，取 得了很大发展。但是，基于二维照片进行人脸识别存在严重的障碍。首先是光照问题，在照 片内是以灰度信息表示人脸面貌的，而在不同舸光照情况下，得到的面貌照片差别很大；其 次是姿态问题，严格符合正面侧面条什的照片是儿乎不存在的，如何从二维照片得到三维姿 态，并加以调整是一个难题：另外，面貌的表情等因素也严重影响者识别过程。 产生这些问题的主要原因是由l 丁人的面貌本身是三维的，而照片是对三维面貌进行平面 投影的结果，在此过程中必然丢掉一部分信息。虽然可以采川多幅照片或者利用面貌规则 根据图象中光照及阴影情况恢复三维信息，但它本身也是一个病态方程，由于目前认知科学 和心理学尚未对人的视觉理解机理有突破性进展，所引入的人脸知识规则具有很大的局限 性，这造成了面貌识别算法精确度和准确度的局限l f “。国外的研究者开始研究三维的面貌 识别系统，但研究很不充分，并且针对实际应用系统的研究更少。本课题针对这些情况，研 究三维面貌识剐理论与方法，通过与二维照片的结合，探讨三维面貌识别技术的应用系统设 计。 1 2 面貌识别理论概述 面貌识别是对给定的待测照片、深度图象或其他形式的r 义面貌信息，利用相关知识进 行检测，判断整个场景中是否包含人脸面貌，同时进行人脸面貌的定位，并对其进行尺度归 一化和颜色标准化、去噪声等预处理，然后进行特征抽取和定量描述，根据人脸的特征描述 进行比较识别，从而判断不同人脸面貌信息是否为同一人脸，其实质是面貌模式的检测与分 类。 人脸面貌识别的具体研究主要包括以f j d 人部分”： 人脸面貌的表示( f a c er e p r e s e n t a t i o n ) 根据人脸的知识以及认知规则确定面貌的表示，主要有分为两大类：特征矢量方法和图 象矩阵方法。前者主要有几何特征、代数特征、变换域特征。后者主要有灰度图等方式。 人脸面貌的检测( f a c ed e t e c t i o n ) 第l 页 塑些查堂婴! ：堂竺堡塞二二二兰堡耍翌堑堑堡壑! 燮竖堕里! 型 主要采用图象处理模式识别等方法，在给定的场景区域中，判断是否包含人脸面貌，并 确定其位置。 人脸而貌特征抽取( f e a t u r ee x t r a c l i o n ) 采川图象处理、神经网络、数学变换等方法，进行特征的检测与抽取。 人脸面貌的分类( p h y s i c a lc l a s s i f i c a t i o n ) 对人脸面貌的生理特征进行分析得山年龄、性别等信息。 人脸面貌的鉴别( f a c ei d e n tj f i c a t j o n ) 根据人脸面貌的特征，设计识别算法，进行人脸的相似度分析，从数据库中检索已有的 面貌、判别给定面貌是否与原面貌样木为同一人。 面貌识别研究的分类 面貌识别研究采朋的方法很多，但可以从v u ) d 个方面进行分类：采用的研究方法、研 究的面貌形态、研究面向的应川领域。 从人脸表征方式上分类 主要分为：基丁j l , f i i 特祖：的方法、耩丁代数的方法、基于神经网络和连接机制的方法 1 1 , l , 2 1 , 4 2 1 。 按研究对象的形态分类 主要分为：静态图片( 正面、侧面静态照片，任意角度静态照片) ，动态照片( 动态视频、 全息照片、图象序列) ，深度图象等。 从面向的应用领域来看 通常分为：信用卡、护照、驾照、个人身份证件的识别；图象库中面貌图象的匹配 ( m u g s h o t ) ；银行、商店的监控；公众监视 专家识别；目击面孔重建：照片、遗留物的 人脸重建；年龄、性别、种族分类；表情的识别与模拟“”。 面貌识别的整体结构可以用如下结构图表述： a ：，“义面貌图象生成 c ：人脸面貌特征抽取 e ：面貌袭示特征选择 g ：人脸面貌的鉴别 图i - 1 b ：人脸砸貌的检测 d ：面貌知识规则生成 f ：面貌表示的验证 h ：面貌特征的分类 面貌识别系统结构框图 第2 页 婴些查堂塑! 堂丝堡兰二二二三堡! ! 塑塑丝堡坠! ! 塑型垫查婴塞 1 3 面貌识别国内外研究历史与现况 1 3 1 人脸识别发展史 人脸面貌作为人“j 日常生活中区分、辨识周围人的重要特征，对其研究已经有很长的历 史了 1 ，2 ，3 。在早期的人类学等相关领域中，已经对其进行了定量、定性的尝试性描述， 例如：1 9 世纪，g a l t o n 就曾经用一组数字代表不同的人脸侧面特征。这些研究工作无疑对 我们现在所从事的工作有重要的作用，但是山丁人脸图象的自身的复杂性再加上其背景往 往也比较复杂，对其研究有很大的困难。其计算的复杂性与方法的特殊性，使得在5 0 、6 0 年代人i 智能与模式识别兴起之前，人多i ：作都足尝试性的，很难有突破。 面貌识别自7 0 年代开始，经过2 0 多年的发展，结合了认知科学、心理学、生理学、计 算机、模式识别等相关领域的研究成果，在9 0 年代达到了研究的高峰，目前已经形成了一 些实l f j 的产晶，井形成了规模巨人的产业。 直到6 0 年代，计算机技术、人工智能、模式识别以及相关技术的发展，才极大地推动 了人脸识别的研究，并在7 0 年代初，“生了第一阶段的重要研究成果，主要集中丁人脸识别 所需要的面部特征，当然这一阶段并没有彻底解决人脸的描述问题，后续有很多人继续研究 这一人脸识别的基本问题，直到现在，人们也没有从根本上解决它，但是这些成果却使人脸 识别成为了现实可能。以b e r t i l l o n 、 l l e n 和p a r k e 为代表，a l l e n 首先为人脸设计了一 种有效和逼真的摹写，p a r k e 则用计算机实现了这一想法，同时产生了较高质量的人脸灰度 图模型，而b e r t i l l o n 提供了一个人脸与指纹分析相结合的较强的识别系统。这一阶段的识 别基本上都依赖于操作员。 第2 阶段是人机交互式识别阶段，这一阶段产生了人脸识别的基本方法，形成了较为系 统的体系，已经有基于特征和基于统计的识别方法之分。主要有g o l d s t i o n ，h a r m o n 和l e s k 用几何特征参数来表示人脸正面图象。k a y a 和k 0 b a y a s h i 则采用了统计识别方法，用欧氏 距离来表征人脸特征。t k a n a d 觚q a g a o ) 设计了一个高速且有一定知识导引的半自动回溯 识别系统，创造性地运用积分投影法计算山一组脸部特征参数，再利用模式分类技术与标准 人脸相匹配。k a n a d 实现了快速、实时的处理的系统。b a r o n 所做的工作较少为人所知：他 先将图象灰度归一，爵刚4 个掩模表示人脸，计算掩模与数据席中臣f 象相应掩模之间的互相 关系数。总的来说，需要利用操作员的某些先验知识。仍然摆脱不了人的干预。 第3 阶段是真正的机器自动识别阶段。近十余年来，随着高速度高性能计算机的发展， 机器人视觉的研究，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统， 并出现了许多新的发展方向。经验表明，如果不能拦脱人为的干预，这样的系统将无法真正 进入市场。 1 3 2 三维面貌识别研究现状 目前，研究者已经开始尝试利用三维深度图象，进行三维面貌识别的研究。三维面貌识 别最初是从几何方法发展来的，出发点是希望利用三维的面貌处理技术，解决传统二维照片 识别中因为人脸的姿态、光照等对识别造成的干扰问题，在三维的基础上进行特征的提取和 识别将有更为丰富灵活详尽的信息可以利用。三维数据获取已经成为可能( 如三维激光扫描 技术、c t 成像技术、结构光方法等) ，使得图形技术得到了应用的可能，专门用于人头面部 扫描的三维彩色扫描仪将逐渐步入生活，可以迅速地完成人头二维面貌数据获取。 第3 页 堕韭查兰堡土堂垡堡苎二二二= 三丝堕塑堑堡堡坚! ! 望型垫查! ! 窒 一 一 灰度值作为第三维的方法 通过将人脸图象舶灰废值作为z 轴坐标，建模为可变形的3 d 网格表面，从而成为可变 形曲面的弹性匹配问题，s u ) i j 有限元分析判断。物体川稀疏图形来描述，顶点用局部能量谱 的多尺度描述来标记，边则表示拓扑连接关系井用几何距离来标记，然后应用塑性图形匹配 技术寻找已知图形。灵活表现模型方法，将人脸编码为8 3 个参数，利用辨别分析方法，进 行基丁形状信息的人脸识别。 利用三维模型增强二维识别的方法 利川已有的三维面貌深度图象模板，增强已有的二维面貌识别方法，主要致力于解决以 f 问题：1 ，光照问题；2 ) 姿态问题。w e ny jz h a o 的方法 j 4 j 采用了改进的s f s ( s h a p i n g f r o ms h a d i n g ) 恢复三维人脸形状姿态光照信息，用已有的三维模型进行相应调整，然后对 给定的- 二维凹象进行变形，转到止- 呵光j ! l 无倾们仰角的标准情况照片，然后进行识别。在变 形过程中采刚人脸对称性的先验知识非常有效的方法。 纂予真i f 人脸三维模型舳人脸箍则 真正的三维面貌鉴别是利用深度图象进行研究，自8 0 年代末期开始，已经有了很大进 展 7 ，8 。其典型方法主要是利用深度图象自身的儿何特祉，利h 深度圈絮处理技术，分析 面貌曲面的曲率等几何特征，对面貌曲面进行凹凸区域的分割、正侧面轮廓边缘的提取。 最早对三维图象面貌识别的研究有l a p r e s t e 8 提山的基丁轮廓线的方法，通过对人 脸面貌曲率的分析，提取轮廓线上的特征点，利j j 轮廓线作为特征进行面貌的识别。 l e e 酬i l i o s 9 从人脸面貌深度图象中抽取凸区域，这些凸区域形成了特征集，计算出所有 凸区域相关的扩展高斯图，两幅面貌特征的匹配就是利用这些扩展高斯图象进行的。 g o r d o n 1 0 ，1 9 对深度面貌图象进行了深入细致的研究，计算曲率以便找到面貌的详细描述， 并用于识别阶段。v a c o o b & d a v i e s 1 2 提出了一个利用深度图象进行人脸区域标定的方法， 仍然采j i = f j 计算凸凹点，与以往不同的是用了种称为多阶段融合过程的方法，经过定性推理 过程，标定结果区域。 另外，b e r n a r d 1 7 采j h 把- 二维人脸识别巾本征脸、隐式马尔可犬模型的方法扩展到三 维深度面貌图象中。利用深度图赢接进行本征脸主成分的识别，对于马尔可夫模型法，用滑 动窗口将二维信息转换成该方法能处理的一维特征才进行识别。在b e r n a r d 的另一篇文章 2 0 中，采用点集羊体素作为特征，计算i l a u s d o r f f 距离以比较相似度。t a k a s h in a g a m i n e 1 1 利用与垂直、水平、圆形面交线的方法，提取轮廓线，利用轮廓线的欧氏距离进行识别。 b e u m i e r 】5 则从结构光深度图象获取，构造了一个实用的三维人脸识别系统，主要以轮廓 线曲率比较的方法进行识别。 长期以来，三维面貌识别研究未能达到正面照片、轮廓识别那种如火如荼的境况，原因 在于：1 ) 三维数据的获取仍显繁杂，搿要专用的设备，费用高，数据量大，计算复杂，难 以满足应用要求的实时响应时间。2 ) 三维识别要求采集面貌数据是在合作环境下进行，这 5 6 t sr j t 其应用范围。3 ) 深度人脸面貌采集设备出现时间仍较短，三维物体的相似性判别仍 在研究中。 但考虑当前的现状，不难发现，目前三维面貌识别已经完全具备实用的条件，首先，三 维面貌采集的设备已经有t t 大发展，无论从精度、速度、安全性方面都达到了实用的程度； 其次，某些情况下，- 7 d a 达到合作环境的要求，比如执法机关对嫌疑犯进行数据采集；另外 深度图象分析的发展，三维物体识别技术的进展，为三维面貌识别提供了更大的可能和更多 的方法 2 6 。 第4 页 西北人学倾l ? 学位论文三维面貌特征提取与识别技术研究 1 4 课题研i ；# 舟j b 内容任务与r - - i 标 论文任务主要钳对三维激光扫描获得的深度图象或者c t 、w i l l 等面貌数据进行基丁几何 特征的面貌识别研究，研究具有三维深度信息的人脸面貌特征提取方法，三维特征库的设计 与存储，设计三维面貌特征的人脸鉴别方法，以及三维面貌特征到一维人脸照片的映射关系， 如何利川正面、侧面限定人脸照片进行二维特征的检索，以形成实j h 的系统。 论文具体目标包括两部分：1 ) 构建一个三维人脸面貌识别实验系统；2 ) 进 i t z 维人脸 面貌识别理论和方法研究。 其中实验系统土要完成： 建立一套三维人脸面貌的身份识别软件系统，利用三维面貌数据，通过自动、交互方法 抽取人脸面貌的三维儿何特征。构建、管理二维面貌数据及其特征，通过二层模式的访问体 系，利用三维面貌样本，或者正面、侧面照片样本，进行人脸面貌的相似性检索、识别。 理论与方法主要针对以f 问题进行研究： 1 ) 三维人脸面貌儿何特征的选择，包括服腑、鼻f 、嘴巴等器官轮廓区域、关键特征 点，脸部外轮廓以及面貌前部中轴轮廓线等特征的捕述。 2 ) 三维儿何面貌特征库的建立与组织，儿何特征数据库的存储与索引机制与提取方法。 3 ) 深度图象或其他三维形态下面貌儿何特征的获取方法与自动标定，包括：利用曲面 筹分、高斯曲率进行面貌边缘的检测、基1 ：戋识规! l i l j 的器官边缘聚类、特征参数确定、基丁 语义网络的特征标定结果校验 4 ) 面貌特征的多层次描述、多分类器台作的模式识别方法研究，通过器官轮廓模糊隶 属度特征、欧氏距离特征方法，进行多层次的模式识别方法研究。改进多分类器协作方式， 利用自觉权值方法，动态调整各分类器的权值。 5 ) 三维儿何特征与二维正面、侧面特征的映射关系，包括利用眼睛为参照，重新定义 姿态无关的局部坐标系，将儿何特征在该坐标系中进行正面、侧面投影，利用投影结果与二 维相应正面侧面照片进行t i l t h 性度景。 对丁二维照片的儿何特征提取，由丁已经有众多的性能良好的研究方法，并且不是本论 文的研究重点，所以采用了交互式轮廓法进行提取，难免会有所误差，可以在以后的工作中 改进，这并不会对研究结果有很大的影响。 第5 页 堕些查堂婴主兰些堡兰二二二二三丝墅塑堑堡堡坠! 望型垫查堕窒 一 第二章课题矽f 究理论框架基础 2 1 基于认知科学的面貌识别分析 驯究表明人类的识别能力是利川拜种信息的练什激励丛到的，通过视觉、听觉、味觉 等途径的组合，达到人对面貌u 别的日的。虽然多模态融合技术已经，l ：始研究，但目前的研 究水平很难达到融合所有信息提高识别张度的口的。而貌识别更多的努力放m 了解人类视觉 机理、利用计算机技术进行模拟方面，实践也证明这艇行2 有效的方法 2 。 箍1 ：人眼对人面貌的识别是目前所有研究者公认的最完美系统，人脸识别与一般物体识 别义存谯很人的蓐别充分研究人独有的面貌u ! 别能力，了解面貌纵别的机理，能够提高特 征提取的效率利识别的准确牢。经过多年的研究，人们发现以f 规律 1 ，2 ，4 ，5 ：1 ) 面貌比 其它物体更容易记忆，对丁比较独特的面貌n ：定能时相对斟难些而易丁u 别；z ) 全局 特征、局部特征对面貌识别都是必要的，如果采川了主导性的j 苛部特征，可以不用全局特征， 但它是提高识别效率的方法；3 ) 几何特征( 包括投影、二维儿何荚系、轮廓等) 利表面的 反射特性是而貌识别的必要特祉只有融合两者才能取得结果的提高。4 ) 熟悉人的而貌与 不熟悉人的面貌在识别中有一定的差异。另外还有一些对面貌角度、人脑的作用、图象质罱 等方面的研究。 基1 ：以上成果，可以采俐一系列的面貌特征描述方式，降低面貌模式的维数。目前的研 究i ：作人致可分为以卜几种特征表述：而貌器官、轮廓的儿何久贯，图象扶废或变换矩阵， 变换域等其他特征久颦。二维形态t - 也有相笑的研究结粜表明止面中轴轮廓线、器官轮廓 特征点的儿何特征有很盘，的捕述效果，更多的1 j 究则聚川曲而的空间性质，比直i i 利j | j 曲而间 部曲率特性、面积、器官区域轮廓方法。 早在5 0 多年前现代心理学家就发现，人类感知l 必须是士动的，主要基丁人类视觉的 两个重要特性：中央凹的高分辨能力和视网膜上其他外隔视觉的相对低分辨率著异以及眼 动功能的模拟 3 5 ，3 6 ，4 6 。在8 0 年代末，提r 士动视觉的概念，它主要针对了以往视觉 系统 i | 动接收外部信息，使处理过糕变得复杂、难以实现的弊端。仵面貌姒别中引入：l = = 动跟 踪的方法越来越受到重视，如s n a k e 、变形模板铸在模扳匹配、边缘跟踪上的麻用取得了 很好的效果。这些模板的定义采j j 了面貌器官的先验知u 模型。 妇| 识导引是计算机视觉中的重要理论，蚝期的面貌测量学实验结果对人脸而貌器官的分 布规则进行了总纳。这些知识规则可以在计算机系统_ 卜进一步自动学习完善经常采_ i i 的 有p 1 列规则心7 j ； “二三停”理论：通常来说，人脸面貌人致分为人致相等的啊二个区域。发际到眉位的距离、 眉位剑嘴位的距离、嘴位到顷底的距离船等。 “7 i 限”理论：跟f i i ! f 的宽度人致为人脸宽度的l 5 ，两眼l 眦点的距离等丁眼宽内眦 点与同侧的鼻翼、嘴角人致狂一条线上。 “平分”理论：人头从头顶到眼位的距离与眼能剑颁底的距离相等，过鼻尖的中轴纵切 丽乖直s l ，分人脸面貌，两部分人致对称。 距离规则：嘴和卜颌的距离人丁鼻年f 颁距离的、h 鼻和f f i | 距离人丁腧宽的一、h 眼利辑间距人_ r 脸宽的1 4 。 眼吣模呲旧睛轮廓人致为l ：r 两条抛物线纰成。 第6 页 两北大学硕i 学位沦文j 瞧m j 貌特征提取j 识别技术研究 2 2 层次化识别特征的设t 要列三维的人脸面貌进行有效的以别，前九需要有效的描述选择稳定、本质的表征方 法才能有效的进行人脸的鉴别，目前人脸的描述主要来自丁两方面的研究成果：心理学和生 理学的研究成果；计算机人脸识别过程中产生的成果。人脸识别研究的经验表明：人脸可以 用规范化的描述存储，然而其本质井来搞清楚。认知科学和法医人类学的研究上，认为面貌 的特征可以采用一系列关键特征点和特征距离来表述。 根据面貌模式的层次化结构，描述需要，底层采用面貌曲面的局部儿何特征和关键特征 点，采用人脸生理特征上的关键点和它甘j 之问的几何规则，这与人类视觉很相似。目前不同 研究者采用的特征点各不相同，但其山发点都是选i j 特征突出、稳定的儿何点。 人脸辨以的不同方法巾常有不同的表述方法。_ 71 要有：人脸儿何特征的表示法、人脸灰 度分布( 马赛克规则) 的表示法、人脸代数特征的表示法、人脸模板参数的表示法，这些方 法在二维面貌识别中都有相关的研究。根据王维深度图象数据的特点，我们采用人脸儿何特 征的表示法，便于利用计算机图形学方法进行处理，获取特征。 目前许多人脸识别的研究中采刚了人i ：l i b 经网络的方法，这种系统要求对每个特定面貌 有成白上千的学习样本，而常识告诉我们，个人虽然只见了一面而他的面貌却很容易记住。 显然，人的人脑对人的面貌信息进行了加i 处理，而使记忆只需针对面貌类别的某些特征规 则上的著别，而不是每个特定人脸的特征。认知学认为人的识别能力有两个层次的数据，包 括低层细节信息、高层轮廓信息，并有相应的神经细胞对应完成相关的获取工作。众多人脸 研究都足以模拟人的面貌识别理论模型为基础，我们也据此殴计两层的面貌特征描述。 2 2 1 特征点选择 删甾胁 忑震王t l i , 占f l l l l 之二3 鼻左侧翼 外低内、“。 ( a ) 眼睛特征 右嘴角 ) 鼻子特征 左嘴角 ( c ) 嘴巴特征 图2 1 面貌天键特征点示意图 第7 页 西北大学硕士学位论文三维面貌特征提取与识别技术研究 2 2 2 距离特征 为了使特征具有尺度无关性，我们采用眼睛宽度为基准，计算其他特征与它之间的比例 作为特征，避免了不同尺度面貌的比较特征。采用关联存储，计算特征向量采用面貌特征点 的自相关特征。保证不同尺寸的面貌得到的特征向量具有可比性。尺度无关。主要由特征点 间的欧氏距离和角度构成。 1 ) 眼睛宽度：内眦点到外眦点的欧氏距离( 采用左右计算结果取平均) 2 ) 眼睛高度：眼睛上点与眼睛下点的距离( 左右结果平均) 3 ) 眼睛内间距：两内眦点间距离 4 ) 眼睛外间距：外眦点间距离 5 ) 鼻子高度：鼻尖与鼻根处欧氏距离 6 ) 鼻翼宽度：鼻翼两侧欧式距离 7 ) 鼻长：从两内眦点连线中点到鼻尖的距离 8 ) 嘴巴宽度：两嘴角的宽度 9 ) 上唇厚度：上唇中心与唇中线中心点的距离 1 0 ) 下唇厚度：唇中线中心点与下唇中心点的距离 器官间距离： 1 ) 鼻尖到嘴巴中心的位置( 平均) 2 ) 外眦点到嘴角距离( 平均) ( 或者眼睛中心与嘴中心距离) 3 ) 眼睛中心点与鼻尖距离 2 2 3 角度特征 三维空间角度需要投射到二维空间中，才能具有可比性，角度特征： i ) 眼睛下斜角度，内外眦点连线交角平分线到左右眼睛的内外眦点连线交角。2 ) 内眼 角角度3 ) 外眼角角度4 ) 鼻子( 鼻尖、鼻根、鼻上端) 角度5 ) 鼻眦( 鼻上端、鼻两侧翼) 角度6 ) 眼内眦点与鼻尖的角度7 ) 眼外眦点与鼻尖的角度8 ) 嘴角角度9 ) 鼻根与两嘴角角 度。 2 2 4 宏观特征 系统中针对下巴( 正面轮廓) 进行了分析。其他特征可以用于扩充系统的准确率。 眼睛类型： 分类为三角眼、长眼、短眼、丹凤眼、外眼角高、内眼角高等； 鼻型：鼻长连线与鼻尖、鼻根连线夹角。真鼻、上高、下陷： 下巴形状：脸轮廓：椭圆形、方脸等。 侧面轮廓线分段平均曲率特征。 2 3 人脸曲面的参数曲面表示 早期的人脸三维面貌，采用了多面体模型进行描述，曾被用于面貌的动画模拟，这种模 型容易处理，面貌上的点可以直接通过修改多面体顶点进行修改。但是，参数b 样条曲面 4 8 第8 页 耍j ! 查堂堡主兰堡鲨壅二二二二三丝亘塑堑堡量坚皇望型垫查竺窒 具有几方面的优点：1 ) 简洁性。通过少量的控制顶点和形状参数描述曲面形状，多面体模 型则需要大量的多边形来表示形状。2 ) 灵活的局部修改特性。参数曲面修改控制点后仅影 响到局部区域，因此可以对面貌进行局部调整，而多边形表示在大区域修改时，则比较复杂。 3 ) 多分辨率的精度控制。参数曲面通过剖分，可以生成多分辨率表示的面貌，以满足不同 精度与计算速度的要求。 1 3 样条曲面目前已经成了三维面貌处理领域应用广泛的模型 1 4 ，激光扫描仪的输出结 果都提供了向b 样条曲面转换的功能。本课题的三维面貌数据采用b 样条参数曲面进行描述， 一方面考虑数据获取的工业标准，另一方面也便于算法的设计以及精度的提高。 b 样条曲线定义： 对于在给定节点矢量u = u o ，u l ，u 2 ，u 3 ，u n + k + 1 上定义的k 次规范b 样条曲线， 其方程定义为： p ( ”) = d jn j , i ( “) i = o 其中d j 为控制顶点列，n , t ( “) 为u 上的k 次规范b 样条基函数： b 样条曲面方程及性质 给定( m + 1 ) ( n + 1 ) 个空间控制顶点的阵列d i d ( f 2 0 ，l ，m ，j 2 0 ，1 ，川，构成一张控 制网格。又分别给定参数u 与v 的次数k 与l ，和两个节点矢量u 2 【“o ，砘，。m + k + l 】与 v = f v 。，h ，+ + j 就可以定义一张k x l 次张量积b 样条曲面。其方程为 p f ( “，v ) = d i , j j ， ( “) 川( v ) ，u t “su m + lv ，v v 川( 2 1 ) 其中b 样条基啦 ) ，f - o ，l ，聊与川( v ) ，_ ，= 0 ，1 ，”分别由节点矢量u 和v 按德 布尔一考克斯公式决定。 b 样条曲面可以方便地求得其型值点的曲率、法矢等特征，便于对面貌曲面特征的分析 与提取。 2 4 用于面貌特征分析的微分几何方法 由微分几何 4 9 可知，空间曲面上任一点的曲率，是曲面的固有特征，它不随曲面的位 置、方向变化而变化，也与曲线的参数化方法无关。因此，以曲面各点的曲率及曲率分布为 主的特征，不随曲面位置、方向的变化而变化。三维人脸面貌在参数曲面表示下，也可以方 便的求得其曲率特性，不同的曲率代表了人脸不同区域或器官的变化。 2 4 1 曲面的通用表示方法 曲面的第一基本齐式表示曲面的内在性质，可以表示为 第9 页 堕韭盔堂堡主兰堡笙苎二二= = 三丝堕翌堡堡塑墼皇望型垫垄旦塞一一一一 i ( d u ，d v ) = e d u 2 + 2 f d u d v + g d v 2 一2 其中e = i 2 ，f 5 0 o ，g 2 0 为曲面的第一基本量，在曲面上的每一点，第一 基本量都是常数，在整个曲面上，它们是参数“，”的连续函数。 在曲面上一点处，曲面的单位法矢量可表示为： n 2 丘。4 d 式中d = e g p 。 曲面的第二基本齐式表示曲面的外在性质，可以表示为： n ( a u ，西) = l d u 2 + 2 m d u d v + n d v 2 其中l = r ”u 一，m = r 一一，n = r w w 。”为曲面的第二基本量，它们是参数“，”的函 数。 2 4 2 曲率的计算 在曲面的上的个固定点为非脐点，沿着不同方向的法曲率有两个逗留值：极大值 与 极小值2 。这两个逗留值称为曲面的主曲率。而在脐点，令女1 = 女2 为沿任意方向的法曲率