（运筹学与控制论专业论文）基于voronoi域积分的三维人脸识别方法.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律责任由本人承担。 论文作者签名：i 因塑垂末日期：纽盘车妇2 f 闫 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：侄脒导师签名：箬二伊日 山东大学硕士学位论文 基于v o r o n oi 域积分的三维人脸识别方法 何维来 ( 山东大学数学与系统科学学院，济南2 5 0 1 0 0 ) 摘要 生物识别是最能体现计算机智能的特征之一，它在科研工作和日常生活应用 方面都引起了巨大的轰动在所有生物特征里面，人脸特征是最普遍和最容易获 取的。所以，人脸识别一直都是模式识别和图像处理领域最热门的课题之一在 过去的十几年里，大部分学者都只关注于从二维灰度图像进行特征的抽取，并进 行识别但是，光照、表情、摄像视角、外貌( 例如头发、眼睛) 等变化都对识 别的精度产生较大的影响因此，迄今为止，还是很难建立一套鲁棒的自动人脸 识别系统 三维几何特征能够提供比二维图像更加丰富的信息，其中部分标准化处理后 的特征还具有平移、旋转和缩放不变性除此之外，许多三维扫描装置获取的三 维人脸图像都不受光照变化的影响。人脸的三维信息具有提高识别系统性能的巨 大潜力。 本文提出了一种基于v o r o n o i 域积分的三维人脸识别方法首先，利用基本 网格简化方法把原始的离散点云表示成规则的三角化人脸网格接着我们抽取了 一种基于v o r o n o i 域积分的三维人脸几何特征最后，利用主成分分析对人脸的 几何特征向量进行降维并利用马氏距离进行相似度量我们在山东大学数学院图 像处理实验室建立的l s j d u 三维人脸数据库上对本算法进行的测试，实验取得 了9 3 3 的识别率，表明了本方法具有良好的识别性能 本文主要做了以下四方面的工作； ( 1 ) 本文建立了国内第一个三维人脸数据库，并利用它对算法进行了 测试 山东大学硕士学位论文 ( 2 ) ( 3 ) ( 4 ) 本文对三维人脸点云进行基本网格简化预处理，不但完成了人脸 网格间的基本对齐，而且大大降低了数据计算量，提高了人脸识 别速度 本文提取了一种基于v o r o n o i 域积分的三维人脸全局几何特征， 它不但不受坐标系变化的影响。而且还具有良好的抗噪性能，实 验证明了利用这种特征进行人脸识别能取得较高的识别率 本文利用马氏距离作为相似度量，取得了比利用欧氏距离更高的 识别率 关键词：生物识别三维人脸网格特征脸主成分分析k l 变换v o r o n o i 域 马氏距离网格简化 2 山东大学硕士学位论文 3 df a c er e c o g n i t i o nb a s e do nv o r o n o ir e g i o ni n t e g r a i h ew e i l a i d e p a r t m e n to fm a t h e m a t i c sa n ds y s t e ms c i e n c e s h a n d o n gu n i v e r s i t y , j i n a n2 5 0 1 0 0 a b s t r a c t b i o m o t r i ci d e n t i f i c a t i o ni so n eo ft h em o s ti m p o r t a n tc h a r a c t e r i s t i c s t os h o wm a c h i n ei n t e l l i g e n c ea n dh a so b t a i n e daw i d e i n t e r e s tn o to n l y i nt h el a b o r a t o r yb u ta l s oi nc i v i l i a na p p l i c a t i o n o fa l lt h eb i o m e t r i c f e a t u r e s ，t h ef a c ei ss oc o m m o na n dr e a c h a b l et h a tf a c er e c o g n i t i o n r e m a i n so n eo ft h em o s ta c t i v er e s e a r c hi s s u e si np a t t e r nr e c o g n i t i o na n d i m a g ep r o c e s s i n g i nt h ep a s td e c a d e s ，m o s tr e s e a r c h e sf o c u so nf e a t u r e e x t r a c t i o nf r o m2 di n t e n s i t yo rc o l o ri m a g e s t h er e c o g n i t i o na c c u r a c y i ss e n s i t i v et ot h el i g h t i n gc o n d i t i o n s ，e x p r e s s i o n s ，v i e w i n gp o s i t i o n o rv a r i e t yo fs u b o r d i n a t e ss u c ha sh a i r ，g l a s s e s s of a r ，i ti sv e r y d i f f i c u l tt od e v e l o par o b u s ta u t o m a t i cf a c er e c o g n i t i o ns y s t e m t h e3 dg e o m e t r i cf e a t u r e sc a np r o v i d em o r ei n f o r m a t i o nf o r r e c o g n i t i o nt h a n2 di m a g e sa n ds o m em e a s u r e df e a t u r e si si n v a r i a n to f t r a n s f o r m a t i o n ，r o t a t i o na n ds c a l e i na d d i t i o n 。3 dc a p t u r eb ys o m e e q u i p m e n t si si 皿n u n et oi l l u m i n a t i o nv a r i a t i o n t h e3 di n f o r m a t i o nh a s p o t e n t i a lt oi m p r o v et h ep e r f o r m a n c eo ft h es y s t e m i nt h i sp a p e r ，w eh a v ep r o p o s e dan e ws c h e m ef o rf a c er e c o g n i t i o nb a s e d o nv o r o n o ir e g i o ni n t e g r a l i nt h i ss c h e m e ，t h es c a t t e r e d3 dp o i n tc l o u d i sf i r s tr e p r e s e n t e dw i t har e g u l a rt r i a n g u l a t e dm e s hu s i n gg e n e r i cm e s h s i m p l i f i c a t i o n t h e nt h e3 dg e o m e t r i cf e a t u r e sb a s e do nv o r o n o ir e g i o n i n t e g r a la r ee x t r a c t e d f i n a l l y 。w eu s et h em a h a l a n o b i sd i s t a n c ea sa 3 山东大学硕士学位论文 s i m i l a r i t y t o a c c o m p l i s h t h er e c o g n i t i o nb e t w e e np e o p l ea f t e rt h e d i m e n s i o n a l i t yo ft h eg e o m e t r i cf e a t u r ev e c t o ri sr e d u c e du s i n gp r i n c i p a l c o m p o n e n ta n a l y s i s e x p e r i m e n t a lr e s u l t so nl s _ s d u ，a3 df a c ed a t a b a s e b u i l t b y t h e l a b o r a t o r y o f i m a g e p r o c e s s i n g o f s h a n d o n g u n i v e r s i t y ，d e m o n s t r a t et h a tt h ep r o p o s e da l g o r i t h mh a sa p p r o v i n g p e r f o r m a n c e t h ef o l l o w i n g sa r em ym a i nw o r k ： ( 1 ) i nt h i sp a p e r ，w ee s t a b l i s ht h ef i r s t3 df a c ed a t a b a s ei nc h i n a a n dt h ep r o p o s e d a l g o r i t h mi st e s t e dw i t h t h i sd a t a b a s e ( 2 ) i nt h i sp a p e r ，w eu s et h eg e n e r i ch e a dm e s hc o n f o r m i n gt os i m p li f y t h eo r i g i n a ls c a t t e r e d3 dp o i n tc l o u d t h es i m p l i f i c a t i o nn o to n l y c o n f o r m sa l lt h ef a c em e s h e s ，b u ta l s or e d u c e st h ec o m p u t a t i o na n d e n h a n c e st h ea l g o r i t h m ss p e e dg r e a t l y 。 ( 3 ) i nt h i sp a p e r ，亩ee x t r a c tan e w3 dg l o b a lg e o m e t r i cf e a t u r eb a s e d o nv o r o n o ir e g i o ni n t e g r a l t h i sf e a t u r en o to n l yi si n d e p e n d e n t o fr e f e r e n c ef r a m e ，b u ta l s oc a nr e s i s tv o i c ew e l l w ep r o v eb y e x p e r i m e n t st h a tt h i ss c h e m ef o rf a c er e c o g n i t i o nu s i n g3 dg l o b a l g e o m e t r i cf e a t u r ec a na c h i e v eh i g hr e c o g n i t i o nr a t e ( 4 ) i nt h i sp a p e r ，w eu s et h em a h a l a n o b i sd i s t a n c ea st h es i m i l a r i t y m e a s u r ea n do b t a i nt h eh i g h e rr e c o g n i t i o nr a t et h a nu s i n ge u c l i d d i s t a n c e 。 k e y w o r d ：b i o m e t r i c s ，3 df a c em e s h ，e i g e n f a c e ，p r i c i p l ec o m p o n e n ta n a l y s i s k - lt r a n s f o r m , m a h a l a n o b i sd i s t a n c e ，v o r o n o ir e g i o n ，m e s h s i m p l i f i c a t i o n 4 山东大学硕士学位论文 第一章论文研究背景 1 1 生物特征技术 身份识别是我们日常生活中经常遇到的一个基本问题，传统的身份识别方法 主要基于身份标识物品( 如钥匙、证件，a t m 卡等) 和身份标识知识( 如用户名和 密码等) 在一些安全性要求严格的系统中，往往将这两者结合起来( 如a t m 机 要求用户同时提供 t m 卡和密码) 无论是基于标识物品的身份识别还是基于标 识知识的身份识别，这些传统的方法都存在一些明显的缺点；标识物品容易丢失 或被伪造，标识知识容易遗忘或记错更为严重的是这些身份标识系统往往无法 区分标识物品真正的拥有者和取得标识物品的冒充者，一旦他人获得了这些标识 物品，就可以拥有相同的权力。 随着网络与通信技术的飞速发展和人类物理与虚拟活动空间的不断扩大，现 代社会对于人类自身的身份识别的准确性，安全性与实用性提出了更高的要求。 传统的身份识别方法已经远远不能满足这些要求，我们必须寻求更为安全可靠、 使用方便的身份识别新途径。悄然兴起的生物识别就是在这种背景下应运而生的 身份识别新技术生物识别( b i o m e t r i c s ) 所依据的不再是传统的标识物品或标 识知识。而是人类自身所固有的生理或行为特征生理特征与生俱来，多为先天 的( 如指纹、虹膜、脸像等) ；行为特征则是习惯使然，多为后天性的( 如笔迹、 步态等) 我们将生理和行为特征统称为生物特征。常用的生物特征包括：脸像、 虹膜、指纹、声音、笔迹等 与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有以下特 点： 1 ) 不易遗忘或丢失； 2 ) 防伪性能好，不易伪造或被盗； 3 ) “随身携带”，随时随地可用 5 山东大学硕士学位论文 由于其极其广阔的应用前景，生物识别已经引起了国际学术界、企业界、政 府以及国防军事部门的高度关注。我国国家8 6 3 计划和国家自然科学基金委员会 都将生物识别作为一个重要的支持方向，并已部署了相关的研究项目 1 2 人脸识别 在所有生物特征里面，人脸特征是最普遍和最容易获取的，人脸是人最重要 的外貌特征，由于脸部信息可以通过非接触的方式( 如摄像头) 取得，所以非常 适合于作为身份鉴别的依据人脸识别一直都是模式识别和图像处理领域最热门 的课题之一与指纹、视网膜、虹膜、基因等其他人体生物特征识别系统相比。 人脸识别系统更加直接、友好、方便、便于隐藏，使用者无任何心理障碍。并且 通过人脸的表情、姿态分析，我们还能获得其他识别系统难以获得的一些信息 所以人脸识别被称为2 l 世纪最有前途的身份验证方法 人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸。 如果存在人脸，则进一步确定每张人脸的位置、大小和各个主要面部器官的位置 信息，并依据这些信息，进一步提取每张人脸中所蕴含的身份特征，并将其与己 知人脸库中的人脸进行对比，从而识别每张人脸所代表的个人。 1 2 1 人脸识别的性能指标 测量人脸识别的主要性能指标有： ( 1 ) 误识率( f a l s ea c c e p tr a t e ，f a r ) ：这是将其他人误作指定人员的概率； ( 2 ) 拒识率( f a l s er e j e c tr a t e 。f r r ) ：这是将指定人员误作其它人员的概 率 计算机在判别时采用的阈值不同，这两个指标也不同一般情况下，误识率 f a r 随阈值的增大( 放宽条件) 而增大，拒识率f 腿随阈值的增大而减小因此， 可以采用错误率( e q u a le r r o rr a t e ，e 腿) 作为性能指标，这是调节阙值，使 得f a r 和f r r 两个指标相等时的f a r 或f r r 。 6 山东大学硕士学位论文 i 2 2 人脸识别的研究动机及使用价值 人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域， 智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证都是典型的 应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身 份验证，社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人 脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机 器人，具有真实面像的虚拟游戏玩家等等。 ， 另外，人脸识别的研究还涉及心理学、生理学、人工智能，模式识别、计算 机视觉、图像分析与处理等多个学科领域，更是模式识别、人工智能和计算机视 觉的典型案例之一对这一问题的研究和解决。有助于对其它对象识别问题的研 究分析和解决，人脸识别也因此成为这些基础研究领域的重要课题之一，具有重 要的理论研究价值。 1 3 二维人脸识别 i 3 1 二维人脸识别的国内外研究现状 近3 0 年来，二维人脸自动识别的研究取得了很大的进展，从工程索引( e i ) 上检索到的相关文献已达数千篇，包括i e e e 在内的重要国际期刊也有专栏甚至专 刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸 手势识别国际学术会议 目前人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实 验室( m i tm e d i al a b ) 及人工智能实验室( a il a b ) 、南加州大学( u s c ) ，c h f l j 卡 内基梅隆机器人研究及交互系统实验室、马里兰大学( u m d ) 等 9 0 年代中后期以来，国内的许多研究机构在自然科学基金、8 6 3 计划、攀 登计划等资助下，开始了对人脸识别的研究其中主要包括清华大学计算机系、 自动化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自动化 所、上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在人脸 识别研究领域都进行了许多很有意义的尝试，积累了经验 山东大学硕士学位论文 1 3 2 二维人脸识别方法 在用静态图像或视频图像做二维人脸识别的领域中，国际上形成了以下几类 主要的人脸识别方法： ( 1 ) 基于几何特征的人脸识别方法； ( 2 ) 基于模板匹配的人脸识别方法； ( 3 ) 基于k l 变换的特征脸方法； ( 4 ) 隐马尔可夫模型方法； ( 5 ) 基于动态链接结构的弹性图匹配方法； ( 6 ) 神经网络识别方法； ( 7 ) 利用运动和颜色信息对动态序列进行人脸识别的方法 i 3 3 二维人脸识别系统的测试 1 9 9 3 年，美国国防部高级研究项目署( a d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 和美国陆军研究实验室( a r m yr e s e a r c hl a b o r a t o r y ) 联合成立了f e r e t ( f a c e r e c o g n i t i o nt e c h n o l o g y ) 项目组，建立了f e r e t 人脸数据库，用于评价人脸识 别算法的性能，尽管该测试只对美国研究机构开放，但它在事实上成为了该领域 的公认测试标准 f e r e t 测试结果表明，目前的二维人脸识别算法对于不同的摄像机、不同的 光照条件和年龄变化的适应能力非常差，理应得到研究者的足够重视。而且值得 注意的是，该测试中所用的人脸图像均为比较标准的正面人脸图像，姿态变化非 常小，也没有夸张的表情和饰物，以及没有提及面部毛发改变的情况。 除了f e r e t 测试所揭示的上述人脸识别研究需要面对的问题之外，还需要考 虑诸如姿态、饰物( 眼镜、帽子等) 、面部表情、面部毛发等可变因素对人脸识 别性能的影响。这些因素也是开发实用的人脸识别产品时必然会遇到的最关键的 技术问题 8 山东大学硕士学位论文 第二章三维人脸模型技术和应用 二维人脸识别技术相对成熟，目前，可以检索到的有关人脸识别方面的相关 文献已有数干篇。但大多数人脸识别方法都集中于对_ 个单一的二维图像进行识 别文献 1 对二维人脸识别的主要方法作了较为详细的综述。但是。基于二维 人脸图像的识别，不可避免受到环境( 光线、背景、视角等) 和人脸的本身( 姿 态、表情、遮挡等) 给识别带来的不利影响。特别是光照变化已经成为影响二维 人脸识别性能的最关键因素。 二维图像识别技术虽然较为成熟，但由于单一的二维人脸图像不能提供识别 所需的完整信息，因而其识别精度很难有进一步的提高。这也使得采用单一的人 脸识别技术的应用产品很难达到实用水准迄今为止，建立一个鲁棒的人脸识别 系统仍然是一个很困难的问题 从7 0 年代f i p a r k e 先生建立第一个脸部模型 2 以来，许多研究单位致力 于三维人脸模型的研究。特别是9 0 年代，计算机技术和图形学技术的迅猛发展， 为三维人脸模型的建立提供了强大的技术支持。 2 1 三维人脸识别的困难与挑战 三维人脸识别虽然为人脸的机器识别展开了新的思路，但其本身的实现还是 很不成熟的。三维人脸识别存在以下的困难： ( 1 ) 三维人脸数据获取的困难：用于3 d 识别的完整信息难于获取，或者用于 3 d 识别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误同 时，由于图像采集设备的差异，成像原理的不同，也造成数据上的差异数据 是分析问题的基础，但是到目前为止，实用、便捷、精度高的三维数据获取 装置还没有，这方面依然是国内外学者研究的热点 ( 2 ) 海量存储和计算的困难：由于3 d 识别的数据容量和计算量十分巨大，给 存储和运算带来了困难，这也对计算机的硬件提出了更高要求。 9 山东大学硕士学位论文 ( 3 ) 识别方法还不成熟：目前大多数三维人脸的识别方法都是从二维人脸识 别方法中引申出来的。如何发展新的基于三维人脸识别的新方法依然是诸多 学者研究的重点。 三维人脸识别是极具挑战性的课题，但如在技术上有所突破，将具有很强的 创新性和应用价值。 2 2 三维人脸数据的获取 获取脸部的三维数据是形成人脸模型的基础，它的发展与计算机视觉技术密 切相关。进入9 0 年代后，随着计算机视觉技术的发展，获取人脸三维数据的工 具和方法有了一些改进，并且出现了一些商业化的装置。 2 2 1 结构光( s t r u c t u r e dl i g h t ) 这是一种经典的主动视觉方法，可以有效地解决双目视觉中对应点的匹配问 题。8 0 年代，一些学者提出这种方法 3 ，取得了较好的效果。这种方法由个 激光源和一个摄像机构成激光源发出的光束，经过一个旋转的平面镜发射后照 射到物体上，在物体上形成一个亮条。从而摄像机的图像上同样有一个亮条，这 样，可以避免立体视觉中对应点的匹配问题。 c b e u m i e r 等 4 发展了这种思想，建立一个快速的结构光获取系统。这个 系统有一个摄像机和一个投影仪组成。投影仪的幻灯片被分成一系列栅栏条，每 一个栅栏条都有一个编号，将幻灯片投影到人脸上，摄像机对人脸取像，通过立 体视觉的三角形原理可以获得脸部的三维距离数据。 b e u m i e r 的系统的获取速度是非常快的，在p e n t i u m 2 0 0 的机器上，整个获 取过程不到l s 4 ，而且摄像机拍摄一个图像就可以得到物体的整个三维信息， 因而被测物体的移动不影响测量精度。放映机的光照，克服了环境光的影响，受 光线强弱 的影响不明显同时，这种系统通过放映机的打开和关闭可以分别获得三维数据 和纹理信息。这个系统的缺点是体积庞大，深度获取范围有限。 山东大学硕士学位论文 2 2 2 激光扫描( l a s e rs c a n n e r ) 激光扫描法是获取距离数据的一个准确有效的方法。可以同时获得大量的三 维数据和纹理信息目前，国际上已经有多家单位研发了基于激光扫描的商业化 三维数据获取装置此种装置不仅可以获取物体的三维几何坐标，而且还可以获 取各坐标点的颜色信息世界上许多研究小组已经应用此装置进行科学研究多 伦多大学的s y l e e 等人利用此种装置获取了完全的三维面部信息 5 】。康柏剑 桥研究所的k w a t e r s 等人利用此种系统建立了三维头部模型，德国学者v b l a n z a n dt v e t t e r 6 建立了一个包括三维距离信息和表面纹理信息的头部数据库 国内中科院自动化研究所模式识别国家重点实验室也有这方面的研究【7 激光 扫描装置获取的数据精度高速度快，但是要求高性能的计算机和高价格的硬件设 备 2 2 3 被动立体视觉( p a s s i v es t e r e ov i s i o n ) 以上两个方向都是基于主动视觉的方法。借助于人工光源减少立体视觉的处 理难度此外研究者们始终在进行着另一个挑战性的课题：如何在自然环境下和 普通摄像机获取的两幅或多幅图像获取立体信息也就是由二维图像构建三维人 脸即从一组已知2 d 入脸信息构建三维人脸立体视觉的理论发展较早，研究 机构较多，并取得了一些进展此种思路需要的硬件设备比较普通，但算法理 论要求严格，一些算法目前尚不成熟。用这种方法获取的单位数据一般噪声都比 较大需要进一步处理才能达到应用目的 2 3 三维人脸网格模型 人脸有着基本相同的结构，如眼睛、鼻子、嘴巴等脸部特征，和近似相同的 面部动作，如眼睛的睁闭，嘴巴的开合，这些相同特征为建立标准的人脸模型提 供了 生理基础9 0 年代，各研究组纷纷提出了自己的人脸模型，其中包括形态模型、 网格模型、统计模型等等 n 山东大学硕士学位论文 目前应用最广泛的三维人脸模型是多边形网格模型，而在所有的多边形网格 中三角形网格又是最一般化、最常用的这种网格模型一般把人的头部标定多个 关键点，关键部位如眼睛、嘴角等处的关键点密集度高一些，平滑部位如额头、 脸颊等处的关键点稀疏一些，然后连接相临关键点形成三角面，用这些三角面来 表示头部表面。关键点越多，三角面越多，表述的头部模型越逼真。 三角形网格模型的一般数学表达形式为：m ( 1 ( p ) ，其中k 是一个2 维单纯复 形，表示了三角形网格的拓扑性质。 k 是集合 l 。，n 的子集族，包括三种类型： 8 顶点v - i ) ，表示顶点序号；例如 1 ) ， 2 ， 3 b 边e - i ，j ，表示哪些顶点对联成一条边；例如 l ，2 ) ， l ，3 ， 2 ， 3 c 面f - i ，j ，k l ，表示哪些顶点连接而成一个三角面例如 1 。2 ，3 p 是网格模型的几何信息。记录了各网格顶点的三维几何坐标，即 p ： ( 置，z ，互) 1 2 4 主要的三维人脸识别方法介绍 利用三维人脸模型进行人脸识别是近几年才开始的。主要是为了解决二维方 法所无法根本解决的问题，或者弥补二维方法的不足。目前，三维的人脸识别处于 方法和手段的发现时期，或者叫探索时期，每年都有一些相关的方法和文章相继 问世 2 4 1 曲面匹配方法 比利时学者b e u m i e r 等人 4 利用结构光的方法获取三维数据，并利用曲面 匹配的方法进行人脸识别此算法首先确定鼻尖和鼻子鞍点的位置，根据两者的 位置来确定鼻子的长度以及人脸的中分轮廓曲线，然后对人脸进行轮廓匹配。为 了解决两个曲面间的点对点问题，文章从人脸的中分曲线开始，以i c m 为间距提 取了1 5 条轮廓曲线( 一7 c m 7 c m ) 对应的轮廓曲线所隔离开的面积为此 轮廓曲线对之间的距离所有轮廓曲线对之间的距离的和为两个曲面之间的距 离然后调整3 个旋转参数和3 个移动参数使得两个曲面间的距离最小 山东大学硕士学位论文 最后，在匹配结束后利用残差距离作为相似度量进行人脸的识别实验对 3 吐r i a 数据库中的3 0 个人进行了测试，取得了4 5 的等错误率( e e r ) 。此方法 的缺点是匹配阶段为一个最优化过程，通常需要花费较长的时间 2 4 2 模板匹配方法 美国的g o r d o n 8 9 等人利用激光扫摇仪获取的距离数据建立面部曲面。通 过计算人脸表面的高斯曲率k 和平均曲率h 寻找脸部的凸点、凹点和脊点，进而 划分出人脸的一些重要的特征区域，例如眼睛区域、鼻子区域等等。然后从这些 区域提取人脸的重要的度量特征，这些特征包括：左眼宽度、右眼宽度、鼻子高 度、鼻子宽度、鼻梁长度等等最后利用提取的特征完成人脸的识别，并取得了 接近1 0 0 的识别率，但是他们的实验是在一个小数据库上完成的( 仅有8 个人) ， 并且数据高度精确。另外曲率特征对噪声的影响相当敏感，这对三维人脸数据库 的精度也提出了很高的要求 2 4 3 三维形态模型方法 德国学者v b l a n za n dt v e t t e r 等 6 于1 9 9 9 年研究出了三维形态模型。 模型的基础是一个三维人脸数据库，此中三维信息由激光扫描仪获得，数据库含 有为2 0 0 个青年( 其中1 0 0 个是女性) 的面部数据信息。三维信息包括距离信息 和颜色信息，均用柱状坐标表达。然后他们利用光流算法使各人脸的三维点对应 起来 一个人脸的形状可以用一个形状向量s 表示： s = ( z 。，五，z i ，一五，z ，乙) 7 ，z ，r ，z j 分别表示三维点的坐标 对应点的纹理信息可以用向量t 表示： t = ( r i ，g ，b i ，墨，乜，风) 7 ，局，q ，e 代表点的颜色分量 形态模型就是有这样m 个样本脸构成。对于一个新的个体，它的形状向量和 颜色向量可以分别描述为： 山东大学硕士学位论文 s 删- 4 t s - 6 j 瓦 p 。善岛l ， 通过系数q 和岛的调节可以描述不同的人脸。最后利用每个样本的两组系数 q 和岛进行识别。实验对f e 阳i 数据库中的图像进行了测试，取得了9 5 9 9 6 的最 高识别率但是，这种模型的建立过程比较复杂，需要大量的三维数据，并且建 立对应关系的过程比较复杂 2 4 4 三维特征脸方法 中国科学院自动化研究所谭铁牛等人撰写的文献【l o 是国内三维人脸识别 的代表作之一，它描述了一种基于三维特征脸的人脸识别方法，该算法是在 3 d _ r m a 数据库上进行测试的3 d _ p j 正a 数据库中每一幅图像都是由一个离散的三 维点云表示的。文章首先建立了一个由固定点和面所组成的规则的网格模型来描 述人脸的形状，不同的网格结构都有着相应的顶点以及相同的姿势。将三维网格 的每个顶点都看作成灰度图像的一个像素，而每个顶点的z 坐标就可以看作是灰 度图像的灰度值，这样就产生了一幅近似二维图像的网格图像。然后利用主成分 分析的方法去建立三维特征脸，从而使得每个网格模型能够投影到一个低维空 间最后利用各种经典的分类器进行识别。该算法对3 d _ r u a 中m a n u a l 明数据 库中不同阶段的人脸数据的测试结果为：最高识别率为9 3 9 9 6 ，最低识别率为 8 4 4 对a u t o m a t i cd b 库中不同阶段的人脸数据的测试结果为：最高识别率 为9 2 4 ，最低识别率为7 1 7 该算法的缺点是建模阶段为一个最优化过程， 耗费时间较长 1 4 山东大学硕士学位论文 3 1k - l 变换 第三章理论基础 k l 变换是一种特殊的正交变换对于给定的信号向量x ，经过k - l 变换后 变为向量y ，y 的备分量之间完全去掉了相关性，且y 对x 近似的均方误差为最 小。因此，k - l 变换被称为最佳变换 一个宽平稳的实随机向量善【x ( 0 ) ，j ( 1 ) ，z ( - i ) 1 7 ，其协方差矩阵为 c ，其元素q ( f ，) - o ( ) 一以x x ( j ) - m ) 7 卜c j ( 0 ，其中e 代表求均值 运算，心- e 磅是信号x 的均值向量 协方差矩阵是实对称的，并且它体现了信号向量x 的各分量之间的相关性， 若工的各分量互不相关，那么c 中除对角线以外的元素皆为零k - l 变换的思想 既是寻求正交矩阵a ，使得a 对工的交换y 的协方差阵c 为对角阵，其步骤是： 由a 的阶多项式i 盯一c 卜。求矩阵e 的特征值九。 ，如。； 求矩阵g 的个特征向量4 ，4 ，o o op 。； 将磊，4 ，a - l 归一化，即令似，a i ) - i ，i - 0 ，l ，n - i ； 由归一化的向量矗，4 ，4 。即可构成归一化正交矩阵厄 a - i a 0 ，4 ，a - i j 由yu 缸实现对信号善的k _ l 变换。 这样，正交矩阵a 对工的变抉y 的协方差阵c 为对角阵 h i 设j ，都是维向量，a 是的正交阵，将a 写成 a - k ，4 ，山。】r n x = a 7 y = 阮，4 ，a # - i i f = y ( o k + ) r ( 1 h + + ) ，( 一1 h d - n - ! y o “ ( 3 1 - 1 ) 硒 这样，k - l 变换又可看成是对信号向量蠢作k - l 展开，其基向量是a 4 ， t d ，如果我们希望对工g ) 做数据压缩，那么可对工的变换y 傲压缩，即舍去_ ) ，0 ) 中一部分分量不失一般性，假定舍去y 如+ n ，y ( 一1 ) 这样由 山东大学硕士学位论文 ) ，( o x ) ，y ( m ) 恢复x g ) 时，将只能是对z o ) 的近似，记之为叠由( 3 1 1 ) 式得： 萱。) ，( 0 乩+ ) ，帆+ + y k k 。荟y m 慨l 2 置对x 近似的均方误差 fi 【工一圣】2 l ( 3 1 - 3 ) 这样。对k l 变换，我们可重新解释为，给定一个向量 善- k ( 0 l 工( 1 l ，工( 一1 ) ，寻求一组基向量 ，4 ，a g 1 ) 使得按( 3 1 3 ) 式对 x 截短以后的均方误差为最小 文献 1 1 同时指出，若基向量选取为协方差阵c 的特征向量，则均方误差8 达到最小，且幽一 ，其中 是舍去的特征向量对应的特征值 i o 埘+ i 3 2 马氏( m a h a l a n o b i s ) 距离 马氏距离是由印度统计学家马哈拉诺比斯于1 9 3 6 年引入的，故称为马氏距 离这一距离在多元统计分析中起着十分重要的作用，下面给出定义【1 2 】。 设z 表示指标的协差阵即： - l 其中仃l f _ 丢薹k 一墨虹耐而) l ，1 ，p 墨- 昙薹刁- 丢蠢 如果1 存在。则两个样品之间的马氏距离为： d ；似) - 阮一x ，y 4 一z ，) 这里墨为样品z 。的p 个指标组成的向量，即原始资料阵的第f 行向量样 品z ，类似 山东大学硕士学位论文 3 3y o r o n o i 图 3 3 1v o r o n o i 图的定义 v o r o n o i 图和d e l a u n a y 图的定义方法有很多种，这里我们引用b o i s s o n n a t 的定义方法： 在n 维欧氏空间e 中考虑包含m + 1 个点胁( o i m ) 的点集p ，令k 为e 中所有距离a 最近的点组成的集合 即k - p e 阿，0 j m ，d ( p ，p 1 ) - d ( p ，p ，) 其q b d ( p ，p j ) 表示p 与a 之间的欧氏距离这样得到的k ( o f m ) 是e 的 一个划分，称为点集p 对应的y o r o n o i 图( 或y o r o n o i 域) ，记为v ( p ) ：k 称为层 所在的v o r o n o i 单元，记为y ( 尸) ( 鼽) 图3 1 表示二维平面上的点集及其v o r o n o i 图，三维空间或其它维的情况与 此类似从图中可以看出，每个点所在的y o r o n o i 单元都是离该点最近的点组成 的区域y o r o n o i 图中每一条边都作为两个相邻的v o r o n o i 单元的分界线，边上 的点到两个点的距离相等y o r o n o i 单元的边数可以不相同，有些单元可以不封 闭 图3 1 二维平面上的点集及其v o r o n o i 图 1 7 山东大学硕士学位论文 3 3 2v o r o n o i 域面积的计算 设点p 的一阶邻域为图3 2 所示，点p 的一阶v o r o n o i 域面积等于点p 在所 有的邻接三角形内的各个v o r o n o i 域面积之和设a p q r 为p 点一阶邻域的任意 一个三角面，三角面三条边的垂直平分线相交于o 点，阴影部分为p 点在a p q r 内的v o r o n o i 邻域，如图3 3 所示。a p q r 的形状不同，其v o r o n o i 域面积的计 算公式也不同f 1 3 】： 1 8 pp 图3 2 点p 的一阶邻域图3 3 三角面a p q r a ) 若p q r 为非钝角三角形 由于a p q o ，a p r o ，a r q o 皆为等腰三角形，且凹+ 么q + 么l b 石；因此可 以很容易地求出么q p o t t l 2 一么l r p o = x 2 一么q 。进而可求出p 点在 a p q r 内的v o r o n o i 域面积为( 1 pq 1 2c o t r + i p r 2 e o t z q ) 8 。 b ) 若a p q r 为钝角三角形，l p 为钝角，则根据文献【1 3 】可知p 点在a p q r 内的v o r o n o i 域面积为去s 雕 c ) 若a p q r 为钝角三角形，么q 或z r 为钝角，则根据文献【1 3 】可知p 点 名e a p q r 内的v o m i 域面积为；s 岫 山东大学硕士学位论文 第四章论文的核心算法 本文主要有三个创新点：第一个是对三维人脸点云进行基本网格简化预处理， 完成了人脸网格间的基本对齐第二个是提取了一种基于v o r o n o i 域积分的三维人 脸几何特征第三个是利用马氏距离作为人脸相似度量的判据 4 i 基本网格简化算法 为了精确地获得人脸的生理特征，均匀采样的三维扫描仪需要以极高的分辨率 来获取数据，产生的顶点数量多达几十万乃至几百万本文所采用的三维数据都来 自山东大学数学院图像处理实验室建立的l s _ s d u - - - 维人脸数据库( 见第五章) 库中 每张人脸都是7 0 0 * 3 6 0 分辨率的三维点云而在实际应用中，常用的人脸网格模型的 规模只有几百点至几千点所以必须对高密度点云数据进行合理的简化，在充分保 持原始数据所反应的人脸生理特征的前提下，大幅度减少网格模型顶点数目为解 决这个问题，本文提出了一种基于基本网格变形的高效三维人脸简化方法 我们首先构造一个顶点分布和拓扑结构都非常适合人脸的基本网格；在眼睛、 鼻子、嘴唇等细节区域顶点分布较密。在面颊脑后等平坦区域顶点分布较疏；拓扑 连接关系规范，且大体反应了人脸的生理结构，如图4 1 所示本文将此基本网格变 形用来逼近扫描点云这样最终输出的简化网格都具有相同的顶点数目与拓扑结构， 所不同的只是网格顶点的坐标值，这就为后面的三维人脸识别带来了极大的便利 图4 i 本文所用的基本网格( 2 1 4 5 个顶点) 山东大学硕士学位论文 基本网格迭代变形过程借鉴t h o p p e 等人提出的网格简化算法 1 4 ，用一个能量 函数来度量将要生成网格和初始网格之间的偏差。我们只对顶点坐标位置进行迭代 优化，并不希望改变基本网格的顶点数目和拓扑结构。因此我们的能量函数定义为； e d ) - e 。o ，p ) + c 匠，呐。如) + 届e ，。( v ) 其中v 是需要优化的基本网格顶点位置，而p 是点云上的所有顶点向量。右面三项 指标依次代表距离约束，边长约束、平滑约束；口，声分别代表后两者的加权系数。 文献 1 4 中提出了两种约束指标：距离约束e 。表示了点云上所有顶点到基本 网格表面距离的平方和，边长约束e 咖表示基本