（模式识别与智能系统专业论文）三维人脸表情识别.pdf

南京邮i u 人学颂一f ：研究生学位论文摘要 摘要 迄今为止，人脸表情识别领域的大部分工作都是以二维图像为处理对象的。这些方法 的鲁棒性差，容易受到光照、姿态等因素的影响，并且识别率不高。二维表情识别方法本 身的局限性限制了其自身的发展空间。因为人脸本来就是一个三维几何体，如果将人脸看 成一个二维物体进行分析就会丢失一些重要的信息( 例如深度信息) ，这样就不能精确地反 映出面部表情的特征甚至细微的表情变化。近年来，随着三维成像技术的发展，三维图像 的获取越来越容易，使三维人脸表情识别从理论变成了现实。与二维研究方法相比，三维 研究方法具有更好的鲁棒性和更高的识别率。 本文总结了目前三维人脸表情识别的研究现状和研究意义，介绍了常用的三维人脸表 情识别的研究方法和研究过程。针对目前人脸姿态校正算法中的计算量大和适用性不广等 缺点，本文提出了一种基于法向量对齐的人脸姿态校正算法。该算法先通过计算离散高斯 曲率来获取人脸的特征点，然后计算特征点构成的面的法线方向，最后通过法线方向进行 人脸姿态校正。在分析已有的手工区域分割算法的基础上，本文提出了一种人脸表情区域 自动分割算法，实现了人脸区域的自动分割。针对已有的基于地形特征的描述方法提取到 的特征信息较少的情况，本文进行了一定的改进，将该方法与脸部表情编码系统的编码方 法进行了一定的结合，提取到更多的表情信息。实验证明，该方法能够对六种表情进行识 别，有较高的识别率和鲁棒性。 关键词：表情识别，鲁棒性，三维图像，姿态校正，地形特征的描述方法，特征提取， 脸部表情编码系统 南京i i i g l l 三人学硕上研究生学位论文 a b s t r a c t a b s t r a c t u n t i ln o wm o s t o ff a c i a le x p r e s s i o nr e c o g n i t i o nm e t h o d sh a v eb e e np r e s e n t e dt ot a c k l e2 d i m a g e t h e s em e t h o d su s u a l l yh a v eb a dr o b u s tp e r f o r m a n c e ，c a i lb ee a s i l yi n f l u e n c e db y i l l u m i n a t i o n ，p o s t u r e sa n dh a v el o wr e c o g n i t i o nr a t e t h ef a u l to f2 dm e t h o d sh a v el i m i t e dt h e d e v e l o p m e n ts p a c eo ft h e m s e l v e s b e c a u s eh u m a nf a c e i so r i g i n a l l ya3 dg e o m e t r y , al o to f i m p o r t a n ti n f o r m a t i o n ( f o re x a m p l ed e e pi n f o r m a t i o n ) m i g h tb el o s ti fi ti sr e g a r d e d 笛a2 d o b j e c t b e c a u s eo ft h i s ，s o m ec h a r a c t e r so ff a c i a le x p r e s s i o no rs u b t l ee x p r e s s i o nc a nn o tb e e x t r a c t e d r e c e n t l y , w i t l lt h ed e v e l o p m e n to f3 di m a g i n gt e c h n i q u e s ，i ti se a s i e rt oo b t a i n3 d i m a g e sn o w , w h i c hm a k e s3 df a c i a le x p r e s s i o nr e c o g n i t i o nt u r ni n t or e a l i t y c o m p a r e dw i t h2 d m e t h o d s ，3 dm e t h o d sa r em o r er o b u s ta n dh a v eh i g h e rr e c o g n i t i o nr a t e i nt h i st h e s i s ，t h ea u t h o rs u m su pt h ep r e s e n tc o n d i t i o na n ds i g n i f i c a t i o no ft h i sr e s e a r c ha n d i n t r o d u c e st h em e t h o d sa n dp r o c e d u r eo ft h i sr e s e a r c h a i m i n ga tt h ew e a ka p p l i c a b i l i t ya n d c o m p l e x i t yo ft h ec u r r e n t3 df a c ep o s er e c o v e r ym e t h o d ，an o r m a lv e c t o ra l i g nm e t h o dh a v e b e e np r o p o s e d t h i sm e t h o dd e t e c ts e r v a lc h a r a c t e rp o i n t si nh u m a nf a c eb yc a l c u l a t i n gd i s c r e t e g a u s s i a nc u r v a t u r ea tf i r s t ，a n dt h e nc a l c u l a t et h en o r m a lv e c t o rd i r e c t i o no ft h ep l a n ew h i c hi s c o m p o s e db yt h e s ec h a r a c t e rp o i n t s ，r e c o v e rt h ef a c ep o s eb yt h en o r m a lv e c t o rd i r e c t i o na tl a s t a na u t o m a t i ch u m a nf a c i a la r e ad i v i s i o nm e t h o dh a sb e e ng i v e na f t e ra n a l y z i n gt h ep r e s e n t m a n u a lp a r t i t i o nm e t h o d c o n s i d e r i n gt h et o p o g r a p h i cc h a r a c t e rd e s c r i p t i o nm e t h o dc o u l d n t o b t a i ne n o u g hi n f o r m a t i o nf r o mt h eh u m a nf a c e ，i no r d e rt oi m p r o v ei t ，t h ea u t h o rd e s c r i b et h e h u m a nf a c eb yc o m b i n i n gt h et o p o g r a p h i cd e s c r i p t i o nm e t h o dw i t hf a c sd e s c r i p t i o nm e t h o d t h er e s u l t so fe x p e r i m e n td e m o n s t r a t et h a tt h es i xf a c i a le x p r e s s i o n sc a nb er e c o g n i z e di na h i 【g h r e c o g n i t i o nr a t ea n dh a v es t r o n gr o b u s ta d a p t a t i o n k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，r o b u s t ，3 di m a g e ，p o s er e c o v e r y ，t o p o g r a p h i c c h a r a c t e rd e s c r i p t i o nm e t h o d ，f e a t u r ee x t r a c t ，f a c i a la c t i o nc o d i n gs y s t e m l l 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：日期：迹丝：! 垄 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：宣纽导师签名： 南京1 1 5j 也人学硕i ：研究生学位论文第一章绪论 第二章绪论 心理学家j a r u s s e l l 提出，在人们同常的交流中，只有7 的信息是通过语言来传递 的，而5 5 的信息则是通过面部表情来传递的，由此可见表情信息在人与人之间交流中的 重要性。随着人工智能和模式识别的不断发展，人机智能交互中的一项重要技术人脸 表情识别也越来越受到人们的重视。人脸表情识别就是利用计算机对人脸的表情信息进行 特征提取并分类的过程，它使计算机能获知人的表情信息，进而推断人的心理状态，从而 实现人机之间的智能交互。表情识别技术是情感计算机研究的内容之一，是生理学、心理 学、图像处理、模式识别和机器视觉等领域的一个极富挑战性的交叉课题。 1 1 研究的意义及应用前景 近年来，随着计算机及互联网应用的日益普及，人们之间的交流方式也在发生改变， 从面对面的交谈、打电话、互发电子邮件到音频视频交流，人们越来越趋向于在虚拟的网 络世界中进行交流。这就要求计算机也要具有人类的理解和表达感情的能力，以更好地进 行人机交互。然而，作为生物特征识别与情感计算领域的一个极富挑战性的交叉课题，人 脸表情自动识别技术在各种应用的推动下发展很快【1 1 ，但鲁棒的自动人脸表情识别系统至 今尚未建立。传统的二维研究方法受到光照、姿态等因素的影响很大，从理论上讲，三维 研究方法则可以大大改善这一不足之处，具有较好的鲁棒性和更高的识别率。近年来，随 着三维成像技术的飞速发展，三维图像获取越来越容易，三维人脸表情识别从理论变成了 现实。 目前，人们研究表情识别的主要目的在于建立和谐而友好的人机交互环境，使得计算 机能够看人的脸色行事，从而营造真正和谐的人机环境。人脸表情识别可以应用于以下多 个领域【2 】： 1 在语言学中，面部表情可辅助唇语，帮助听觉有问题的人进行日常交流。 2 在医疗中，表情分析可作为辅助乎段，帮助医生分析病人的精神状态，对病人的 精神问题做出正确的诊断。 3 在商业方面，在不久的未来必将能制造出这样的设备，它能够跟踪使用者的面部 表情，将这样的技术用于可视电话或者电视会议中，对于加强国内或者国际的商业合作无 疑具有十分重大的意义。 南京邮j 乜人学硕l ：研究生学位论文第一章绪论 4 就计算机科学领域的研究而言，面部表情的研究对于实现自然的人机交互以及自 动的图像理解也具有重大的意义。 此外，三维表情识别的研究对于研究低带宽的数据传送和动态图像中的人脸识别以及 面部图像处理，均有很大的贡献。 1 2 国内外研究概况 ( 1 ) 国内方面：在我国，清华大学、哈尔滨工业大学、中科院、中国科技大学等都在 进行人脸表情识别的研究【3 1 。第一届中国情感计算与智能交互学术会议和首届国际情感计 算及智能交互学术会议在中国的举行，极大推动了我国表情识别技术的发展。国家“8 6 3 ” 计划、国家自然科学基金等都对此提供了项目资助。然而，国内对三维表情识别的研究还 处于起步阶段，需要研究者们进一步努力。 ( 2 ) 国外方面：国外从1 9 世纪就开始进行人脸表情的研究，主要以二维图像或获取到 的部分三维信息为基础进行研究，其中麻省理工学院( m i t ) 多媒体实验室的感知计算组、 卡耐基梅隆大学( c m u ) 机器人研究所、a t r 研究所的贡献尤为突出。上世纪9 0 年代末以 来，学术界越来越多地将目光投向3 d 人脸识别研究【4 ，5 】。2 0 0 4 年之后，人脸识别挑战计划 f r g c 的实施1 6 】大大推动了国际上三维人脸识别的研究。然而，由于种种原因，国外直到 2 0 0 6 年才刚刚建立起第一个完整的三维人脸表情数据库【7 1 ，对三维人脸表情的研究也相对 较少。 1 3 三维表情识别常用方法 1 3 1 基于几何特征的描述方法 人脸面部表情的形成是由面部肌肉的运动导致，而面部肌肉的运动也导致了面部曲面 的形变，所以可以通过面部曲面的形变情况来判断表情的类型。文献 8 】采用了一种基于地 形状态的描述方法，用描述地形的方法来描述人脸曲面的形变情况，最后通过曲面的形变 情况来判断出相应的表情。 1 3 2 基于代数特征的描述方法 人脸产生表情的可以看作是由面部的形变导致，也可以看作是由面部的各个特征点运 2 雨京邮i u 人学硕一i ：研究生学位论文第一章绪论 动导致，因此可以通过这些特征点的位置变化来判断面部表情。文献 9 】选取微笑和中性两 种表情，首先检测出鼻子和嘴巴上的七个特征点，然后计算出这些特征点的欧式距离( 如嘴 角问距) 、深度特征、两个特征点连线的偏转角等特征，通过对这些参数进行比较、分类， 最终区分出两种表情。 1 3 3 面部温度图像方法 人脸产生表情时会导致面部肌肉运动，而面部肌肉运动会产生面部温度变化。因此， 对面部温度图像的分析和处理就可以对表情做出判断。通过红外线可以拍摄到人脸的温度 图像，然后选用标准网格模型作为参考模型，将温度图像投影于网格模型上，得到表面带 有温度分布的人脸网格模型。文献 1 0 l 预先构建一张没有表情的标准温度图像，将得到的 温度图像与标准图像进行比较，得到面部各个区域的温度变化情况，再按照一定的判决规 则进行判决、分类处理，识别出表情。 1 4 三维人脸表情识别的过程 自然界中存在着六种基本表情：高兴、悲伤、惊讶、愤怒、厌恶和恐惧。目前对表情 识别的研究工作中主要是对这六种表情进行识别，有些参考论文中还加入了中性表情进行 区分。三维表情识别的过程可分：人脸的预处理、人脸检测、人脸特征提取和表情分析四 大部分： ( 1 ) 人脸的预处理。主要包括人脸三角化和三角网格的简化等，为下一步检测和定位 做准备。 ( 2 ) 人脸检测。从任意的场景中或视频数据中检测人脸的存在，提取出人脸及各个区 域部分。在人脸上自动标记出所需要的特征点，例如外眼点、内眼点、眉间点、鼻下点、 颌下点、嘴角点等等。 ( 3 ) 人脸特征提取。采用标记出的特征点的几何特性( 例如特征点分布欧氏距离、b 样 条曲面等方法) 表示出数据库中的人脸。如何选取更多的、有效的特征是这一步的关键。 ( 4 ) 表情分析。按照某种分类规则，将上一步提取出来的特征进行分类、判决，最终 得到正确的表情。如何设计出有效的分类器是这一步的关键。 南京邮i 【i 人学硕l ：研究生学位论文第一章绪论 1 5 本文的工作及章节安排 本文围绕三维人脸表情识别进行研究，介绍了目前表情识别的研究现状、常用的研究 方法以及研究过程。本文提出了一种人脸姿态校正算法和人脸表情区域自动分割算法，改 进了人脸表情特征提取方法。各章节的结构安排如下： 第一章是论文的绪论部分。对三维人脸表情识别进行了简单的介绍，概述了三维人脸 表情识别的研究意义、应用前景和研究现状以及常用的研究方法和研究过程。 第二章介绍了常用三维人脸表情图像的预处理方法，包括人脸的三角化、尖点去除等 预处理方法。这一章重点介绍了d e l a u n a y 三角化和网格简化算法。 第三章提出了一种基于法向量对齐的人脸姿态校正算法，计算方法比较简单，并且校 正效果较好。最后，在校正后的三维人脸上提取到了其它一些特征点，为后续步骤做准备。 第四章提出了一种人脸表情区域的自动分割方法，并且对原有的特征提取方法进行了 一定的改进，扩充了特征矩阵，使之能提取出更多的有用信息。 第五章介绍了表情分析过程分类器类型的选择和l d a 算法以及其改进算法。 第六章介绍了三维人脸表情识别过程中数据库的选取、识别程序的编写过程以及程序 中使用的一些重要的数据结构进行介绍，最后将本课题所使用的方法与其他表情识别方法 分别进行了比较。 第七章总结了本文所做的研究，指出了下一步需要进行研究的内容。 4 市京b 人学瑚 t 究生学位论文第= 帝人膛的项n 理 第二章人脸的预处理 从数据库中得到的人脸图像一般都是不规范的，为了便于后续步骤的顺利进行，还需 要进行一定的预处理工作，这些预处理工作包括人脸三角化、尖点的去除、网格简化等等。 与二维的扶度图像的获取方式不同，三维图像是激光扫描仪按一定的i 白j 距进行扫描、 采样得到的。三维物体通过扫描后，可以得到稠密、散乱的采样点集，称为点云，这种图 像称为点云图像，如图21 。由于三维图像中的数据描述的是各个点在空间中的分布情况 与光照无关，所以三维图像识别方法不受光照的影响。 2 1d e l a u n a y 三角剖分 慝 图2 1 人脸点云图 为了更好地描述人脸，通常情况下要将其进行三角剖分，也称三角化。三角剖分的定 义如下： 假设v 是二维实数域上的有限点集，边e 是由点集中的点作为端点构成的封闭线段，e 为e 的集合。那么该点集v 的一个三角剖分t = ( v e ) 是一个平面图g ，泼平面图满足条件： ( i ) 除了端点，平面图中的边不包含点集中的任何点。 ( 2 ) 没有相交边。 ( 3 ) 平面图中所有的面部是三角面，且所有三角面的台集是散点集v 的凸包。 在实际中运用的塌多的三角剖分是d e l a u n a y 三角剖分，它是一种特殊的三角剖分。定 义如下： d e l a u n a y 边：假设e 中的一条边e ( 两+ n a n 曲) ，e 若满足下列条件，则称之为 d e l a u n a y 边：存在一个圆经过a , b 两点，圆内( 注意是圆内，圆上虽多三点共圆) 不含点集v 南京邮i 【1 人学颂上研究生学位论文第二章人脸的顶处理 中任何其他的点，这一特性又称空圆特性。 d e l a u n a y 三角剖分：如果点集v 的一个三角剖分t 只包含d e l a u n a y 边，那么该三角 剖分称为d e l a u n a y 三角剖分。 d e l a u n a y 三角剖分无论对数值分析还是图形学来说，都是极为重要的一项预处理技术。 该问题如图2 2 ： - - ：专 ： 图2 2 三角剖分 d e l a u n a y 剖分具备以下优异特性： ( 1 ) 最接近：以最近临的三点形成三角形，且各线段( 三角形的边) 皆不相交。 ( 2 ) 唯一性：不论从区域何处开始构建，最终都将得到一致的结果。 ( 3 ) 最优性：任意两个相邻三角形形成的凸四边形的对角线如果可以互换的话，那么 两个三角形六个内角中最小的角度不会变大。 ( 4 ) 最规则：如果将三角网中的每个三角形的最小角进行升序排列，则d e l a u n a y 三角 网的排列得到的数值最大。 ( 5 ) 区域性：新增、删除、移动某一个顶点时只会影响临近的三角形。 ( 6 ) 具有凸多边形的外壳：三角网最外层的边界形成一个凸多边形的外壳。 2 1 1d e l a u n a y 三角剖分的准则 要满足d e l a u n a y 三角剖分的定义，必须符合两个重要的准则： ( 1 ) 空圆特性：d e l a u n a y 三角网是唯一的( 任意四点不能共圆) ，在d e l a u n a y 三角形网中 任一三角形的外接圆范围内不会有其它点存在。如图2 3 所示： 图2 3 空圆特性 6 雨京邮l 乜人学颂l ； i j f 究生学位论义第二章人脸的顶处理 ( 2 ) 最大化最小角特性：在散点集可能形成的三角剖分中，d e l a u n a y 三角剖分所形成 的三角形的最小角最大。从这个意义上讲，d e l a u n a y 三角网是“最接近于规则化的”的三角 网。具体的说是指在两个相邻的三角形构成凸四边形的对角线，在相互交换后，六个内角 的最小角不再增大。如图2 4 所示： 2 1 2 局部最优化处理 图2 4 最大化最小角特性 b 理论上为了构造d e l a u n a y 三角网，l a w s o n i 川提出的局部优化过程l o p ( l o c a l o p t i m i z a t i o np r o c e d u r e ) ，一般三角网经过l o p 处理，即可确保成为d e l a u n a y 三角网，其 基本做法如下所示： ( 1 ) 将两个具有共同边的三角形合成一个多边形。 ( 2 ) 以最大空圆准则作检查，看其第四个顶点是否在三角形的外接圆之内。 ( 3 ) 如果再修正对角线即将对角线对调，即完成局部优化过程的处理。 l o p 处理过程如图2 5 所示： d 2 1 3d e l a u n a y 剖分的算法 d 图2 5 局部最优化处理 b c d e l a u n a y 剖分是一种三角剖分的标准，实现它有多种算法，其中比较常见的是 b o w y e r - w a t s o n 算法【1 2 1 。该算法的基本步骤是： 7 m , g a l g l u 人学倾 。 f 究学位论i 第一章 h 项处理 ( 1 ) 构造一个超级三角形，包含所有散点，放入三角形链袁。 ( 2 ) 将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形( 称 为媛点的影响三角形) ，删除影响三角形的公共边，将插入点同影l 嘲三角形的全部顶点连接 起柬，从而完成一个点在d e l a u n a y 三角形链表中的插入。 ( 3 ) 根据l o p 优化准则对局部新形成的三角形进行优化，将形成的三角形放入 d e l a u n a y 三角形链表。 ( 4 ) 循环执行上述第2 步，直到所有敞点插入完毕。 这一算法的关键的第2 步图2 6 如下： 。题哟 。圆。髓 2 2 尖点的去除 图2 7 三角化后的 脸 网格上的尖点是在网格表面上形成的突警跨越式的顶点其特点是离它周围的邻接点 雨京邮i 【1 人学顾i ：研究生学位论文 第二荦人脸的琐处理 距离很远，类似于二维亮度图像中灰度值平稳过渡的区域突然出现个特殊亮度的象素。 利用滤波函数对网格进行滤波可以降低尖点和其邻居的距离，但不是好的策略，因为尖点 和普通噪声不同，尖点是3 d 人脸数据中完全错误的数据，应该去除。 引入高斯滤波函数： 一生1 川) = 丽p 2 旷 ( 2 1 ) 厶) lo 高斯函数中的标准差矿，表示了函数的轮廓，变量，表示给定顶点1 ，的第，层邻居。离 散化后的滤镜是一个一维的空间模板，设模板的跨度为，标准差仃为，乘以一个小于l 的系数。实验中，取，= 9 ，仃= ；，能取得较好的结果。 对网格m 的每一个顶点v j ，在跨度为，层的邻居顶点内作用高斯模板，假设得到结果 孝，若i ( z ( v j ) 一孝) j ， ，则认为该点是尖点，应该丢弃，其中，z ( h ) 是v 点的z 坐标，t h 是 给定的阈值。 2 3 网格简化 由于从三维扫描仪扫描而得到的数据量非常庞大，进行三角化后，某些部位的数据显 得相当冗余，而这些部位的数据对本课题的研究所起到的作用不大，为了降低后续处理工 作的复杂度，减少计算量，需要先进行网格的简化工作。 几何模型的简化是指在保持原几何模型的基本几何形状不变的前提下，采用适当的简 化算法减少该模型的面片数、边数和顶点数。几何模型的简化对于几何模型的存储、传输、 处理，特别是对实时绘制有着重要的意义。早在2 0 世纪7 0 年代，就有学者讨论网格模型 的简化问题，然而直到9 0 年代以后，网格简化才得到深入的研究，并有了很多成功的应 用。至今，基于网格简化的各种简化算法相继提出【1 3 , 1 4 1 ，其中具有较大影响力的有h o p p e 提出的边折叠算法【l5 1 ，但该方法的几何优化是非线性的，运算速度很慢。为此，g a r l a n d 在1 9 9 7 年用局部二次误差测度【1 6 1 来衡量边折叠的代价，以新顶点到被折叠边的两个顶点 相关联平面的距离平方和作为误差测度，计算简单并且运行速度快。 2 4 1g a r l a n d 算法简介 g a r l a n d 算法的边折叠操作思想如下： 9 南京i i l l _ ；, 人学硕：i ：研究生学位论义第二章人脸的顶处理 对边( v l ，v 2 ) 的进行折叠操作可以记作：( v i ，屹) 寸可，首先将_ 和v 2 移至可，然后将所 有的邻接点与m 相连，并且删除所有与点心相关的向量，如图2 8 。如果( h ，v 2 ) 不是一条边， 则仅仅将之前相互分离的两个区域连接起来，如图2 9 。 陆f o r ea f t e r 一嗣 b e f o r e 图2 8相邻点折叠 图2 9 不相邻点折叠 一条边是否需要被折叠是通过其代价值来判断的，而代价值的则是由边的周边信息通 过误差测量得到的，g a r l a n d 通过二次误差测量( q e m ) 来衡量边折叠的代价，具体方法如下： 对于顶点v 与其相对应的三角形平面集合p l a n e s ( v ) ，定义顶点v 的一i 次测量误差为v 到这些三角形平面的距离的平方： ( v ) = ( v ) = v 7 ( 砗) v p e p l a n e s腭p l a n e s ，、 = v 叫k pl v 伫2 腭p l a n e s ( v ) 其中v = h1 ，匕1 r ，p = 陋bcd r 表示三维空间中的一个平面饿+ b y + c z + d = 0 ，并 r ( a 2 + 6 2 + c 2 - 1 ) 。k p 满足： k p = p p t = 口2口6 a bb 2 口cb c a db d a ca d b cb d c 2c d c dd 2 ( 2 3 ) 令q ( v ) =k p 为顶点v 的二次误差测量矩阵，这是一个对称的4 4 矩阵，用 用p l a n e s ( v ) 来衡量边折叠的代价：边( h ，v ：) 折叠到新点矿的代价为：( 矿) = 矿( q + g ) - ，其中q + g 为新顶点矿的三次误差测量矩阵。显然，点矿越远离边( h ，v 2 ) 所关联的三角面，其代价越 大。 l o 南京1 1 5j 1 1 人学硕j ：j i j f 究生学位论文第二章人脸的顶处理 2 4 2g a r l a n d 算法的改进 应用g a r l a n d 算法得到的简化网格模型十分均匀，这样往往使得较为平坦的区域占用 过密的网格，造成网格的浪费。文献 1 7 1 对g a r l a n d 算法进行了改进，提出了一种基于尖特 征度的边折叠简化算法，在g a r l a n d 算法的基础上针对不同区域的几何分配不同密度的网 格，取得了更好的效果。 给定阈值0 ，对于某一边，如果与该边相连的两个面的二面角( 定义二面角为两个面的 外法线夹角) 大于0 ，记该边为尖特征边，并规定在有边界的模型中，边界边为尖特征边。 与顶点相邻的所有尖特征边的个数称为顶点的尖特征度。尖特征度是一个整数，最小值为 0 ，最大值为该顶点的度。 将尖特征度加入到二次误差测度内，在原来表达式的基础上加入一个惩罚项 c s h 科p s h a r p ： a 。( v ) - - _ ( v ) + e 娜s h a r p ， 、 = v 叫蜂i ，+ s h a r p q 。4 即妇甩邸( y ) 其中，c 蛔s h a r p 为一个惩罚系数，它的值根据经验设定( 大概取g a r l a n d 误差均值的 十分之一) 。这样，模型中尖特征度不为0 的顶点误差测度值变大，并且尖特征度越大，误 差测度值变得也越大。由于边折叠是按误差测度值由d , n 大的顺序来进行的，因此尖特征 度大的点进行边折叠的次序就越靠后。此外，加入该惩罚项的另一个优点是，保持计算新顶 点依旧是一个线性问题，这样便可以将所作的改进和q e m 算法统一起来。 考虑到 k 是一个4 4 的对称矩阵，而勺泖s h a r p 是一个常数，将其统一 为4 4 矩阵。上式可以写成式( 2 5 ) 形式： ， 、 ( y ) = y 叫k - - k s h a r pi v ( 2 _ 5 ) p e p l a n e s ( v ) 其中y = 【q0 匕1 】7 ，k 加矽满足： 南京i l i l , 1 ! 1 人学硕十研究生学位论文 第二帝人脸的预处理 k 。h u r p = o0 00 0o o0 oo o o 000 厄两 ( 2 6 ) 定义q ( v ) = k j p + k 。 卵为顶点v 的新的误差测度矩阵，仍为一个4 4 的 p e p l a n e s ( v ) 对称矩阵。 随着网格简化的进行a ( v ) 也在不断地变大，因此，为了达到尖特征度惩罚的目的，也需要 不断增大惩罚系数。为了简化计算，将边折叠中两顶点的惩罚项之和作为新的惩罚项。 网格简化后产生的误差为： a ( v ) - - v r o v = x 2 + 2 q 1 2 x y + 2 q 1 3 x z + 2 q 1 4 x + q 2 2 y 2 ( 2 7 ) + 2 q 2 3 y z + 2 q 2 4 y + q 3 3 2 2 + 2 9 3 4 z + 9 4 4 令( v ) 的偏导为0 ，a a g x = 抛砂= o a l & = o 可以得到最优的矿，即： 这样就可以得到矿的表达式： v2 q l iq 1 2 q 2 q 2 2 q n 3q 2 3 0o q 1 3 q 1 4 9 2 3 q 2 4 q 3 39 3 4 0l q j iq 1 2甄3q 1 4 q 2q 2 2 q 2 3 q 2 4 q v 31 q 2 3吼3q 3 4 00ol 改进后的整个网格简化算法流程图如2 1 0 ： 1 2 引 ( 2 - 8 ) ( 2 - 9 ) 自京邮l “人学顺l f 究生学位论女 第二帝 脸的颐处 对所订的向显汁扦尖特征度 j l 对所有的向量计算尖特征度 j i 对每条边( v ，v j ) 计算最佳位置f 和边折叠的代价 儿 将所肓边放 一个堆中，按边的折叠代价太小捧列母小的放在 j l 一将折叠代价最小的边移出，进行边折叠 i 更新堆中所有相关的边 j l 、 ，。、 图2 1 0 呵格简化算法 简化前后的人脸图像如图21 0 、21 1 所示： 图2 1 0 原始人脸图2 1 1 人脸简化后 南京i l g , 乜大学硕1 ：研究生学位论文 第二章人脸的顶处理 2 4 本章小节 本章主要介绍了三维人脸图像的预处理的主要步骤和算法，在详细描述点云的三角化 的规则、具体算法以及尖点的去除的基础上，着重讨论了三角网格的简化算法及其改进算 法。 1 4 南京邮i b 人学硕士研究生学位论文第二三章人脸检测 第三章人脸检测 人脸的检测是在一副图像中检测出人脸区域，确定各个特征部位或特征点的位置。考 虑到在三维空间中人脸可能朝着不同的方向偏转，为了更好地进行人脸检测，提取到更多 的特征，我们首先需要对其进行姿态校正，使其位于正视图中。文献【1 8 仅选取沿y 轴有 偏转的人脸作为研究对象，先获取鼻尖的位置，然后通过鼻尖进行姿态校正，缺乏一般性。 文献 1 9 1 先提取出人脸的侧影线，然后获取到鼻尖和鼻基点，以此为基础进行姿态校正， 计算比较复杂，并且部分步骤尚未得到论证。本章提出了一种基于法向量对齐的校正方法 来进行姿态校正，并在此基础上检测出了部分特征点。 3 1 特征点的检测 曲率反映了一个曲面的弯曲程度，它并不因为曲面的旋转或者平移而改变，它是曲面 本身所特有的固有属性，根据曲率值的大小可以定位人脸的一些特征部位。文献 2 0 】通过 计算主曲率和平均曲率检测到人脸的部分特征点，但是计算主曲率和平均曲率需要首先进 行曲面拟合，计算量比较大。本节我们通过计算离散高斯曲率来定位这些特征点，计算量 较小。 3 2 1 离散高斯曲率的计算 把曲面上的顶点映射到单位球的球心，把法线的端点映射到球面上，这样曲面上的点 与球面上的点就建立了一种对应关系，称做曲面的球面表示，也叫高斯映射【2 l 】，如图3 1 。 高斯曲率的几何意义，即球面上的面积曲面局部面积的极限，可以看出，高斯曲率确实反 映了曲面局部的弯曲程度。 图3 1 高斯映射图 1 5 南京邮电人学倾l ：研究生学位论文 第三章人脸检测 高斯曲率是曲面的内蕴量，与坐标轴的选取和参数化表示无关。利用高斯曲率的正负 性，可以很方便地研究曲面在二点邻近的结构，高斯曲率k 0 为椭圆点，k 0 为双曲点， k = 0 为平面或抛物点。 文献 2 2 1 具体地推导了曲面上任意一点x j 的高斯曲率的计算公式，其表达式可以表示 为式( 3 1 ) 形式： 撑厂 ( ) = ( 2 万一q ) 4 删( 3 - 1 ) 其中撑f 表示三角化曲面中以薯为顶点的三角形个数，g 表示其中第f 个三角形中顶点 而的度数，4 删表示该点对应的v o r o n o i 区域的面积。如图3 2 3 4 - o 图3 2 墨的一环邻居组成三角形区域 图3 3 非钝角三角形内的v o r o n o i 区域 图3 4v o r o n o i 区域的内邵角 对于一个非钝角三角形，如图3 2 ，o 点为三角形p r q 的外心。从图3 2 中我们很容 易得到：口+ 6 + c = ，口= 一么9 ，c = 一么r 。点p 所处的v o r o n o i 区域即阴影区 域的面积为：吉( i p r1 2c 。t z q + le q l 2c 。t r ) 。图3 3 中的v o r 。n 。i 区域由六个这样的阴影 区域组成，按照同样的方法进行计算，整理后可以得到 彳。，= i l ( c o t + c o s f l u ) l lt 一一1 1 2 ( 3 - 2 ) u 斥l ( f ) 其中1 ( f ) 表示五的环邻居的总数。 1 6 南京邮电人学硕士研究生学位论文 第三章人脸柃测 对于钝角三角形的情况，我们选取各个边的中点连接起来，构成一个v o r o n o i 区域， 因此对于点薯周围的v o r o n o i 区域的总面积以删的求解方法，我们可以通过以下流程图如 表3 1 所示： 表3 1 4 删的求解方法的流程图 3 2 2 眼角和嘴角点的检测 考虑到人脸眼角和嘴角这两个部位的几何特征( 均凹陷) ，对应的高斯曲率值比较小， 我们可以通过计算人脸曲面的高斯曲率来检测出这两个部位。 假定人脸中两个内眼角点盈、岛可见和两个嘴角点m l 、中任意一个是可见，否 则认为这张人脸的表情是无法判断或者难以判断的。我们对读取的所有人脸点云数据对应 的x ，y ，z 值分别计算平均值，将得到的值作为坐标原点o 。假定人脸在进行偏转的过程中 眼角点的位置始终位于原点的上方，嘴角点始终位于原点的下方。对于人脸的上半部分， 两个眼角的凹陷程度是最大的，对应的高斯曲率的值最小。对于人脸的下半部分，嘴角的 凹陷程度是最大的，对应的高斯曲率也最小。因此，我们只需要分别在人脸的上、下、左、 右区域检测高斯曲率最小的点就可以检测到这四个特征点的位置。 考虑到有可能有噪声的影响，对检测到的特征点我们采用一定的判决规则进行验证和 约束，如果不满足要求，则重新选取高斯曲率稍大的点。对于得到的高斯曲率值如果满足 式( 3 3 ) 条件的点将被舍弃： lg ( i ) l g f 枷枇掰 ( 3 3 ) 本课题中幻材取0 0 0 0 5 。 1 7 南京邮l 乜人学硕上研究生学位论文第三章人脸检测 本课题中瓯枷肋埘取0 0 0 0 5 。 将这三个特征点连接起来，构成一个三角形，对于得到的三角形的各边必须满足式( 3 4 ) 规则( 假定左嘴角点可见) ： & i n d ( 色，乓) 瓦戤 l m m i n d ( 巨， 九) l m m 戤 r m m i n d ( g ，m ) r m m 舣( 3 - 4 ) 2 d ( e ，e r ) d ( e l ，m ) d ( e r ，m ) 其中d ( x ，j ，) 表示点x 和点y 之间的距离，瓦；。和瓦孤表示两个眼角点之间的最大距 离，三坂i n 、姒。、月蚝j n 、刚表示眼角点与嘴角点之间的最大、最小距离，通常情 况下虬。= 尺帆i n ，三虬“；删一。 如果仍然存在多个满足上述条件的三角形，则计算这些三角形中两眼角点连线e 昂与 左眼角点和左嘴角点连线e l m 之间的夹角，选取其中接近9 0 度的三角形。 整个过程的流程图如图3 5 ： 获取候选 特征点 图3 5 人脸特征点检测流程 同样的方法，获取到右内眼角点艮。通过检测到的眼角和嘴角点，下一节将实现人脸 1 8 南京岍b 人学删l | = j f 究生学位皓文第= 章 脸幢测 姿态校正算法。 3 2 人脸姿态校正算法 为了不失一般性，我们考虑人脸在三维空间中可能有定的偏转角度。为了虽大限度 地提取出人脸的信息，我们一般在正视图中对人脸进行分析。由于在三维空问中共有六个 自由度，人脸可能朝着任意六个方向偏转，这加大了人脸的姿态校正难度。 本节提出了一种基于法向量对齐的方法进行人脸姿态校正。 计算机3 d 图形学1 2 3 , 2 4 1 中规定：选取左下角到右下角的方向为x 轴正向左下角到左 上角的方向为y 轴正向，垂直于x 轴、y 轴向外的方向为z 轴正向( 如图36 ) ，坐标原点0 的 位簧在上一节已经确定。 幽3 6 三维坐标系建立图 思路如下： 首先选取鼻子左右两侧的两个内眼角点以及任意一个嘴角点( 如图37 ) ，然后以这三个 点组成一个三角形。尽管同一张人脸产生不同的表情时这三个特征点的位置会有所变动， 三角形的朝向也会受到影响，但我们仍然可以认为这个三角形的法线方向能够近似代表人 脸的朝向。若人脸在正视图中显示，这三个点组成的三角形的法向量与2 轴平行。 图37 人脸特征三角形 m 京岍n 大学jw f ，c 生学位论女 摭= 章 脸检测 人脸绕x 、y 轴方向旋转后三个点组成的三角形及其法线的朝向如图38 ，3 9 。然而， 我们却不能仅仅由法向量与z 轴平行就判断出这时的人睑就是正视图中的人睑。因为如果 人脸绕z 轴旋转任意角度，法向量的方向仍然平行于z 轴。因此，我们只可以通过法向最 与：轴平行来判断出x 、y 轴方向的偏转是否校正过来了。 图3 8 人脸绕x 轴旋转后 图3 , 9 人脸绕y 轴旋转后 将法向量和这三个点组成的三角形看作一个整体，通过绕x 轴、y 轴方向旋转一定的 角度，如果旋转后的法向量与z 轴平行或者重合时人脸绕x 、y 轴方向的偏转就校正过来 了。最后通过投影的方式来计算出人脸绕z 轴旋转的角度。 图3 1 0 x 、y 方向校正后图3 1 1z 方向校正后 具体算法如下： ( 1 ) 建立人脸坐标系，如图3 6 。 ( 2 ) 首先检测出跟角点和嘴角点假设所选取的这三个点分别为：两个眼角点a 、b 和 。个嘴角点c 。 ( 3 ) 过原点o 作面a b c 的垂线，则该垂线为面a b c 的法线，设该法线向量为i 则 ( 3 5 、 ( 4 ) 在法线向量上取一点d ，使| 【0 1 9 】| = 1 ，归一化法线向量i 为( c o s ( a ) ，c o s ( p ) ，c o s ( y ) ) 南京邮l 【1 人学硕l 研究生学位论文第三章人脸检测 c o s ( r ) 0 ，则选取d 点的坐标为( c o s ( a ) ，c o s ( p ) ，c o s ( r ) ) ，若c o s ( r ) b c ，v o x 图3 1 5x 、y 方向校正后的三角形投影到x o y 平面 假定彳点的坐标为( a ：，a j ) ，b 点的坐标为( b ：，b j ) ，则人脸需要绕z 轴旋转的角度见为 一a r c t a i l a y - b y ，取逆时针方向为正。 a 。- b 。 三维计算机图形学中，绕z 轴旋转的矩阵疋可以写成式( 3 一1 2 ) 形式： p 降 s i n ( 见) 0 c 。s ( o1 01l - i ( 3 - 1 2 ) 因此