（计算机应用技术专业论文）基于网格人脸模型的局部器官真实感建模方法研究与实现.pdf

摘要 真实感三维人脸重建技术是计算机图形学领域研究的热点。本文针对基于网格模型 的人脸真实感重建方法，分析了面部三维网格简化方法及局部器官特征的定位、人眼模 型及运动控制和头发生成等关键技术，实现了基于网格模型的三维人脸真实感建模系 统，具有重要的理论意义和实际应用价值。主要研究工作如下： ( 1 ) 采用基于折叠的网格简化算法简化复原的头部模型，达到了减少网格顶点和 三角形面片的目的。应用基于模板的器官匹配法，实现了眼睛区域的快速定位。 ( 2 ) 提出了一种改进的基于球体运动的真实感眼睛模拟方法，分别将人眼眼球和 眼皮用球体和抛物线近似，其运动通过眼球和眼皮上的特征点控制，实现了三维人眼的 建模和运动的控制。 ( 3 ) 提出了一种基于广义圆柱体的头发股生成算法，将头皮划分为若干个小正方 形，分别以每个正方形的中心为头发股生长点构造广义圆柱体，使用该圆柱体逐个地对 头发股进行模拟，从而生成逼真的头发模型。 ( 4 ) 提出了一种改进的基于n u r b s 曲面的整体头发生成算法，该算法采用 n u r b s 参数曲面模拟整体头发，通过曲面上的特征点控制发型，使用a l p h a 映射完成渲 染，实现了具有真实感的三维头发快速生成。 ( 5 ) 结合真实感处理的实际需要，以v i s u a lc + + 6 0 和o p e n g l 为工具，设计并实 现了三维人脸眼睛头发真实感建模系统，并验证实现了本文所涉及的相关真实感处理算 法。 本研究得到国家自然科学基金重点项目“颅面形态学和颅面重构的研究( 6 0 7 3 6 0 0 8 ) 的支持。 关键字：人脸建模，网格简化，眼睛构建，头发生成 r e s e a r c ha n di m p l e m e n t a t i o no ft h er e a l i s t i cm o d e l i n go fl o c a l o r g a nb a s e do nf a c i a lg r i dm o d e l a b s t r a c t r e a l i s t i c3 df a c er e c o n s t r u c t i o ni sah o t s p o ti nt h ef i e l do fc o m p u t e rg r a p h i c s i nt h i s p a p e r , i ti n c l u d e d3 dm e s hs i m p l i f i c a t i o na n dl o c a lo r g a nc h a r a c t e r i s t i c sp o s i t i o no nt h e c r a n i o f a c i a lf a c e ，e y em o d e la n dt h em o t i o no fe y ea n dh a i rg e n e r a t i o ni nt h er e a l i s t i cf a c e m o d e l i n gs y s t e mb a s e do ng r i dm o d e l t h e s eh a sb e e ni m p o r t a n tt h e o r e t i c a la n dp r a c t i c a l v a l u e t h em a i np r o c e s s ： ( 1 ) i no r d e rt or e d u c et h en u m b e ro fm e s hv e r t i c e sa n dt r i a n g l es u r f a c e s ，w em a yh a n d l e w i t hh e a d m o d e l si nm e s hs i m p l i f i c a t i o nb a s e do nf o l d i tw i l lf a s t l yp o s i t i o nt h ee y e a r e ai no r g a nm a t c h i n gb a s e do nt e m p l a t e ( 2 ) am e t h o do fr e a l i s t i ce y es i m u l a t i o nb a s e do nb a l lm o v e m e n t i tw i l lr e s p e c t i v e l y r e p l a c eh u m a ne y e sa n de y e l i d s 、 ，i mb a l la n dp a r a b o l a i t sm o v e m e n tw a sc o n t r o l l e d b yf e a t u r ep o i n t so nt h e i rm o d e l s t oc o m p l e t e3 de y em o d e l i n ga n dm o v e m e n t c o n t r o l l i n g ( 3 ) aa l g o r i t h mo fh a i rs t r a n dg e n e r a t i o nb a s e do ng e n e r a l i z e dc y l i n d e ri sp r o p o s e d t h e s c a l ei sd i v i d e di n t os e v e r a ls m a l ls q u a r e s ，i tw i l lc h o s et h eg r o w t hp o i n t sw h i c hw a s c o n s i d e r e da sh a i rr o o ti nt h ec e n t e ro fe a c hs m a l ls q u a r e t h eg e n e r a l i z e dc y l i n d e r w i l lc o m p l e t et h es i m u l a t i o no fh a i rs t r a n do n eb yo n et og e n e r a t er e a l i s t i ch a i rm o d e l ( 4 ) am o d i f i e da l g o r i t h mo fo v e r a l lh a i rg e n e r a t i o nb a s e do nn u r b s i sp r o p o s e d i tw i l l s i m u l a t eo v e r a l lh a i ri nn u r b sp a r a m e t r i cs u r f a c ea n dc o n t r o lh a i rs t y l eb yf e a t u r e p o i n t so nt h es u r f a c e a tl a s t , t h ef i n a lr e n d e r i n gw a sc o m p l e t e db yu s i n gt h ea l p h a m a p a f t e rt h e s es t e p s ，i tw i l lq u i c k l yg e n e r a t er e a l i s t i c3 d1 1 a 证 ( 5 ) c o m b i n e dw i t ht h ep r a c t i c a ln e e d so fr e a l i s t i cf a c er e a l i t y , w ed e v e l o p3 dr e a l i s t i c f a c e ，e y e sa n dh a i rm o d e l i n gs y s t e mb yv i s u a lc h 6 0a n do p e ns o u r c e3 dg r a p h i c s l i b r a r yf o rt h ev i r t u a lo p e r a t i o n h t h i sr e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( 6 0 7 3 6 0 0 8 ) k e yw o r d s ：f a c em o d e l i n g ，m e s hs i m p l i f i c a t i o n ，e y ec o n s t r u c t i o n ，h a i rg e n e r a t i o n i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论 文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论文 收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名： 2 0 t o 年彦月加日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本 论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 2 力l p 隆 加 矾 弓障钿 一 年 轹 咖 签 2 币 j i y教导指 哞州 列肜 多 芴年 第一章西北大学硕士学位论文 第一童绪论 随着科技的不断发展以及学科间的交叉渗透，计算机可视化技术得到了迅速的发 展。真实感人脸建模和局部器官重建成为近年来计算机视觉，计算机图形学、人类学， 生理学和法医学等领域的研究热点。本章首先介绍了课题背景与研究意义，然后分析了 国内外研究现状，接着给出了本文研究内容，最后给出了本文的组织结构。 11 课题背景与意义 真实感三维人脸建模及局部器官重建技术涉及计算机视觉、图像处理、模式识别和 可视化技术等多个研究领域。随着可视化技术和计算机图形图像学技术的快速发展，真 实感三维人脸建横及局部器官重建技术成为计算机图形学领域的一个研究热点，受到全 世界研究人员越来越多的关注。 真实感三维人脆建摸可应用在以下领域： 1 、颅面重构 颅面重构是依据人类颅骨与面貌之间的形态规律，对给定的未知颅骨的面貌进行科 学预测绘制【”主要解决对刑事侦查中尸骨的身份确定和已逝世重要人物的复原等。但 颅面复原后得到的只是三维人脸大概的几何信息如缺少眼睛，皮肤头发等其它具体 的人类学信息，如图l l 所示，这些严重影响了复原后的真实感效果。同时人头部的信 息是有区别的，比如欧洲人的头发吐金黄色为主，亚洲人的头发以黑色为主：有的人的 头发是卷的，有的人的头发是直的：美洲人的眼窝深，亚洲人的跟窝浅等等。这些信息 在目前的颅面复原模型中没有得到真实的体现，因此生成更加真实个性化的颅面信息以 及逼真的面貌显示结果成为目前国际上的热点问题。从而使得研究面貌真实感处理技术 变得刻不容缓。 2 、安全认证 砸 复原前的颅骨0 ) 复原后的颅面 圈l l 缺乏 脸信息的颅面 第一章绪论 由于人脸识别技术本身的优势，如便携性，隐蔽性，非接触方式等特点，使得人脸 识别成为生物识别领域内最活跃的研究方向。而传统的人脸识别方法，是针对二维人脸 视频和图像，使用图形图像处理方法来获取识别的特征进行人脸识别。但是这种基于二 维图像分析的方法比较难处理人脸识别中的姿态、光照、表情和皱纹等问题。而基于三 维人脸模型的人脸识别方法很方便地解决了这些问题。 3 、医学整形 随着人们生活质量的逐步提高，更多的人选择使用外科整形手术来进行整容，从而 使得计算机辅助整形外科手术成为整形外科的发展方向。面貌真实感处理关键技术，除 了具有重要的科学研究意义，而且还具有广阔的应用前景。如颅骨和照片重合的法医鉴 定，历史上著名人物的面貌复原，医学手术模拟，刑侦过程中尸体鉴定和结果预测， 灾难现场的身份认证，电脑动画和人脸表情模拟和生成等。 4 、三维游戏 最近厂家推出的3 d 场景游戏，受到极大的欢迎。主要是传统游戏中的虚拟人物和 二维场景都很难使游戏者达到身临其境的感觉。故随着三维技术和图形硬件设备的快速 发展，在游戏中使用虚拟人物和三维场景已成为未来的发展方向。最典型的例子，游戏 魔兽世界中人物的运动和外形都显得如此逼真，令人惊叹。 5 、影视广告制作 随着广告水平的不断提升，计算机生成的三维虚拟人物在广告和影视制作中使用越 来越普遍。其中人物面部动画及表情的合成是影视处理中最繁琐的工作，这关系到能否 得到逼真的绘制效果的一个关键因素。但在实际情况下只能得到近似的模拟。从玩具 总动员到现在流行的魔戒系列，其制作过程都体现了面部虚拟处理技术的魅力。 总之，作为当前计算机图形学和计算机视觉与可视化领域的研究热点，真实感人脸 建模研究，不但具有理论研究意义，同时也具有非常大的实际应用价值。 1 2 国内外研究现状 近年来，随着虚拟现实、人脸特征识别和三维表情动画的发展，真实感三维人脸模 型重建越来越受到计算机视觉和计算机图形学等领域研究人员的重视，同时研究人员也 提出了各种不同的真实感三维人脸建模方法。 2 第一章西北大学硕士学位论文 1 2 1 真实感三维人脸建模 真实感三维人脸合成简单分为三个过程：脸部数据的获取，脸部模型的设计，真实 感人脸的生成【2 】。 脸部数据的获取：利用人体测量学对大量相似的面部进行测量，对其结果进行统计 和分析，从而获得脸部的统计学数据。利用这些统计学数据来直接约束参数化的表面。 但对于特定人脸的建模，依然需要用户手工输入大量的数据。但现在则通过立体摄像机 和激光扫描仪等自动获取。 脸部模型的设计：首先将复原后人脸的框架进行标准化处理，然后用网格将其表示 出来，依此作为将来生成真实感人脸的基础。但是由于人脸高度光滑并且形状复杂，所 以要求人们对它的每一个细节都非常熟悉，从而使得真实感人脸几何建模变得非常困难 并且很耗费时间。脸部模型生成方法大致可以分为：体网格建模3 1 、曲面建模 4 1 和多边 形建模【5 1 。 真实感人脸的生成：是指用计算机合成具有特定人的喜、怒，哀、乐等表情以及脸 部各种特征的人脸模型。从人的视觉角度出发，人们总是希望合成的人脸能够尽可能地 达到逼真。但是由于受计算机处理图像能力和模型的复杂程度的限制，合成的图像总是 无法达到人们期望的结果。 真实感人脸的合成过程经历了，以几何模型为代表的一般人脸到特定人脸的变换。 从2 0 世纪7 0 年代以来，真实感人脸合成已经得到了长足的发展，大体上可以分为3 个 阶段：7 0 年代的参数模型，8 0 年代的肌肉模型和近年来基于图像的建模与绘制技术。 1 、参数模型 一提到参数模型，首先想到的肯定是p a r k e 的人脸模型【6 j ，人脸参数模型的基本思 想：对于不同的人脸特征和人脸表情变化，则通过不同的参数来描述，如图1 - 2 所示， 故将人脸参数模型分为两类：人脸动画参数和人脸构造参数。人脸动画参数，适合于描 述面部器官的运动情况，比如，眨眼，撅嘴和皱眉等动作，从而用来产生人脸的各种表 情。人脸构造参数，适合于描述特定人脸的几何特征，即脸型的整体形状以及五官的具 体大小和形状，从而用来产生各种各样的个性化人脸。由于这些人脸模型只把人脸描述 为一种几何线框结构，而且仅用简单的表面几何形状来模拟面部行为，没有从生理的角 度考虑。如人脸面部行为的驱动机制等进行考虑，这样明显降低了合成真实感人脸的能 力。 3 帮一章绪论 隧鞲团 图1 - 2p a r k e 的人脸模型 2 、肌肉模型 根据生理规律，人脸的外观、衷情和动作是由面部和头部的骨髂，肌肉、结缔组织 ，神经、皮肤和头发组成的集合l ”。因此首先必须熟悉人脸的生理结构才能建立理想的 人脸模型。虽然目前还没有完整详细的计算机人脸动画方面的生理模型但是已经有人 提出了一些人脸表情和动丽的描述方案和一些简化的生理模型。晟典型的模型：用于描 述人脸表情的人脸动作编码系统( f a c s ) 和模拟人脸生理运动的季 种肌肉模型。 ( i ) 人脸表情编码系统( f a c s ) 目前广泛使用的描述舱部表情的方案足e k m a n 等人提出的闻，它不仅描述了4 4 个能够独立运动的面部动作单元而且说明了这些单元与改变面部表情的肌肉结构紧密 相连。在这个系统中e k m a n 等人还研究并鉴别了6 种基本表情，分别表示喜怒，哀 、乐、惊和怕等特点。e k m a n 开发的这个系统作为描述或编码面部表情的手段，它包括 了所有可以独立控制的肌肉运动，这个描述方案已经被用作计算机面部表情控制的基 础。 ( 2 ) 简单肌肉模型 1 9 8 7 年，w a t e r s 等人 9 1 ，以人脸的解剖学为基础歼发了一套新的脸部模型系统， 不仅考虑了脸部的肌肉活动，而且同时也考虑了脸部的结缔组织层对肌肉运动的影响。 此模型将人脸描述为一种层次结构的实体，层与层之自j 用弹簧相连，采用非刚性的跟踪 面部特征运动，从而达到合成瞬间表情的目的，如图1 - 3 所示。w a t e r s 模型包括两类肌 肉：线性肌肉，括约肌。他采用简单的皮肤和肌肉的弹簧质量模型。但他的肌肉拥有向 量属性，独立于基本的骨骼结构。从而使得肌肉模型独立于特定的脸部拓扑，每块肌肉 都有一个影响区域。特定肌肉的影响随着肌肉向最点的径向距离而减小。同时，w a t e r s 也使用基于f a c s 的控制参数。 第一章西北大学颈i 学位论文 囤| 寸w a t e r s 的人脸模型 ( 3 ) 伪肌肉模型 1 9 8 8 年。m a g n e n a t - t h a l m a n n 等人开发了另外一个肌肉模型 t o i 其中控制参数为“抽 象肌肉运动( a m a ) ”过程这些a m a 过程与f a c s 运动单元有一定的相似性，但叉不 完全相同。这些a m a 过程是相互关联的。运动的顺序非常重要。该肌肉模型允许通过 控制低级a m a 过程和高级“表情”参数值来进行面部控制。由于引入肌肉模型以及驱 动人脸行为的内在变形机制，使得真实感人脸模拟得到了很太的提高其缺点是实现起 来比较复杂。 3 、基于图像的建模与绘制技术肌肉模型 真实感人脸的生成过程：首先从不同方位对人脸进行拍照，然后在至少两张人脸图 像的特殊位置标定特征点，最后进行数字化处理川。从照片提取真实的脸部特征，合成 真实表情的步骤大致如下：首先，在给定表情下，用多方向地相机随机地拍照；然后在 所有的照片上标注特征点，如鼻子顶部，下巴嘴角以及眼角等；然后利用这些特征 点来对普通三维人脸网格进行变形，以适应特定人脸的要求；最后用相片作为纹理来 映射至变形脸部，从而生成所需要的真实感人脸。 阿面主要介绍了真实感三维人脸建模方面国际上的研究情况，国内关于真实感人脸 建模也做了大量的工作。其中最有代表性的人脸建模研究有：哈尔滨工业大学的晏洁 1 2 】， 提出了一种人脸模型个性化的方法。北京工业大学的尹宝才等人t 3 1 研究人脸建模和人脸 纹理映像的方法。同时，以周明全教授为带头人，在北京师范大学、西北大学组织开展 了计算机辅助真实感颅骨面貌复原技术研究，取得了一系列研究成果。 122 局部器官精细化处理 1 、头发建模 在面貌真实感处理过程中头发的生成扮演着重要的角色。但是利用计算机生成具 有真实感的3 d 头发仍然是一件比较费时和费力的工作。头发的生成方法分为两类：基 于几何的模型“4 l 和基于体密度的模型”s l 。基于几何的模型：头发建模和绘制的直接目标 萆一章绪论 是每一缕头发，是一种微观处理头发的方式。基于体密度的模型：定义了一个头发的三 维空间分布密度函数，然后应用光线跟踪算法去计算头发表面轮廓的颜色和光照，是一 种宏观处理方法。 1 9 9 1 年，w a t a n a b e l l 6 l 等人提出了一种头发立体模型，采用三棱柱模型柬模拟头发， 如图1 4 所示。1 9 9 2 年，a n j y o 等人提出了一个基于几何模型的头发模型并提供了 一套交互方法使用户可以在三维头皮上选择头发生长的适当区域、生长方向以及分布 密度，然后通过悬臂粱模型来控制头发的自然下垂，最后通过一些简单的裁剪模拟形成 最后的模型，如图1 - 5 所示。s u n i l i t s 等人提出了一种新的思路：用水流来模拟头发，将 发型想像成一定密度的水流在某一瞬间的快照。在系统中，用户可以很方便地定义水源 的位置密度、流动速度以及一些控制水流流向的阻挡物，如挡板，端点等。通过把发 型看作是个流动的整体，他们还利用标准流的内部特性提出了一个解决头发的摩擦碰 撞对运动影响的经验公式。然后通过将流体模型和连续刚体模型相结合从而得到了完整 的头发运动模型取得了不错的效果，如图1 _ 6 所示。 国内在这方面也做了不少工作，江苏理工大学c g & c a d 研究室从事这方面的研究 工作已有多年，曾提出一种面向对象的头发模型。在该模型中，单根头发采用三维线模 型柬模拟头发而目提 十 了利用线模型生成真实感头发的方法 = ! | 善撼 圈1 _ 4 头发立方体模型圈l _ 5 几何头发模型图1 _ 6 流体头发模型 2 、目臣睛建模 俗话说“眼睛是心灵的窗户”眼睛和它的运动在传达人的期望、需求认知过程 和感情状态中起着重要的作用。在眼睛的检测中，识别眼睛模型的关键，是将外观和动 态的巨大变化考虑进去并且将其充分地表示出来，同时也要受限于计算效率。眼睛区域 的外观，光照和视角是各个种族共有的特性。如图i 一7 所示，对于眼睛而言，视角上相 对小的变化将引起外观上巨大的改变。尽管研究人员已经做了大量工作，但是，由于一 些特殊的问题如眼皮的闭塞，眼睛的睁闭，大小的变化，头部姿势的反射性等，使得 第一章西北大学硕士学位论文 眼睛检测和跟踪仍是一个具有挑战性的问题。计算机视觉具有广泛的应用，如监控，人 脸检测系统和各种医学应用，当遇到闭塞和形状变化时，很少像用眼睛看到的同样的大 小尺寸和频率。作为固定的或者是可变形的眼睛检测技术可分为三类：基于形状的方法， 基于步 观的方法和二者混和的方法【1 9 1 。 阍黛 图w 旺睛形杭瞎说觉变化而变化 ( 1 ) 基于形状的方法 基于形状的方法【2 0 1 分为：可变形状和固定形状。利用眼睛和脸部韵局部特征点或者 它们的轮廓重建方法，相关的特征包括眼睛的边沿，跟角或者是基于特殊滤波器应答系 统选择的点，如角膜缘和瞳孔是一般常用的特征；基于形状的方法采用先前眼睛形状的 模型和周围的结构，而基于外观的方法直接建立在眼睛区域外观模型上，如图l - 8 所示。 ( 2 ) 基于外观的方法 基于外观的方法1 2 ”，概念上和模扳匹配相关。通过重建一个像斑模型，采用相似性 度量进行模型匹配的眼睛检测。基于外观的方法进一步被分为基于亮度和子空问的方 法。基于亮度的方法使用亮度或者过滤亮度图像直接作为模型。而子空间方法假设眼睛 图像的重要信息被定义在一个低维的子空间。 ( 3 ) 混合的方法 在一个简单的系统i 。1 中整合了各种眼睛模型的优势，克服它们各自的劣势。如：结 合特征，形状和外观的方法等，如图1 9 所示。 一斧蔽芬” 计 1-l 一_ 图1 眼睛模型圈l _ 9 混台方法的眼睛探铡 务盆一舍( 毫芬舍 第一章绪论 1 3 本文研究内容 人脸真实感处理长期以来一直是计算机图形学以及人机交互领域非常活跃的研究 课题。逼真的面部合成是计算机图形学中根本问题，也是最困难问题之一。 本文的技术路线如下： ( 1 ) 将复原出的颅面模型进行三维网格显示，这种网格模型比较复杂，因此利用基 于折叠的网格简化算法，减少这个复杂头部模型的顶点数和面片数，极大地提 高了处理速度。 ( 2 ) 复原出的颅面模型，由于缺少眼睛等器官，从而缺乏真实感。采用基于几何模 型的建模方法，经过纹理匹配可获得逼真的人脸模型。本文以眼睛的建模为例： 首先，确定眼睛轮廓的区域，即眼睛的网格结构；然后，在所选的区域中标示 出眼部的特征点( 比如：左右眼角，上下眼皮的中央等) ；最后，利用控制点的 坐标变化控制人眼和眼皮的运动。 ( 3 ) 将c a t m u l l r o m 样条面片划分成若干个小正方形区域，用c a t m u l l r o m 样条面 片包裹头皮，分别以每个小正方形的中心为头发的生长点，并且以它为广义圆 柱体中心轴的初始生长点，在轴上等距地取一些点，以每个点为圆心构造圆， 从而完成对单根头发的模拟；另外一种方法，将头皮中间分割线周围的小正方 形的中心作为初始点分别朝左右两边构造n u r b s 曲面，完成对头发束的模拟， 最后利用纹理映射技术对n u r b s 曲面进行处理。 本文的主要研究内容： l 、头部模型的简化 头部模型简化，在保持原模型几何形状不变的前提下，采用基于折叠的网格简化算 法减少该模型的面片数和顶点数。简化对于几何模型的存储、快速定位人眼轮廓和头发 生长区域的确定以及实时绘制有着重要的意义。 2 、真实感三维人眼建模 首先，在三维头部模型上对眼睛的区域进行快速定位，同时对眼部的特征点进行标 注；其次，通过特征点坐标的变化实现对眼睛的快速模拟。简单流程如下：人眼眼球近 似为一个圆球，眼球的运动是以球体的中心为基准进行平行移动，人眼眼皮的运动可看 作是球面上的一段圆弧之间距离的变化，该圆弧的水平投影可近似表示为一段抛物线。 3 、真实感三维头发建模 8 第一章西北大学硕士学位论文 首先，确定头发的生长区域：将头部分成若干个小正方形，以每个小正方形的中心 为头发的生长点；其次，利用广义圆柱体和n u r b s 曲面分别完成局部和整体头发的生 成，并且进行碰撞检测和渲染方面的处理：最后，设计出满足各个种族人的发型。 1 4 本文章节安排 本文共分为六章： 第一章绪论部分，介绍了课题背景与研究意义，分析了国内外研究现状，给出了 本文研究内容和组织结构。 第二章头部模型的简化及眼睛特征定位，实现了在保持头部模型尽可能精确的程 度下，利用基于折叠的方法实现网格的简化，并且利用器官模板法快速地定位眼睛的位 置。 第三章真实感三维人眼模型及运动控制，首先给出三维人眼的模型，然后利用球 体模拟眼球以及用抛物线模拟眼睛的边界，最后通过模型上的特征点控制眼睛的运动。 第四章真实感三维头发生成研究，提出了两种不同的方法，基于广义圆柱体头发 生成和基于n u r b s 曲面的头发生成，最后再进行碰撞检测和纹理映射生成具有真实感 的三维头发。 第五章真实感三维人脸建模及头发整体造型设计系统，首先对系统进行分模块介 绍，然后对各个模块处理流程进行详细的说明。 第六章总结与展望。 9 第二章头部模型的简化及眼睛特征定位 第二章头部模型的简化及眼睛特征定位 真实感三维人脸建模及局部器官重建，首先需要导入复原后的头部模型，然后为了 在最大程度上保持模型特征以及眼睛定位精确度的前提下，尽可能地提高处理速度，故 需要对三维头部模型进行简化，最后对简化后的模型使用器官模板法快速定位眼睛的区 域。 2 1 头部原始模型简化 在科学技术高速发展的时代，虚拟现实，计算机辅助设计，计算机图形学与可视化 等领域对构造和所使用的模型要求越来越精细，并且模型的复杂程度在逐步递增，这些 复杂模型的面片数以百万级来计数。这些显然带来了计算机的处理速度，存储容量和绘 制速度等方面的困难。但是在实际情况中，并不是所有的模型都要求高分辨率，而是需 要在模型的准确度以及处理时间之间进行权衡。因此我们常说的模型简化，就是用一些 相对简单的模型来代替原始模型，从而简化了各种处理工作。模型简化的标准定义，是 以保持原模型几何形状不变为充分条件，采用适当的算法为必要条件。最终的目标就是 减少该模型的面片数、边数和顶点数。 如何建立一个标准的几何模型：首先必须对头部表面几何点的分布进行规划，然后 进行取点( 其中，取点的操作是根据表面特征和头部结构确定取点的数量、位置和密 度) ，最后利用所取的点进行建模。那我们就面临一个问题，如何获取三维数据，目前 常用的是采用激光扫描系统，对实物模型进行激光扫描，获得扫描数据点。但激光扫描 也带来一些问题，所产生数据点的密度过大，故根据需要从中提取造型所需的特征点。 经过大量的统计分析可知，人头部表面形状的大部分细节都集中在面部，特别是在 眼，耳，嘴和鼻。而且不管是从人体生理学的角度，或者是人的视觉分辨的角度来看， 面部为左右对称】。因此，取点需要遵循一般的原则，头顶和后部的表面点尽可能取稀， 耳，眼，鼻和嘴及其周围面部的表面点尽可能的取密。为了降低取点工作的难度，我们 只提取人面部左右对称垂直面一侧的表面点数据，另一侧通过坐标变换而得。最后得到 的标准头部三维几何坐标数据共5 2 6 个，由此建立的标准头部线框模型，如图2 _ l 所示。 1 0 目北大学磺l 学位论文 图 l 头部线框梗型 2 i1 头部的简化模型 在科学研究中，总是利用相似的思想处理一些复杂的问题。比如对于头部模型的简 化，由于头部模型与椭球体的形状大致相似，敌考虑用椭球体近似代替头部模型。通常 我们表示任意一点的位置，除了使用极坐标表示为( ，伊) ，其中用表示经度角，矿表 示纬度角，也可以采用笛卡尔坐标表示为( ，y ，= ) 。同样椭球面上的任意一点也可采用 这两种表示方法，并且经纬度椭球上的点与数对( 以p ) 一一对应。通过逐步调整经度角 和纬度角的大小，就可以粗略地确定头发的初始生长点【2 4 】，为进一步准确地定位头发的 生长点提供参考。 立口图2 _ 2 所示假设中心在原点的椭球体的笛卡尔坐标表达式为： + + ：1 ( 21 ) r rr vr z 如图2 _ 3 所示，用经纬度垂，口表示的椭球面参数方程式为： x = c o s 庐c o s 伊 一詈s 庐s ； y = oc o s 毋s i n 伊 一口矿z( 2 2 ) = = s i n e 第二章头部模型的简化及眼睛特征定位 图2 - 2 笛卡儿坐标系下的椭球体图2 3 经纬度表示的坐标系 2 1 2 简化原则和误差度量 通常网格模型的表示分为两种：多边形面片表示和三角形面片表示。但是用的最多 的还是三角形面片表示。即使多边形表示的模型，也可以将其转化为三角形表示。故网 格模型简化的本质是：在最大限度的保持原始模型特征不变的情况下，尽可能地减少原 始模型的三角形数目和顶点数卧2 5 1 。模型简化问题可以表述为以下两种形式之一： a ) 给定一个占，寻找一个与原模型误差小于占且顶点最少的模型代替一个具有刀个 顶点的三角网格模型( 误差最小原则) 。 b ) 用一个只有小个顶点表示的三维网格模型尽可能准确的表示一个具有刀个顶点 的三角网格模型，其中朋 刀( 顶点最少原则) 。 网格简化的目的，用一个近似模型表示一个三角网格表示的模型，而且这个近似模 型必须满足以下条件，既要基本上保持原模型的特征，又要使得顶点数目小于原始模型 网格顶点的数目。通用的做法是将一些“不重要的 元素( 顶点，边或三角形) 从三角 网格中移去。如何判断一个原始模型与近似模型的逼近程度，我们引出了一些量化这种 相似程度的方法，即给出它们之间的误差方法。假设一个三角网格模型为m ，它的近 似模型为m ，用e f m ，m ) 来表示逼近模型m 和m 的误差程度。 常见的误差度量方法有：外观相似度量和几何误差度量【2 6 】。外观相似度量是人们从 视觉角度出发，来计算原始模型与简化模型投影到视觉平面的差异。但由于它需要从各 个视点进行采样，计算量大，因此在实际应用中通常用几何相似度量来代替外观相似度 量。 l 、函数的几何相似度量 函数的几何相似度量，主要用到三。和厶两种几何误差度量形式。假设在定义域为 【口，b 】的区间内，一个实值函数，( f ) ，且它的逼近函数为g ( f ) 。则最大偏差量表示为t ， 1 2 西北大学硕士学位论文 是用来测量实值函数和逼近函数之间的最大偏差，它被定义为： i if gi l = m 。，。a 、x ，if ( t ) 一g ( t ) l ( 2 3 ) 平均偏差量厶，是用来测量实值函数和逼近函数之间的平均偏差，它被定义为： i if g1 1 2 = r ( 巾) 一g ( f ) ) 2 出 ( 2 4 ) 判断g ( f ) 是否是最优的逼近函数，方法简述如下：一个由n 条线段组成的逼近函数g ( f ) ， 如果没有其它的刀条线段的逼近函数比它的误差小，那么g ( t ) 就是最优的逼近函数。在 函数逼近的问题上，一般将较大的误差测度记为三。，它对原始函数和逼近函数之间的差 距提供了一个全局的绝对值上界，而且使用它更容易保证逼近的质量。而厶形式的误差 更好的反应了全局的拟合程度。 2 、模型的几何相似度量 针对模型与其近似模型的表示，可以给出类似t 和厶形式的误差测度函数。如何 计算两个模型的几何相似测度值，首先给出原始模型与逼近模型偏移值的计算方法。根 据前面所描述的函数的情况，测度偏差使用的是垂直距离i 厂( f ) 一g ( f ) i 。但在实际网格 模型中，没有单一的，显著的方向来测量距离，故需考虑用一组最近点的距离来测量它。 从一个顶点1 ，到一个模型m 的距离定义为该点到在模型膨上距离该点最近点w 的距 离： d , ( m ) = m i n l l v - w l i ( 2 5 ) 其中：i i i i 是两个向量之间的欧式距离。 一个经常用到的几何误差测度被定义为： ( m ，鸠) = 删( 赋以( 鸩) r 毗n a x d , ( m ) ) ( 2 6 ) 这个误差用来测度两个模型之间的最大偏差，它与t 形式的误差度量相似。如果 ( m ，m s ) 占，那么逼近模型的每一个点都在原始模型的g 范围之内。同样原始模型 的每一个点都在近似模型占蔼围之内。沿着相似的方向，可以定义与厶相似的测度， 它是两个模型之间偏移值平方和的平均值： 1 3 第二章头部模型的简化及眼睛特征定位 ( m ，鸠) = 吉i “d ：( 鸩) + 吉工鲥d ：( m ) ( 2 7 ) 其中w l 和分别表示m 和鸩的面积。注意：和的定义是对称的，因为在计算 这两个误差时，不仅对m 的每一个点都要在心找对应的最近点，而且对鸠上的每一 个点也要在m 找对应的最近点。 实际上，准确地计算这些误差是非常费时的，比较通用的办法是对两个模型作采样， 然后使用这两个点集来近似计算上述的和田1 。 2 1 3 基于折叠的网格简化 在虚拟现实、计算机仿真和可视化技术中，常采用三角形网格描述物体表面。伴随 着模型复杂程度的日益增大，其直接的结果是模型的数据量变大，从而导致数据的复杂 度远大于图形硬件的实时处理能力。因此为了克服这些问题，人们一方面不断提高计算 机的性能，另一方面也采用了许多种模型简化技术。其中模型简化最有效的算法是建立 细节层次模型( 1 e v e lo f d e t a i l ，l o d ) 的方法。 现有三角形网格的l o d 算法【2 引，主要有基于删除操作的模型简化、基于顶点聚类 的模型简化以及基于折叠操作的模型简化等算法，本文采用基于三角形折叠操作的模型 简化算法。 在空间中，沿公共边及在顶点处邻接的一组三角形定义为三角形网格t m ，可由顶 点集y = ( v l , v 2 ，l ) 和三角形集合r = ( 互，互，l 乙) 所组成的二元组( y ，t ) 来表示。 三角形折叠算法的基本思想f 2 9 1 ：如图2 - 4 所示，首先针对所要求的网格简化程度， 引入相对应的阀值来控制折叠误差；然后按照所要求的折叠误差确定折叠后的新顶点， 从而生成满足不同需要的三维模型的多个细节层次【3 0 】。 兰 i 、误差矩阵 ( a ) 折叠前 图“三角形折叠 1 4 ( b ) 折叠后 西北大学硕士学位论文 设三角形每个顶点1 , 1 的误差矩阵为q ：定义该顶点的误差为该顶点到所有与它相关 的三角形平面距离的平方和： _ ) - 屹，以，1 ) = ( 以v ) 2 ( 2 8 ) 其中：r _ 【口，b ，c ，d 】7 表示与顶点v j 相关的三角形集合c 中每个三角形所在平面的平面 方程甜+ 砂+ c z 4 - d = 0 的系数。 将公式( 2 8 ) 转换为下面的二次形式： ( h ) = ( 一尺) ( v f ) = 矿( r 尺r ) v t 彰i m rl q ( 2 9 ) ，、 r e c r 越 r 毫c i) 其中： m r = r r r a 2 a b a bb 2 a cb c a d b d a ca d b cb d c 2c d c dd 2 ( 2 1 0 ) 二次误差矩阵能够被用来表示三角形网格中任一点到平面的距离。将该顶点所 有相关三角形的二次误差矩阵相加即可得到该顶点的误差矩阵q 。 对于三角形而言，定义其误差矩阵为该三角形三个顶点的误差矩阵之和： q = q 。+ q ：a t q i ， ( 2 1 1 ) 2 、折叠误差的控制及折叠新顶点的确定 通常采用折叠后的新顶点到原三角形所在平面的距离作为误差衡量标准，即： ，= 瞥( r r ) 2 = 怪( ( 碡r ) r r v 。) = 瞥( 碡心) ( 2 1 2 ) 其中：误差矩阵q 为使色最小的m r ；，为三角形霉的折叠误差；为折叠后的新顶 点；c 。为与三角形乃的3 个顶点相关的三角形的集合；尸表示_ 。与c ，所在平面的距离 最大值。 基于折叠的三维网格简化，是依据每个三角形的折叠误差大小依次排成一个队列， 根据顺序依次来进行折叠操作。因此，需要解决一个重要的问题一如何控制折叠误差， 才能使得网格简化的程度易于用户控制。由于不同用途需要的网格简化程度要求不尽相 1 5 第二章头部模型的简化及眼睛特征定位 同，因此必须为某个范围之间的折叠误差都引进一个阀值占，该阀值由用户自己根据需 求输入。输入阀值不同，简化结果也就不同。 阀值的计算采用如下方法：为每个指定范围的折叠误差配备一个权值口。为了使显 示更精确，由于原始三角形面片的多少不同，其范围定义也不尽相同。 巳= ( ，+ ，+ 朋) 2 影 ( 2 1 3 ) 其中：，为每个三角形的折叠误差；刀为原始模型中三角形面片的个数；口为权值， 可以取1 0 ：2 0 之间的值：g 。对应f ：“, , l o o 之间的折叠误差的平均值；权值口的作用 是避免阀值之间相差太大。这样就可以通过阀值很好地控制了折叠误差，从而易于控制 网格的简化程度。 基于折叠的网格简化操作步骤如下： 幻对原始网格进行预处理操作，其中最主要的是建立顶点表、三角形表以及与每 个顶点相关的三角形表等。 ”针对原始网格中的每个三角形z 计算其误差矩阵q 。 c ) 利用由b ) 得到的误差矩阵q 计算每个三角形折叠后生成的新顶点的位置和其 折叠误差。 d ) 按照折叠误差从小到大对三角形进行排列形成三角形队列。 e ) 从三角形队列中取出折叠误差最小( 即从队头取三角形) 的三角形执行折叠操 作，并更新所有相关信息。 f ) 如果误差已达到用户要求，则转到g ) ，否则转到e ) 。 g ) 结束。 前面说明了头部模型化简的思想和方法，经过应用上面基于折叠的网格简化算法 后，简化效果，如图2 _ 5 所示。简化后的模型有利于存储、传输和处理，尤其对实时绘 制有着重要的意义。原始头部模型有1 1 5 6 4 个三角形面，初步简化头部模型有9 2 5 0 个 三角形面，最终简化头部模型有5 2 7 8 个三角形面。从数量上来看，头部模型明显的简 化了，这样头发模拟时选取的生长点明显减少了。而且简化后的模型脸部的形状和原来 的模型相比较变化不是很大。 1 6 西北大 礤学位论i ( 曲原指头部模型 c o ) 初步简化头部模型0 ) 域终简化头部模型 ( 三角形数目：1 1 5 6 4 )( 三角形数目：9 2 5 0 )( 三角形数目：5 7 2 8 ) 田2 _ 5 头部模型倚化 22 头部模型眼睛特征定位 复原后的颅骨，由于缺乏人脸的一些基本特征，给人的感觉没有真实感，故需要对 脸部进行真实感重建。本文以眼睛的模拟为例首先必须确定眼睛的位置( 即眼睛特 征的提取过程) 。本文采用了模板匹配方法。为了设置通用模板的初始值，必须完成以 下工作： 1 ) 根据人脸特征模板的定义，对经过区域分割得到的不同器官区域分别进行处理。 2 ) 对轮廓区域边沿的离散点利用最小二乘法进行拟合，得到器官的特征描述。对 于眼睛的特征定位本文以人脸器官分布生理规则为依据，借助于眼睛区域的 定位结果利用最小二乘法拟合计算得到。 22 1 定义器官模板 通常器官模板需要以下几个方面的内容： 1 、柱面坐标系 我们采用中轴柱面坐标，如图2 _ 6 所示，不仅减少了数据拟合的计算量和三维拟合 出的空问抛物线有可能不在人脸曲面上的问题，而且符合了三维人脸自身的生理特性等 问题。因此定义罂官在该柱面坐标系下的投影为二维可变形模板。 第一章且部模型的简n 驶m 蹄特征定位 商雕 ( a ) 中轴柱面坐标系( 坼柱面坐标系展开 图2 _ 6 中轴柱面坐标 对柱面坐标系做如下规定：以中轴为轴线井作为z 轴，0 为垂直于z 轴的平面的方 向角a 为t c i 姗z 表不的差分曲面转换成f ( o ，z 1 函数值表示的差分曲面我们引用 f 口，= ) 两个参数表示差分曲面，从而使得原来复杂曲面就变成了柱面坐标卜的一系列矩 形网格，大大地简化了处理时的复杂程度。并且每个三维坐标点( t ，= ) ，利用以下公 式( 21 4 ) 可以变换为二维点。 9 2 “他( ，。) f 21 4 ) ：= z 其中：目取值范