基于网格人脸模型的局部器官真实感建模方法研究与实现.pdf

西北大学 硕士学位论文 基于网格人脸模型的局部器官真实感建模方法研究与实现 姓名：孙武峰 申请学位级别：硕士 专业：计算机应用技术 指导教师：周明全 20100620 摘要 真实感三维人脸重建技术是计算机图形学领域研究的热点。本文针对基于网格模型 的人脸真实感重建方法，分析了面部三维网格简化方法及局部器官特征的定位、人眼模 型及运动控制和头发生成等关键技术，实现了基于网格模型的三维人脸真实感建模系 统，具有重要的理论意义和实际应用价值。主要研究工作如下： ( 1 ) 采用基于折叠的网格简化算法简化复原的头部模型，达到了减少网格顶点和 三角形面片的目的。应用基于模板的器官匹配法，实现了眼睛区域的快速定位。 ( 2 ) 提出了一种改进的基于球体运动的真实感眼睛模拟方法，分别将人眼眼球和 眼皮用球体和抛物线近似，其运动通过眼球和眼皮上的特征点控制，实现了三维人眼的 建模和运动的控制。 ( 3 ) 提出了一种基于广义圆柱体的头发股生成算法，将头皮划分为若干个小正方 形，分别以每个正方形的中心为头发股生长点构造广义圆柱体，使用该圆柱体逐个地对 头发股进行模拟，从而生成逼真的头发模型。 ( 4 ) 提出了一种改进的基于n u r b s 曲面的整体头发生成算法，该算法采用 n u r b s 参数曲面模拟整体头发，通过曲面上的特征点控制发型，使用a l p h a 映射完成渲 染，实现了具有真实感的三维头发快速生成。 ( 5 ) 结合真实感处理的实际需要，以v i s u a lc + + 6 0 和o p e n g l 为工具，设计并实 现了三维人脸眼睛头发真实感建模系统，并验证实现了本文所涉及的相关真实感处理算 法。 本研究得到国家自然科学基金重点项目“颅面形态学和颅面重构的研究( 6 0 7 3 6 0 0 8 ) 的支持。 关键字：人脸建模，网格简化，眼睛构建，头发生成 r e s e a r c ha n di m p l e m e n t a t i o no ft h er e a l i s t i cm o d e l i n go fl o c a l o r g a nb a s e do nf a c i a lg r i dm o d e l a b s t r a c t r e a l i s t i c3 df a c er e c o n s t r u c t i o ni sah o t s p o ti nt h ef i e l do fc o m p u t e rg r a p h i c s i nt h i s p a p e r , i ti n c l u d e d3 dm e s hs i m p l i f i c a t i o na n dl o c a lo r g a nc h a r a c t e r i s t i c sp o s i t i o no nt h e c r a n i o f a c i a lf a c e ，e y em o d e la n dt h em o t i o no fe y ea n dh a i rg e n e r a t i o ni nt h er e a l i s t i cf a c e m o d e l i n gs y s t e mb a s e do ng r i dm o d e l t h e s eh a sb e e ni m p o r t a n tt h e o r e t i c a la n dp r a c t i c a l v a l u e t h em a i np r o c e s s ： ( 1 ) i no r d e rt or e d u c et h en u m b e ro fm e s hv e r t i c e sa n dt r i a n g l es u r f a c e s ，w em a yh a n d l e w i t hh e a d m o d e l si nm e s hs i m p l i f i c a t i o nb a s e do nf o l d i tw i l lf a s t l yp o s i t i o nt h ee y e a r e ai no r g a nm a t c h i n gb a s e do nt e m p l a t e ( 2 ) am e t h o do fr e a l i s t i ce y es i m u l a t i o nb a s e do nb a l lm o v e m e n t i tw i l lr e s p e c t i v e l y r e p l a c eh u m a ne y e sa n de y e l i d s 、 ，i mb a l la n dp a r a b o l a i t sm o v e m e n tw a sc o n t r o l l e d b yf e a t u r ep o i n t so nt h e i rm o d e l s t oc o m p l e t e3 de y em o d e l i n ga n dm o v e m e n t c o n t r o l l i n g ( 3 ) aa l g o r i t h mo fh a i rs t r a n dg e n e r a t i o nb a s e do ng e n e r a l i z e dc y l i n d e ri sp r o p o s e d t h e s c a l ei sd i v i d e di n t os e v e r a ls m a l ls q u a r e s ，i tw i l lc h o s et h eg r o w t hp o i n t sw h i c hw a s c o n s i d e r e da sh a i rr o o ti nt h ec e n t e ro fe a c hs m a l ls q u a r e t h eg e n e r a l i z e dc y l i n d e r w i l lc o m p l e t et h es i m u l a t i o no fh a i rs t r a n do n eb yo n et og e n e r a t er e a l i s t i ch a i rm o d e l ( 4 ) am o d i f i e da l g o r i t h mo fo v e r a l lh a i rg e n e r a t i o nb a s e do nn u r b s i sp r o p o s e d i tw i l l s i m u l a t eo v e r a l lh a i ri nn u r b sp a r a m e t r i cs u r f a c ea n dc o n t r o lh a i rs t y l eb yf e a t u r e p o i n t so nt h es u r f a c e a tl a s t , t h ef i n a lr e n d e r i n gw a sc o m p l e t e db yu s i n gt h ea l p h a m a p a f t e rt h e s es t e p s ，i tw i l lq u i c k l yg e n e r a t er e a l i s t i c3 d1 1 a 证 ( 5 ) c o m b i n e dw i t ht h ep r a c t i c a ln e e d so fr e a l i s t i cf a c er e a l i t y , w ed e v e l o p3 dr e a l i s t i c f a c e ，e y e sa n dh a i rm o d e l i n gs y s t e mb yv i s u a lc h 6 0a n do p e ns o u r c e3 dg r a p h i c s l i b r a r yf o rt h ev i r t u a lo p e r a t i o n h t h i sr e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( 6 0 7 3 6 0 0 8 ) k e yw o r d s ：f a c em o d e l i n g ，m e s hs i m p l i f i c a t i o n ，e y ec o n s t r u c t i o n ，h a i rg e n e r a t i o n i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论 文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论文 收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名： 2 0 t o 年彦月加日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本 论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： “ 2 力l p 隆 加 矾 弓障钿 一 年 轹 咖 签 2 币 j i y教导指 哞州 列肜 多 芴年 第一章西北大学硕士学位论文 第一童绪论 随着科技的不断发展以及学科间的交叉渗透，计算机可视化技术得到了迅速的发 展。真实感人脸建模和局部器官重建成为近年来计算机视觉，计算机图形学、人类学， 生理学和法医学等领域的研究热点。本章首先介绍了课题背景与研究意义，然后分析了 国内外研究现状，接着给出了本文研究内容，最后给出了本文的组织结构。 11 课题背景与意义 真实感三维人脸建模及局部器官重建技术涉及计算机视觉、图像处理、模式识别和 可视化技术等多个研究领域。随着可视化技术和计算机图形图像学技术的快速发展，真 实感三维人脸建横及局部器官重建技术成为计算机图形学领域的一个研究热点，受到全 世界研究人员越来越多的关注。 真实感三维人脆建摸可应用在以下领域： 1 、颅面重构 颅面重构是依据人类颅骨与面貌之间的形态规律，对给定的未知颅骨的面貌进行科 学预测绘制【”主要解决对刑事侦查中尸骨的身份确定和已逝世重要人物的复原等。但 颅面复原后得到的只是三维人脸大概的几何信息如缺少眼睛，皮肤头发等其它具体 的人类学信息，如图l l 所示，这些严重影响了复原后的真实感效果。同时人头部的信 息是有区别的，比如欧洲人的头发吐金黄色为主，亚洲人的头发以黑色为主：有的人的 头发是卷的，有的人的头发是直的：美洲人的眼窝深，亚洲人的跟窝浅等等。这些信息 在目前的颅面复原模型中没有得到真实的体现，因此生成更加真实个性化的颅面信息以 及逼真的面貌显示结果成为目前国际上的热点问题。从而使得研究面貌真实感处理技术 变得刻不容缓。 2 、安全认证 砸 复原前的颅骨0 ) 复原后的颅面 圈l l 缺乏 脸信息的颅面 第一章绪论 由于人脸识别技术本身的优势，如便携性，隐蔽性，非接触方式等特点，使得人脸 识别成为生物识别领域内最活跃的研究方向。而传统的人脸识别方法，是针对二维人脸 视频和图像，使用图形图像处理方法来获取识别的特征进行人脸识别。但是这种基于二 维图像分析的方法比较难处理人脸识别中的姿态、光照、表情和皱纹等问题。而基于三 维人脸模型的人脸识别方法很方便地解决了这些问题。 3 、医学整形 随着人们生活质量的逐步提高，更多的人选择使用外科整形手术来进行整容，从而 使得计算机辅助整形外科手术成为整形外科的发展方向。面貌真实感处理关键技术，除 了具有重要的科学研究意义，而且还具有广阔的应用前景。如颅骨和照片重合的法医鉴 定，历史上著名人物的面貌复原，医学手术模拟，刑侦过程中尸体鉴定和结果预测， 灾难现场的身份认证，电脑动画和人脸表情模拟和生成等。 4 、三维游戏 最近厂家推出的3 d 场景游戏，受到极大的欢迎。主要是传统游戏中的虚拟人物和 二维场景都很难使游戏者达到身临其境的感觉。故随着三维技术和图形硬件设备的快速 发展，在游戏中使用虚拟人物和三维场景已成为未来的发展方向。最典型的例子，游戏 魔兽世界中人物的运动和外形都显得如此逼真，令人惊叹。 5 、影视广告制作 随着广告水平的不断提升，计算机生成的三维虚拟人物在广告和影视制作中使用越 来越普遍。其中人物面部动画及表情的合成是影视处理中最繁琐的工作，这关系到能否 得到逼真的绘制效果的一个关键因素。但在实际情况下只能得到近似的模拟。从玩具 总动员到现在流行的魔戒系列，其制作过程都体现了面部虚拟处理技术的魅力。 总之，作为当前计算机图形学和计算机视觉与可视化领域的研究热点，真实感人脸 建模研究，不但具有理论研究意义，同时也具有非常大的实际应用价值。 1 2 国内外研究现状 近年来，随着虚拟现实、人脸特征识别和三维表情动画的发展，真实感三维人脸模 型重建越来越受到计算机视觉和计算机图形学等领域研究人员的重视，同时研究人员也 提出了各种不同的真实感三维人脸建模方法。 2 第一章西北大学硕士学位论文 1 2 1 真实感三维人脸建模 真实感三维人脸合成简单分为三个过程：脸部数据的获取，脸部模型的设计，真实 感人脸的生成【2 】。 脸部数据的获取：利用人体测量学对大量相似的面部进行测量，对其结果进行统计 和分析，从而获得脸部的统计学数据。利用这些统计学数据来直接约束参数化的表面。 但对于特定人脸的建模，依然需要用户手工输入大量的数据。但现在则通过立体摄像机 和激光扫描仪等自动获取。 脸部模型的设计：首先将复原后人脸的框架进行标准化处理，然后用网格将其表示 出来，依此作为将来生成真实感人脸的基础。但是由于人脸高度光滑并且形状复杂，所 以要求人们对它的每一个细节都非常熟悉，从而使得真实感人脸几何建模变得非常困难 并且很耗费时间。脸部模型生成方法大致可以分为：体网格建模3 1 、曲面建模 4 1 和多边 形建模【5 1 。 真实感人脸的生成：是指用计算机合成具有特定人的喜、怒，哀、乐等表情以及脸 部各种特征的人脸模型。从人的视觉角度出发，人们总是希望合成的人脸能够尽可能地 达到逼真。但是由于受计算机处理图像能力和模型的复杂程度的限制，合成的图像总是 无法达到人们期望的结果。 真实感人脸的合成过程经历了，以几何模型为代表的一般人脸到特定人脸的变换。 从2 0 世纪7 0 年代以来，真实感人脸合成已经得到了长足的发展，大体上可以分为3 个 阶段：7 0 年代的参数模型，8 0 年代的肌肉模型和近年来基于图像的建模与绘制技术。 1 、参数模型 一提到参数模型，首先想到的肯定是p a r k e 的人脸模型【6 j ，人脸参数模型的基本思 想：对于不同的人脸特征和人脸表情变化，则通过不同的参数来描述，如图1 - 2 所示， 故将人脸参数模型分为两类：人脸动画参数和人脸构造参数。人脸动画参数，适合于描 述面部器官的运动情况，比如，眨眼，撅嘴和皱眉等动作，从而用来产生人脸的各种表 情。人脸构造参数，适合于描述特定人脸的几何特征，即脸型的整体形状以及五官的具 体大小和形状，从而用来产生各种各样的个性化人脸。由于这些人脸模型只把人脸描述 为一种几何线框结构，而且仅用简单的表面几何形状来模拟面部行为，没有从生理的角 度考虑。如人脸面部行为的驱动机制等进行考虑，这样明显降低了合成真实感人脸的能 力。 3 帮一章绪论 隧鞲团 图1 - 2p a r k e 的人脸模型 2 、肌肉模型 根据生理规律，人脸的外观、衷情和动作是由面部和头部的骨髂，肌肉、结缔组织 ，神经、皮肤和头发组成的集合l ”。因此首先必须熟悉人脸的生理结构才能建立理想的 人脸模型。虽然目前还没有完整详细的计算机人脸动画方面的生理模型但是已经有人 提出了一些人脸表情和动丽的描述方案和一些简化的生理模型。晟典型的模型：用于描 述人脸表情的人脸动作编码系统( f a c s ) 和模拟人脸生理运动的季 种肌肉模型。 ( i ) 人脸表情编码系统( f a c s ) 目前广泛使用的描述舱部表情的方案足e k m a n 等人提出的闻，它不仅描述了4 4 个能够独立运动的面部动作单元而且说明了这些单元与改变面部表情的肌肉结构紧密 相连。在这个系统中e k m a n 等人还研究并鉴别了6 种基本表情，分别表示喜怒，哀 、乐、惊和怕等特点。e k m a n 开发的这个系统作为描述或编码面部表情的手段，它包括 了所有可以独立控制的肌肉运动，这个描述方案已经被用作计算机面部表情控制的基 础。 ( 2 ) 简单肌肉模型 1 9 8 7 年，w a t e r s 等人 9 1 ，以人脸的解剖学为基础歼发了一套新的脸部模型系统， 不仅考虑了脸部的肌肉活动，而且同时也考虑了脸部的结缔组织层对肌肉运动的影响。 此模型将人脸描述为一种层次结构的实体，层与层之自j 用弹簧相连，采用非刚性的跟踪 面部特征运动，从而达到合成瞬间表情的目的，如图1 - 3 所示。w a t e r s 模型包括两类肌 肉：线性肌肉，括约肌。他采用简单的皮肤和肌肉的弹簧质量模型。但他的肌肉拥有向 量属性，独立于基本的骨骼结构。从而使得肌肉模型独立于特定的脸部拓扑，每块肌肉 都有一个影响区域。特定肌肉的影响随着肌肉向最点的径向距离而减小。同时，w a t e r s 也使用基于f a c s 的控制参数。 第一章西北大学颈i 学位论文 囤| 寸w a t e r s 的人脸模型 ( 3 ) 伪肌肉模型 1 9 8 8 年。m a g n e n a t - t h a l m a n n 等人开发了另外一个肌肉模型 t o i 其中控制参数为“抽 象肌肉运动( a m a ) ”过程这些a m a 过程与f a c s 运动单元有一定的相似性，但叉不 完全相同。这些a m a 过程是相互关联的。运动的顺序非常重要。该肌肉模型允许通过 控制低级a m a 过程和高级“表情”参数值来进行面部控制。由于引入肌肉模型以及驱 动人脸行为的内在变形机制，使得真实感人脸模拟得到了很太的提高其缺点是实现起 来比较复杂。 3 、基于图像的建模与绘制技术肌肉模型 真实感人脸的生成过程：首先从不同方位对人脸进行拍照，然后在至少两张人脸图 像的特殊位置标定特征点，最后进行数字化处理川。从照片提取真实的脸部特征，合成 真实表情的步骤大致如下：首先，在给定表情下，用多方向地相机随机地拍照；然后在 所有的照片上标注特征点，如鼻子顶部，下巴嘴角以及眼角等；然后利用这些特征 点来对普通三维人脸网格进行变形，以适应特定人脸的要求；最后用相片作为纹理来 映射至变形脸部，从而生成所需要的真实感人脸。 阿面主要介绍了真实感三维人脸建模方面国际上的研究情况，国内关于真实感人脸 建模也做了大量的工作。其中最有代表性的人脸建模研究有：哈尔滨工业大学的晏洁 1 2 】， 提出了一种人脸模型个性化的方法。北京工业大学的尹宝才等人t 3 1 研究人脸建模和人脸 纹理映像的方法。同时，以周明全教授为带头人，在北京师范大学、西北大学组织开展 了计算机辅助真实感颅骨面貌复原技术研究，取得了一系列研究成果。 122 局部器官精细化处理 1 、头发建模 在面貌真实感处理过程中头发的生成扮演着重要的角色。但是利用计算机生成具 有真实感的3 d 头发仍然是一件比较费时和费力的工作。头发的生成方法分为两类：基 于几何的模型“4 l 和基于体密度的模型”s l 。基于几何的模型：头发建模和绘制的直接目标 萆一章绪论 是每一缕头发，是一种微观处理头发的方式。基于体密度的模型：定义了一个头发的三 维空间分布密度函数，然后应用光线跟踪算法去计算头发表面轮廓的颜色和光照，是一 种宏观处理方法。 1 9 9 1 年，w a t a n a b e l l 6 l 等人提出了一种头发立体模型，采用三棱柱模型柬模拟头发， 如图1 4 所示。1 9 9 2 年，a n j y o 等人提出了一个基于几何模型的头发模型并提供了 一套交互方法使用户可以在三维头皮上选择头发生长的适当区域、生长方向以及分布 密度，然后通过悬臂粱模型来控制头发的自然下垂，最后通过一些简单的裁剪模拟形成 最后的模型，如图1 - 5 所示。s u n i l i t s 等人提出了一种新的思路：用水流来模拟头发，将 发型想像成一定密度的水流在某一瞬间的快照。在系统中，用户可以很方便地定义水源 的位置密度、流动速度以及一些控制水流流向的阻挡物，如挡板，端点等。通过把发 型看作是个流动的整体，他们还利用标准流的内部特性提出了一个解决头发的摩擦碰 撞对运动影响的经验公式。然后通过将流体模型和连续刚体模型相结合从而得到了完整 的头发运动模型取得了不错的效果，如图1 _ 6 所示。 国内在这方面也做了不少工作，江苏理工大学c g & c a d 研究室从事这方面的研究 工作已有多年，曾提出一种面向对象的头发模型。在该模型中，单根头发采用三维线模 型柬模拟头发而目提 十 了利用线模型生成真实感头发的方法 = ! | 善撼 圈1 _ 4 头发立方体模型圈l _ 5 几何头发模型图1 _ 6 流体头发模型 2 、目臣睛建模 俗话说“眼睛是心灵的窗户”眼睛和它的运动在传达人的期望、需求认知过程 和感情状态中起着重要的作用。在眼睛的检测中，识别眼睛模型的关键，是将外观和动 态的巨大变化考虑进去并且将其充分地表示出来，同时也要受限于计算效率。眼睛区域 的外观，光照和视角是各个种族共有的特性。如图i 一7 所示，对于眼睛而言，视角上相 对小的变化将引起外观上巨大的改变。尽管研究人员已经做了大量工作，但是，由于一 些特殊的问题如眼皮的闭塞，眼睛的睁闭，大小的变化，头部姿势的反射性等，使得 第一章西北大学硕士学位论文 眼睛检测和跟踪仍是一个具有挑战性的问题。计算机视觉具有广泛的应用，如监控，人 脸检测系统和各种医学应用，当遇到闭塞和形状变化时，很少像用眼睛看到的同样的大 小尺寸和频率。作为固定的或者是可变形的眼睛检测技术可分为三类：基于形状的方法， 基于步 观的方法和二者混和的方法【1 9 1 。 阍黛 图w 旺睛形杭瞎说觉变化而变化 ( 1 ) 基于形状的方法 基于形状的方法【2 0 1 分为：可变形状和固定形状。利用眼睛和脸部韵局部特征点或者 它们的轮廓重建方法，相关的特征包括眼睛的边沿，跟角或者是基于特殊滤波器应答系 统选择的点，如角膜缘和瞳孔是一般常用的特征；基于形状的方法采用先前眼睛形状的 模型和周围的结构，而基于外观的方法直接建立在眼睛区域外观模型上，如图l - 8 所示。 ( 2 ) 基于外观的方法 基于外观的方法1 2 ”，概念上和模扳匹配相关。通过重建一个像斑模型，采用相似性 度量进行模型匹配的眼睛检测。基于外观的方法进一步被分为基于亮度和子空问的方 法。基于亮度的方法使用亮度或者过滤亮度图像直接作为模型。而子空间方法假设眼睛 图像的重要信息被定义在一个低维的子空间。 ( 3 ) 混合的方法 在一个简单的系统i 。1 中整合了各种眼睛模型的优势，克服它们各自的劣势。如：结 合特征，形状和外观的方法等，如图1 9 所示。 一斧蔽芬” 计 1-l 一_ 图1 眼睛模型圈l _ 9 混台方法的眼睛探铡 务盆一舍( 毫芬舍 第一章绪论 1 3 本文研究内容 人脸真实感处理长期以来一直是计算机图形学以及人机交互领域非常活跃的研究 课题。逼真的面部合成是计算机图形学中根本问题，也是最困难问题之一。 本文的技术路线如下： ( 1 ) 将复原出的颅面模型进行三维网格显示，这种网格模型比较复杂，因此利用基 于折叠的网格简化算法，减少这个复杂头部模型的顶点数和面片数，极大地提 高了处理速度。 ( 2 ) 复原出的颅面模型，由于缺少眼睛等器官，从而缺乏真实感。采用基于几何模 型的建模方法，经过纹理匹配可获得逼真的人脸模型。本文以眼睛的建模为例： 首先，确定眼睛轮廓的区域，即眼睛的网格结构；然后，在所选的区域中标示 出眼部的特征点( 比如：左右眼角，上下眼皮的中央等) ；最后，利用控制点的 坐标变化控制人眼和眼皮的运动。 ( 3 ) 将c a t m u l l r o m 样条面片划分成若干个小正方形区域，用c a t m u l l r o m 样条面 片包裹头皮，分别以每个小正方形的中心为头发的生长点，并且以它为广义圆 柱体中心轴的初始生长点，在轴上等距地取一些点，以每个点为圆心构造圆， 从而完成对单根头发的模拟；另外一种方法，将头皮中间分割线周围的小正方 形的中心作为初始点分别朝左右两边构造n u r b s 曲面，完成对头发束的模拟， 最后利用纹理映射技术对n u r b s 曲面进行处理。 本文的主要研究内容： l 、头部模型的简化 头部模型简化，在保持原模型几何形状不变的前提下，采用基于折叠的网格简化算 法减少该模型的面片数和顶点数。简化对于几何模型的存储、快速定位人眼轮廓和头发 生长区域的确定以及实时绘制有着重要的意义。 2 、真实感三维人眼建模 首先，在三维头部模型上对眼睛的区域进行快速定位，同时对眼部的特征点进行标 注；其次，通过特征点坐标的变化实现对眼睛的快速模拟。简单流程如下：人眼眼球近 似为一个圆球，眼球的运动是以球体的中心为基准进行平行移动，人眼眼皮的运动可看 作是球面上的一段圆弧之间距离的变化，该圆弧的水平投影可近似表示为一段抛物线。 3 、真实感三维头发建模 8 第一章西北大学硕士学位论文 首先，确定头发的生长区域：将头部分成若干个小正方形，以每个小正方形的中心 为头发的生长点；其次，利用广义圆柱体和n u r b s 曲面分别完成局部和整体头发的生 成，并且进行碰撞检测和渲染方面的处理：最后，设计出满足各个种族人的发型。 1 4 本文章节安排 本文共分为六章： 第一章绪论部分，介绍了课题背景与研究意义，分析了国内外研究现状，给出了 本文研究内容和组织结构。 第二章头部模型的简化及眼睛特征定位，实现了在保持头部模型尽可能精确的程 度下，利用基于折叠的方法实现网格的简化，并且利用器官模板法快速地定位眼睛的位 置。 第三章真实感三维人眼模型及运动控制，首先给出三维人眼的模型，然后利用球 体模拟眼球以及用抛物线模拟眼睛的边界，最后通过模型上的特征点控制眼睛的运动。 第四章真实感三维头发生成研究，提出了两种不同的方法，基于广义圆柱体头发 生成和基于n u r b s 曲面的头发生成，最后再进行碰撞检测和纹理映射生成具有真实感 的三维头发。 第五章真实感三维人脸建模及头发整体造型设计系统，首先对系统进行分模块介 绍，然后对各个模块处理流程进行详细的说明。 第六章总结与展望。 9 第二章头部模型的简化及眼睛特征定位 第二章头部模型的简化及眼睛特征定位 真实感三维人脸建模及局部器官重建，首先需要导入复原后的头部模型，然后为了 在最大程度上保持模型特征以及眼睛定位精确度的前提下，尽可能地提高处理速度，故 需要对三维头部模型进行简化，最后对简化后的模型使用器官模板法快速定位眼睛的区 域。 2 1 头部原始模型简化 在科学技术高速发展的时代，虚拟现实，计算机辅助设计，计算机图形学与可视化 等领域对构造和所使用的模型要求越来越精细，并且模型的复杂程度在逐步递增，这些 复杂模型的面片数以百万级来计数。这些显然带来了计算机的处理速度，存储容量和绘 制速度等方面的困难。但是在实际情况中，并不是所有的模型都要求高分辨率，而是需 要在模型的准确度以及处理时间之间进行权衡。因此我们常说的模型简化，就是用一些 相对简单的模型来代替原始模型，从而简化了各种处理工作。模型简化的标准定义，是 以保持原模型几何形状不变为充分条件，采用适当的算法为必要条件。最终的目标就是 减少该模型的面片数、边数和顶点数。 如何建立一个标准的几何模型：首先必须对头部表面几何点的分布进行规划，然后 进行取点( 其中，取点的操作是根据表面特征和头部结构确定取点的数量、位置和密 度) ，最后利用所取的点进行建模。那我们就面临一个问题，如何获取三维数据，目前 常用的是采用激光扫描系统，对实物模型进行激光扫描，获得扫描数据点。但激光扫描 也带来一些问题，所产生数据点的密度过大，故根据需要从中提取造型所需的特征点。 经过大量的统计分析可知，人头部表面形状的大部分细节都集中在面部，特别是在 眼，耳，嘴和鼻。而且不管是从人体生理学的角度，或者是人的视觉分辨的角度来看， 面部为左右对称】。因此，取点需要遵循一般的原则，头顶和后部的表面点尽可能取稀， 耳，眼，鼻和嘴及其周围面部的表面点尽可能的取密。为了降低取点工作的难度，我们 只提取人面部左右对称垂直面一侧的表面点数据，另一侧通过坐标变换而得。最后得到 的标准头部三维几何坐标数据共5 2 6 个，由此建立的标准头部线框模型，如图2 _ l 所示。 1 0 目北大学磺l 学位论文 图 l 头部线框梗型 2 i1 头部的简化模型 在科学研究中，总是利用相似的思想处理一些复杂的问题。比如对于头部模型的简 化，由于头部模型与椭球体的形状大致相似，敌考虑用椭球体近似代替头部模型。通常 我们表示任意一点的位置，除了使用极坐标表示为( ，伊) ，其中用表示经度角，矿表 示纬度角，也可以采用笛卡尔坐标表示为( ，y ，= ) 。同样椭球面上的任意一点也可采用 这两种表示方法，并且经纬度椭球上的点与数对( 以p ) 一一对应。通过逐步调整经度角 和纬度角的大小，就可以粗略地确定头发的初始生长点【2 4 】，为进一步准确地定位头发的 生长点提供参考。 立口图2 _ 2 所示假设中心在原点的椭球体的笛卡尔坐标表达式为： + + ：1 ( 21 ) r rr vr z 如图2 _ 3 所示，用经纬度垂，口表示的椭球面参数方程式为： x = c o s 庐c o s 伊 一詈s 庐s ； y = oc o s 毋s i n 伊 一口矿z( 2 2 ) = = s i n e 第二章头部模型的简化及眼睛特征定位 图2 - 2 笛卡儿坐标系下的椭球体图2 3 经纬度表示的坐标系 2 1 2 简化原则和误差度量 通常网格模型的表示分为两种：多边形面片表示和三角形面片表示。但是用的最多 的还是三角形面片表示。即使多边形表示的模型，也可以将其转化为三角形表示。故网 格模型简化的本质是：在最大限度的保持原始模型特征不变的情况下，尽可能地减少原 始模型的三角形数目和顶点数卧2 5 1 。模型简化问题可以表述为以下两种形式之一： a ) 给定一个占，寻找一个与原模型误差小于占且顶点最少的模型代替一个具有刀个 顶点的三角网格模型( 误差最小原则) 。 b ) 用一个只有小个顶点表示的三维网格模型尽可能准确的表示一个具有刀个顶点 的三角网格模型，其中朋 l m a x ) e x i t f = f + a f ，= “i v yi v f = v f ( s ) + v 2 f 甘 = v 2 f ( s ) + v 3 f 直到累积的长度超过头发股的长度，就停止。向前差分首先建立在u 方向上，然后曲线 沿着，方向。1 ，方向上，曲面的上点的索引与c v s 的顺序相同。 利用上述原理，一个简单的动态模型被应用于控制点网格。定义了一组动态方程， 解决了控制点问题。镶嵌后研究控制点而不是网格点，按照重要性的顺序，降低模拟的 计算成本。当然，通过处理一个近似的模型，就可以实现精确度和速度之间的权衡，如 图4 - 1 i 所示。 4 0 西北大学硬学位论文 ( 曲头发衷实现的发型只用垂直列实现的发型( c ) 只用控制点实现的发型 圈扛1 l 整体头发模型 43 头发碰撞检测及响应 4 31 碰撞检测技术 碰撞检测是虚拟现实和动画仿真等领域的热点问题，其基本任务是确定两个或多个 物体是否发生接触或穿透。如何在两个物体间进行碰撞检测，主要是基于现实世界中的 一种思想，在不破坏物体前提下，两个或多个物体不可能同时占有同一个空间区域。 总体来说，碰撞检测技术的一般框架分为两种思路，首先快速排除明显不相交的物 体，然后再对可能相交的物体进行进一步检测”；也可以采用另外一种思路，主要分为 两个阶段：第一个阶段是初步检测阶段，使用场景空间剖分( 如场景四叉树和八叉树等) 技术快速确定可能存在物体相交的区域，然后对这些可能相交的区域进行下一步操作 脚l 。第二个阶段是详细检测阶段又称为初步检测阶段的后续阶段，对可能相交的区域进 行碰撞检测处理。 碰撞检测技术在详细检测阶段的步骤可分为两个层次，一是逐步求精层；二是精 确求变层。在逐步求辅层过程中，逐步细分潜在的相交区域或者是对层次树进行遍历。 在精确求交层主要处理基本体素之间或者是多边形面片的精确相交检测。综上所述碰 撞检测技术的般框架如图4 - 1 2 所示。 第月班真实感= 镕皿拉生成研咒 图4 - 1 2 碰撞检测技术的一股框架 432 头发碰撞检测与响应技术 在整个头发模拟过程中，最耗费时恻的工作是碰撞检测与响应。头发模拟过程中常 见的碰撞检测简单分为胂1 ：头发之间的碰撞检测( 头发之间发生相互作用) 和物体与头 发之间的碰撞椅测( 头芨与外界物体发生相互作用) 。 本文采用了束缚体法，利用束缚体封装一个复杂物体，从而简化了模型。用线扫描 球体柬封装头发簇层和单根头发；用长方体扫描球体封装头发束，如图4 - 1 3 所示：可 以满足对不同的头发表示层进行碰撞检测。 ( 劬线扫描球体( b 】长方形扫描球体 图4 扫描球# 1 、头发之间的相互作用 个基轴分为n 1 个扫描球体和一个控制点每个扫描球体对应基轴中h 一1 个刚性 线条：刚性线条被用来作为核心基轴的线扫描球每个头发扫描球体的半径是由头发的 稠密程度决定的。 用三维网格表示头发周围的立体区域井将每个扫描球体插入到网格中；在同网 目北大学碗士学位论文 格内检测扫描球体的碰撞；基轴刚性线段的平均长度决定了网格的长、宽和高。 在同一网格内的每对扫描球体，距离d 是检测的相应核心摹轴s 和是之间的距离； 通过使用距离d 减去相应扫描球体的半径与的和得到的值，如图4 - 1 4 所示，判断头 发段是否发生碰撞： o v e r l a p = d 一( + ) ( 41 3 ) 咝咝 0 ) 棱心基轴之同的距离( b ) 重叠区域的距离 图4 _ 1 4 头艘之简距离标示 如果o v e r l a p 0 ，则说明没有发生碰撞：如果o v e r l a p 0 说明发生碰撞则计算向 量s 和墨的矢积来决定基轴的方向a 若s 和s 不接近平行则依据它们的o v e r l a p 值把 它们分开，计算从向量s 的最近点到向量墨的最近点来决定移动每根头发段的方向：若 s 和墨接近平行，则设定它们的相应速度为初始速度的平均值。 2 、头发与物体之间的相互作用 在处理头发与物体之间的相互作用之前，规定头发与场景中的物体可以接触但不允 许任何穿透。头笈与物体之间的碰撞检测算_ i 去简单分为两步：首先用扫描球体的束缚体 层来封装物体，进而就可以分开计算：然后根据损4 试头茇的扫描球体与物体的束缚体层 是否穿越来判断头发与物体之问是否碰撞。 如果头发段与物体发生碰撞，则必须调节头技段的位置从而使得它位于物体的外 面。移动头发段的位移的太小取决于头发与物体之间的穿透量。依据所求的穿透值沿着 物体的法方向移动基轴，使得头发与物体不再发生碰撞。 另外。为了限制头发只能沿着物体的切线方向来回运动，故将与物体发生碰撞的头 发段的速度置为零。在下一个时间步长内，头发与物体之间的距离仍然很近。如果头发 与物体没发生碰撞，计算头发是否处于某个距离的限制范围内：如果在限制范围以外 第四章真实感三维头发生成研究 头发就可以自由运动了；反之，如果在限制范围内，那么头发的运动仍然要受到限制， 从而使得在物体法方向上的速度为零。 当头发与物体接触时，首先计算他们之间的阻力，阻力的大小取决于加速度的大小 和阻尼系数，的大小。注意，只需要计算沿头发与物体的接触点在物体正切线方向上 的加速度大小。然而在同一个时间段内，有些头发是与外界物体发生碰撞，有些是与其 他头发发生碰撞。但是大部分交互作用不允许穿透，因此必须按顺序处理这些交互作用。 按照一般理论，我们首先处理头发之间的交互作用。 4 4 头发动画与渲染 4 4 1 纹理映射技术 计算机图形学中，纹理映射是模拟自然景物表面细节的一种有效方法，是模拟客观 世界通常采用建模的方法，在生成真实感图形中得到了大量的应用。但是由于客观世界 错综复杂，千变万化，故想用几何模型表示客观世界的各种细微结构，不仅计算量庞大， 而且模型难以建立，更无法满足实时显示的要求。故在实际应用中，以牺牲图形的真实 感为代价来提高显示速度。即使这样，显示一幅复杂的图形都需要好几个小时，并且一 直没有合适的能满足实时性需求的几何模型。于是，有人提出是否可以用“贴“ 墙纸的 方法即所谓的纹理映射，将反应物体表面细节的图案贴到物体表面上，从而开辟了一个 全新的领域。 纹理映射技术，是将一个纹理利用映射函数映射到三维物体表面，以此来模拟景物 的表面细节，从而生成了具有真实感的图形。 一般来说，在一平面区域内定义二维纹理，它有两种表示方式：用数学函数解析地 表示，用各种数字化图像离散定义。 纹理空间，就是在平面区域上的每一点处，均定义一个灰度值或颜色值。在图形绘 制时，应用纹理映射方法能快速地确定景物表面上任意一个可见点尸，对应纹理空间中 的位置( “，) ，( 甜，v ) 处所定义的纹理值或颜色值确定了p 点处的某种纹理属性4 4 1 。 下面以二维纹理为例，关键点是如何建立纹理空间坐标( s ，f ) 与物体空间坐标 ( x ，y ，z ) 之间的对应关系，用函数描述为：丁( ”，) 专o ( x ，y ，z ) ，其中r 表示纹理空间，0 表示景物空间。 西北大学硕士学位论文 f ，毋，。k 月，、1 其中只= l moml ，p 中的每一列为协方差矩阵s 的前f 个最大的特征值 l 慨l l r w 所对应的特征向量。堤主成分的个数，并且满足f m i n m ，刀+ 珑) 。6 = ( 岛，6 2 ，岛) 7 是每个主成分的变形权值，为了生成一个和参与训练样本形状相近的新样本，玩应该满 足一3 丑j 瓯 3 以，七。 5 2 基于r s c m 重建数学定义 在e 节中训练生成的每个分区统计模型可以重新表示为： 墨 m 最 正 m 艺 s m 曼| + e m 艺 k e ， om l l 厶腑，j 6 l 6 2 m 岛 ( 5 4 ) 当某个颅骨没有对应的面皮信息，可以通过上式根据已知的颅骨信息进行面皮重 建。这意味着在该分区的统计模型下如公式( 5 4 ) 中，公式左边向量的颅骨部分是已知的 s = ( 昌，是，最) r ，而其对应的面皮部分巧= ( e ，最，吒) r 和形变参数 b = ( 6 l ，包) 1 均是未知参数，构成了一个方程组。 其求解过程和第四章中的全局面皮复原求解过程一致，结果为： 6 = ( 尉一斥。斥) 叫足 r 55 、 e = 斥( 尉一片斥) 一1 b s v 。 通过上式分别计算出待复原颅骨的面皮的各个分区：眼睛，鼻子，嘴巴等分区。然 后将所有复原的分区通过光滑拼接算法拼接成整体的面皮模型，光滑拼接算法见第3 章。 5 3 实验结果及分析 本次分区统计采用的数据是在4 3 2 中的选取的数据。在4 3 2 对数据预处理的基础之 上，再对这些数据执行分区划分处理，将本文的颅面的分区算法应用至t i ) l l 练集中的所有 数据，分别将所有颅骨和面皮分割成眼睛、嘴巴、鼻子和其它四个区域。 将其中的1 9 套作为统计样本进行训练，建立起基于分区的统计模型。留下另外一套 数据进行颅骨面貌复原实验。图5 2 和图5 3 分别显示了嘴巴分区和鼻子分区的统计模型 旃i e 颅自n b 缱计攘型& 自毖重建 的变形情况 图孓3 鼻子分区统计变形 从图5 2 和图5 - 3 中可以看出，基于分医的统计模型可以在更好的变形细节，通过全 局统计模型很难达到这种效果。圈5 - 3 显示了对留一颅骨的基于分区统计模型的面貌复 原结果，以及和基于全局统计模型复原结果的对比。 一 r 。 黎： ，1 ： 0- ，_ 、 ；。、一孽澎； 、= ， 眦翻刮孺z l - j | i 洫叫h 旺蜀】口e 粥l h h 咀 _ _ _ _ 一i f i l 一一_ | h e i h 一 图5 j 基于整体和分区的统计模型面貌复原结果 从图5 4 中可以看出，基于分区统计模型的面貌复原结果要优于基于整体统计模型 的面貌复原结果。 矗鑫 矗烹8 圆圈 西北大学硕士学位论文 第五章真实感三维人脸建模及头发整体造型设计系统 前面几章对头部模型的主要器官以及头发模型做了详细的介绍，本章根据前面的理 论知识，并结合计算机图形学方面的知识，完成对真实感三维人脸建模及头发整体造型 系统的设计工作。 5 1 系统功能设计 5 1 1 系统主要功能 图5 - l 系统功能模块图 针对真实感人脸建模及局部器官精细化构建的需求，系统功能如图5 - 1 所示： l 、头部网格简化 头部网格简化模块，主要完成三个功能：导入复原后的颅面模型，简化颅面模型的 网格结构，定位眼睛的区域。根据对模型精细化的要求，设置相应的参数；利用基于折 叠的网格简化方法，完成对颅面模型的简化。在简化后的颅面模型上，利用器官模板法， 定位眼睛特征区域。 2 、人眼模型 4 7 第五章真实感三维人脸建模及头发整体造型设计系统 人眼模型模块，主要完成三个功能：眼睛区域特征点的标定，眼部的网格结构，眼 皮和眼球的运动。在确