（计算机软件与理论专业论文）基于图像的人脸建模技术研究.pdf

摘要 创建逼真的人脸模型是计算机图形学领域中一个极具挑战性的课题。随着虚 拟现实、影视制作及可视电话等应用的发展，人脸建模领域越来越受到人们的重 视。本文针对人脸建模这一研究课题，对基于图像的人脸建模方法进行了深入的 研究。主要的工作包括以下几个方面： 1 对人脸建模与动画领域的各种技术、方法进行了详尽的分析和比较，并 在此基础上列举出五个具有代表性的人脸建模与动画系统。 2 区别于同类研究中利用第三方软件的方法，本文采用基于c t 数据表面 重构的方法获取一般人脸模型，使得模型数据更加精细且易于操作。 3 研究了基于正侧面人脸照片的人脸建模方法。根据人脸生理结构特点， 定义了既能反映人脸整体结构、又能表示五官局部特征和位置分布的特征点；针 对一般人脸模型数据特点，提出了一种三维特征点标定的方法，使得标定简单、 准确：研究了利用立体视觉原理从二维照片获得特征点三维信息的方法；针对从 一般人脸模型到特定人脸的修改问题，采用了一种改进的基于径向基函数的插值 方法，取得了良好的实验效果。 4 结合特定人脸建模过程，分析并改进了w o n s o o kl e e 纹理贴图方法。 针对生成纹理图像过程中的拼接缝消除问题，深入研究了利用图像拉普拉斯金字 塔进行多分辨率融合的方法。 5 开发出基于图像的三维人脸建模系统：f a c e 3 d r e c o n ，该系统实现了本 文中的所有算法，并验证了算法的正确性和可行性。 关键词：人脸建模c t 数据径向基函数纹理贴图 a b s t r a c t b u i l d i n gr e a l i s t i c3 d f a c em o d e l si sac h a l l e n g i n gt a s ki nt h ef i e l do f c o m p u t e r g r a p h i c s w i t h t h ed e v e l o p m e n to f v i r t u a lr e a l i t y , m o v i em a k i n g ，v i s u a lt e l e p h o n e ，e t c ， p e o p l ea r ep a y i n g m o r ea t t e n t i o nt ot h ef a c em o d e l i n ga r e a a i m i n ga tt h et a s ko ff a c e m o d e l i n g ，t h i st h e s i sf o c u s e so n t h et e c h n i q u eo ff a c em o d e l i n gb a s e do ni m a g e t h e r e s e a r c hw o r kc a r tb e o r g a n i z e di nt h ef o l l o w i n ga s p e c t s ： 1 t h et h e s i se l a b o r a t e sa n d c o m p a r e sa l lk i n d so f t e c h n i q u e si nt h ef i e l do f f a c e m o d e l i n ga n da n i m a t i o n ，a n dt h e ni n t r o d u c e sf i v er e p r e s e n t a t i v ef a c em o d e l i n ga n d a n i m a t i o n s y s t e m s 2 d i f f e r e df r o mt h ec o n v e n t i o n a lm e t h o dt h a tu s e st h eo t h e r3 dm o d e l i n g s o f t w a r e ，t h et h e s i sa d o p t st h es u r f a c er e s t o r i n gm e t h o db a s e do nc t d a t at og e tt h e g e n e r i cf a c em o d e l o u rm e t h o dc a ng e tb e t t e rd a t aa n dm a k e s i te a s yt od e a lw i t h 3 t h et h e s i ss t u d i e st h ef a c em o d e l i n gt e c h n i q u eb a s e do nf r o n t a la n ds i d e f a c i a li m a g e s o nt h eb a s i so ff a c i a ls t r u c t u r e ，w ed e f i n ef a c i a lf e a t u r ep o i n t st h a t s h o wn o to n l yt h ew h o l eo u t l i n eo faf a c e ，b u ta l s ot h el o c a lc h a r a c t e ro ft h ef a c i a l c o m p o n e n t s a c c o r d i n gt ot h ed a t as t r u c t u r eo ft h eg e n e r i cf a c em o d e l ，t h et h e s i s b r i n g sf o r w a r das i m p l em e t h o do f3 dp o i n tm a r k i n gt om a k et h em a r k i n gr e s u l t s a c c u r a t e t h et h e s i sa l s os t u d i e st h em e t h o do fd e r i v i n gt h e3 dc o o r d i n a t eo ft h e f e a t u r ep o i n tf r o mt h e2 d i m a g e s f o r t h em o d i f i c a t i o nf r o mt h eg e n e r i cf a c em o d e lt o t h eg i v e nf a c em o d e l ，t h et h e s i sa d o p t sa l li m p r o v e dm e t h o do f i n t e r p o l a t i o nb a s e d o n r a d i a lb a s i sf u n c t i o n sa n d g e t sag o o d r e s u l t 4 c o m b i n i n gw i t ht h ep r o c e d u r eo f f a c i a lm o d e l i n g ，t h et h e s i si m p r o v e st h e t e x t u r em a p p i n gm e t h o do fw o n s o o kl e e w eu s em u l t i r e s o l u t i o ni m a g ef u s i o n w i t hi m a g e l a p l a c i a np y r a m i d t om e r g et h eb o u n d a r y 5 af a c em o d e l i n gs y s t e mb a s e do ni m a g e ，w h i c hn a m e df a c e 3 d r e c o n ，i s d e s i g n e da n di m p l e m e n t e d t h ec o r r e c t n e s sa n dh i g he f f i c i e n c yo ft h ea l g o r i t h m si n t h i st h e s i sa r ep r o v e n b y t h es y s t e m k e y w o r d s ：f a c e m o d e l i n g ，c td a t a ，r a d i a lb a s i sf u n c t i o n s ，t e x t u r em a p p i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得堡j e 太堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：雄签字日期：丛年月丝r 西北大学硕士学位论文一第1 童绪论 1 1 研究背景 第1 章绪论 人脸是人体上最具表达力的部分，它具有个性化和多样化的特点。世界上 没有完全相同的人脸，因而我们可以通过人脸鉴别出个人的身份特征。同时，人 脸也是人类情感表达的窗口，我们能够根据一个人的脸部表情推断出他的气质、 情绪等情感状态。 复制逼真的人脸，是人们长期出来的追求。早期常采用的方法包括手工绘画、 泥塑、雕刻等。随着科技的发展，出现了照相的方法来再现真实人脸，但其仅限 于反映人脸在某个角度的二维信息。二十世纪中期开始，计算机技术得到了迅猛 发展，人们使用计算机在人脸复制方面的研究也越来越多，并取得了丰厚的成果。 现在，人脸建模与动画已经成为计算机图形学领域的一个研究热点而受到普遍的 关注，2 0 0 2 年的动画杂志最高荣誉奖即授予了人脸表情动画系统：f a c e s t a t i o n 。 市场需求是人脸建模与动画研究不断发展的原动力。现在，人脸建模与表情动画 技术已经广泛地应用于影视制作、游戏娱乐、医学辅助诊断治疗和教学科研等诸 多领域。 尽管目前人们在人脸建模与动画方面取得了一些技术上的突破，但还远远 不能满足各种实际的需求。不同的应用需求决定了研究的不同特点，本文着眼于 在不需要昂贵设备、尽可能地减少交互的条件下，创建具有真实感的三维人脸模 犁。 1 2 研究意义及应用领域 近年来，人脸建模与动画作为计算机图形学领域的一个独特分支，得到了人 们的广泛关注。从多通道用户界面到虚拟现实，从可视电话到游戏娱乐，无处不 闪现着人脸建模与动画的身影。如今，人脸动画已经从传统的关键帧技术发展到 表演驱动技术。同时，人们对计算机人脸建模与表情动画系统的要求也越来越苛 刻。人们不再满足于毫无修饰、僵硬、木偶般的人脸及其动画，个性化、高真实 西北大学硕士学位论文- 基于图像的人脸建模技术研究 感、高效率的人脸建模与表情动画技术有待于研究者们进一步去探索。 人脸建模与动画技术具有广泛的应用前景。有些是纯娱乐的，如：影视制作、 游戏娱乐；而有些则是用于特殊的目的，如：辅助教学、可视电话等。因此，人 脸建模与表情动画系统的选择应当依赖于所面向的应用领域。人脸建模与动画技 术主要应用于如下几个领域： 影视制作 人脸建模与动画技术最显著的应用是影视制作。从几年前的真实的谎言、 夺面双雄到近期的终结者i i d ) 、骇客帝国，无不体现了人脸建模与动 画技术的魅力。动画师总在不断寻求更具发展潜力的人脸动画系统，希望利用最 新的学术研究成果来修改和扩展当前的动画制作系统，以便给观众带来更精彩的 视觉享受。 人机交互界面 计算机发展到今天，虽然在速度、容量等方面的迅速发展满足了不断增长的 功能需求，但其主流的g u i w i m p 界面正遭受着不断的批评。“简单、自然、 友好、一致”原则的人机界面已经成为人们的迫切需求。人脸建模与动画是人机 交互领域一个重要的研究方向，它使得人性化的交互得以实现。w e l s h 和 m o r i s h i m a 等人将发展更好的用户界面作为他们进行人脸动画研究的一个主要而 长期的目标。 游戏娱乐 自从3 d 视频游戏诞生以来，人脸建模与表情动画技术就一直应用于游戏制 作当中。在3 d 动作游戏李小龙：龙之追寻中，棚栩如生的李小龙形象让玩 家叹为观止；在不久的将来，玩家将能够把游戏中的虚拟角色变成自己的造型， 看到自己在游戏中“纵横驰骋”，这一切正是人脸建模与动画技术的功劳。 可视电话 虽然目前的可视电话技术已经成熟，而且在市场上已经可以看到成型的产品 出售，但其对通讯线路的带宽要求很高。难以满足窄带及无线用户的需要。如果 能实现“只需在发送端从实况录像实时提取人脸控制参数，在接收端恢复出人脸 运动”，那么就可以在目前的普通通讯线路上实现“面对面的交流”，必将使得 可视电话得到更广泛的普及。 西北大学硕士学位论文- 第1 童绪论 医学领域 在医学领域中，人脸建模与动画技术的主要应用是面部整形手术和心理研究 等领域。在进行面部的整形手术之前，可以模拟手术的过程和展示手术后的治疗 效果，从而做出详细准确的手术方案，减少手术的风险。不断发展的人脸建模与 动画系统也为心理学家进行人脸运动和表情的研究提供了依据。心理学家可以用 人脸运动的计算机模型来实现他们的研究，这比以前他们必须使用照片或刺激真 人的肌肉进行研究更加方便。 1 3 国内外研究现状 人脸建模与动画技术以数学、力学、生理等科学为理论基础，其研究内容涉 及解剖学、图形学、图像处理等多个方面，是一个交叉性很强的研究领域。当前， 对于该领域的研究主要集中在两个方面：人脸模型的构造和人脸动画的控制。本 文将分别从这两个方面论述该领域的研究现状： 人脸模型的构造 构造逼真的人脸模型是人脸动画的基础，模型构造的“象”与“不象”直接 影响着人脸动画的效果。目前，构造人脸模型的方法主要包括四种： 1 1 直接采集方法 借助三维数字扫描仪、三维照相机等硬件设备直接采集人脸模型的三维信 息。该方法能准确构造人脸模型，但需要昂贵的设备并且费时费力。 2 1 基于二维图像与摄像机标定的方法“。1 在两幅或多幅不同视角的人脸图像上标识出若干组特征点对，并输入摄像机 的广角参数从而实现摄像机定标，进而匹配出两幅人脸图像上的其它对应点，实 现模型的三维重建。该方法能够在不需要昂贵设备的前提下建模出逼真的三维人 脸模型，但由于其建模过程只涉及人脸的形状信息而没有人脸的结构信息，所以 难以实现人脸动画。 3 】基于二维图像和一般人脸模型的模型修改方法n 0 1 从特定人脸不同视角的多幅图像中恢复出人脸特征( 如眼角) 的三维信息， 然后根据得到的三维信息对一般人脸模型进行适当的修改，从而得到特定的人脸 模型。该方法建模过程简便、重建模型逼真，并且容易实现人脸动画。 西北大学硕士学位论文一一基于图像的人脸建模技术研究 4 ) 基于二维图像和人脸模型库的模型匹配方法。”2 1 先从包含三维信息的人脸模型库中构造出一系列具有纹理信息的一般人脸 模型，然后采用匹配算法，实现某一三维人脸模型与特定人脸的二维图像相匹配， 最终生成特定的人脸模型。由于该方法需要一个有大量人脸模型数据的模型库， 所以实现起来代价比较昂贵。 人脸动画的控制 计算机通过调用预先设定的规则，使人脸模型从一种状态变换到另一种状 态，从而实现脸部动作和表情变化。常用的人脸动画方法主要包括五种： 1 ) 插值1 3 3 1 ” 插值技术为人脸动画提供了一个直观的方法。通过改变插值函数的参数，能 产生插值图像。几何插值直接修改人脸网格上网格点的位置，而采用参数插值则 可间接地移动顶点的位置。采用插值技术，虽然能够表达出许多真实感脸部表情 的变化，但是它不能创建大范围内各种真实感的人脸形状，所以其应用受到了一 定的限制。 2 ) 参数化“1 6 1 7 1 参数化技术克服了简单插值的一些限制，它通过选取一组独立的参数值来构 造人脸和表情，能够对特殊的人脸形状给予精确的控制。经少量的计算，参数的 组合就能提供较大范围的脸部表情。但是，当用两个对相同顶点起作用且有冲突 的参数去调和表情时，很难有一个系统的方法去裁决。因此当参数间的冲突发生 时，参数化方法经常会产生不自然的表情。 3 ) 肌肉模型“1 1 ”1 肌肉模型包括三种：质点弹簧系统、向量表示模型和多层弹性网格模型。质 点弹簧方法是在一个弹性网格中传播肌肉拉力，从而导致肌肉的变形；向量方法 是在影响区域内用运动场的形式来对脸部网格进行变形；多层弹性网格是将一个 质点弹簧结构扩展为三个相连的网格层，从而更可信地模拟人脸的物理行为。 4 ) 伪肌肉模型口帕“嘲 按照人类生理学的描述，肌肉模型能产生真实感的结果，但只有通过精确的 造型和参数调节才能模拟特定的人脸结构。伪肌肉模型提供了一个可供选择的方 法，它不涉及复杂的生理结构，而以类似于肌肉的方式对人脸网格实旌变形，变 西北大学硕士学位论文* 第1 蕈绪论 形通常只发生在分块很细的人脸网格上。伪肌肉方法具体又可分为样条伪肌肉方 法和自由变形方法。 5 ) 表演驱动” 表演驱动的方法可以创建具有活力的脸部动画，其中动画受控于被跟踪的 人。精确跟踪特征点或边界对于获得一致而具有活力的动画至关重要。被跟踪的 特征运动通常被滤波或变形从而产生驱动特定动画系统的运动数据。运动数据能 被直接用于产生脸部动画或通过猜测面部动作代码系统( f a c s ) 的动作单元而产 生脸部表情。 1 4 国内外主要的人脸建模与动画系统 在人脸建模与动画方面，国内外学者进行了大量的研究工作，并开发出了相 应的实用系统。虽然还没有一个人脸建模与动画系统能够让人们广泛接受，但是 最近几年来还是有一些比较成功的系统出现。下面列举几个国内外比较著名的人 脸建模与动画系统： 1 ) 晏洁的聋哑人辅助教学系统嘞7 m 5 1 该系统能够在文本驱动下实时合成一个具有一定表情、口型、手势动作的三 维虚拟人。当用户输入一段文字后，系统首先将文字分成词，然后根据预先建立 的表情库依次驱动虚拟人按该词所蕴涵的信息做相应表情，同时呈现一定的口 型，并打出相应的手势。该系统的效果见图1 1 ： ( 曲口型的合成 西北大学硕士学位论文一一基于图像的人脸建模技术研究 ( b ) 表情动画 图1 1 晏洁的聋哑人辅助教学系统 2 ) 梅丽的人脸建模与动画系统0 6 3 该系统首先从两张正交的人脸图像中根据特征轮廓线对一般人脸模型进行 修改，从而得到个性化的三维人脸模型。再利用纹理贴图的方法增强模型的真实 感效果。人脸的姿态和表情则根据视频信息自动合成，即表演驱动。脸部模型由 1 8 块肌肉来控制，对于每一帧的视频表情，通过优化变形使得标准的脸部模型 与之相吻合。该系统的效果见图1 2 ： ( a ) 模型修改( b ) 表情动画 图1 2 梅丽的人脸建模与动画系统 3 ) b r i a ng u e n t e r 等开发的t a l k i n gh e a d 系统。7 1 系统以六个方位不同的摄影机对一个模型所拍摄的图像为基础，模型的脸部 特征轮廓线上贴有不同颜色特征点，然后利用光线追踪法和光学中物体上同一点 在不同透视投影平面上的对应关系，得到特征点的三维信息，从而生成人脸网格 模型。接着，根据输入图像序列特征点各自的位置变化，将人脸网格体进行同步 交形。最后利用各点在不同图像上的纹理信息的加权平均值作为该点的纹理信 西北大学硕士学位论文一- 第1 章绪论 息，实现纹理贴图，生成栩栩如生的t a l k i n g h e a d 。该系统的效果见图1 3 ： 图1 3 t a l k i n gh e a d 系统 4 ) v o l k e rb l a n z 的3 d 人脸合成系统”。 该系统主要用于人脸合成，其功能是：从系统自带的由2 0 0 个3 d 头像构成 的数据库中建立一个可变形人脸模型，对输入的特定人脸2 d 头像，经人脸分析 器处理后自动生成对应的3 d 人脸。系统中2 0 0 幅3 d 人头像通过激光扫描仪得 到，均具有3 d 坐标与纹理信息。该系统的效果见图1 4 ： 图1 4 v o l k e rb l a n z 的3 d 人脸合成系统 5 1f a c e s t a t i o n 人脸表情动画系统 该系统在2 0 0 2 年获得动画杂志最高荣誉并被授予“s e a lo f e x c e l l e n c e ”大奖。 其成功之处在于容易实现的表演驱动的人脸动画方法。该系统不需要在人脸上做 西北大学硕士学位论义- 基于图像的人脸建模技术研究 任何标记，而是自动定位人脸上的特征点，分析出人脸的表情和姿态，进而实现 人脸动画。该系统的效果见图1 5 ： 图1 5f a c e s t m i o n 人脸表情动画系统 1 5 本文的研究内容 本文的研究路线是：首先采用基于c t 数据的三维重构方法得到一般人脸模 型，再利用从正侧面人脸照片中恢复出的特征点信息对一般人脸模型进行修改， 然后利用纹理贴图的方法对模型进行处理，最终得到具有真实感的特定三维人脸 模型。本文的研究内容主要包括： 1 ) 一般人脸模型获取。国内外的研究一般是通过第三方软件( 如p o s e r 建模 软件) 得到一般人脸模型，然后使用三维编辑软件( 如m a y a 动画制作软件) 标 定一般人脸模型上的特征点。这样的操作过程比较繁琐而且系统缺乏完整性，本 文采用基于c t 数据重构的方法获得一般人脸模型。如何利用头部c t 数据重构 出三维人脸模型，是本文的研究重点。 2 ) 特定人脸建模。从本文的研究路线可以看出，特定人脸建模过程是从一 般人脸模型到特定人脸模型的修改过程。在模型修改之前，首先需要定义并提取 能够表征人脸的特征点，然后采用一定的变形算法对模型进行修改。选择多少点、 哪些点作为人脸特征点，是本文研究的一个基本问题；在定义了特征点之后，如 何利用两幅正交的人脸图像提取特征点的三维信息也是本文的研究重点之一：利 用特定人脸特征点的三维信息对一般人脸模型进行修改，从而生成特定人脸模 型，是本文研究的核心内容。 - 8 西北大学硕士学位论文一一第3 童特定人脸建模 3 ) 纹理贴图。经过模型修改过程所得到的人脸模型没有纹理细节特征，缺 乏真实感，本文将采用纹理贴图的方法对特定人脸模型进行真实感增强。纹理贴 图主要包括生成纹理图像和定义纹理坐标两个过程，本文将研究利用正侧面人脸 照片生成纹理图像的方法，同时针对本文的特征点定义研究纹理坐标的定义方 法。 本文研究内容的功能流程见图1 6 。 1 6 本文的章节安排 图1 6 功能流程 第l 章，绪论。分析了人脸建模技术的研究背景、意义及其应用领域，总结 了该领域的国内外研究现状，并对几个比较成熟的人脸建模与动画系统进行了介 绍。在此基础上，给出了本文的研究路线及研究内容。 第2 章，一般人脸模型获取。采用基于c t 数据重构的方法获取一般人脸模 型。对基于c t 切片数据的表面重构进行了研究，主要包括c t 图像预处理和模 西北大学硕士学位论文基于图像的人脸建模技术研究 型三维重构。在生成般人脸模型后，对模型的绘制问题进行了探讨。 第3 章，特定人脸建模。首先分析了人脸的生理结构特点，进而定义了用于 表征人脸的特征点。根据一般人脸模型数据结构的特点，提出获取三维人脸模型 特征点的方法。根据立体视觉原理，提出了从正侧面人脸照片中恢复特征点三维 信息的方法。最后详细论述了从一般人脸模型到特定人脸模型的修改方法，将模 型修改分为整体修改和局部修改两个过程，其中对局部修改过程中基于径向基函 数的插值方法进行了深入的讨论。 第4 章，纹理贴图。首先介绍了纹理贴图的一般方法，并将人脸模型的纹理 贴图方法分为两类。在分析w o n s o o kl e e 贴图方法基础上，结合本文研究的 特点，对w o n s o o kl e e 方法进行了简化。针对生成纹理图像过程中拼接缝消 除问题，采用图像拉普拉斯塔形分解方法进行解决，本文对此进行了详细的讨论。 第5 章，f a c e 3 d r e c o n 三维人脸建模系统。详细介绍了f a c e 3 d r e c o n 系统的 功能及实现方法，并对其开发和运行环境进行了说明。 第6 章，总结本文工作，并给出了未来的研究方向。 西北大学硕士学位论文一第2 章一般人脸模型获取 第2 章一般人脸模型获取 要实现特定人脸的建模，首先需要获得一般人脸模型，然后通过对一般人脸 模型的修改过程而生成特定人脸模型。在一般人脸模型的获取方法上，一些学者 利用第三方软件( 如p o s e r 建模软件) 提供的头部模型数据，模型数据为三维网 格体。该方法所获得的模型数据精度不高，而且在后续标点中需要其它动画软件， 使得系统缺乏一定的完整性。本文采用基于c t 数据重构的方法获得一般人脸模 型，并根据c t 重构数据的特点定义一般人脸模型的数据结构，以便于特征点的 提取和模型修改过程。基于c t 数据的人脸重构过程包括三个步骤：数据采集、 数据预处理和三维重构。 2 1 数据采集 本文使用螺旋c t 机进行样本数据采集。选取一个不具备任何明显特征的人 脸作为样本，对其头部每隔4 m m 采集一个c t 切片，共采集了8 0 个切片。 通过c t 机获取数据之后，需要把c t 机输出的数据转换为便于计算机接收 处理的格式。在数据格式的标准问题上，有关专家做了巨大的努力。1 9 9 3 年推 出的医学数字图像和通信标准d i c o m 3 0 1 ( d i g r a l im a g i n ga n dc o m m u n i c a t i o n i n m e d i c i n e ) 是医学图像和相关数字信息在计算机间通信的一个工业标准。医学 图像设备一旦采用了此标准，其图像的数据格式和数据接口就可在目前通用的国 际互联网系统上存储和传输。d i c o m 是一个通用的标准，能满足高速传输图像、 文字、表格、数据、动态图像以及声音的需要，而对某种实际应用，也许只需要 其兼容子集，可在具体实现中予以简化。但为了便于与其它计算机软件相兼容， 有时也需要将d i c o m 格式转换为通用标准的数字图像格式。我们把从c t 机上 获得的符合d i c o m 标准的数据转化成我们自己约定的i m a 格式( 主要包括图 像的灰度信息) ，以便后续处理。 2 2 数据预处理 数据预处理是在进行三维重构之前，对得到的二维c t 断层图像进行处理。 西北大学硕士学位论文一基于图像的人脸建模技术研究 由于c t 数据的采集过程中不可避免地产生噪声，同时还会造成数据的比例、位 置和角度等发生变化，所以在使用这些数据进行三维重构之前必须对其进行一定 处理，如滤波、几何变换等。这样才能使得后续的等值面生成、绘制和其它的三 维处理获得较好的性能。为实现人脸的三维重构，需要对二维c t 断层图像进行 边缘检测和边界跟踪等处理，从而提取出人脸断层轮廓线，为三维重构做好数据 准备。下面本文将依次论述图像恢复、图像校正和轮廓提取三个数据预处理过程。 2 2 1 图像恢复 图像恢复的目的是去除数据采集过程中产生的噪声，它是数据预处理的重要 一步。图像恢复的原则是：用滤波器有选择的去除噪声，使噪声对原始数据的负 面影响达到最小。本文采用中值滤波方法，该方法能够在过滤噪声的同时，很好 地保护边缘轮廓信息。中值滤波是一种非线性滤波方法，它使用一个窗口在 图像上进行扫描，把落在窗口内的图像象素按灰度级升( 或降) 序排列起来，取 灰度值居中的象素灰度为窗口中心象索的灰度，通过遍历整个图像完成滤波。可 用( 2 1 ) 式表示： g ( m ，n ) = m e d i a n f ( m 一，”一，) ，( ，) w( 2 1 ) 通常窗口内象素数为奇数，以便存在中间象素。若窗口内象素数为偶数， 则取中间两象素灰度的平均值。 2 2 2 图像校正 m = 黔铷1 瓣； i z ， 西北大学硕士学位论文第2 童一般人脸模型获取 每一幅c t 图像在采集时造成的倾斜角度，可以通过c t 图像上灰度标定带 的边缘与象素坐标轴的夹角确定，这样就得到了旋转变换矩阵。 为了获得比例变换与平移变换矩阵，在用c t 机扫描被测物体时加入一个 已知半径的圆柱形基准棒。通过扫描后得到的基准棒的半径，可以确定c t 图像 的比例变换矩阵。若以第一层为基准对准所有层，那么根据每一层c t 图像上基 准棒的位置便可确定平移变换矩阵。 2 2 3 轮廓提取 有很多种方法可以实现轮廓线的提取，如基于阈值的轮廓提取方法、基于边 缘检测的轮廓提取方法等。由于本课题研究只需获得c t 数据的头部外轮廓线 而不需要提取脑、颅骨等内部轮廓，所以轮廓提取比较简单。本文采用基于边缘 检测的方法来实现。基于边缘检测的轮廓提取过程包括边缘检测、边缘提取和边 缘表示三个步骤。 1 1 边缘检测 考虑到噪声影响和非单一象素边缘等因素，本文采用l o g 边缘检测算法。 l o g 边缘检测算法是由d m a r r 等人在1 9 8 0 年提出的基于二阶导数的边缘检测算 法。拉普拉斯算子。”是对二维函数求二阶导数的标量算子，对于二维图像函数 一纠，拉普拉斯算子的定义为： v 2 f ( x , y ) = 軎+ 等 ( 2 3 ) 对于拉普拉斯算子滤波后的图像可以用零阈值对其进u r - - 值化，产生闭合 的、连续的边界轮廓。但是，拉普拉斯算子对高频信号敏感，图像中存在的噪声 会使拉普拉斯算子滤波后出现大量的无用轮廓。因此，在拉普拉斯算子滤波之前 需要对图像进行低通滤波。作为图像平滑滤波器，高斯低通滤波的效果较好。将 高斯算子和拉普拉斯算子组合成一个单一的l o g 算子： 枷川2 占2 ，r o g 一等= 嘉f ，一等 e 一等 ( 2 - a ) 2 。 舾1i 2 盯2j 。 这个算子对x 和y 是可分离的，比较容易实现。l o g 算予的脉冲响应是一个 负的凹谷中有一个正的尖峰。参数口可以控制中心失峰的半径，同时也控制了高 西北大学硕士学位论文基于图像的人脸建模技术研究 斯平滑的程度。图2 1 显示了一个9 9 的l o g 算子卷积核。 00322230o o- 2，3- 5- 5532o 335303533 - 2531 22 31 2352 - 25o2 34 02 3052 - 2- 531 22 31 2352 - 335303533 o 23555320 oo 32223 oo 图2 19 x 9 l o g 算子 图2 2 显示了一幅c t 影像和使用l o g 算子检测的边缘图像，其中a = 1 4 。 ( a ) c t 影像( b ) l o g 算子得到的边界影像 图2 2l o g 边缘检测算子的检测结果 2 1 边缘提取 通过上述的边缘检测算法，我们得到了一幅边缘强度图。为了将边缘上的点 以链表或数组的形式表示，必须将边界信息矢量化，即从边缘强度图中提取边缘， 边缘的提取通常是通过边界跟踪实现的。 首先确定边界跟踪的起始点，如果一幅图像中含有边界，则边界图中边缘强 度最高的点一定是一个边界点。在我们的问题中只需提取外轮廓，很容易得到外 轮廓的一个边界点，将该点作为边界跟踪的起始点p d 。在p o 的3 3 邻域内，选 择一个最大强度的点作为下一个边界点p ，n 和p ，决定了当前的边界方向。此 时边界方向上的点和与该点相邻的两个点为候选的边界点，在这三个点中具有最 高强度的点就是下一个边界点，如果两个非相邻点同时具有最大值，则任选其一 西北大学硕士学位论文第2 童一般人脸模型获取 作为下一个边界点。 在进行边界提取的时候，边界点的位置通常是沿当前边界切线方向的下一个 点。但是由于图像噪声的存在和用离散方法计算梯度的误差，切线方向的计算会 有很大的不确定性，而且会出现边界点之间的距离大于一个象素造成边界不连续 的现象。f o r k e r tg e r a l d 等人在1 9 9 5 年提出的边界提取算法对这一现象进行了讨 论，f o r k e r t 将当前点的邻域分为两部分，在第一部分中找边界点时的条件是候 选点到当前点的连线与当前边界的切线的夹角小于9 0 度；如果在第一部分中没 有找到边界点，则在第二部分中以相同的方法继续寻找；如果找到了边界点，则 将其加入边界点集合中，并作为新的当前点继续边缘提取；如果没有找到，则停 止在这个方向上的边界提取，从最初的起始点开始反方向继续提取边界。图2 3 显示了一个边界点尸可能的候选点和边界方向。 当前的边界点 第一部分候选边界 第二部分候选边界 图2 3f o r k e r t 算法示例 3 ) 边缘表示 边缘表示包括自由链码表示方法和坐标法。自由链码法表示的是象素级的边 界点精度，对于那些对边界精度要求比较高的情况是不适用的。坐标法是种比 较简单而且实用的边缘表示方法，它直接将边界点的坐标保存在数组中。与自由 链码方法相比，坐标法占用的存储空间较多，特别是用于表示子象素级边界信息 时使用的存储空间将是自由链码法的几十倍。但是，坐标法的优点是可以快速获 取边界上一个点的坐标，可以高效的对边界进行进一步处理：此外坐标法可以直 接用于象素级和子象素级的边界表示。 坐标法表示的边界往往包含大量的点坐标，而要精确的表示一个边界线并不 需要边界上所有的点。为了减少数据量，并有利于后续的操作，本文使用多边形 近似法来表示一个边界。多边形近似法是使用点序列中的关键点表示整个曲线， 用直线将这些关键点连接成多边形，可以非常近似甚至准确的表示曲线。在曲线 上，当曲率的绝对值到达极大值时，就是一个关键点。曲线上一点的曲率是该点 西北大学硕士学位论文一基于图像的入脸建模技术研究 切线变化的速率，表示为 ( 2 5 ) 曲率的离散计算方法有很多种。针对自由链码法表示的边界曲线，最简单的 方法用如下公式表示： c ，= l ( ( ，一：一l + 4 ) m o d 8 ) 一4 i ( 2 6 ) c f 的值域为 o ，4 】，其中c y o 表示点i 到点i - 1 为直线；c j ：4 表示最大曲率。 另一种计算曲率的方法称为娶余弦算法，对于曲线上一点( x i , y ，) ，给定一个 相邻点半径m 。，m ，确定了用来计算y 。) 处曲率的相邻点的范围。对于益线上的 点0 ，如弘0 到旺m y ) ，其中k = l m ，计算每一点的余弦值： 旷c o s ( a i k , b r k ) = 揣 ( 2 7 ) 其中d m = ( 工卜女一x iy 卜i y 。) ，b m = ( z ，+ t x ，y 。+ t y ) 如果h t 满足c 。 c m l c i h , c 啦- 1 ，则将c 也作为第i 点的曲率。c 聃 的值域为 一1 ，1 】，当c i k = - 1 时表示直线，当c f f i 时表示最大曲率。 t e h - c h i n 多边形近似算法。2 1 一种多边形近似算法是由c h t e h 和r t c h i n 提出的，该算法的特点是动 态确定矾的值。算法对曲线进行若干次遍历，每一次遍历都删除一些非关键点， 最终得到可以近似表示曲线的关键点。第一次遍历时，首先删除那些益率为零的 点，同时计算出其他点的m 。值。第二次遍历时，删除满足如下条件的点： 可，l i j 峰m i 2 ；c 。 c ，( 2 8 ) 最后，如果剩余的点中有相连的两个点，则用一个点替换；如果有相连的三 个或三个以上的点，则用相连点的起点和终点替换。 d o u g l a s p e u c k e r 多边形近似算法。3 1 与t e h - c h i n 算法不同的是，d o u g l a s p e u c k e r 算法( 以下简称d p 算法) 用 一个不断细化的多边形模拟曲线，而不是在处理的过程中删除边界上的点。根据 给定的精度要求，d p 算法可以对模拟多边形不断细化，直至达到给定精度。在 初始情况下，如果曲线不封闭，则两个端点的连线即为最初的近似折线段，否则 盟甲二y芳 拈 西北大学硕士学位论文一第2 章一般人脸模型获取 需要设置一个初始化算法来选择起始点，通常选择曲线上距离最远的两个点作为 起始点；设起始点为( 几p a 对于两个起始点之间的每一个点p ，计算只到直线 p 。p ，的距离。如果最大距离小于给定精度，则表示已经达到多边形近似的精度； 否则，如果p 。为获得最大距离的点。则将尸。插入近似多边形中作为新的顶 点，并对( 忍，k 。) 和( 尸，。厅) 重复上述操作。这是一个递归的过程，对于封闭的 曲线，只需要将曲线用起始的p o 和尸分为两部分分别进行多边形近似。图2 4 显示了使用d p 多边形近似算法简化的一个c t 切片边界。 ( a ) 原始边界( 点数= 9 0 9 )( b ) d p 方法简化的边界( 点数2 7 8 ) 图2 4d p 多边形近似算法简化的c t 切片边界 2 3 三维重构 基于轮廓线的三维重构是计算机图形学、空间数据可视化的一个重要研究课 题，三角片表面重构是面向醢面的表面重构中使用最广泛的一种方法。该方法要 求每一轮廓线是一封闭的多边形链，以一定的方式用直线段连接多边形链上的顶 点构造三角片来表示物体表面，这个过程称为三角剖分。图2 5 示意了三角剖分 的整个过程：( a ) 为相邻两层等值线上的点，( b ) 为待剖分的两层等值线，( c ) 为剖 分所生成的三角形线框，( d ) 为面填充后的三角面片基元，( e ) 为平滑处理之后的 三维面模型。 三角剖分的关键是确定对应轮廓上点的对应关系，并用三角形构造轮廓间的 表面，由于重建表面的构造并不唯一，需要从中选择与物体表面接近的解，以使 其“最佳”地逼近物体表面。所谓“最佳”是指在对任意相邻两层等值线上的点 所围成的带状空间区域用三角面片来逼近表示时，使某种准则最优。比较普遍的 西北大学硕士学位论文- 基于图像的人脸建模技术研究 做法是将其转化为组合优化问题，很多学者对此进行了探讨，分别提出了各自的 目标函数和相应的重构算法，如最大体积法、最短对角线法、相关模型方法等， 本文采用最短对角线法来实现三维重构。 图2 5 三角剖分过程 最短对角线法是一种局部判优的构造方法。该方法首先要求相邻轮廓线连接 以相同方向进行，且起始点必须是两条轮廓线间最相近的点。假如硒是起始线， 连接按以下方法进行( 见图2 6 ) ： r 2 图2 6 最短对角线法 如eq 2 0 ( 3 1 4 ) ( r ) = ( ，一2 + c2 ) 2 ， ( 3 1 5 ) 本文采用高斯函数，并取a 为1 6 4 。 求得( 3 1 2 ) 式中的各项系数后，对一般人脸模型上的每一点进行变换，得 到了局部修改后的人脸模型，见图3 1 3 。 3 5 本章小结 图3 1 3 局部修改后的人脸模型 本章在分析了人脸生理结构特征的基础上，分别定义了人脸七个区域的特征 点。针对一般人脸模型特征点的提取问题，本章采用水平剖面线与竖直剖面线求 交的方法予以解决。针对特定人脸特征点的提取问题，本章详细论述了应用立体 视觉原理提取特征点的方法。本章将特定人脸的建模过程分为整体修改和局部修 改两个步骤，整体修改使一般人脸模型与特定人脸在脸形与五官的位置等方面相 一致：局部修改采用径向基函数插值方法实现了从一般人脸模型到特定人脸的修 改，最终取得了良好的建模效果。 西北大学硕士学位论文一第4 章纹理贴图 第4 章纹理贴图 通过前面的模型修改过程所得到的特定人脸模型缺乏细节特征，在应用中不 能满足实际需要。本章将采用纹理贴图方法增强人脸模型的真实感效果，使得所 生成的人脸模型具有更加丰富的表现力。 4 1 纹理贴图概述 纹理贴医 ( t e x t u r em a p p i n g ) 技术也叫纹理映射技术，它是将图像( 通常是 位图形式) 映射到3 d 物体上的一种技术。纹理贴图可以在不改变3 d 模型的几 何信息的情况下达到真实感的视觉效果，同时不需要太多的计算开销就能够实 现，因此它是最常用的用来表现真实感3 d 物体的技术方法。纹理分为颜色纹理 和凸包纹理两种，颜色纹理是通过颜色色彩或明暗度的变化体现出来的表面细 节，凸包纹理是由于不规则的细小凹凸造成的。颜色纹理贴图的一般方法是：在 一个平面区域( 即纹理空问) 上预先定义纹理图像，然后建立物体表面的点与纹 理空间的点之间的对应映射，当物体表面的可见点确定之后，以纹理空间的 对应点的值乘以亮度值，就可把纹理图像附到物体表面上。凸包纹理贴图的方法 与颜色纹理贴图的方法类似，只是纹理值作用在法向量上，而不是颜色亮度上。 人脸图像是一种颜色纹理，本文采用颜色纹理贴图的方法。 纹理定义分为连续法和离散法：连续法把纹理函数定义为一个二元函数，函 数的定义域就是纹理空间；离散法把纹理定义在一个二维数组中，代表纹理空间 中行间隔、列间隔固定的一组网格点上纹理值，网格点之间的其它点的纹理值可 以通过网格点上值的插值获得。离散法所用的二维数组通常是各种图像，本文所 用的纹理贴图方法即为离散法。为了把二维的人脸图像映射到三维的人脸模型表 面上，必须建立空间坐标( x ，y ，：) 与纹理坐标( “，v ) 间的映射关系，这相当于对人 脸模型表面进行参数化， 本文利用o p e n g l 提供的纹理贴图库函数来实现人脸模型的纹理贴图。执行 纹理贴图的步骤可以概括为：定义纹理图像、控制纹理、说明纹理贴图方式、定 义纹理坐标。 西北大学硕士学位论文一- 基于图像的人脸建模技术研究 定义纹理图像包括给定纹理图像的分辨率、纹理图像的长度和宽度( o p e n g l 标准要求纹理图像的尺寸必须是2 的幂) 、纹理图像的格式、纹理图像数据类型、 纹理图像的存储地址。在本课题研究中，定义纹理图像更加复杂，因为利用单独 的正面人脸照片或者侧面人脸照片对人脸模型进行映射都不会取得好的贴图效 果，所以研究将正