（计算机应用技术专业论文）真实感三维人脸建模研究.pdf

摘要 摘要 三维人脸建模研究是计算机图形学和计算机视觉领域中的一项热门课题 它 可广泛应用于计算机动画 辅助教学 可视电话 虚拟现实等诸多领域 论文对基于图像的三维人脸建模技术进行了深入的研究 主要完成了以下四 个方面的工作 第一 根据归 化后的正侧面图像与三维坐标系的关系估计出正 交人脸图像的三维几何信息 通过摄像机定标和线性三角测量方法求出任意角度 图像的三维几何信息 第二 通过整体和局部两种变换的方法完成一般人脸模型 到特定人脸模型的校准 并增加头发模型以提高特定人脸模型的逼真度 第三 采用基于径向基函数的散乱数据插值方法进行三维人脸建模 并分别通过正交图 像和两幅任意角度图像作为输入验证了算法的正确性 第四 利用人脸图像合成 出人脸无缝拼接图 并将其映射到贝齐尔磨光后的特定人脸模型上 生成具有真 实感的三维人脸模型 关键词 一般人脸模型摄像机定标特定人脸模型纹理映射 垒 苎壁 三 a b s t r a c t n l em o d e l i n gr e s e a r c ho f3 df a c ei st l l e h o t r c s e a r c hp r o j e c t si nt t l ec o m p u t e r 蓼a p h i c sa i l dt h ec o m p u t e rv i s i o na r e a s t 1 l e s et e c l l i l o l o 百e sc a i lb ea p p l i e dt oa 1 0 to f f i e l d s s u c ha sc o m p u t e ra n i m a t i o n c o m p u t e r a i d e de d u c a t i o n t d e p h o n e v i r t u a lr e a l i t y a n ds oo n t h ep 印e rm a k e sr c s e a r c hd e e p l yo nt h em o d e l i n gm e t h o d0 f3 df a c eb a s e d0 n p h o t o g r a p h s 蚰dh a sm a i n l yc o m p l e t e dt h ew o r ka sf 0 1 l o w f i r s t l y t h e3 dg e o m e t r i n f o n l l a t i o no f 矗d n t s i d ep h o t o g r a p h si sr e c o v e r c dw i t ht h er e l a t i 叩b e t w e e nf f o n t s i d e p h o t o 笋a p l l s 孤dt h es y s t 咖o f3 d o r d i n a t e sa f e rt h er e v i o f h d n t s i d ep h o t o 孕a p h s a i l dt h e3 dg 咖e t r ri n f 0 加a t i o no fp h o t o 伊a p h si i lr a n d o ma n 百ei sg a i l l e db yu s i n gt h e c a i i l e r ac a l i b r a t i o na 1 1 dt h el i n e a rt r i a n g i l l a rs u e y i n g s e c o n d l y as p e c i f i c3 df a c i a l m o d e li sa t t a i l l e df m mag e n c r i ch u m a n ef a c cb yu s i n gt h e 百o b a l 仃a n s f o 加a t i o na n d l o c a l 仃a n s f b r i n a t i o n a n dt h eh a i rm o d e li sa d d e dt oi m p r o v et h er e a l i t yo fs p 喇f i cf a c i a l m o d e i t h 砌y as p e c i f i c3 df a c i a lm o d e li sa t 诅i n e d b yu s i n gt l l e s c a t t e r 甜d a t a i n t e r p o l a t i o nb 勰c d r a d i a lb a s i sf u n c t i o n r b f a i l dt h e 丘o n t s i d ep h o t o 伊a p h s 卸d 柳op h o t o 伊a p h si n 娜d o ma i l 醇ea r cu s e dt ov a l i d a t et h ec 0 e c t n e s so ft h em o d e l i n g m e t h o d b a s c do nr b f f o u n h l y t h er c a l i s t i c3 df a c i a lm o d e li sg e n 啪t e dw h i l et h e s y l l t h e t i ct e x t u f ci i i l a g ei sm a p p e do m ot h es p e c i f i cf a c i a lm o d e la f t e rb e z i e rs m o o t l l i n g i su s e d k e y w o r d g e n e r i cf a c i a lm o d e l s p e c i f i cf a d a lm o d e l c a m e r ac a l i b r a t i o n t e x t u r em a p p i n g 西安电子科技大学 学位论文独创性 或创新性 声明 秉承学校严谨的学风和优良的科学道德 本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果 尽我所知 除了文中特别加以标 注和致谢中所罗列的内容以外 论文中不包含其他入已经发表或撰写过的研究成 果 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意 申请学位论文与资料若有不实之处 本人承担一切的法律责任 本人签名 签邀日期兰竺三 z 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定 即 研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学 学校有权保 留送交论文的复印件 允许查阅和借阅论文 学校可以公布论文的全部或部分内 容 可以允许采用影印 缩印或其它复制手段保存论文 同时本人保证 毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学 保密的论文在解密后遵守此规定 本学位论文属于保密 在一年解密后适用本授权书 本人签名 导师签名 日期塑之 z 日期星 互乙立18 第一章绪论 第一章绪论 自上世纪7 0 年代以来 人脸建模得到了广泛的关注 许多研究者先后提出了 不同的人脸建模方法 大量的创造性工作促使了该领域研究的不断深入 由于其 广阔的应用前景 真实感人脸建模和动画一直是近二十年来计算机图形学 计算 机视觉 人工智能 生理心理学等领域的研究热点 具有真实感的三维人脸的应 用范围十分广泛 可以应用于视频会议 虚拟现实 远程医疗 计算机动画 游 戏娱乐等诸多方面 本文的目标是借助普通数码相机和个人电脑 在短时间内通 过实拍人脸图像恢复出具有照片真实感的三维人脸模型 1 1 研究的背景和意义 人脸是人类交流和表达情感的最重要 最直接的载体 人脸也是人体上最具 表达力的一部分 它具有个性化和多样化的特点 世界上没有完全相同的人脸 因此可以通过人脸去鉴别个人的身份特征 从古到今 对于人脸的描述和刻画一直得到人们的广泛关注 在早期的绘画 雕塑 表演等艺术领域 人脸是最常出现的对象 这些艺术中的人脸在真实感 情感表达方面都达到了很高的层次 照相 摄影和电影电视等技术的出现 使得 人们对人脸对象可以进行特殊的处理 获得真实感更好的人脸 随着计算机技术 的迅速发展 使人们对于复杂的人脸对象表示有了新途径 人们试图通过各种不 同方法在计算机上实现人脸模型 但一直以来 真实感人脸建模都是一个极具挑 战性的课题 首先 人脸具有非常复杂的生理结构 人脸是一个复杂的层次结构 一般可 分为头骨 肌肉层 结缔组织层和外部皮肤层 人脸表情的产生是由脸部多个肌 肉群的协作变形引起的 产生人脸表情或动作涉及到的主要肌肉有口轮匝肌 鼻 肌 颧肌 眼轮匝肌 皱眉肌等 例如唇部动作主要由口轮匝肌来完成等 其次 人脸的几何特征很复杂 而且每个人的人脸几何特征均不相同 特别 是头发 嘴巴 耳朵 眼睛的几何特征很难用一个恰当的模型来表示 并且它们 的几何数据也很难获得 最后 人脸的光照特性也很复杂 人脸的皮肤存在着皮下散射和折射 眼睛 的光照特性很难获得 人脸的复杂几何特征以及皱纹 胡子 眉毛和脸部细毛使 得人脸的光照特性非常复杂 到目前为止 还没有比较好的方法来直接测量人脸 的光照特性 2 真实感三维人脸建模研究 因此 真实感人脸建模是目前计算机图像学 计算机视觉领域最根本 也是 最困难的问题之一 同时该问题也是包括了生理学 心理学 物理学等多个领域 的跨学科问题 除了具有重要的科学研究意义 真实感人脸建模还具有广阔的实 际应用f i 景 真实感人脸建模在虚拟现实 网络应用 数字娱乐 人机交互等许 多领域都具有广阔的应用前景 虚拟现实 在虚拟现实环境中 人脸合成技术被广泛用来制作各种虚拟人物 如虚拟播 音员 虚拟导购等等 目前 该技术已进入实用阶段 在欧洲诞生的第一个虚拟 播音员 安娜 就是人脸合成技术成功应用的典范 她的出现引起了世界范围 内广泛的关注和兴趣 网络应用 在网络应用中 该技术被用于制作和压缩适用网络传输要求的多媒体信息 比如新一代的可视电话技术 远程网络会议技术等 都一定程度上依赖于人脸合 成技术的发展 新一代的多媒体压缩标准m p e g 4 中 专门制订了人脸定义参数 f r p f a c i a ld e f i n i t i o np a r a m e t e r s 和人脸动画参数f a p f a c i a la n i m a t i o np a r 锄e t e r s 这些参数可以很好的用于人脸动画视频的压缩和传输 有效的减少了视频传输所 需的带宽 数字娱乐 在数字娱乐技术中 随着硬件性能的日益提高 真实感渲染成为计算机游戏 不断追求的重要目标之一 今天 计算机游戏中场景和人物越来越逼真 越来越 生动 给游戏玩家带来了f i 所未有的真实体验 人物是计算机游戏中最重要的因 素之一 人物渲染的真实感直接影响整个游戏的真实感程度 目前电子游戏的两 大发展方向是网络化和三维化 三维虚拟人物在游戏中已经是非常普遍的元素 真实感三维人脸合成技术在游戏角色的表现上具有至关重要的作用 人机交互 人类语言是由自然语言和人体语言组成的 在人与人的通讯及面对面交流过 程中 自然语言和人体语言同时或联合传递信息 其中自然语言包括语音和文字 人体语言包括手势 表情 体态等 完善和谐的人机交互光有自然语言还不够 表情 手势等能更好的表示语音 文字无法表达的情感内容 在未来的人机交互 界面中 用户所见到的不仅仅是菜单文字 三维虚拟人将是人性化人机交互界面 的发展趋势 总之 作为当前计算机视觉和计算机图形学领域的研究热点 真实感人脸建 模研究 不但具有理论研究意义 而且具有极大的实际应用价值 第一章绪论 1 2 三维人脸建模研究现状 3 人脸建模是人脸合成研究的一个重要部分 人脸合成研究主要包括两部分 人脸建模和人脸动画 人脸建模主要研究人脸模型的静态模型 合成人脸模型的 几何外形特征和纹理特征 其中 既包含了如何合成同一个人脸模型在不同的表 情和动作状态下的形状和纹理特征 也包含了如何合成不同人脸模型的形状和纹 理特征 三维人脸建模问题一直是计算机图形界一个极具挑战性的问题 人体表 面的复杂性和不规则性使它很难应用传统技术进行建模 尽管对此许多学者已经 进行了有益的尝试 先后提出了参数模型 动态肌肉模型等建模方法 但是 人 脸生理特点的复杂性决定了这些模型或是过于简单不能反映人脸的真实结构 或 是过于复杂难以在实际中进行应用 p a r k e l l 是第一个用计算机生成人脸图像的人 他开始于用一种非常初级的多 边形来表示人的头部结构 并在1 9 7 4 年实现了第一个参数化的人脸模型 在这之 后的3 0 多年间 三维人脸建模技术取得了突飞猛进的发展 人脸建模是一个从无到有的过程 根据实现原理不同 目前已有的三维人脸 建模方法可以分为4 大类 手工建模 特征建模 扫描建模和统计建模 1 手工建模 制作者借助三维制作软件 比如3 dm a x m a p o s e r 等 在计算机中绘制出三维人脸模型 这种方法的优点是易于实现 不受环境影响 缺点是制作费时费力 模型效果好坏基本取决于制作者的绘制水平 因此对制作 者有很高的要求 一般需要经过专业的训练才可以 2 特征建模 这种方法一般是从照片或视频中提取人脸特征点 将不同角 度提取的相同特征点进行对应计算出特征点的空间坐标 然后用这些特征点坐标 插值变形一张一般人脸网格 从而重构出三维人脸模型 在上世纪9 0 年代初 t a 虹m o t o 等 2 用两张照片来建立人脸模型 首先从正 侧面两个相互垂直的方向拍摄两张人脸照片 两张人脸照片上分别用矩形标出眼 睛 鼻子嘴巴等关键特征所在区域 在每个区域中搜索图像边界从而确定具体特 征点的位置 然后根据正侧面相同特征点的对应关系确定特征点的三维坐标 再 用特征点的坐标来插值变形一个一般人脸网格模型 从而构造出特定人的三维人 脸几何模型 把正侧面人脸照片投影到环绕人脸模型的圆柱面上 重叠的部分进 行融合实现平滑过渡 这样就生成了模型的纹理 这种方法的优点是简单易行 在后来的人脸合成研究中被大量使用 但是实际操作中这种方法很容易产生较大 的误差 模型效果欠佳 李军锋等 3 根据正侧面的人脸图像 采用粗细两种变形方法合成了具有真实感 的虚拟人脸 但这两种变形方法都只能完成人脸轮廓上的大致匹配 并不能得到 4 真实感三维人脸建模研究 与人脸图像神似的特定人脸模型 p i g l l i n 等 4 开发了一套系统 他们从5 个角度拍摄人脸照片 在每张照片上手 工标出1 3 个特征点的位置以及一些特征曲线 通过这些特征的对应对一般人脸网 格进行变形从而得到特定人的三维人脸几何模型 这种方法可以生成具有很好真 实感的三维人脸模型 但是需要大量的手工工作 微软研究院的l i u 等 5 j 用人脸视频作为输入 用户需要在其中两帧中各标出5 个特征点 然后在视频中计算并对应角点就可以自动生成与视频相应的三维人脸 模型 该方法操作简便 但是由于角点的自动提取误差较大 导致模型几何表面 的误差也比较大 3 扫描建模 k e 等 6 j 根据由激光扫描仪获得的人脸三维数据得到特定的人 脸模型 这种方法得到的模型非常精细 准确度也高 但由于激光扫描仪成本很 高 而且模特必须在场 扫描后的模型还需要经过软件处理 排除扫描中的一些 错误结果 所以很难普及 4 统计建模 v o l k e rb l a i l z 等 7 j 提出一种基于统计的人脸建模方法 他们用 三维扫描仪建立一个三维人脸库 对于一张正面人脸照片 用三维人脸库中人脸 模型线性组合的正面投影去逼近这张照片 最后把组合的人脸模型认为是照片人 脸的模型 这种建模方法的优点是输入简单 只需要一张正面照片 而且合成的 人脸模型不会有奇异的失真 缺点是准备工作多 建立三维人脸库比较麻烦 而 且所建模型在纵深方向会有一定误差 国内也于2 0 世纪9 0 年代中期开展了有关于人脸合成方面的研究 并取得了 长足的发展 西安电子科技大学的郑飞 8 等人基于图像的建模与绘制技术 提出了正面头像 提取轮廓线 并通过体元造型合成人脸三维模型的方法 这种方法的造型速度较 传统的造型方法有较大的提高 浙江大学的梅丽 9 垮首先给出特定人脸的正侧面正交图像 并提供了一个内嵌 肌肉向量的一般人脸三维多边形网格模型 采用s n a k e 技术自动适配人脸特征线 基于特定人脸的特征线相对于一般人脸模型上的特征线的位移 变分插值一般人 脸网格 适配特定人脸几何 然后 用多分辨率样条技术产生无缝的人脸纹理镶 嵌图 纹理映射后生成高度真实感的能以任意视线方向观察的特定人脸 中国科学技术大学的陈意云1 10 l 等提出了线性弹性模型和肌肉模型 分别应用 于人脸的建模和人脸表情的模拟上 从而能较为快速且较为逼真的合成特定人脸 并模拟出人脸表情 浙江大学的邹北骥 彭永进等 1 1 提出了基于物理模型的特定人脸模型与表情 动画模型 他根据人脸生理结构的特点 先将人脸表面分成了若干块 进而运用 弹性形变原理 分析了脸部各块的变形规律 提出了一种将一般人脸模型变换为 第一章绪论 特定人脸的变形模型 而后分析各种表情形成的物理运动规律 为其建立了表情 动画模型 哈尔滨工业大学的高文 晏洁等 1 2 提出了一种一般人脸个性化方法和多方向 纹理映射算法 这也是目前人脸建模和动画研究者广泛采用的一种方法 北京工业大学尹宝才等 1 3 采用自动调整与人机交互相结合的方法实现特定人 脸模型匹配 在调整完模型形状之后 应用3 个方向的面部图像进行纹理映射生 成不同视点方向的面部图像 应用合成面部图像与输入面部图像最佳匹配的方法 进行输入面部图像的头部转动方向估计 综上所述 人们已经在人脸建模与表情模拟方面取得了一定的成果 但在具 有真实感的人脸合成与逼真的表情模拟方面仍有待于进一步地研究与实践 1 3 本文组织结构 国内外在三维人脸建模的研究上 到目前为止已有多种不同的建模方法 其 研究路线基本上可以分为两类 第一类是直接采集真实人脸的数据进行三维重构 该方法需要使用专用的三维扫描设备来直接获取人脸几何的数据来进行三维建 模 其建模精确 生成的模型逼真 但需要昂贵的设备 且应用范围受到一定的 限制 第二类是以特定人脸的二维图像为输入生成三维人脸造型 该方法需要结 合人脸的几何特征 人类测量学及计算机视觉等方面的知识来合成人脸的三维模 型 此方法不需要特殊的设备 且适应面广 本文的目标就是借助普通数码相机和个人电脑 在短时间内通过实拍人脸图 像恢复出具有照片真实感的三维人脸模型 本文各章的具体安排如下 第一章是本文的绪论部分 介绍了课题的研究背景和应用前景 对国内外的三 维人脸建模方法分别进行了介绍 并简单介绍了本文所作的主要工作 一第二章详细描述恢复人脸图像三维坐标的方法 对于正交图像而言 先对正交 图像进行归一化 然后根据正侧面图像与三维坐标系的关系粗略估计出人脸特 征点的三维坐标 对于任意角度图像 先通过摄像机定标求出图像内外参数后 再根据线性三角测量方法求出人脸特征点的三维坐标 第三章重点讨论了基于整体和局部变换的三维人脸建模方法 并通过增加头发 模型来扩大建模的范围和提高特定人脸模型的逼真度 一第四章着重讨论了基于径向基函数的三维人脸建模方法 并分别通过正交图像 和两幅任意角度图像作为输入检验了算法的正确性 第五章主要讨论了纹理映射技术 合成了纹理拼接图并将其映射到了b e z i e f 磨光后的三维模型上 获得了更为真实的三维人脸模型 结束语部分作为本文工作的总结 在简要回顾了本文工作的基础上 对三维人脸 6 真实感三维人脸建模研究 建模技术的进一步发展提出了自己的一些看法和想法 第二章恢复人脸图像的三维几何信息 第二章恢复人脸图像的三维几何信息 2 1 引言 7 一张不具有任何明显几何特征和纹理特征的人脸 称之为一般人脸 否则 称之为特定人脸 不同人脸之间既存在着共性又存在着差异性 共性主要表现在 人脸的形状 各器官的形状及他们在面部的位置大致是相同的 存在着 三庭五 眼 的比例关系 正是由于存在着共性 才能将具有不同特征的人脸归为一类 并称之为人脸 差异性主要表现在 不同的人脸具有不同的几何特征f 脸的形状 眼睛的大小 鼻子的高低等 和纹理特征 面部的皱纹 黑痣等 也正是由于存在 着差异性 才能将不同的人脸加以区分 人脸共性和差异性的同时存在 使得通 过变形一般人脸模型 得到特定人脸模型的人脸建模方法是可行的 所谓的基于图像的三维人脸建模 就是通过某种特定的人脸建模方法 得到 与所提供图像相匹配的虚拟三维人脸 人脸图像是用摄像机采集的人脸在某个角 度的投影成像 其只能反映人脸各个器官在该投影面上的二维位置分布信息 而 进行三维人脸建模首先需要得到人脸的三维几何信息 本章就着手研究如何从正 交人脸图像和任意角度的多幅图像中获取人脸的三维几何信息 2 2 一般人脸网格模型的获取 目前广泛采用的人脸几何建模方法是用网格模型来描述人脸几何外形的方 法 基于网格模型的人脸几何模型最大的优点在于其灵活性 由于网格模型可以 任意增加或删除顶点和面片 而这样的操作具有局部性一一局部顶点和面片的增 删不会影响模型其它部分的几何形状 所以整个网格模型可以用多种几何分辨率 来表现模型的不同部分 在模型几何细节较少的地方 使用稀疏的顶点和面片来 表现 而几何细节较多的地方 则使用稠密的顶点和面片来表现 一般人脸网格模型可以通过三维扫描仪来创建 也可以从人体造型和动画软 件中导出 虽然说采用三维扫描仪创建的人脸模型非常精细 准确度也很高 但 由于设备本身造价昂贵 而且扫描后的模型还需要经过软件处理 排除扫描中的 一些错误结果 所以一般人脸网格模型采用人体造型软件p o s e r5 o 中提供的一般 人脸模型 由p o s e r 5 0 导出的一般人脸网格模型包括了脸部 唇部 眼睛 鼻子 耳朵 等部分 其由8 1 7 2 个顶点和1 5 9 7 4 个三角形组成 如图2 1 所示 8 真实感三维人脸建模研究 a b c d a 一般人脸网格模型 止视图 b 一般人脸网格模犁 侧视图 c 渲染后的一般人脸模型 止视图 d 渲染厉的一般人脸模型 侧视图 图2 1 一般人脸模型 2 3 人脸特征点的定义 人的头部结构比较复杂 要想重建出具有真实感的人脸造型 则必须选取有 代表性的特征点 以便能很好的表示一个人的面部特征 唯一的标识该个体 并 且能满足重建三维人脸模型的需要 尽管每个人的面貌各有不同 但都有其一般的规律 根据人脸的骨骼及肌肉 组织的特点 将人脸分为眼睛 鼻子 嘴巴 下巴 脸颊和额头六个区域 然后 针对这六个区域的特点分别定义特征点 其中m p e g 一4 定义了两套参数来描述人 脸的形状和运动 面部定义参数f d p f a d a ld e f i n ep a r a m e t e r 和面部动画参数 f a p f a c i a la n i m a t i o np a r 锄e t e r 在m p e g 4 标准中 定义了中性人脸模型 以及在中性人脸模型上定义了8 4 个特征点 见图2 2 这些特征点的主要作用是为定义人脸动画参数提供空间参考 有一些特征点并不会受到人脸动画参数的影响 但是它们在校准私有人脸模型的 时候需要用到 这8 4 个特征点根据它们所属的面部区域的不同分为若干个组 如脸 颊 眼睛 嘴巴等 分别用表示它们所属组的数字和表示它们在所属组中的索引 值来表示 由于m p e g 4 标准中定义的8 4 个特征点包括了舌头 牙齿等部分的特征点 但由于在本文的人脸建模中不涉及这两部分 所以选取其中的5 3 个特征点来标识 唯一的特定人脸 人脸模型和人脸图像上定义的5 3 个相应特征点 如图2 3 所示 图像和一般人脸模型上的特征点都是通过手工提取的 特征点的自动提取属于人 脸面部图像识别范围 不在本文研究范围之内 在手工标定特征点后 还必须恢 复出人脸图像上这些特征点的三维几何信息 由于一般人脸网格模型上特征点的 坐标是已知的 然后通过这两组特征点三维坐标的比较 就可以完成一般人脸模 型到特定人脸模型的调整了 第二章恢复人脸图像的三维几何信息 m i 丽j 酉资 珏 童 苹 闲 霪寥彰 陆耐i tp m 喀t 隔潮 姆m p o i 节托t n h ep 9 i f 峨 图2 2 加p e g 4 中性人脸模型特征点 9 a b c a 一般人脸模型上的特征点 b 正面人脸图像上的特征点 c 侧面人脸图像上的特征点 图2 3 一般人脸模型和图像上的选取特征点 2 4 恢复基于正交人脸图像的三维几何信息 利用正面和侧面的正交图像 可以简单 快速的进行三维人脸建模 为了能 够从正侧面图像中获取足够准确的三维数据 必须先对图像进行归一化 以便不 需要通过复杂的算法来恢复摄像机的焦距 位置等信息 2 4 1 正交图像归一化 正交图像的归一化处理采用三幅图像 正面图像 左侧面和右侧面图像 具 体的归一化步骤如下 1 缩放人脸图像 使人脸图像等高 设包围人头的最小长方体的高 宽和 深度分别为h w 和d 正面人脸图像中包围人头图像的最小矩形的高和宽分别为 日 和 此即为最小外包含长方体的高和宽h 日 一日 和 矽 一 侧面 1 0 真实感三维人脸建模研究 人脸图像中包围人头图像的最小矩形的高和宽分别为 日 和肜 令 日 h 肜 h h 最小为包含长方体的深度即为d 形t 2 裁剪人脸图像使得图像中人眼的眼角处于同一水平线 且图像等高 通 过对人脸图像的修 e 使得人脸图像等高 人头的大小基本上相同 从而不需要 通过复杂算法来恢复摄像时相机的焦距 位置等信息 为将来的变形和纹理映射 做好准备 归一化后的人脸图像如图2 4 所示 图2 4 归一化后的正侧面人脸图像 2 4 2 恢复基于正交人脸图像特征点的三维坐标 对于一般的使用者来说 摄像机定标是一个比较繁琐的事情 相对而占 直 接采用正 侧面人脸图像进行建模更加简单 快捷 在利用正 侧面图像进行三 维人脸建模前 首先必须从给定的正 侧面图像中提取出人脸特征点的三维几何 信息 对正交图像进行归一化后 就不需要通过复杂的算法来恢复摄像机的焦距 位置等信息了 只需要根据正侧面图像与空间三维坐标系之间的关系就可以得到 正交人脸图像特征点的三维坐标 实际上在使用人脸图像进行三维建模时 更关心的是建模的结果是否相像 而建模后的人脸尺寸与真人是否完全相同则显得并不是很重要 根据针孔模型的 拍摄原理 物体在摄像机里的成像 是对物体在拍摄方向上的投影按比例缩放后 得到的图像 故可以做一些简化处理 恢复人脸图像特征点三维坐标的具体步骤 如下 1 从一般人脸模型的特征点集中选取一个特征点作为参照点 同时在图像 中做出标记 在实验中 选取鼻尖上的点作为参照点 如图2 5 所示 2 将摄像机模型简化为正投影 即其比例不变 因此可以用简单的比例关 系计算出特征点的三维坐标 3 很显然 正面图像能反映特征点在x 轴和y 轴方向上的位置信息 侧面 图像能反映特征点在y 轴和z 轴方向上的位置信息 选取鼻尖上的特征点坐标参 考点 即选取鼻尖上的特征点作为三维坐标系的原点 则其他特征点的三维坐标 第二章恢复人脸图像的三维几何信息 可以通过与参考点的相对位移求出 a 正面图像上的参照点 b 侧面图像上的参照点 图2 5 正侧面图像上的参照点 2 5 摄像机定标 1 1 对于正交图像来说 通过把摄像机模型简化为正投影后 图像上特征点的三 维信息就可以用简单的比例关系求出来 虽然正交图像的三维坐标很容易得到 但由于正交图像中的侧面图像一般很难得到 这就使得采用正交图像的建模方法 存在着很大的局限性 由于人的标准证件 如身份证上一般都会有正面图像 如 果再能获得此人的其他角度图像 就可以考虑使用多幅任意角度的图像来进行特 定人脸建模 这样将大大增加基于图像的三维人脸建模范围 相对正交图像而言 恢复出任意角度图像的三维坐标则要复杂的多 若要恢 复出任意角度图像的三维几何信息 就必须首先通过摄像机定标恢复出摄像机的 焦距 位置等信息 空问物体的三维数据与其在二维图像中的投影之间存在着一 种几何变换关系 而这种关系是由摄像机的成像几何模型来决定的 确定模型参 数的过程就叫做摄像机定标 对摄像机进行定标以后就能从拍摄的二维图像出发 计算出三维物体的位置 形状等几何信息 进而重建出相应的三维物体 摄像机 参数总是相对于某种几何成像模型而论的 这个模型是对光学成像过程的简化 其中最常用也是最简单的模型为线性模型或称针孔模型0 i 1 1 h o l em o d e l 当计算精 度要求较高 尤其是当摄像机的镜头是广角镜头时 线性模型不能准确的描述摄 像机的成像几何关系 则需要非线性模型 为了简单起见 本文采用线性摄像机 模型 2 5 1 坐标系 摄像机定标的目的是确定摄像机的图像坐标系与物体空间中的三维参考坐标 1 2 真实感二维人脸建模研究 系之间的对应关系 摄像机定标过程就是根据一组已知其参考坐标系坐标和图像 坐标系坐标的控制点来确定摄像机的内部和外部参数 为了更好的说明问题 先定义几种不同类型的坐标系 世界坐标系 图像坐 标系和摄像机坐标系 1 世界坐标系 石 l z 由于摄像机可安放在环境中的任何位置 所以在环境中还应该选择一个基准 坐标系来描述摄像机安放的位置 并用它来描述环境中其他任何物体的位置 该 坐标系称为世界坐标系 它由x 匕 z 轴组成 其刻度单位属于物理单位 具体 见图2 6 2 图像坐标系 o v o y 通过摄像机采集的图像都是以标准电视信号的形式输入计算机 并经计算机 中专用的数模转换器换成数字图像 每幅数字图像在计算机内为m 数组 m 行 列图像中的每一个元素称之为像素 其数值即为图像点的亮度 于是在图像上 定义一个直角坐标系 v 每一像素的坐标m v 分别是该像素在数组中的列数和 行数 所以 v 是以像素为单位的图像坐标系的坐标 由于 v 只表示像素位 于数组中的列数和行数 并没有用物理单位表示出该像素在图像中的位置 因而 需要再建立以物理单位表示的图像坐标系 该坐标系以图像内某一点为原点 x 轴 与y 轴分别与 v 平行 具体见图2 6 3 摄像机坐标系 x r z 为了分析摄像机成像的几何关系 再定义一个新的坐标系 其原点 在摄像 机的光心上 x 轴和r 轴和图像坐标系中的x 轴与y 轴平行 z 为摄像机的光轴 它与图像平面垂直 光轴与图像平面的交点即为图像坐标系的原点 具体见图2 6 a 世界坐标系 2 5 2 线性摄像机模型 匕 图2 6 三种不同的坐标系 b 摄像机坐标系 空间任一点p 在图像上的成像位置可以用针孔摄像机模型 见图2 7 近似表 示 即任何点p 在像平面上的投影位置p t 为光心 和p 点的连线d p 与像平面的 交点 这种关系称为中心射影或透视投影 第二章恢复人脸图像的三维几何信息 z p d 图2 7 针孔摄像机模型 若选世界坐标系的原点为投影中心 原点到像平面的距离为 程可如下表示 卜 等 等 f 用齐次坐标和矩阵可如下表示上述透视投影关系 付瞄 0o 0 0 0 01o x l r z 1 1 3 则其投影方 2 1 2 2 其中 a 为常数因子 这是摄像机最理想的简单模型 但由于制造工艺的限制 摄 像机光轴与像平面的交点不可能在像平面的中心 有偏移量 因此通常的 透视模型应为 骨 0 0 00 0 0 o 10 x y z 1 2 3 通常情况下 摄像机采集的图像在计算机内存储为m 数组 即m 行n 列 其中数组中的每个元素 常称为像素 的数值就是图像点的亮度 这样 还需要对上 述像平面坐标系进行离散化 假设离散化的像素点在x 和y 方向上的物理宽度为阢和pv 如下图所示 这样就可以在图像上定义离散化直角坐标系u v 在此坐标系下 每一象素的坐标 u v 分别是该像素在数组中的列数与行数 所以 u v 是以像素为单位的图像坐标 系的坐标 如果离散化像素的u 轴与v 轴分别平行于x 轴和y 轴 则离散化前后 的坐标变换为 1 4 真实感三维人脸建模研究 写成矩阵形式 i 联合式 2 4 和式 2 5 两式可得到 士 o o o 亡o o01 0 粕 o fy o 0 0 1 令m m v 1 7 肼一 x l z 7 k 仇 00 0 p 0 0o1 h 0 o 0 兀 001 x y z 上 0 丑 p i 艮 0 上且 v pvp 001 x y z 2 4 2 5 2 7 则上式可简略地表示为 a 历 k m 2 8 其中 无一 见 工 马 一 见 一 岛 矩阵k 称为摄像机内参数阵 通常称这种模型为四参数模型 如果离散化后像素不是矩形方块或成像平面不与光轴正交 则使用下述五个 参数来描述摄像机模型 f y 1 k l o 凡 o l 2 9 o o 1j 这是摄像机的一般线性模型 其中 无 分别称为u 轴和v 轴方向的尺度因子 y 称为畸变因子 v 称为主点坐标 它们只与摄像机内部结构有关 称这种 模型为五参数模型 以上的讨论都是以摄像机坐标系为参考系 由于摄像机可以安放在环境中的 任意位置 因此须选择世界坐标系作为基准坐标系 并用它来描述摄像机的位置 m v f y p p x y f l 第二章恢复人脸图像的三维几何信息 1 5 从而确定任何环境中物体的位置 摄像机坐标系与世界坐标系之间的关系可以用 旋转矩阵r 和平移向量t 来描述 因此 若空间某一点在世界坐标系与摄像机坐 标系下的齐次坐标分别为m 一 x 匕z 1 和m 一 x kz 1 则它 们之间存在如下关系 x c k z 1 俘 x w 匕 z 1 2 1 0 即 必 删 2 1 1 上式说明 摄像机坐标系与世界坐标系之间的运动为 r t 其中r 为3 3 矩阵 用来表示旋转分量 t 是一个三维向量 用来表示平移分量 将式 2 1 1 带入式 2 8 可以得到 砌 圈泓 厨 2 1 2 写成矩阵形式 a m k 尺f x w l z 1 2 1 3 其中俾 f 完全由摄像机相对于世界坐标系的方位决定 又称为摄像机外部参数 2 5 3 常用的摄像机定标方法 一般来说 摄像机定标都需要在摄像机前放一个已知形状与尺寸的物体 称 为标定物或标定参照物 根据标定物的维数不同 可分为四类 1 4 1 1 5 1 基于三维标定物的定标 定标是通过拍摄一个事先已经确定了三维几何形 状的标定物进行的 标定物一般由两到三个相互正交的平面组成 为提高样本点 的定位精度 通常采用棋盘格形状的图案 取其中的交点作为样本点 总之 标 定物上每一样本点在世界坐标系中的位置必须精确测定 如果已知摄像机获取标 定物每一样本点的投影坐标 则建立标定物上三维坐标己知的点与其图像点间的 对应 可求出摄像机的内外参数 传统摄影测量学就是采用这种方法 定标的精 度很高 但需要昂贵的标定设备 而且实验装置要精确地设置 八l v 1 6 真实感三维人脸建模研究 根据成像模型的表达方式 基于三维参照系的定标方法可以分为线性算法和 非线性算法 线性算法 如h a l l 1 6 和f a u g e r a s m 采用最小二乘法的方法来估计 摄像机参数 计算简单 运算速度快 但没有考虑镜头的非线性畸变 精度不高 非线性算法 如t s a i 1 8 l 和w e n 叠 一般都是利用两个步骤加以实现 首先利用线 性算法计算出初始值 再考虑畸变因素 利用优化算法进一步提高定标精度 此 外 北方交通大学信息所的李锦成和袁保宗 冽提出了一种误差校正拟合算法 用 已知的三维控制场和精确定位的图像特征点 采用直接线性变换对摄像机进行精 密的定标 但这种方法步骤较为繁琐 2 基于二维平面标定物的定标 该定标方法只需要摄像机从不同方向拍摄一 个单平面模板的多幅图像 即可进行标定 该平面模板可以用激光打印机打印出 来 附在硬纸板上 平面模板的网格数据是已知的 摄像机和平面模板两者之间 固定其中一个 另一个可自由地移动 无需知道两者之间的运动参数 由于此标 定物制作简单 很容易定标 所以使用很广泛 由于基于三维参照系的定标方法往往需要较为复杂的定标设备 如三维控制 场 而随着个人p c 机的日益普及 以及数字拍摄设备价格的降低 人们越来越希 望有一种简易的桌面视觉系统 这种系统可以面对一般的计算机使用者 且应具 有造价低 灵活方便 鲁棒性较好的特点 正是基于这些考虑 科研工作者提出 了基于二维平面参照系的定标方法 其中以z h a n g 2 1 2 2 提出的基于平面棋盘的定 标方法应用较为广泛 他通过拍摄棋盘在若干个 至少两个 角度下图像 且不需要 知道平面 或摄像机 的运动信息 利用线性方法先计算出初始值 再利用基于最大 似然估计准则的非线性算法得到优化后的结果 s t u m 矧着重对基于平面运动定标 方法中出现的奇异性问题进行了分析 同时他给出的方法可以处理摄像机焦距可 变的情况 b a k s t e i n j 也提出一种基于d u d i r e c tl i n e a rt r 卸s f o 加 变换的定标方 法 他的参照系是一个画满等距黑线网格的平面 并且他提出了扩展d u 变换 e x t c n d e dd i r e c tl i n e a r1 1 r a n s f o 册 来处理摄像机畸变较大的情况 j e o n g 2 5 的也很有 特色 他的参照平面上刻画的是一些宽度不同的直线 这些不同的宽度恰恰提供 了更多的信息 3 基于一维标定物的定标 文献 2 1 2 2 提出了基于一维标定物的六幅图像 对固定在不同位置的多个摄像机同时定标方法 此标定物用排列在一条直线上的 三个点构成 标定过程中 标定物一端固定 另一端可自由移动 4 基于零维标定物的定标 以上三种方法优点在于可以获得较高的精度 但 标定过程费时费力 不适用于在线标定和不可能使用标定物场合 2 0 世纪9 0 年代 初 f a u g e r 鹤 l u o n g m a y b a n k 等 2 6 冽首先提出了自定标的概念 使得在场景未 知和摄像机任意运动的一般情形下标定成为可能 白定标理论是近年来在摄像机定标方面的一个重要发展 摄像机的自定标方 第二章恢复人脸图像的三维几何信息 1 7 法只用到图像之间的匹配 就可以得到摄像机的内 外部参数和物体的运动的结 构 其优点在于不依赖特殊装置和环境 并且可以在线进行 但由于自定标问题 的先验条件较少 要恢复视觉系统的内外参数 不可避免地要比传统方法复杂的 多 数值稳定性也存在一定差距 自定标方法基本上可分为以下几类 1 第一类是从射影重建出发 寻找绝对二次曲线或绝对二次曲面 作为满足 全部约束条件的唯一曲线或曲面 这意味着所有的图像必须进行规范化 由于它 们直接与摄像机的内部参数相关联 并且假定内部参数保持不变 2 第二类方法同样使用绝对二次曲线 但将对极几何关系作为约束条件 此 类方法的优势在于只需计算基础矩阵 但基础矩阵的计算精度又直接影响随后的 估计过程 3 第三类为在特定系统下或简化模型下进行摄像机定标 如中科院自动化所 的马颂德等 2 8 魄出利用自动视觉系统控制摄像机做两组相互垂直的运动 进行手 一眼定标 但是这种方法需要较高的硬件条件支持 北方交通大学信息所的邹国 辉 冽提出采用简化透视投影模型 假设像主点位于图像中心 图像两坐标轴相互垂 直 的摄像机定标方法 减少了估计过程的运算量 但精度不高 自定标方法不需要任何标定物 只需要图像间的对应点 通过在静止环境中 改变摄像机位置 两幅图像间的对极几何 为摄像机内部参数提供两个约束i 冽 所以 如果同一个摄像机 在不改变内部参数的情况下拍摄景物 3 幅图像之间的 对应点就足够恢复出内部参数和外部参数 从而在一个常数因子下 恢复景物的 三维结构 删p 自定标方法虽然无需标定物 方法非常灵活 但并不是很成熟 由于估计未知参数太多 数值计算很困难 所以很难得到稳定结果 摄像机定标是完成欧氏重构和运动分析必不可少的关键一步 即在摄像机未 标定的情况下 只能实现射影重构 传统定标方法通过标定参考物来实现 即必 须对摄像机进行预标定 这就大大限制了其应用范围 摄像机自标定是近年来计 算机视觉领域中非常热门的问题 因为这一问题的解决 就可以从未标定图像实 现三维欧氏重构和运动分析 本文采用张氏平面定标方法来求取图像的内外参数 该定标方法是一种介于 传统定标方法和自定标方法之间的更为灵活的定标方法 它既避免了传统定标方 法设备要求高 操作繁琐等缺点 又较自定标方法精度高 参数更鲁棒 2 5 4 张氏平面定标方法 该定标方法通过一个单平面模板和针孔模型来实现摄像机定标 其基本思想 是通过确定图像和模板平面上的点的匹配 计算出不同方位上的图像和模板之间 的单应性矩阵 并利用多个单应性矩阵线性求出摄像机的内外参数 与传统的定 真实感三维人脸建模研究 标方法相比 此方法定标简单 灵活 结果精确 稳定 2 5 4 1 单应性矩阵及内参数约束 不失一般性 选择一个世界坐标系 使得单平面模板上点的z 坐标为0 根据 式 2 1 3 可得到 a lvl k l r 2r 3f 1 j x y o 1叫 p 上式表明了图像面上的所一 v 7 与平面模板上的点m x y 7 之间的关系 其中 k 是摄像机内部参数矩阵 r 表示旋转矩阵r 的第f 列向量 t 是平移向量 a 是 非0 常数因子 因此 模板平面上的点与它的像点之间建立了一个单应性矩阵h 厕 k r 2f m 删 2 1 5 其中扁 厨是点m m 的齐次坐标 如果知道平面模板和图像上点的坐标 则四 个对应点就可以确定h 如上所述 对于模板平面的每幅图像 采用至少4 个模板和图像之间的对应 点 就可得到 个单应性矩阵 令日一眠 i l 此h 与真正的单应性矩阵之 间相差一个常数因子a 所以有 q 1 2j i l 一斌 l 2f 2 1 6 将方程两端同乘k 一 则有 k 1 1k 1 2k 1 3 a 厂1 2f 2 1 7 由于 1 与 是单位正交向量 则满足 r o p p i 1 f j 一1 2 2 1 8 lij 这样就可以得到求解内在参数的两个约束条件 统一简写成k 砰k 4 k 1 2 o l k 4 k 1 以一酵k 4 k 1 l 为方便起见 将 k 4 7 或假7 4 2 1 9 2 2 0 第二章恢复人脸图像的三维几何信息 2 5 4 2 线性求解摄像机的内外参数 设b k 4 k 一 代表无穷远处平面上的二次曲线 为方便起见 在推导过程 中采用五参数模型 令k i 考举 则有 b k r k 一 一上 口2 占 寿 寺 a2 卢2 卢2 一 吐二竺q 生2 一 l 口2 卢3卢2 由于口7