（应用数学专业论文）基于单幅图像的三维物体建模技术研究.pdf

浙江大学硕七学位论文 摘要 三维建模技术涉及计算机视觉、计算机图形学、计算机图像处理、虚拟现实 等研究方向，是近些年来的研究热点。它在动画制作、建筑业、园林设计等领域 有着很多的应用。多年来，人们提出了很多三维建模的方法，包括参数曲面建模、 隐式曲面建模、细分曲面建模、勾画式建模等，但是它们要么是从零开始建模， 要么是在操作点、线、面得到的基本模型的基础上再进行建模，浪费了很多的人 力、物力、财力。近年来，基于图像的建模技术以其成本低、建模速度相对较快 得到越来越多研究者的关注，从单幅图像建模更因其简单、方便处理等优点得到 较快的发展。 我们把三维建模看成一个由粗到精的过程，精模是粗模的基础上进一步加工 而成。粗模是建模的第一步，也是比较基本、重要的一步，它决定了模型的整体 形状，并且粗模质量的好坏直接关系到第二步工作量的大小。精模是建模的第二 步，主要针对第一步粗模存在的问题进行修正，决定了最终物体的形状。另外， 我们也可以根据我们对最终模型质量的要求高低来决定是否需要进行精模操作。 首先，基于单幅图像构建粗模。我们对从单幅图像的明暗信息中得到物体形 状的方法进行了改进，针对最小化方法中光滑性约束的一致因子和物体整体的光 滑度不一致的缺点，使用不同的光滑因子来求解物体的法向量。另外，为了得到 更好的粗模，我们应用已有的两种从法向量得到物体几何坐标的方法，并选用较 好的结果作为粗模，从而保证粗模的质量。 其次，进行基于简易交互的精模的编辑。用户可以通过参考图像来确定粗模 中需要改进的部分，交互更有针对性。采用基于法向量的简易编辑方法和几何细 节的简易编辑方法两种方法，两种编辑方法交互都十分简便。鉴于对法向量进行 编辑的方法交互之后的结果有时不能准确预测，我们主要采用第二种方法。通过 对粗模曲面的l a p l a c e 算子进行操作有效解决粗模中几何细节不突出的缺陷，交 互起来十分方便，结果容易预测，并且能够很好的增强物体的细节。同时，本文 用例子验证了从粗模到精模方法的可用性。 关键字：三维建模；基于图像；粗模；精模 浙江大学硕士学位论文 a b s t r a c t t h r e e d i m e n s i o n a l ( 3 d ) m o d e l i n gt e c h n i q u e s i n v o l v e di nc o m p u t e rv i s i o n , c o m p u t e rg r a p h i c s ，c o m p u t e ri m a g ep r o c e s s i n g ，v i r t u a lr e a l i t ya n do t h e rf i e l d s ，a r et h e r e s e a r c hh o t s p o t si nr e c e n ty e a r s i th a sl o t so fa p p l i c a t i o n si nt h ef i e l d so f3 d a n i m a t i o np r o d u c t i o n ，a r c h i t e c t u r ei n d u s t r y ，l a n d s c a p ed e s i g na n ds oo n d u r i n gt h e l a s tf e wd e c a d e s ，al o to fm e t h o d sa b o u t3 dm o d e l i n gh a v eb e e np r o p o s e d ，s u c ha s p a r a m e t r i cs u r f a c em o d e l i n g ，i m p l i c i ts u r f a c em o d e l i n g ，s u b d i v i s i o ns u r f a c em o d e l i n g ， s k e t c h i n g b a s e dm o d e l i n ga n ds oo n ，b u tt h e ya l w a y ss t a r tf r o mz e r ot od om o d e l i n g ， o ro p e r a t eo nt h eb a s i cm o d e l so b t a i n e db yd r a g g i n gp o i n t s ，l i n e s s oi ts p e n tal o to f m a n p o w e r ，f i n a n c i a lr e s o u r c e sa n dm a t e r i a lr e s o u r c e s i nr e c e n ty e a r s ，w ec a ns e e n c l e a r l yt h et r e n do fi n c r e a s i n gn u m b e ro fr e s e a r c h e r s i n t e r e s t i ni m a g e - b a s e d m o d e l i n gt e c h n o l o g yf o ri t sa d v a n t a g e so fl o w - c o s t ，r e l a t i v e l yf a s ts p e e do fm o d e l i n g i na d d i t i o n , s i n g l ei m a g eb a s e dm o d e l i n gh a sd e v e l o p e df a s tb e c a u s ei ti ss i m p l ea n d m o r ec o n v e n i e n tt od e a lw i t h w er e g a r dt h et h r e ed i m e n s i o n a lm o d e l i n ga sac o a r s e - t o f i n ep r o c e s s ，f i n e m o d e li sb a s e do nt h ec o a r s em o d e lf o rf u r t h e rp r o c e s s i n g c o a r s em o d e l i n gi st h e f i r s ts t e pa n di sa l s oa ne s s e n t i a l ，i m p o r t a n ts t e pi nm o d e l i n g ，w h i c hd e t e r m i n e st h e o v e r a l ls h a p eo ft h eo b j e c t b e s i d e s ，t h eq u a l i t yo fc o a r s em o d e ld e t e r m i n e sw o r k l o a d o ft h es e c o n ds t e p t h ef i n em o d e l i n gi st h es e c o n dm o d e l i n gs t e p ，m a i n l ys o l v e st h e e x i s t i n gp r o b l e mi nt h ef i r s ts t e p ，a n dd e c i d e st h ef i n a lo b j e c ts h a p e m o r e o v e r , w e c a nd e t e r m i n ew h e t h e rw en e e dt h es e c o n ds t e pb yo u rn e e do ft h em o d e lq u a l i t y f i r s t l y , w eo b t a i nt h ec o a r s em o d e lf r o ms i n g l ei m a g e w ei m p r o v et h ee x i s t i n g s h a p e - f r o m s h a d i n gm e t h o d s ：o b t a i nt h en o r m a lo fo b j e c tb yu s i n gd i f f e r e n ts m o o t h f a c t o r si ns m o o t hc o n s t r a i n to fi nt h em i n i m u mm e t h o d so fs h a p e - f r o m - s h a d i n g p r o b l e m f o rd o i n gs o ，w es o l v et h ed i s a d v a n t a g eo fi n c o n s i s t e n c i e sb e t w e e nu n i f o r m s m o o t hf a c t o ra n di n c o n s i s t e n to b j e c ts m o o t h n e s s i na d d i t i o n , i no r d e rt og e tb e a e r c o a r s em o d e l ，w er e f e rt oe x i s t i n gm e t h o d so fs h a p e - f r o m n o r m a la n dc h o o s et h e b e t t e rr e s u l ta saf i n a lm o d e l ，t h u se n s u r i n gt h eq u a l i t yo fc o a r s em o d e l s e c o n d l y , w eo b t a i nt h ef i n em o d e lb ys i m p l ei n t e r a c t i v et 0 0 1 b yr e f e r r i n gt ot h e i n p u ti m a g e ，u s e r sc a nd e c i d ew h i c hp a r t so ft h ec o a r s em o d e ls h o u l db em o d i f i e d t w om e t h o d sa r eg e n e r a l l ya p p l i e d ：n o r m a l - b a s e de a s ye d i t i n gm e t h o da n dt h ee a s y i i 浙江人学硕士学位论文 e d i t i n gm e t h o df o rg e o m e t r yd e t a i l ，w h i c ha r eb o t he a s yt oi n t e r a c t a sf o rt h er e s u l t o fe d i t i n gn o m a li ss o m e t i m e su n p r e d i c t a b l e ，w em a i n l ya p p l yt h es e c o n dm e t h o d a f t e rc h a n g i n gl a p l a c i a no p e r a t o r so ft h ec o a r s em o d e l ，t h es h o r t c o m i n go fl a c ko f d e t a i li ss o l v e d f i n a l l y , t h ei n t e r f a c ei sv e r yc o n v e n i e n t ，t h er e s u l ti se a s yt op r e d i c t ， a n dt h eo b j e c t sd e t a i l sc a nb es t r e n g t h e n e d a tt h es a m et i m e ，w es h o ws o m e e x a m p l e sf o rc o n f i r m i n go u r m e t h o d su s a b i l i t y k e y w o r d s ：3 dm o d e l i n g ；i m a g e b a s e d ；c o a r s em o d e l ；f i n em o d e l i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得逝江大堂或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位敝储虢堪签字嗍川年多月泸 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权监 姿盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 矗八莨 导师签名： 函动i l 唧 签字慨 q 年，月方日 签字隅川年夕月多。开 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编 浙江大学硕士学位论文 第一章绪论 1 1 引言 我们处在一个三维世界里，周围的所有物体也都是三维的，通过建立正确的 三维模型，构造出生动、逼真的三维物体来描述和表现现实世界事物的各种属性 ( 形状、纹理、光照等) ，是现代科学探索事物本身发展、运行规律的一个普遍 而且重要的方法 i 】。不论是在应用方面还是在科学方面，对整个世界进行三维建 模研究，都是十分有意义的。随着计算机科学技术的发展，三维建模技术在计算 机领域已经成为热点研究方向之一。较二维图形而言，三维模型具有直观、逼真、 方便观察等优点，在快速发展的现代化生产中，能够减少设计费用，缩短设计周 期，为社会创造具大的经济效益。 三维建模受益的领域主要包括动画制作、建筑、零部件的设计与制造、电子 商务、园林设计等领域。三维动画、游戏以其更加逼真的造型、绚丽的色彩以及 更加真实的动作等特点越来越吸引人们的眼球，恐龙、加勒比海盗、金刚、 指环王、变形金刚、机器人总动员等好莱坞卖座电影中数字特效的成功 运用、魔兽世界等三维网络游戏的狂热玩家不断增加充分说明了三维建模及 动画、游戏具有广泛的工业应用前景；对建筑物进行三维建模的研究，使得工程 师从复杂、呆板的平面图纸中解脱出来，为建筑技术的不断进步提供了可能；将 三维建模技术应用到零部件的生产和制作过程中，通过先对需要的部件构造模 型，然后再投入生产或研究，这样自然地可以提高产品的生产效率，降低生产成 本，加快开发速度；通过建立物体的三维模型使得用户能够全方位的观察物体的 形状，电子商务产业也因此得到很快的发展；计算机辅助三维园林设计的出现， 使得园林设计更加真实化，园林设计师可以直接在三维场景中修改、设计园林模 型。三维建模的应用领域不断扩大，给人类带来很大的便利，具有很高的研究价 值。 如前所述，快速、有效的对物体进行三维建模十分有必要。本文在分析并利 用前人工作的基础上，把三维建模看出一个由粗到精的过程，从单幅图像建模得 到物体的大致模型( 称作粗模) ，并对粗模和初始图像不一致的地方进行简易交 浙江大学硕+ 学位论文 互，得到物体的精致模型( 称作精模) 。本章的安排如下：第一节是引言部分， 初步介绍三维建模的应用领域及其重要性，第二节介绍目前为止，国内外三维建 模技术的发展状况；第三节着重介绍基于图像的建模方法；第四节讲了本文的研 究工作，着重讲述本文的思路以及主要方法。 1 2 三维建模的国内外发展现状 三维建模涉及计算机视觉、计算机图形学、图像处理、虚拟现实等研究领域， 是近年的研究热点。国内外涌现出一大批研究学者，包括美国、英国、日本等国 家的研究人员，三维建模在我国的医学领域也成为新的热点。 对物体建模的目标就是能够有效地展现三维物体的形状，并且很容易的对物 体进行修改和设计。近几十年来科技工作者为了这个目标进行了不懈的努力，目 前已经一些丰硕的成果。三维信息获取的手段多种多样，其方法大致上可以分为 以下六类： ( 1 ) 参数化曲面建模 参数化曲面是指用x ( u ，) = ；y ( “，v ) = g ；z ( u ，) = h 形式的方程表示的曲面。 对于注重连续性的物体用参数化建模十分有效。人们熟知的并且用的比较广泛的 参数化曲面为b 6 z i e r ，b 样条，n u r b s 等，尤其是n u r b s ，1 9 9 1 年国际标准 组织( i s o ) 颁布的工业数据交换标准s t e p ，将n u r b s 作为定义工业产品几何形 状的唯一数学描述方法【2 。】，在高级三维软件当中都支持这种建模方式。n u r b s 是常用的建模方法，这是因为建出的模型很容易交互操纵，且创建它们的算法效 率高，计算稳定性好。另一方面，n u r b s 曲面是解析生成的。随着被设计的几 何对象不断朝着多样化、特殊化、拓扑结构复杂化方向发展，参数曲面的局限性 也越来越明显。由于单一的参数曲面仅限于表示在拓扑上等价于一张纸或一张圆 柱面的曲面，难以表示复杂拓扑结构的自由曲面。通常参数曲面采用逐片构造方 法来表示复杂拓扑结构的物体表面，这时候需要对曲面片进行裁剪或直接在非规 则的四边形网格上构造曲面片，无论哪种情况都要考虑片与片之间的光滑拼接， 这种裁剪或者拼接计算不仅非常费时，而且有数值误差，另外要在曲面的接缝处 保持光滑，即使是近似的光滑也是困难的。对于影视动画领域的活动模型，则情 2 浙江大学硕士学位论文 况更是如此【3 卅。 ( 2 ) 隐式曲面建模 在c a g d 中，隐式曲面是形状表述的另一个重要工具，它是指用形如 f ( x ，y ，z ) = 0 的隐式方程来表示三维空间中的曲面。隐式曲面定义了一个半空间， 可以根据f ( x ，y ，z ) 0 把空间分为三部分。它的表 达形式十分紧凑，而且具有几何运算下的封闭性【5 6 】。隐式蓝面造型技术已在一 些动画造型软件、人体建模等软件中得到应用。目前应用广泛并为人们熟知的隐 式曲面造型技术称为元球造型技术( m e t a b a l l ) 。m e t a b a u 就是所谓的元球，又称为 变形球，是一个特殊的隐函数曲面。它最早的雏形是由b l i n n 在1 9 8 2 年提出的 b l o b b y 模型7 1 ，之后，n i s h m u r a 等人做了一些拓展工作，并首次提出m e t a b a l l 这个名词【8 1 。另外，w y v i l l 等人也开发了一种类似的方法，称之为软物体造型【9 1 。 元球造型技术主要有以下一些优点：具有较好的光滑性；对轮廓柔和的物体 建模很有用，比较典型的是人和动物的肌肉；数据量少，节约存储空间。所需的 数据量通常比多边形表示少2 - 3 个数量级。不过，它有如下一些缺点：一、并 不是每个物体都能很容易的得到它的三维表示；二、产生的模型太过光滑，缺少 如皱纹、斑点、尖角等细节特征。三、用隐式曲面表示复杂拓扑形体时，需要用 到大量的基本体素，用户难以对此有效控制，这就给交互设计带来一定的困难。 ( 3 ) 细分曲面建模 细分方法是对某初始网格不断细化得到最终曲面的方法，其基本思想是：给 定一个初始网格，并规定一种细分规则，按照这种细分规则在初始网格中不断插 入新的顶点，从而细化得出新的网格，经过多次运用细分规则，初始网格逐渐细 化为一个光滑曲面。细分技术早在上世纪7 0 年代已经提出来，即c a t m u l l c l a r k 细分方法( 简称c c 细分) 【l o 】。后来，d o o s a b i n 细分方法【1 1 1 ，l o o p 细分方法 1 2 1 ， 蝶形( b 眦e 讯y ) 细分方法【1 3 】相继被提出来。但是这些方法不能塑造模型表面的尖 j 征效果，比如皱纹、折痕、角点、尖点等，为此，h o p p e 等人最先提出了基 于l o o p 细分方法的尖锐特征生成方法 1 4 1 ，d e r o s e 等人利用h o p p e 方法产生半 尖锐效果【1 5 】，s e d e r b e r g 等人提出了基于c a t m u l l c l a r k 方法的非均匀递归细分曲 面，通过引入形状因子，是细分模型产生了尖锐效果【1 6 】。国内的研究者也提出了 3 浙江大学硕士学位论文 一些细分曲面的特征构造方法【1 7 _ 18 1 。 由于细分方法可以从任何形状网格出发构造光滑曲面而不用考虑曲面几何 的连通性问题，能够构造任意拓扑结构的模型，且算法实现简单直观，具有可伸 缩性、仿射不变性，所以广受欢迎。绝大部分商业三维建模、动画软件，如m a y a 、 3 d sm a x 、s o f t i m a g e 、l i g h t w a v e 等都提供了细分模块。不过这种方法需要用户创 建一个半规则的低分辨率模型，传统的做法是针对点、线、面通过挤出、切割等 操作逐步创建，因此这种建模方式即使对于熟练的建模师来说仍然是一件耗时耗 力的事情。 ( 4 ) 勾画式三维建模 手绘表示快速估计视觉图像，不用花费很高的费用( 只用纸和笔) ，不需要 专业的知识便于修改等。相反，大多数三维计算机建模系统专长于产生精确的三 维模型并支持高水平的编辑和修改，以手绘方式来勾勒三维模型的建模方法产生 的一个重要原因就是想把二者结合起来，提高交互的直观性。自从1 9 6 3 年i v a n s u t h e r l a n d 发明画板以来，很多研究者开始考虑利用勾画式进行三维建模。 z e l e z n i k 等人提出了一种通过勾画来构建直线型模型的建模方法【1 9 】，后来进一步 得到推广【2 0 1 ，现已经被用于建筑设计软件s k e t c h u p 当中。i g a r a s h i 等人提出的建 模系统t e d d y 是第一个基于勾画手绘方式的自由形体建模系统【2 l 】。后来，i g a r a s h i 和h u g h e s 对这一系统进行了扩展，提出以分层次形式来表示模型，另外还增加 了网格美化功能，被称作是光顺版t e d d y t 2 2 1 。n e a l e n 等人提出的f i b e r m e s h 方法 使用一个3 d 曲线集合来构建自由形体，而用户通过勾画来绘制3 d 曲线，也可 以通过拖动这些曲线来编辑模型【2 3 】。由于勾画建模技术越来越受到关注，从2 0 0 4 年开始，欧洲计算机图形学联合会举办一年一度的”基于草图的交互和建模”国际 会议，专门研讨基于手绘的交互方式及其应用，如研究用勾画方式来进行3 d 建 模的方法。 不过，勾画式建模也有其极限性，比如缺乏已有设计的重用性以及模型的整 体控制结构，并且最后所得的模型往往是三角形网格，而在建模中四边形或多边 形网格往往更受青睐，因为它们更能反映模型表面的特征，能更好地“布线。 另外，由于物体的轮廓线依赖于观察角度，对于机构稍微复杂的模型或者有遮挡 4 浙江人学硕十学位论文 的地方就难于用线条来描述，况且勾勒模型的轮廓需要一定的美术功底。 ( 5 ) 基于样例的三维建模 为了充分利用已有的模型以及降低建模的难度和提高建模的效率，f u n k o u s e r 等人提出了基于例子的建模方式，一种数据驱动的构建三维模型的合成方法，它 通过组合从模型库中检索到的模型部件合成新的模型【2 4 】。主要包括三个部分：检 索，从一个大型模型库中获取具有用户想要部件的模型；切割，取得模型上用户 想要的部位；组合，合并各个模型部件得到一个新的模型。它的优点主要是易学 且能产生高精度的模型，概念设计来自于用户，而模型细节来自于例子模型。这 种建模方式交互简单，适合于更多的人学习使用。而然这样的方法需要依赖于一 个已有的庞大的三维模型数据库，以及相应的模型匹配和检索方法。这种方法还 有个特点就是将三维模型的低精度部分和高精度部分一起考虑，这样的话在制作 有些模型时由于各个模型的细节不一致而产生人为的瑕疵。k r a e v o y 等人提出了 类似的工作，通过交换模型的部位组合成新的模型 2 5 1 。由于同类模型间具有类似 的结构，从而可以通过相容的分块方法将模型分解，再随意组合成新的模型。 如何提高已有模型或设计的复用率呢? 通过组合已有模型的部件是一种直 接的方法，然而调节和组合模板来建模将是一种更加灵活和可控性更强的建模方 法，因为用户可以调节模板的参数来得到一系列的模型。a l l e n 等人提出过一种 人体模型空间，通过预选选定的2 5 0 个人体模型( 模板) ，系统根据用户设置的参 数得到新的人体模型，不过它局限于人体的建模【2 6 1 。 ( 6 ) 基于图像的三维建模 顾名思义，基于图像的建模是指从已知的某张或某些张图像来重构物体的模 型。随着网络技术的发展，我们可以在网上搜到很多图像，即使自己获取图像也 只需要一个数码相机或更高要求的图像扫描仪而已，所以近些年来，基于图像的 建模被越来越多人所关注。本文接下来将进行详细讲述。 1 3 基于图像的建模技术 我们获取的图像是二维的，而现实世界是三维的，对于一张用数码相机拍得 的二维图像，它表达了三维空间中的一个视图，对于图像中的每个像素它都反映 5 浙江大学硕士学位论文 了三维空间场景的某些信息。从图像中恢复物体的形状就是根据这些信息来进行 三维重建的。基于图像的建模最初是计算机视觉的一个领域，随着现在人们对模 型需求的不断增大，基于图像的建模以其设备廉价、采样快、自动化程度高等优 点吸引了计算机图形学、图像处理、虚拟现实等其他领域的研究人员的关注。 在具体说明本文的研究工作之前，首先介绍一下目前的几种基于图像建模的 方法。不考虑恢复物体表面的纹理、光照、运动学等属性，根据图像种类及数目 的不同，从图像中恢复三维物体的形状也有不同的方法，大体可以分为如下几类 【2 7 】： 第一类方法是利用立体视觉的方法重建三维模型。 基于立体视觉重建三维几何是计算机视觉领域中的经典问题，被广泛应用于 自动导航装置等方面。p o l l e f e y s 等人提出从几幅图像的对应点信息中提出物体形 状的框架，大体上分为五部分：特征点的抽取和匹配，相机定标，生成重投影图 像、立体像对配准和曲面散乱点重建【2 8 】。立体视觉的基本原理为：首先在已知的 两幅图像上找到了一对对应点，即找到图像中属于场景物体表面上同一点投影的 两个点；然后对两幅图像进行定标，确定相机的内部参数和外部参数；再从两幅 图像的投影中心出发，做过这一对对应点的两条直线，它们在空间中将交于一点， 把这点记做场景中物体表面上某一点的三维坐标；按照同样的方法，得到物体表 面上所有点的三维坐标。 寻找对应匹配是立体视觉方法中最重要、也是最困难的工作。考虑到物体表 面大多不是理想的l a m b e r t 表面，因此，同一空间点在不同图像上的投影点的亮 度值并不完全相同；反过来，具有相同亮度值的图像点未必是空间同一点的投影。 此外，由于景物空间中存在着多种遮挡关系，从而导致图像上的相邻像素点在三 维空间中的对应点往往并不连续。这些因素都使得单纯依靠亮度值比较的对应匹 配算法遇到了极大的困难。目前，人们主要通过引入极线约束来得到比较鲁棒的 匹配，极线约束使得对应点的搜索范围由二维缩减为一维，从而大大提高了特征 检测和匹配的精度【2 7 】。 第二类方法是从单幅图像的阴影中重建三维模型。 6 浙江人学硕士学位论文 该方法能够是从图像恢复物体形状方法中自动化程度最高的方法，主要的根 据是人类的大脑和眼睛可以根据阴影来估计物体的大体形状。该方法一般假设物 体的光照模型为朗伯体表面反射模型，经过光照后的物体的亮度可以由物体表面 的反射率、物体的法线、光源的方向来决定。为了使得方法有解，恢复物体形状 时也引入了光滑性约束、可积性约束等约束条件。该方法虽然恢复的结果有时候 会不理想，但是因其快速、自动化、计算简单等原因被广泛应用和研究。本文的 图像恢复方法就是基于单幅图像，具体的方法在第二章中会有详细介绍。 第三类方法是基于侧影轮廓线重建三维模型。 物体在图像上的侧影轮廓线是理解物体几何形状的一条重要线索。当以透视 投影的方式从多个视角观察某一空间物体时，在每个视角的画面上都会得到一条 该物体的侧影轮廓线，这条侧影轮廓线和对应的透视投影中心共同确定了三维空 间中一个一般形状的锥体。显然，该物体必将位于这个锥体之内；而所有这些空 间锥体的交则构成了一个包含该物体的空间包络。这个空间包络被称为物体的可 见外壳，当观察视角足够多时，可见外壳就可以被认为是该物体的一个合理的逼 近。鉴于此类算法一般需要大量的多视角图像，因此图像的定标工作就变得非常 复杂，现有的工作一般使用机械转台等装置辅助定标过程【2 7 1 。 第四类方法是基于深度图像重建三维模型。 在某些对模型精度和模型复杂度有较高要求的场合，可以采用深度图像重建 三维模型的方法。深度图像类似于一幅具有所n 个像素点的普通图像，不同的 是每个像素点位置上存储的不是颜色值，而是场景中物体表面各采样点的深度 值。生成深度图像的方式有多种，包括采用结构光源、激光传播时间计量、雷达、 声呐以及其他一些计算机视觉的手段。由于场景中经常存在多种遮挡关系，因此 常常需要拼合多幅深度图像才能得到一个物体的完整表示【2 7 】。 1 4 本文的研究工作 本文把三维建模看成一个由粗到精的过程，高分辨率模型是在低分辨率模型 的基础上进一步加工而成。低分辨率模型( 称做粗模) 是建模的第一步，也是比 较基本、重要的一步，因为它决定了模型的整体形状，并且粗模质量的好坏直接 7 浙江大学硕士学位论文 关系到第二步工作量的大小。高分辨模型( 称做精模) 是建模的第二步，主要针 对第一步粗模存在的问题迸行修正，决定了最终物体的形状。在分析和吸收以往 的建模方法的基础上，集多种方法的优点来开辟一条新颖的建模思路和方法是本 文的初衷。 首先，本文由单幅图像得到物体的粗模。使用单幅图像主要是考虑到两方面 的原因：一、图像资源非常丰富，并且图像中包含着物体形状的一些信息，从图 像得到物体的模型，和别的建模方法相比，具有成本低、建模速度快、已有信息 可以重用、节省人力物力等特点。二、从单幅图像入手主要是考虑到建模的速度 问题，因为多幅图像建模需要考虑特征点匹配、相机定标、求物体的轮廓线等比 较复杂的问题，建模速度比单幅图像建模要慢。另外，已有的很多图像只是物体 的某个角度的单幅图像，从单幅图像建模应用会更广泛。本文对已有的从单幅图 像进行建模方法进行了改进，提出了用不同光滑性因子来求解物体的法向量信 息，并且采用两种从法向量来重建精模的方法。 其次，本文对粗模进行一些简易的交互得到精模。本文的交互不同于普通的 模型编辑，普通的模型编辑通常没有参考物，人们往往根据某些文字的说明或者 自己的想像来编辑网格，编辑后的结果也没有可比性；本文的交互具有很强的针 对性，目标明确，即得到和输入图像接近的三维模型，故人们可以通过对比粗模 和输入图像，直接得到粗模中质量不好的部分，只需对这部分编辑粗模，从而明 确交互的目标并节约交互的工作量。本文提出两种简易的交互方法：基于法向量 的简易编辑方法和几何细节的简易编辑方法。通过对法向量和l a p l a c e 算子进行 操作编辑模型，交互起来十分简单、方便、快速。最后我们给出了一些结果，来 验证我们方法的可用性。 全文内容安排如下：第一章是三维建模的概述，总结了现有的三维建模算法， 并特别介绍了目前的图像建模方法。第二章介绍了从单幅图像的粗模的重建方 法，主要是提出了用不同的光滑性因子来求解物体法向量的算法，并给出一些结 果。第三章提出了基于简易交互的精模的编辑方法，并给出一些结果。第四章对 全文内容进行了总结，并指出未来研究工作的方向。 8 浙江大学硕士学位论文 第二章基于单幅图像的粗模的构建 一幅图像中包含三维物体的很多信息，如明暗、纹理、轮廓、运动等，从单 幅图像中构建物体模型有其他模型构建方法所无法媲美的优势：图像可以从互联 网上毫不费力的得到，成本大大降低；建模速度相对较快；单幅图像建模比多幅 图像建模应用广泛等。本章将讲述如何从单幅图像的明暗图中得到一个物体的大 致形状，即粗模。从本章最后展示的结果可以看出，本章粗模的方法可以得到大 致令人满意的结果。之所以把本章称为粗模的构建，是因为相对于更高要求的模 型来说，本章的结果还有待改进。 本章的安排如下：第一节首先简要介绍下从明暗图中恢复物体的形状；第二 节介绍本文采用的从图像中恢复物体法向量的方法；第三节讲述两种已有的从法 线恢复物体形状的方法；第四节讲述如何保存模型，第五节对本章粗模构建方法 进行了小结。 2 1 从明暗图恢复物体形状简介 从明暗图恢复物体形状( s h a p e - f r o m s h a d i n g ，简称为s f s ) 是计算机视觉 中的经典的研究问题之一。s f s 根据图像中明暗信息的渐进变化来恢复物体的形 状信息。恢复出来的形状可以用几种方式来表达：深度z ( x ，y ) ，物体的法向量 ( 仇，刀，他) ，物体的梯度( p ，g ) ，物体的倾角、张角矽。 2 1 1 反射模型 对实际图像而言，其表面点的亮度受到许多因素的影响，如光源的性质、物 体表面的材料和形状，以及摄像机位置和参数等。为简化问题，传统s f s 方法 均进行了如下的假设【2 9 】： ( 1 ) 光源为无限远处点光源； ( 2 ) 反射模型为朗伯体表面反射模型( l a m b e r t i a ns u r f a c em o d e l ) ，即 i = p n 2 l ( 2 1 ) 9 浙江大学硕士学位论文 其中，为图像某个像素的灰度值，p 为物体的反射率，且0 p l ， = ( 以，n y ， z ) r 为物体上某点的法向量，l 为光源的方向。 ( 3 ) 成像几何关系为正交投影。 2 1 2s f s 方法的分类 从2 0 世纪7 0 年代初h o r n 提出s f s 问题【3 0 1 ，到现在已有三四十年的时间， s f s 方法大体可以分为四类：最小化方法，演化方法，局部方法，线性方法【3 l l 。 ( 1 ) 最小化方法是最小化一个由亮度约束及其他约束组成的能量函数来求解 物体形状的方法。我们知道，曲面上每个点的梯度有两个未知的变量，法向量有 三个未知量，而图像的每个像素只提供一个灰度值，所以s f s 系统是一个病态 系统，为了使s f s 问题有解，除了亮度约束我们必须还要引入其他约束，来限 制解的范围。常见的其他约束条件为：光滑性约束、可积性约束、梯度约束和单 位法向量约束。 亮度约束确保构建出来的曲面和图像中的每个像素点有同样的亮度信息。具 体的形式为： j j ( i - g ) 2 d x d y ，为图像上某个像素的灰度值，r 为由反射模型确定的构建曲面的某个像素的灰 度值。亮度约束是最小化方法中必须有的一项约束。 光滑性约束也是到现在应用比较多的一个约束条件，它保证了一个光滑的曲 面构建，具体形式为： ( + + g ：+ g ；蚴 其中p 和g 是曲面沿工、y 方向的梯度，即段，马和吼，q ，是四个偏导数。光 酒约束的另一种形式为： 球t + q 2 y ，d y 1 0 浙江大学硕士学位论文 或者写为曲面法向量的形式： ( | im1 1 2 + l m1 1 2 ) d x d y 可积性约束保证了所求的曲面的可积性，也就是乙。y - l ，有两种形式： i ( p y - q ，) 2 d x d y 或者 ( ( 乙一p ) 2 + ( z y - q ) 2 ) d x d y 梯度约束要求重建曲面的梯度在工，y 两个方向上都要和原来输入的图像的梯 度尽可能的接近，具体的形式： ( ( 疋一l ) 2 + ( b 一) 2 ) d x d y 单位法向量约束要求重建出来的曲面法向量为单位长度，具体的形式为： 肿1 1 2 - 1 ) d x d y 最早的最小化方法是由i k e u c h i 和h o m 【3 2 】提出来的，他们引入了两个约束条 件就是亮度约束和光滑性约束。f r a n k o t 和c h e l l a p p a 3 3 1 在其算法中加入了可积性 约束。后来的最小化方法基本上是在上面所讲的几种约束条件下衍生出来的。 ( 2 ) 演化方法是从图像中某个或某些参考点出发，沿着某条演化路径求得整 个曲面的形状。该算法的重要的一步是找到图像中某一点或某些参考点，这些参 考点唯一确定物体的形状，从这些参考点通过迭代方法，或沿着图像中特定的直 线或曲线路径积分，求得整个表面的解。h o r n 最初用特征带来确定这些参考点， 特征带是图像中一条沿着曲面深度方向的一条线，通过确定该特征带的起始点位 置来确定整条特征带。现在常用的其他的演化方法包括粘稠解方法、等值线方 法等。 ( 3 ) 局部方法是首先假设物体表面具有某些局部形状，然后将反射模型和表 面局部形状相结合构成关于一个线性偏微分方程组，再利用已知边界条件来求得 1l 浙江大学硕+ 学位论文 此方程组的唯一解，这样就可以直接确定物体的局部三维表面形状。p e n t l a n d 3 4 】 假设物体表面局部是由几个球面片组成，然后利用图像灰度及其一阶和二阶导数 求得曲面的几何坐标。在同样的球面假设下，l e e 和r o e s e n f e l d 3 5 1 在光源坐标系 统下使用图像灰度的一阶导数计算出曲面的倾角和偏角，然后恢复出三维物体的 几何坐标。这种方法简单直观，对于表面光滑的曲面的合成图像恢复效果比较好， 但是因为前提假设的局部球面特征必然使得当被恢复物体表面不续有局部球面 片特征时，算法不是很好。 ( 4 ) 线性方法 线性方法的主要思想就是首先将反射函数线性化，然后再用线性化的函数求 解物体的形状。在这种假设下，反射函数主要由低阶项决定，简化了问题的求解。 p e n t l a n d 3 6 1 对关于曲面梯度的反射函数进行线性估计，并且应用f o u r i e r 变换来进 行求解。t s a i 和s h a h 3 7 1 对梯度离散估计为高度场的线性函数，然后再把估计的 梯度带入原来的反射函数中，最后用j a c o b i 迭代法来求解。 最小化方法在s f s 问题中应用的最为广泛，本文采取的方法是就是一种最小 化方法。 2 2 从图像中恢复物体的法向量 本节将讲述本文采用的从单幅图像恢复物体法向量的方法。 2 2 1 一致光滑性因子法 假设已知的图像共有m x 力个像素。 从明暗图恢复物体模型的一个重要前提是确定光源的方向，主要有三种方式 可以得到： ( 1 ) 光源方向本来就已经知道； ( 2 ) 光源方向通过手工设定得到； ( 3 ) 光源方向通过从图像的信息中恢复，目前已有从明暗图恢复光源方向的些 算法。因为本文的目的是恢复物体的几何形状，所以我们对光源方向不做过多的 1 2 浙江大学硕士学位论文 讨论，我们一般通过前两种方法得到光源的方向。 设物体上某点的法向量为n ( x ，y ) = ( ( 石，少) ，n y ( x ，y ) ，馋( x ，j ，) ) r ，为简单起见， 记为= ( 玎，l ，刀：) r 。如前面所述，假设物体的反射模型为朗伯体表面反射模型， 图像中某个像素的灰度值和物体法向量、光源方向、物体反射率的关系见公式 ( 2 1 ) 。 假设p 。= 1 p ，则p 1j 1 ( 2 1 ) 式可以写为 p i = n ，l( 2 2 ) 注意至l j ( 2 2 ) 式中物体的反射率p 。及法向量为未知变量。为了求得法向量 ，可通过最小化下面的由亮度约束和离散的光滑性约束组成的能量函数【3 8 1 得 到： 互= 协一n f l i i + 2 | | m 一1 1 2 ( 2 3 ) i e p( f ，) 其中p 为要处理的选定的区域，p ，办为4 一邻域点对，五我们称之为光滑性因子。 之所以称之为光滑性因子是因为它表示了所恢复物体光滑性的程度，允越大表示 对恢复的模型的光滑性要求要高，反之则越低。 2 2 2 不同光滑性因子法 注意到对于要处理的整个区域，( 2 3 ) 式均采用了同个光滑性因子五，也就 是说，对于每个我们要恢复的点，人们对光滑性的要求是一样的，这显然不符合 人类认识的物体的真实情况，因为除了形状十分简单的几何体，在现实世界中很 难找到具有同样光滑性的真实物体，所以，一个很自然的想法就是，对物体上的 点区别对待，对比较光滑的部位，兄取得偏大，对于不连续的部位，取五值接近 甚至等于0 。这样，采用的能量函数变为如下形式： 易= z l l p 一”l l t + y ，4 ，川彤一m1 1 2 ( 2 4 ) f e ， “， 名，为p ，力点对的光滑性因子，当图像所对应物体在p ，) 点对都比较光滑时，取 1 3 浙江大学硕士学位论文 稍大的五，否则以，取的稍小些，或者直接取为0 。 另外，可以发现，对于不同的图像，名。，的取值大小对最后恢复的物体的形 状的影响不同。比如，对于有些图像，丑，取为o 2 和o 8 ，从肉眼看来，结果几 乎没有差别，而对于有些图像，五，取为0 2 和0 3 ，结果差别却很显，所以在用 本文方法构建物体模型对丑。，取值时，可以从较大和较小数值交替往中问取，比 如1 与0 ，一般经过几次取值就可达到满意的结