（管理科学与工程专业论文）基于视频虚拟环境关键技术的研究.pdf

国防科学技术大学研究生院学位论文 摘要 在复杂虚拟环境中，基于几何模型的对象表现常常受到对象建模与绘制复杂性的限 制，而基于图像的绘制技术可以有效的增强虚拟环境的真实感。本文探讨用视频数据构 建虚拟环境，扩展了基于图像的渲染的概念，简化了基于图像的绘制技术中数据获取的 方式，简化了基于图像的绘制技术中的难韪特征匹配问题。基于视频数据构建虚拟 环境，可以提高虚拟环境的构建和渲染效率，增强虚拟环境表现的真实感。 本文研究了基于视频的虚拟环境的关键技术，分析了引入视频数据后的新问题，讨 论了噪声对虚拟环境的影响。本文的主要贡献体现在以下几个方面： 研究改进了在常规环境下基于平面进行摄像机定标的算法，分析了噪声对定标结 果的影响。 提出了基于扩展k a l r 啪滤波器的摄像机跟踪算法，分析了噪声对摄像机运动模 型和成像模型的影响。 通过对数据采集和处理过程中的误差因素的分析，减小误差源的影响，优化和改 进图像和视频处理算法，提高重建的虚拟环境质量，提出了改进重建质量的一些 方法 建立了一个简单的原型系统，对基于视频的虚拟环境建模的理论和算法进行了初 步的验证，并取得了基本满意的结果。 综上所述，本文对基于视频的虚拟环境建模中的一些关键技术进行了初步研究，提 出和改进了一些建模方法，并实现了一个可漫游的真实感虚拟环境原型。这些研究丰富 了基于图像的建模与渲染技术体系，同时相关的关键技术也为立体视觉、三维重建等研 究提供了一定的理论和实践基础。 关键词：虚拟环境，基于图像的渲染，摄像机定标，摄像机跟踪，总体最小二乘法 ( t l s ) ，卡尔曼滤波 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t i nc o m p l e xv i r t u a le n v i r o n m e n t s , g e o m e u y - b a s e do b j e c t sr e p r e s e n t a t i o ni sa l w a y sl i m i t e d t ot i m 咖d e f i n gc o m p l e x i t y i m a g e - b a s e dm o d e l i n ga n dr e n d e r i n gc a l lg r e a t l yi m p r o v et h e r e a l i s ma n de f f i c i e n c yo fv i r t u a le n v i r o n m e n tr e n d e f i n & n 塘d i s s e r t a t i o nd i u s s o s v i d e o - b a s e dm o d e l i n ga n dr e n d e r i n gt e c h n o l o g y , e x a m d st h ec o n c e p to fi m a g e - b a s e d t e c h n o l o g y , s i m p l i f i e st h ep r o c e d u r eo fa c q u i r i n gd a t ai ni m a g e - b a s e dt e c h n o l o g y , a n da v o i d s t h ed i f f i c u l tp r o b l e m - i m a g em a t c h i n gi nc o m p u t e rv i s i o n 0 咖s t m c d n ga n dm o d e l i n gv i r t u a l e n v i r o n m e n tt h r o u g hv i d e o sc 眦i m p r o v et h ee m c i e n c yo fm o d e l i n ga n de n h a n c et h ev i r t u a l e n v i r o n m e n tr e a l i s a v _ i nt h i sd i s s e r t a f i o n , w ef i r s ta u d yt h ek e yt e c h n o l o g yo fc a m e r ac a l i b r a t i o ni nt h e n o n - l a b o r a t o l yc i r c u m s t 锄c e , a n dp r o p o s eat w o - s t e pm e t h o do f c a m e a r ac a l i b r a t i o n , a n dg i v e s o m ep r o b l e m sd e t a i la n a l y s i s t h e n , w ed i s c u s si d e a lc a m e r am o t i o n , a n dt r a c kc a m e r a m o t i o nw i t he x t e n e dk a l m a nf i l t e r n e x t , w es i m p l i f yt h ec a m e r am o d e lt oa f f i n ep r o j e c t i o n , a n da p p l yf s c t o r i z a t i o nm e 血o di nc o m p u t e rv i s i o nt og e ti n i t i a lw o r l dm o d e l f i m d l y , w es e t u pap r o t o t y p es y s t e mt ov e r i f yt h ei d e a so f v i d c o - b a s e dm o d e l i n g ，1 1 1 eo d g i n a lc o n t r i b u t i o n s o f t h i sd i m e r t a t i o ni n c l u d et h ef o l l o w i n g ： b ys t u d yo ft h en o i s ei nt h ec h n o l ac a l i b r a t i o n , t h i sd i s s e r t a t i o np r o p o s e st h e c o r r e s p o n d i n gs o l u t i o n s 1 1 l ep r o p o s e dt w o s t e pc a m e r ac a l i b r a t i o na l g o r i t h mc a n n f i n i m i z et h ee f f e c to f n o i s ei nc a m e r ac a l i b r a t i o n b a s e do nf o r c e - f r c a m o l am o t i o nm o d e l e x t e n d e dk a i n 删af i l t e ri su s e dt ot r a c k c a m e r am o t i o na n de l i m i n a t en o i s e b ya n a l y 2 i n gt h en o i s ei nt h ep r o c e d u r eo fd a t aa c q u i r i n ga n dh a n d l i n g , t h e d i s s e r t a t i o nu yt on f i n i z en o i s ei n f l u e n c e , i m p r o v et h ea l g o r i t h mp r e c i s i o na n d p r o p o s es o m ea d v i c e sf o rb e t t e rq u a l i t yo f v i r u a le n v i r o n m e n t a p r o t o t y p es y s t e mi sd e v e l o p e d ；t h ek e yt e c h n o l o g i e sa r ev e r i f i e da n da p p l i e di n p r o j e c t s s u m m a r i l y , t h i sd i s s e r t a t i o np r o p o s e st h ef i m d a m e n t a it h e o r y , m o d e la n dm e t h o do f v i d e o - b a s e dt e c h n o l o g y , a n di m p l e m e n t st h ev i d e o - b a s e dr e a d e r i n gi nv i r t u a le n v i r o n m e n t s u c hr e s e a r c hs y s t e m a t i z e sa n de n r i c h e st h ei m a g e - h a s e do b j e c tt h e o r y , a n dg i v e ss o m e s o l u t i o n sf o rs t e r e ov i s i o na n d3 dr e c o n s u u c l i o n k e y w o r d s ：v l r t u a ie n v i r o n m e n t ， c a ii b r a t i o n ，c a l u e r l lt r a o k i n g t o t a i i m g e - b a du o d e li n ga n dr e n d e r i n g ，g 自f l j o r 8 l e a s ts q u a r eu e t h o d k a i r o nf ii f o r 第1 i 页 国防科学技术大学研究生院学位论文 豳1 1 相关技术及其关系 圈2 1 摄像枫镜头 图表清单 6 1 2 j 2 1 3 2 4 囝 3 透视投影模墅 盈2 4 摄像枫的内参数。圈京平面上豹坐标变换 匿2 - 6 祧s 场 4 f2 - 7 爱猊新手静柑瓤移2 参劳留袋 厨2 - 8 钟2 嬲怒确鳓溜能2 5 豳2 - 9 直接在辕图像上在甩h 啦算法进行特征点检涌 强纯象素坐标构误差帕影响 2 5 3 5 3 6 臻3 3 物理坐标的误差方差和象素坐标误差的综台影响。3 6 l f ”友发谬搿榘与操殆攒捃功出慰抄 厨，巧乎鳓鼢骘恐鹃霸野毙蒹猡 昏4 - 3 摄像撬的3 d 运动 固s 1 立体戚像示意匿 霭5 - 2 立体成像坐标系 一j 4 2 私 4 7 4 8 表3 1 摄像枫参数统计结果( 以函心为定标点) 表3 2 摄像机参数绕计结果t 以两格为定标点) 表3 3 定标点反投影的结果s 嘏始坐标的平均偏差与最大偏差 s 3 尉 3 8 粥 骝 第i i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目： 基王塑题虐赵巫埴：基缝技盔鲍珏究 学位论文作者签名： ：壅丢睦日期：础佴3 月。日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印，缩印或扫描等复制手段保存汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文作者签名： 作者指导教师签名： 日期：名解劲。日 日期：如6 年弓月r d 日釜 国防科学技术大学研究生院学位论文 第一章绪论 1 1 基于图像和视频的建模与绘制 随着计算机图形学技术的发展，以及城市规划、房地产、旅游、科教、军事等众多 领域对虚拟仿真、展示需求的不断涌现，虚拟环境系统得到了越来越广泛的应用，并呈 现出由单一绘制手段、对单一场景对象进行表现向多种绘制手段综合、对大规模、多对 象复杂场景进行渲染发展的趋势。与此同时，现代信息感知、识别、传输和处理技术的 不断提高，要求在虚拟环境系统中采用更为丰富和直观的手段对大量信息和对象进行建 模和表现，为虚拟环境中信息的统一管理提供条件。在大规模虚拟环境系统中，虚拟的 地形环境一方面重现该区域的自然地形、地貌，更重要的一方面。为在其中进行规划和 对象行为推演提供了一种环境载体。在这些应用中，要高效、逼真地进行虚拟环境和对 象建模，并且实现虚拟环境和对象的融合，提供充分的视觉感受和情节沉浸感。 基于几何的建模与绘制( g e o m e t r y b a s e dm o d e l i n ga n dr e n d e r i n g ，g b m r ) 是构造这 样虚拟环境的方法之一。首先对真实世界进行抽象，从而建立起它的三维几何模型，一 般用多边形表示。在给定观察点和观察方向以后，利用计算机由模型实现着色、消隐、 光照以及投影等一系列绘制过程，产生虚拟场景。 g b m r 以空间解析几何为基础，有相对完整的理论框架，且具有以下优点：几何 数据模型所占用的存储空间较小，无冗余信息；可以显示复杂的动态场景。无论动态 场景如何复杂，在任一时刻，几何造型都是唯一的，只要得到该时刻对几何造型的描述， 就可以显示出该时刻的动态场景；具有视场完备性。只要给定了场景的几何描述，则 在任一视点，对场景的观察均可唯一确定。基于以上优点，g b m r 方法得到了广泛的应 用。 但是，g b m r 在虚拟场景的构造和绘制上仍面临着这样几个问题： 1 ) 构造几何造型复杂而繁琐，需要大量的人力和手工。在专业人员对各种对象了 解和实地采样时，需要对其几何结构、外观参数等进行详细了解和取样。尽管 计算机辅助设计软件尽可能的简化了这一工作，对复杂场景，特别是不规则自 然景物而言，建立模型仍然是一件艰苦的工作。 2 ) 绘制速度与场景复杂度相关。整个虚拟环境将由数量庞大的多边形和三角形网 格构成，在渲染过程中，需要对每一个的顶点、边线和三角形面片进行逐一处 理。复杂度越高，裁剪、消隐和光照计算所需要处理的几何面片越多，场景绘 制的效率就越低。大规模的场景和精细的模型的结合超出一般用户的设备承载 能力，严重降低渲染速度。目前采用的方法包括简化模型和提高设备渲染能力。 简化模型如动态模型简化、地形细节层次模型( l o d ) 等，但在简化模型的同 时增加了实时计算的耗费，还没有从根本上解决系统渲染需求和设备渲染能力 之间的冲突。 3 ) 难以模拟场景细节和一些特殊的光照效果。虽然几何模型的真实感研究近年来 有了许多重大突破和进展，但是这些真实感的表现通常是以大量非实时的计算 第1 页 国防科学技术大学研究生院学位论文 为代价，并且现有的算法仍然无法模拟或者实施模拟一些特殊的光照和大气效 果。 另一方面，图像处理技术的发展已使我们有可能由图像构造虚拟环境，这就是基于 图像的建模与绘制( i m a g e - b a s e dm o d e l i n ga n dr e n d e r i n g ，i b m r ) 。它的基础是透视投影 相机模型和纹理映射技术，这种方法将纹理图像映射到简单的几何面片，以近似描述景 物表面的纹理细节。在不同视点和视线方向上，景物复杂的表面绘制过程转变为纹理图 像重投影和在简单几何面片上纹理映射的过程。 传统的基于图形渲染实质上是对场景中对象的光线交互过程的仿真。对象的几何结 构与材质特性，加上光源与观察参数的描述组成了一个问题说明渲染过程近似于摄影 师的拍照。而基于图像渲染则完全不同。 基于图像建模与绘制的基础是图像，图像可以被认为是二维空阔上的一种测量。在 传统的图像处理中，唯一的几何联系是图像空间上的二维相邻。基于图像渲染则需要考 虑一种更加全局的三维几何相邻。给定一个更大的几何上下文，设法获取输入图像集内 不同象素之间的几何联系，从而重构出虚拟环境的连续描述。 由i b m r 的定义可知，i b m r 的输入是离散的图像集，输出是一个连续变化的函数。 与g b m r 相比，i b m r 技术具有以下特点： 1 ) 将复杂场景以实景采样的方式获取，降低了场景建模的复杂度和工作强度。也 可以采用计算机合成画面，或者将实景与合成图像混合使用来表现场景。 2 ) 场景绘制独立于场景复杂性，仅与所要生成画面的分辨率有关：算法对计算资 源的要求不高，改善了大规模场景或复杂场景渲染中渲染需求和计算、显示硬 件有限能力间的冲突。 3 ) 渲染结果在场景逼真程度上可以达到真实环境的照片效果，提供了更高真实感 和可辨别性。 越来越多的低价格的具有较高精度的视频设备促使我们研究的目光转向了视频序 列。相对于静态的图像，视频图像序列具有许多优点，如提供了时间关系以及相关的背 景，非常适合处理动态的环境变化，处理视频序列需要自动化的处理和分析计算机图像 和视觉问题，需要大量的存储空间和有效的检索算法，实时处理，足够的通信带宽。 1 2 国内外研究现状与发展趋势 i b m r 技术是目前研究的热点之一，很多大学和研究小组都涉及到这方面的内容“侧。 目前基于图象的绘制技术研究重点在如下几个方面： 分层绘制技术 有效的、适合于实时绘制的三维重建技术 表面反射属性的快速重建。 基于图象的绘制技术的实现方法，源于在图形学中广泛使用的纹理映射。这种方法 将纹理图象映射到简单景物的几何表面，以近似描述表面的纹理细节用户可取不同的 位置和角度来观察这些景物，在不同视点和视线方向上。景物表面的绘制过程实际上是 纹理图象在取景变换之后的简单景物几何上的重投影变形的过程。 第2 页 国防科学技术大学研究生院学位论文 1 2 1 环境映照技术 在纹理映射的基础上出现了环境映照方法，采用纹理图象来表示景物表面的镜面反 射和规则透射效果。具体来说，一点处的环境映照可通过取该点为视点，将周围场景投 影变形到一个中间面上来得到，中间面可取球面、立方体、圆柱面等。这样，当通过该 点沿任何视线方向观察场景时，环境映照都可提供场景的完全、准确的视图。 基于这种策略，e r i cc h e r t 设计了一个虚拟现实系统q u i c k t i m ev r ，通过在场景的离散 采样点处预先建立环境映照，从而可使用户在虚拟环境中实时地从一个采样点漫游到另 一个采样点处。这类系统的主要缺陷在于漫游过程中视点只能位于固定的网格点上，而 不能提供场景的连续视图，产生跳跃感。 我们实验室于1 9 9 8 年实现了一个类似于q u i c k t i m ev r 的实用系统h v s 。在h v s 中， 虚拟场景是按以下的步骤生成的：首先利用采集的离散图象或连续的视频作为基础数据， 经过处理形成3 6 0 度柱面全景图象。然后，通过合适的空间模型把多幅全景图象组织为 虚拟实景空间。用户在这个空间中可以前进、后退、3 6 0 度环视、仰视、俯视、近看、 远看等操作，就象进入到一个实际的空闻中一样。虚拟实景空闻具有如下的优点： 构造虚拟环境不需要复杂的三维建模。 不需要硬件加速就能在p c 机上实时运行。 能显示高质量图像，且处理时间与场景复杂度无关 事实上，上述投影变形技术存在很大局限性，只适用于在固定视点旋转摄像机的情 况，而无法处理摄像机位置移动的情况。当平移摄像机时，由于景物前后遮挡关系和改 变，所得图像并不完全是原存储图像的重新投影和简单变形，其画面内容在局部区域中 发生变化。 解决这一问题的有效方法是在原给定的图象序列中引入可见点的深度，以提供原始 场景的部分三维信息。具体作法是利用给定画面上可见点的深度值，局部重建场景的三 维几何，并基于这些三维信息对可见点直接进行投影变换，或建立该画面与其相邻画面 象素的对应关系。使用前一种方法，由单幅画面即可生成相邻视点处新的图象，而后一 种方法则需给定若干幅相邻的深度图象利用这种基于深度信息的投影变形技术，可以 在不同视点的图象序列之间生成连续过渡的中间画面，若在预处理中己生成好场景中各 采样点处的深度全景图象，则可实现对场景的连续漫游，漫游过程中不再出现跳跃感。 这种基于可见点深度信息的重投影过程在理论上很合理，但缺点是在所生成的中间 画面上可能存在空洞，这是由于所给定的图象无法提供中间画面空洞处可见点的信息而 造成的。空洞的填补是一个非常复杂、计算量很大的过程。 1 2 2 全景函数方法 光场重建( l i g h tf i e l dr e c o n t m c t i o n ) 技术是在全景函数重建技术上发展起来的一种 新的基于图像的绘制技术。一般地，全景函数由一参数方程来描述，定义了空问任一处、 在任何时刻和任一波长范围内场景中的所有可见信息。全景函数事实上刻划了一给定场 景的所有可能的环境映照，因而以图象的方式给出了场景的精确描述。为生成一帧给定 第3 页 国防科学技术大学研究生院学位论文 视点沿特定方向的视图，只需将视点v ( v x ，v y ，v z ) 和球面角0 、v 及时刻t 代入全景函 数即可。这其实是对全景函数的采样过程，所得视图即为全景函数的一个样本。因此， 基于图象的图形绘制问题可描述为：给定全景函数的离散样本集合，生成该全景函数的 一个连续表示。基于这一描述，基于图象的绘制过程可分解为全景函数的采样、重建和 重采样三个过程。 在1 9 9 9 年的s i g g r a p h 会议上，微软中国研究院的沈向洋博士演示了一种同心拼图 ( c o n c e n t r i cm o s a i c s ) 的方法，把4 d 全光函数减少到3 d 。这个方法是把摄像机限制 在同心圆平面上运动，通过合成沿每个圆的不同方向拍摄的图像，生成具有相同圆心的 拼图。同心拼图法用半径，旋转角度和垂直高度这3 个参数就可以找到所有输入图像的 光线。由于只需构造3 d 全光函数，与l u m i g r a p h 和l i g h t f i e l d 的方法相比，同心拼图 法生成的文件很小。与视点固定的全景图像相比，同心拼图法不必恢复几何和照片场景 的模型，用户就可以在圆内自由移动。但是，同心拼图法限制了用户的视域范围，用户 虽然可以前进、后退和左右行进，但无法俯视和仰视。 运用同心圆拼图法生成的虚拟场景只能在水平方向漫游，这无法满足室内场景的需 要。在室内，用户需要进行俯视和仰视齐越在2 0 0 2 年把同心圆拼图法扩展为同心球拼 图法( c o n s p h e r i cm o s a i c s ) ，使之在垂直方向能够得到足够的信息，增加用户的视域范 围。 一般来说，全景函数的获取是非常困难的，这是由于所包含的信息远远超出了当前 计算机的处理能力。 1 2 3 混合绘制技术 所谓混合式基于图象的绘制技术，指的就是同时采用几何及图象作为基本元素来绘 制画面的技术。该技术根据一定的标准，动态地将部分场景简化为映射到简单几何体上 的纹理图象，若简化引起的误差小于给定阈值，就直接利用纹理图象取代原场景几何来 绘制画面。简单几何面置于被简化景物的中心，而简化误差被严格控制在给定的阈值内。 这种绘制技术可以在一定误差条件下。以较小的代价来快速生成场景画面，同时仍保持 正确的前后排序，所生成的图形质量也很高。 1 9 9 6 年s h a d e 等人提出了层次图象存储算法( i - i i e r 缸c h i c a li m a g ec a c h i n ga l g o r i t h m ) 。 该算法的基本出发点是，当景物离视点较远时，在前后两帧画面上投影位置的变化非常 小。因此，若将这些远距离景物在前一帧画面中的投影图象存储起来，并以该图象作为 纹理映射到一简单几何体上，以近似取代该景物在其后续画面中的绘制，就能有效地减 少当前视域中的可见面片，从而极大地提高画面的绘制效率。但是，当场景中有很多可 见景物时，利用上述方法将产生非常多的纹理图象，需占用大量存储空间。为此，s h a d e 等人利用二叉剖分技术( b i n m ys p a c ep a r 嘶o n ) 对场景进行层次剖分，每个节点中的所有 景物根据其距离视点的远近，动态地在几何描述和纹理图象之间切换。这一算法的主要 贡献在于给出了一种纹理表示与原景物几何描述间的误差估计，并给出了视点运动的安 全区域。但该算法由于采用从后至前的绘制顺序来生成画砸，因而对于高度复杂的场景， 算法的效率将受到严重的影响。 为了提高绘制精度，s i l l i o n 等利用带纹理的多边形网格来逼近远距离景物，而近景 第4 页 国防科学技术大学研究生院学位论文 则仍采用传统的几何绘制技术。考虑到对于高度复杂场景来说，将远距离景物简经成其 纹理表示仍是一个非常耗时的过程，s i l l i o n 等采用预处理的方法来生成在不同视点范围 处的远景纹理图象网格。与s h a d e 的算法相比，这一算法具有更高的逼近精度。 pe d e v e v e c t 等人也提出了一种混合方法，用于通过照片重构建筑物的几何模型及 进行绘制。这种方法的理论基础是照象测量法( p h o t o g r a m m e t i r c ) ，包括来自计算机视觉 研究领域的光学校准和从连续运动图象中构造三维模型等一系列技术。该方法包含两部 分内容，即三维模型重构和基于重构模型的绘制。在模型重构阶段，系统识别出原始图 象中建筑物的大致轮廓，由用户确定某一轮廓线在不同原始图象中的对应关系，系统根 据照象测量法通过约束求解自动建立起建筑物的基本三维几何模型，即由若干基本体元 所组成的参数化层次模型。在绘制阶段，利用基于视向的纹理映射将各原始图象中的适 当部分映射到重构的模型上。重构的模型仅由简单的几何体组成，是对实际建筑物的粗 略近似。为了减少映射时产生的误差，该方法引入了立体成像技术，利用几何模型在另 一方向上生成一幅参考画面，与该方向上实际拍摄的画面加以比较，通过透视关系就可 以求出特定点偏离几何模型的位移量。与其他方法相较，这种方法只需要用少得多的实 拍画面就可以对复杂建筑物进行建模与绘制。 1 2 4 表面反射研究 由图象重建表面几何和由图象重建表面反射属性是基于图象的绘制技术中两个主要 的研究方向。上面介绍的各种方法均假设景物表面为漫反射表面，且在整个运动过程中 场景的光照情况保持不变。显然，这种假设是理想化的，与实际应用具有很大的差距 因此，基于图象的绘制技术必须在重建三维几何的同时也重建景物表面的光照属性。 早在1 9 9 2 年，h a e b e r l i 就利用简单的迭加原理来重新绘制场景，但该算法要求场景 中光源的类型与数量必须与原图象一致。之后，n i m e r o f f 等人利用天空光的经验模型有 效地由已知图象重薪绘制了在不同自然照明( 如阴天、晴天) 条件下的场景。但这一方法 只能处理受太阳和天空光照射的室外场景，且视点是固定的。后来，b e l h u m e u r 和 k r i e g u m a n 利用奇异值分解技术从原始参考图象中抽取一组基图象，新的图象则通过线 性组合这些基图象得到。因此，问题的关键是如何根据光源及景物表面的反向属性来确 定组合系数。一般来说，这种关系的确定是非常困难的，所以有这种方法生成的新图象 仅是一种近似。目前，该算法只能处理漫射表面。 最近，许多研究者在研究恢复表面的反射属性时，引入了场景的几何信息，从而更 有效地处理这一问题。s e i t z 等人利用体元填色( v o x e lc o l o r i n g ) 技术构造了一个中间可 编辑的体元数据结构，这样用户就可在不同的照明条件下由这些几何数据重新绘制画面。 但是，这一方法仅适合于朗伯漫反射模型。俞益洲等人利用光度学理论，给出了恢复建 筑物表面的双向反射率的具体算法，从而实现了由一幅参考图象生成在不同时间及光照 条件下该场景的新画面。工tw o n g 也考虑了双向反射率的重建问题。d e v e v e c 则通过恢 复景物表面的双向反射率0 3 p d f ) 来将虚拟景物自然地迭加到实拍图象中，使虚拟景物与 实际场景具有相同的光照条件。该算法通过测量场景的辐射和整体照明情况，并利用场 景的动态深度图象模型来照明虚拟景物。d o v e v e c 的方法是一个将虚拟景物绘制到实际 场景( 图象) 中去的一般方法 第5 页 国防辩学技术大学研究生院学位论文 从目前的研究状况来看，对景物表面反射属性重建的研究还刚刚起步，有许多问题 需要解决。尽管有些算法已有较好的模拟结果。但其计算量非常大，难以傲到实时显示。 从上面可以看出，m m r 和g b m r 不是一种取代关系，而是一种互相促进、互相融 合的关系。 b m r 技术特别适合于重构自然场景，用照相机或摄像机能非常方便地获取 自然场景的图像数据，而给自然场景，尤其是室外场景进行三维图形建模却是非常艰巨 的工作。 1 2 s 运动恢复结构 运动恢复结构问题是计算机视觉中经典问题，由u i i m a n 在1 9 7 9 年标定正交投影装 置时候提出的。t o m a s i 和k a n a d e 在1 9 9 2 年提出了分解的方法，s t u r m 和t d g g s 在1 9 9 6 年，m a h a m u d 和h e b e r t 在2 0 0 0 年应用了改进的分解方法来恢复运动和结构。 在运动恢复结构问题中，一般不考虑匹配问题，而相对于静态的图像，视频图像序 列提供了时间关系以及相关的背景，具有小基线的特点，非常适合解决匹配问题。 1 3 关键技术 基于视频的虚拟环境技术，用图像或者视频( 图像序列) 构建出场景的模型，这里 的模型是一种广泛意义上的模型，包括： 三维几何模型，基于特征点或者其他几何特征，计算出三维的几何模型，然后进 行下一步的计算和建模； 光线模型( 全光函数) ，跳过计算三维模型的过程，直接得到最终的渲染图像。 部分几何模型，包括层次深度信息，可以有效的解决光线模型中的遮挡问题。 田1 - 1 相关技术及其关系 涉及的关键技术包括；图像特征点探测、特征点匹配、摄像杌定标、摄像机运动跟 踪、三维重建及视图合成等。下面，就这些关键技术的研究和发展现状进行简要的概述。 第6 页 国防科学技术大学研究生院学位论文 1 3 1 特征点匹配 特征点是指在多次透视投影中保持不变的特征不变量，如图像中角点、孤立点等。 特征点探测的任务是在给定参考图像上，计算图像的特征点；而特征点匹配的任务是建 立起若干个参考图像上特征点集的映射关系。一个好的特征点探测算法能尽可能全面、 稳定、精确的确定每一幅图像中的所有特征点。而特征点的匹配是一个病态问题，通常 情况下很难求解和完全消除匹配歧义性。 特征点匹配就是将多个参考图像上分别由同一关键场景点投影所得特征点对应关系 找出来，建立多个图像上特征点集之间的映射，形成两两、三三或者更复杂的点匹配关 系，这些分属于不同图像的特征点构成了当前参考图像集的匹配点集。 根据匹配线索的不同，现有的匹配方法通常可分为基于特征的匹配和基于窗口的匹 配。前者基于确定特征点的边、角等投影特征进行匹配，以预先抽取的特征点对应几何 特征( 如特征点所在的角点角度、方向等) 为基础，通过这些特征之间的相似性判断特 征点之问的匹配关系，由于特征提取步骤中引入了额外的计算，常常造成了较大的效率 瓶颈。该方法多用于机器视觉的应用中。基于窗口的匹配方法认为在由同一场景点投影 所得的特征点附近区域中，所有象素的灰度分布点具有很好的相关性。基于这个认定， 对该区域内的所有象素点，通过交叉相关性进行匹配。基于窗口的匹配方法具有算法效 率高、技术成熟等优势，是目前大多数匹配算法的基础。 1 3 2 摄像机定标 摄像机定标，假设摄像机的成像方程如下 p = ，( ( 1 1 ) 这个f 可能是一个复杂的方程，是一个关于镜头厚度，折射度，材质，形状，参数 的复杂模型，摄像机定标就是求成像方程的解析表达式。在计算机视觉的研究中，摄像 机校准的问题被广泛研究。摄像机定标就是指计算摄像机的外部参数( 空间位置、方向) 和内部参数( 焦距、光心、纵横比，畸变系数等) 。从理论上说，摄像机校准这个问题很 简单，就是一个解方程的问题。但是在实际应用中，由于噪声的干扰，摄像机镜头的畸 变等原因，要求得精确的摄像机的真实参数很困难。要进行高精度的摄像机校准，要求 使用复杂的摄像机模型( 考虑镜头畸变) ，要求大量高精度的定标点，要求摄像机与定 标点的距离不能过大( 一般要求小于l 米) ，要求定标点的象素坐标要达到子象素级精度 等等o o d 1 1 1 3 2 1 ，上述这些要求在通常的应用环境下很难满足。 摄像机定标算法分为2 大类别：通过定标模版定标和自定标技术。 通过定标模版定标也可以分为2 类： 1 1 利用特征点的空间坐标和图像坐标的对应关系，建立方程，求解摄像机参数。 最典型的就是t s a i 提出的定标算法参数【3 0 】。 利用定标模版的几何特性，如平行关系、垂直关系、无穷远性质，这个时候一 般先不考虑摄像机的成像畸变。如k l a u s 用夜空中星星的角位置来对摄像机定 标。 摄像机的自定标技术就是不测量定标模版，完全通过摄像机的运动标定摄像机，目 第7 页 国防科学技术大学研究生院学位论文 前研究得也很广泛 3 7 1 1 3 ”，主要问题是摄像机参数随着摄像机姿态的变化而变化，结果不 太稳定。也可以分为2 类： 1 ) 主动视觉系统，限定摄像机的运动方式，如仅仅是沿光轴运动，或者摄像机仅 仅是平移运动。 2 ) 任意的摄像机运动( s f m ) ，这个时候需要同时计算摄像机参数和三维空间坐标， 一般认为这个问题属于三维重构的范畴。 如何在普通的试验室环境进行摄像机定标是目前的研究方向之一b e r g e r 在对一座 桥的照明效果进行增强的研究中【3 3 i ，比较了两种计算摄象机位置参数的算法，一是基于 f e r r ie ta 1 的共面摄象机校准算法1 3 4 】，该算法的计算结果非常不稳定，且误差较大，另 一个是d e m e n t h o n 和d a v i s 的非共面摄象机校准算法【3 l 】，计算结果比较准确，但是要求 已知摄象机的焦距。m t u c e r y a n 给出的校准算法【3 卯，本质上要求定标点非共面。s u y a y o u 在他们的增强现实研究中1 3 “，使用的是基于共面物体的摄象机校准的算法，用递推的最 小二乘法计算摄象机的参数，但要求共面物体沿摄象机视线方向的偏移已知。 还有人在研究如何使用遗传算法和神经网络技术解决摄像机定标问题 3 9 1 1 4 0 。 1 3 3 三维重建技术 计算机视觉中的三维重建技术和基于视频的虚拟环境技术有着密切的关系，又有着 极大的区别。三维重建是计算机视觉技术中的重要研究方向。三维重建是指从二维图像 信息中恢复出图像所反映的场景的三维形状和空闻信息。通过3 d 重建可以恢复丢失的 三维信息，得到被测物体或者场景的几何描述。三维重建的方法有很多种，主要有2 类： 接触式测量和非接触式测量，其中非接触式测量又分为光学图样法和光电法，光学图样 法有结构光方法，干涉法，相位法等等，光电法基于图像传感器，主要是双目立体视觉 法。下面简单介绍一下非接触式三维重建方法的基本原理和特点： 1 结构光方法 对于没有特征点的物理表面，可以用特定的光源形成特征点，特别是对于平坦的， 无明显灰度，纹理和形状变化的表面区域。用结构光可以形成明显的光条纹，便于作图 像分析和处理。结构光的基本思想就是利用照明中的几何信息帮助提取景物中的几何信 息，结构光方法计算简单，测量精度高，因而在实际中广泛应用。结构光方法的测量过 程主要包括2 个步骤：先用激光投射器根据测量需要向物体表面投射可控制的光束形成 特征点，并由c c d 摄像机拍摄图像，然后按照物理表面投射图案的几何形态特征解释 投影模式，利用三角法测量原理可以求得特征点与c c d 摄像机镜头主点间的距离，获 得特征点的深度信息，即可求得特征点在世界坐标系中的三维坐标。结构光方法又可分 为光点式、光条式和光面式结构光方法等。 2 双目立体视觉 测量系统用2 个摄像机从不同的角度获取同一场景的2 幅图像，如同人的左眼与右 眼分别由环境中取得两张具有位移差的图像，再把资料传送到大脑重构一样，计算机通 过检测同一物体在2 幅图像上的像点的匹配，计算出物体各点的深度值。双目立体视觉 第8 页 国防科学技术大学研究生院学位论文 的原理非常简单。但是需要检测出左右2 幅图像中的对应点，实际的计算过程很复杂， 而且立体视觉的匹配问题始终是双目视觉测量的难点之一。 各种3 d 重建的方法都有优缺点，且有一定的实用范围，光学图样法一般需要特殊 的激光设备，应用范围比较窄，但是精度高，速度快。而光电法对设备要求比较简单( 摄 像机) ，环境适应性好，图像易于管理，但是一般的摄像机精度不够高。 基于视频的虚拟环境技术也是利用计算机视觉的双目立体成像原理，通过对运动的 摄像机拍摄的不同时刻的图像中的相同3 维物体的对应点的匹配，计算出摄像机的运动 参数，从而利用图像变形算法或者视点插值算法或者g - b m r 来绘制虚拟场景。 1 4 本文的主要工作 具体来讲，本文的研究内容主要集中在以下几个方面： 基于计算机视觉中的双日立体视觉原理，计算拍摄视频的摄像机的运动信息，通过 运动信息和视频图像构建一个实景虚拟环境空间。 具体包括图像特征提取，摄像机校准算法，摄像机运动估计算法。 通过对数据采集和处理过程中的误差因素的分析，减小误差源的影响，优化和改进 图像和视频处理算法，提高重建的虚拟环境质量，提出了改进重建质量的一些方法： l 从双目测量的原理出发，分析了摄像机相对位置对于深度分辨率的影响。 2 由于基于视频的虚拟环境的精度主要依赖于c c d 摄像机的分辨率，由于像素是 最小的单位，为了提高运算精度，引入了子像素技术，并运用于特征点的匹配中。 3 分析研究视频中场的影响，并且引入了子像素技术，提高了运算精度。 4 研究了重建虚拟环境的各阶段中噪声的影响，并提出了改进的一些方法。 1 5 论文的内容安排 本文共分六章。 第一章综述全文，介绍了研究背景和需要解决的问题 第二章介绍了摄像机成像模型，讨论了在图像和视频序列与噪声处理相关的问 题。 第三章讨论了基于平面的摄像机定标问题。 第四章基于k a l m a n 滤波的摄像机跟踪的问题，讨论跟踪中噪声处理的问题。 第五章立体视觉成像时候噪声传播与基于仿射模型的三维重构问题，同时研究了 如何解决由于模型弓l 入的噪声。 第六章简单介绍了一个原型系统，总结全文，讨论了未来的研究方向。 第9 页 国防科学技术大学研究生院学位论文 第二章摄像机模型 2 1 图像 现实世界是三维世界，经过摄像机成像后得到一个丢失了距离信息的二维图像。 由于图像是我们从出生以来的体验中最重要的最丰富的部分，因而我们很容易认为 它是不言自明的下面的定义为了使得讨论时候有一个统一的基础，避免误解。 图像( i m a g e ) 是指用镜头等科技手段得到的视觉形象。一般来讲可定义为“以某一 技术手段被再现于二维画面上的视觉信息”。通俗地说就是指用技术手段把目标( o b j e c t ) 原封不动地一模一样地再现的图像。它包含用计算机等机器产生的景物。这里，我们要 处理的主要是属于照片、复印图、电视、传真、计算机显示的一类图像。 当用数学方法描述图像信息时，通常着重于考虑它的点的性质。例如一幅图像可以 被看成是空间各个坐标点上强度的集合。它的最普遍的数学表达式为； i = ，( 只瓦丑f ) ( 2 ，1 ) 其中似弘力是空间坐标，a 是波长，t 是时间，j 是图像的强度。这样一个表达式 可以代表一幅活动的、彩色的、立体图像。 当我们研究的是静止图像( 晰l li m a g e ) 时，则上式与时间r 无关。当研究的是单色 图像时，显然与波长五无关，对于平面图像来说则于坐标：无关。因此，对于静止的、 平面的、单色的图像来说其数学表达式可以简化为 i = ，伍力 ( 2 2 ) 上式说明，一幅平面图像可以用二维亮度函数来表示。因为光也是能量的一种表现 形式，所以 0 ，( t 力 i o * a z l 平行透视( p a r a p e r s p e c f i v ej r o j e c f i o n ) 在弱透视投影中，三维点先被正投影到过物体质心并与图象平面平行的平面上。这 一过程中丢失了物体的位置信息。如果物体离光轴较远，弱透视带来的误差是很大的。 在平行透视中，投影过程仍可分为两步，第一步仍是把物体平行投影到过质心且与象平 面平行的平面上，不过这次的投影线不是平行于光轴，而是平行于质心g 和焦心c 的连 线c g 。 容易得到的平行透视的公式为 x ：弘一叁z + 蜀 偿1 8 z olz o ”j y 2 扑一瓦y o “叫 其中( k ，y o ，z o ) 为质心的三维坐标。 为将该模型写成透视投影类似的形式，我们令 h 则5 lj ，| - 名 【1 j x j ， z l ，即使考虑了摄像机的内外参数，二维点与三维点之间的对应关系 也仍然是线性的。 最后我们也来看看平行透视引入的误差令晤，r ，z ) 7 = (