（计算机应用技术专业论文）基于图像绘制的案件现场三维技术研究与实现.pdf

基于图像绘制的案件现场三维技术研究与实现 摘要 公安信息化是我国国民经济和社会信息化的重要应用领域，全国公安信息 化工程“金盾工程”是我国电子政务建设的1 2 个重要业务系统建设项目之 一。公安的行为由行政行为和侦查行为构成，其中侦查行中的案件现场记录、 物证获取和保存、确定或排除嫌疑犯等均是公安的重要职责。 为了更好的履行这些职责的需要，在对案件进行分析时，公安部门对应用 现代的信息技术的需求越来越迫切。比如：案件现场勘察和记录是办案过程中 一个很重要的过程，但是以往的办法是摄像或者绘图，这样只能存储下平面信 息。为了能够保存下现场信息并在必要时重建，现代化的公安办公十分需要能 够提供实现漫游功能的3 6 0 度无死角的重建现场效果的软件；同时对于客观证 据物证的取样和复原方面通过基于图像的图形复原手段也对物证的客观记 录和演示有着重要意义，该方法还使物证不易受到人为的损坏；此外，对于嫌 疑犯的模拟也能更加形象化的帮助办案人员判断假设是否合理。 我国目前的现状是在公安的侦查行为中信息化技术使用较少，而其中主要 的原因和这类软件的匮乏有密切的联系。 基于以上原因本文力图为公安系统的案件现场重建、物证的图形重构和虚 拟人建模等方面做出技术分析和实现。其中使用的技术对于场景重构和物证主 要是基于图像的绘制技术( i b r ) ，嫌疑犯的模拟则采样了虚拟人的建模技术。 基于图像的绘制技术i b r 是近1 0 多年来迅速发展起来的新兴的图形图像研 究方向，它同时具有理论深刻和应用十分广泛的双重意义，是图形和图像融合 的划时代的发展结果。全景图像是i b r 中的一种利用图像生成3 6 0 0 无死角漫游 的场景的方法，现在已经成为了场景建模的重要手段。i b r 中的基于图像的图形 的建模目前也被广泛的研究和应用。 虚拟人的建模技术包括静态建模和人体行为建模，其中的静态建模技术已 经较为成熟，而行为建模的研究这几年如火如荼。由于行为建模可以广泛的应 用于体育、人体工学等领域，从事这方面研究的专家学者分布在众多领域。 本文在对i b r 和建模的技术做了介绍后，针对公安的实际需求，在场景建 模方面提出并实现了一种新的全景图像拼接算法；在基于图像的图形建模方面 基于图像绘制的案件现场三维技术研究与实现 给出一种几何模型的自适应图像建模方法；最后，在虚拟人的行为建模方面给 出了数学模型，并通过实验验证了其正确性。 关键字： 虚拟现实；基于图像绘制i b r ；全景拼图；图形建模 i i 苎王里堡丝型塑塞堡翌塑= ：生垫查婴窒兰窒翌 a b s t r a c t i n f o r m a t i o n i z a t i o no ft h ep u b l i cs e c u r i t yd e p a r t m e n ti sa l li m p o r t a n ta p p l i c a t i o n o fo u rn a t i o n a le c o n o m i cd e v e l o p m e n ta n ds o c i a li n f o r m a t i o np r o g r e s s n a t i o n a l i n f o r m a t i o n - b a s e dp r o j e c t so f p u b l i cs e c u r i t yd e p a r t m e n t ，c a l l e dg o l ds h i e l dp r o j e c t ， i so n eo fs y s t e m a t i cc o n s t r u c t i o np r o j e c t so f1 2p i e c e so fi m p o r t a n tb u s i n e s so f c o n s t r u c t i o no fe - g o v e r n m e n ti no b r c o u n t r y p o l i c e b e h a v i o ri sf o r m e d b y a d m i n i s t r a t i v eb e h a v i o ra n di n v e s t i g a t i n gb e h a v i o rw h i c hc o n c l u d ei n v e s t i g a t ec a s e o fc o n d u c tw r i t t e nd o w no ns p o t ，m a t e r i a le v i d e n c eo b t a i n e da n dk e p t ，t h es u s p e c t c o n f i r m e da n ds oo n f o rt h en e e d so ft h e s ed u t i e so fb e t t e rp e r f o r m a n c e , e s p e c i a l l yw h e nt h ec a s e a n a l y z e ，t h ed e m a n df o rt h em o d e r ni n f o r m a t i o nt e c h n o l o g yt ou s i n go fp u b l i c s e c u r i t yd e p a r t m e n ti sm o r e a n dm o r e u r g e n t f o re x a m p l e , av e r yi m p o r t a n ts t e pi n c o l l r s eo fh a n dae a s ei st h a tr e c o n n o i t e r e da n dr e c o r d e dt h ei n f o r m a t i o no ft h es p o t s c e n e b u tt h ep a s tm e t h o dm a k e sap i c t u r er e c o r d i n g0 1 d r a w i n gc a no n l ys t o r e t w o d i m e n s i o ni n f o r m a t i o n i no r d e rt ok e e pa n dm a k e o n - t h e - s p o ti n f o r m a t i o na n d r e b u i l di nc a s eo f n e c e s s i t y ，m o d e r n i z e dp o l i c e m e n n e e dt h es o f t w a r et h a tw i t h o u tt h e d e a da n g l ef r o ma l la n g l e so fo n - t h e - s p o tr e s u l to fr e c o n s t r u c t i o na n dt h es o f t w a r e s h o u l dh a v er o a m i n gf u n c t i o n a tt h es a l n et i m et ot h em a t e r i a le v i d e n c es a m p l ea n d r e s t o r eb a s e do ni m a g er e n d e r i n gh a sa l li m p o r t a n tm e a n i n go fm a t e r i a le v i d e n c e t m sm e t h o ds t i l lm a k e st h em a t e r i a le v i d e n c ed i f f i c u l ta n dr e c e i v e st h ed a m a g ef r o m p e o p l e i n a d d i t i o n ，v i s u a l i z a t i o n s u s p e c t c a l l h e l pp o l i c e m e nj u d g i n gt l l e y s u p p o s i t i o n sr e a s o n a b l e o rn o t o u r c o u n t r y sc u r r e n ts i t u a t i o ni st h a ti n f o r m a t i o n b a s e dt e c h n o l o g yi su s e dl e s s i np o l i c e m e n si n v e s t i g a t i o nb e h a v i o r o n eo ft h em a i nr e a s o n so ft h ep h e n o m e n ai s t 1 1 el a c ko fs o f t w a r ei nt h i sf i e l d t h ef i r s tt a s ko ft h et h e s i si sr e b u i l d i n gt h es c e n eo fe a s e s e c o n d l y m o d e l i n g t h em a t e r i a le v i d e n c ei sa n o t h e rm i s s i o nf o rt h ea r t i c l e l a s tb u tn o tl e a s t , t h eo t h e r a i mo ft h ed i s s e r t a t i o n c o n s t r u c t i n g a na r t i f i c i a l p e o p l em o d e l i n gf o rp o l i c e m e n i i i 茎三望堡箜型塑塞堡些堑三丝垫查塑茎兰塞翌 a n a l y s i s t h et e c h n o l o g y u s e dc o n s t r u c t e dt ot h es c e n ea g a i na n dt h em a t e r i a l e v i d e n c ei sm a i n l yt h et e c h n o l o g yo fi m a g e - b a s e dr e n d e r i n g ( i b r ) h u m a nm o d e l i n g t e c h n o l o g yt h a tt h es u s p e c t ss i m u l a t i o n h a ss a m p l e d i b ri san e w d e v e l o p i n gg r a p h i c sd e v e l o p e dr a p i d l yi nt h ep a s tt e ny e a r s i ti sa l a n d m a r ko ft h er e s u l tt h a tg r a p h i c sa n dp i c t u r em e r g e p a n o r a m i cp i c t u r e ，o n e m e t h o do f l b rw h i c hu t i l i z ep i c t u r e st u r n i n gt h e s ei n t of r o ma l la n g l e ss c e n ea n dc a n a r o u n dr o a m i n g ，h a v ea l r e a d yb e c o m et h em o d e l i n gi m p o r t a n tm e a n so ft h es c e n e n o w i b ri sa b s t r a c t e da t t e n t i o na tp r e s e n t h u m a nm o d e l i n gt e c h n o l o g yi n c l u d e ss t a t i cm o d e l i n ga n dh u m a nb e h a v i o r m o d e l i n g s t a t i cm o d e l i n gt e c h n o l o g yh a sb e c o m ec o m p a r a t i v e l yr i p e r e s e a r c ho f b e h a v i o ro fm o d e l i n gl i k e sar a g i n gf i r e d u r i n g t h e s ey e a r s b e c a u s eb e h a v i o r m o d e l i n gc a nb ea p p l i e dt os u c hf i e l d sa ss p o r t s ，h u m a ne n g i n e e r i n g ，t r a i n i n g ，e t c ， t h ee x p e r t sa n ds c h o l a r se n g a g e di nt h i sr e s p e c ta r ed i s t r i b u t e di nn u l t l f f f o u 8f i e l d s t h eo b j e c t i v ef o rt h i st h e s i si sm e e t i n gt h ep o l i c e m e n sa c t u a ld e m a n d a f t e r d e s c r i b e dt ot h et e c h n o l o g yo fi b ra n dm o d e l i n g ，t h et h e s i sp r o p o s e sa n dr e a l i z e sa k i n do fn e wp a n o r a m i ca l g o r i t h mi ns c e n em o d e l i n g m e a n w h i l e ，t h ed i s s e r t a t i o n p r o v i d e sr na d a p t i v ep i c t u r em o d e l i n g m e t h o do fak i n do f g e o m e t r ym o d e lb a s e do n i m a g e f i n a l l y ，t h ea r t i c l ep r o v i d e sm a t h e m a t i c sm o d e lf o rb e h a v i o ro fm o d e l i n g p e o p l e a n d p r o v e i te x a c t n e s st h r o u g ht h ee x p e r i m e n t k e y w o r d s ：v i r t u a l r e a l i t y ，i m a g e - b a s e dr e n d i n g ，p a n o r a m a , g r a p h i c s m o d e l i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电 子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 签名：盟盗蕴 日期：加盯年娟。日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的 翔定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权屯子科技大学可以将学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：盛选釜 基于图像绘制的案件现场三维技术研究与实现 1 1 问题的提出 第一章绪论 1 1 1 现场的重建及其漫游真实地记录现场情况 目前国内外的对案件现场的记录的方法通常为图像技术，普通摄影技术， 非全景数字摄影技术等。这些方法都只能够描述现场的二维图像，不能反映现 场的三维真实效果，更不能响应交互式控制。对于重现虚构人物和真实场景结 合的图像模拟犯罪过程更是无能为力。当前我国在勘查检验现场时使用笔记和 绘图方法在客观性方面由于容易受到工作人员的业务素质、专业水平和责任心 的影响，普通摄像又缺乏立体感和交互性，而且摄影效果受光线等外部因素的 影响。这些因素都不利于未去过现场的专家事后判案。 近几年国际国内学术研究广泛的基于图像绘制( i m a g e b a s e d r e n d e r i n g ，i b r ) 是场景重建的最佳选择方案，其真实感强，绘制时间短，效果 清晰，绘制时间和所需内存大小和场景的复杂度无关仅仅和图像大小相关，这 些优点非常适合作为案件现场的重建，其中全景图像更是因其可以无死角的漫 游而成为场景重建的首选。但是常规的全景图像重建算法对于复杂的背景和背 景区分度不大的时候经常出现拼接错误。 为此本文需要提出和实现了一种新的基于图像绘制( i m a g eb a s e d r e n d e r i n g 。i b r ) 的算法。此外，在使用该算法拼接图像后，应当可以对案件现 场进行上下、左右3 6 0 度旋转无死角的全景图像漫游。 1 1 。2 基于图像的物品证据的图形模型重建 在办案过程中，只有立足案件现场，科学合法地获取证据、验查证据、质疑 证据的疑点、使用证据的信息，才能有效地揭露、证实犯罪。从某种意义上说，刑 事诉讼的过程就是不断地应用证据的过程，其中物品证据又是最为客观的证据。 怎样取证和利用好这些证据，怎样通过现代技术手段表述和使用这些证据是公 安系统办公现代化的一个重要标志。利用现代计算机图形和图像授术处理物证 不但可以真实保存物证的信息，还可以对三维重建的物品旋转、调节对比度、 基于图像绘制的案件现场三维技术研究与实现 亮度等手段比单纯的照片更为细致的观察物品。同时，也不会产生因为直接查 看物证而可能造成的人为破坏。 显然由于对物证的表述要较场景更为细致才行，而物证本身的外观图像可 以较为容易的获得，困难的是怎样将一件物品的多幅这些图像的立体信息提出 建成几何模型，产生立体图形方便工作人员在观察物品。 据此需求，本文将分析前人的几种模型的图像建模以及绘制算法在本实际 应用中可能出现的问题，并根据具体的需要给出一种几何模型的自适应图像建 模方法。 1 1 3 虚拟三维 体模型的建立提供了直接的视觉感观 在现实的需求中，为了更好的让公安机关可以形象化的看到模拟的犯罪 嫌疑人的行为，做出合理的判断，还必须引入虚拟人并操纵其动作，使办案人 员可以根据虚拟人的行为是否合乎逻辑和运动行为规律来判断假设的行为是否 正确可信。因此，本文还需要利用三维计算机动画进行虚拟人人体与行为建模 的研究。 1 2 研究的意义 本文实现的刑事现场记录方法，己不再是用传统刑事现场照片组成的二维 平面图像，而是一个最大视角达3 6 0 度、具有多个视点、动态的三维场景；而 使用的实物虚拟现实技术可以让拍照者环绕一个物体拍照，水平和垂直方向各 转3 6 0 度，从而得到该物体的三维现实图像的重建。由于这种全景图像再现技 术是使用公安专业人员按照刑事现场照相基本原则拍摄的刑事现场照片，因而 最终得到的重构刑事现场场景具有非常高的真实性和客观性。同时，全景图像 的实现将可以响应操作人员的控制对图像对比度和亮度调整、在视觉方位上下 左右移动以及对物体放大缩小，满足公安人员随时、反复、随心所欲地查看现 场地要求。与此同时，本文还提供和实现了物证建模，对案件的物证可以通过 多幅照片实现立体建模，方便公安人员仔细观察物证，且不会对物证物品造成 人为的破坏。在此基础上，本文力图将加入虚拟现实v r ( v i r t u a lr e a l i t y ) 的沉浸 技术( i m m e r s i o n ) 将构造的人物置于真实场景中重新再现模拟的犯罪过程，为公 基于图像绘制的案件现场三维技术研究与实现 安人员做出正确的判断提供可视化材料。 本文的研究内容不仅可以用于公安系统，还可满足交警、消防、保险等需 要记录现场的应用。此外，本文实现的全景技术可以直接用于房地产演示、广 告、旅游展示、数字电影等多种场合，产生较大的文化效益、社会效益和经济 效益。 1 3 主要研究内容 本文的研究是基于公安系统的实际需要而制定的，主要为三个方面的内 容： ( 1 ) 案件现场的重建及其漫游 本文提出和实现了一种基于图像绘制( i m a g e b a s e d r e n d e r i n g ，i b r ) 的算法， 该算法拼接图像后，可以对案件现场进行上下、左右3 6 0 度旋转无死角的全景 图像漫游。 ( 2 ) 物品证据的重建 在案件现场重建系统中还要求能够对证据物品进行重建并能够尽量真实的 显示物品。这就对图像的重建提出了更高的要求，为了能够更好的满足这个需 求，本文采用了几何和图像混和式的图形实时绘制方案，这样对加入和控制证 据物品非常有利。物品本身可以也采用图形绘制并可较为方便的混和到建立好 的场景中。 ( 3 ) 虚拟嫌疑犯的建立及其运动 在现实的公安需求中，为了更好的让公安人员可以形象化的看到模拟的犯 罪嫌疑人的行为，做出合理的判断，还必须引入虚拟人并操纵其动作，使办案 人员可以根据虚拟人的行为是否合乎逻辑和运动行为规律来判断假设的行为是 否正确可信。因此，本文还需要利用三维计算机动画进行虚拟人人体与行为建 模的研究。 1 4 本文的组织 论文共分6 章，各章的内容和结构如下： 第一章为绪论，介绍了选题依据、课题背景和研究这个课题的重要意义以 基于图像绘制的案件现场三维技术研究与实现 及本文将研究的主要内容，本章中还简要介绍了本文涉及的几种图形图像技术。 第二章主要介绍了本文将实现的系统概述，并较为详细的全景图像绘制的 基本理论，经典的基于图像绘制的全景算法； 第三章介绍了本文提出的新的基于图像的全景场景拼接绘制算法及其理 论基础和实现，并在拼接后实现了平滑处理，以消除拼接处的明显的痕迹，最 后，对拼接好的图像实现了漫游操作； 第四章，介绍了本文提出的基于图像的三维特征提和取模型建立算法及其 实现和运用，比较了前人的几种算法，指出其在本应用中存在的问题，并提出 和实现了一种几何模型的自适应图像建模方法，最后通过茶壶和斯坦福兔的建 模验证了该算法的有效性和正确性； 第五章提出了虚拟人物的漫游的设计算法的实现方案； 第六章做了一个简单的总结，分析了本文中的算法实现中的一些不足，给 出了相应改进的意见，并提出了下一步的工作和今后努力的方向。 4 基于图像绘制的案件现场三维技术研究与实现 2 1i b r 简介 第二章相关技术简介及国内外研究现状 在计算机图形学和计算机视觉领域，对3 一d 场景的生成和漫游已进行了多 年的研究，i b r ( i m a g e b a s e d r e n d e r i n g ) 技术的产生正是源于场景的生成之中。 计算机图形学主要考虑的是从特定的几何模型出发合成视点所需的图像。为了 生成真实感的图像，人们花费了大量的精力来开发计算机图形系统软件，以便 对复杂场景的几何和材质进行建模以及模拟场景中的光线传输。尽管如此，要 仿真现实世界中的复杂物体和光学效果仍是困难重重，甚至是不可能完成的使 命。 计算机视觉考虑的是反向的问题，即如何从图像中合成几何模型。对于拍 摄于不同位置的多幅视图，如果能得到足够数量的象素点间的对应关系，从理 论上就可以推知这些点在3 d 空间中的位置以及相机的相对位置。因此，实际 上计算机图形学和计算机视觉是相辅相成的，其中一个的输出恰好是另一个的 输入。计算机图形学期待着计算机视觉合成出复杂的几何模型，计算机视觉则 需要计算机图形学来检验效果和测试算法，三维几何因此成为将计算机图形学 和计算机视觉联系在一起的基本桥梁。 i b r 技术的提出在计算机图形学和计算机视觉之间搭起了另一座桥梁。i b r 与计算机视觉有相同的输入，它的输出是计算机图形学中梦寐以求的，采用传 统的几何绘制技术无法达到的逼真感图像。因此i b r 技术毫无疑问离不开计算 机图形学和计算机视觉，当然i b r 技术的根本是图像，自然也离不开图像处理 技术，这三门学科构成了i b r 技术赖以生存的基础。此外，虚拟现实、计算机 网络、电视技术将为i b r 技术提供一个广阔的应用天地，而数字信号处理、模 糊理论、优化理论、决策理论等学科也将为i b r 技术的发展添砖加瓦。 最早使用i b r 技术的是b l i n n 1 1 的环境位图( e n v i r o n m e n tm a p s ) 和l i p p i n a n l 2 1 的电影映像系统( m o v i e - - m a ps y s t e m ) 。环境位图记录某一视点的所有入射光 线，它最初的用途是为了更有效地近似物体表面的环境反射，它也完全可以用 来快速生成该视点的任意方向的视图，环境位图为后来的一些i b r 技术提供了 基于图像绘制的案件现场三维技术研究与实现 基础。电影映像系统把几千幅图像存储在可交互的视频光盘上，这些图像可根 据视点的交换随机地显示，们不能合成新的图像。 纹理映射( t e x t u r em a p p i n g ) 也是一种早期的i b r 技术，其实质是将图像重 映射到3 d 场景的表面上。但传统的纹理映射存在两个重大的缺陷：一是纹理图 的分辨率与最后的输出图像可能相差甚远，经典的无穷远方格地板的走样现象 就是这种不匹配产生的后果：二是纹理映射速度受制于映射的表面，这样当视 点变换时，要产生包含数量众多的体现合适视差节点的纹理映射树将是非常困 难的。 i b r 作为一种场景表示和绘制的新技术，由于它在真实感和绘制速度上的明 显优势，己引起一大批研究人员的极大兴趣，人们提出了多种实现方法和手段。 分析这些方法，可以按利用图像源数据的情况将它们分为两大类：基于2 d 图 像的方法和基于3 d 图像的方法。 基于2 d 图像的方法仅利用获取的图像样本的色彩信息来产生新的视图。 基于3 d 图像的方法除了利用图像样本的色彩信息外，还利用通过立体视 觉等技术获取的图像深度信息或进一步的模型。因此基于3 d 像的方法也可称 为基于深度图像的方法。 由于本文的实际应用背景当中场景的图像不便于获得图像的深度信息，而 且也实际应用的需要只是要求真实反映现场的状况，也无必要对大场景做出深 度信息的描述，故采用的是2 d 图像方法。而对于证据模型的建立则采用了3 一d 图像方法，以便获得物体真实的立体感。故在此对两种方法均做出介绍。 2 2 基于2 - d 图像的方法 i b r 技术早期的一些尝试大多是基于2 d 图像的方式。基于2 - d 图像的方 法可进一步分为：图像变形技术、基于全景图的方法、基于全光函数的方法以 及基于外极几何的方法四大类。由于基于2 d 图像的方法不是本文的主要内容， 故下面分别简单地介绍这些方法，但不过详细说明。 2 2 1 图像变形技术( i m a g em o r p h i n g ) 基于图像绘制的案件现场三维技术研究与实现 图像变形技术是指如何有效地从两幅给定图像通过形状和色彩的2 d 插值产 生中间图像，达到从一个物体变形到另一个物体的技术。这是目前比较流行的 产生神奇视觉效果的方法，被广泛应用于广告、影视业。如图2 1 所示【3 】图像变 形技术的先锋是美国纽约大学c i t y 学院的g e o r g ew a l b e r g 教授嗍，他也因这一 成就而获得了1 9 9 9 2 0 0 0 年度的m a y o r 奖。 图2 ，1 图像变形技术图例 一般来说，图像变形技术需要解决以下三个问题： ( 1 ) 如何建立给定两幅图像间的对应关系，这是变形技术的最困难部分， 通常由人工完成； ( 2 ) 如何根据特征点、线段等定义或构造从第一幅图像变形到第二幅图像 的映射函数： ( 3 ) 如何融合两幅图像的象素值产生中间图像。 图像变形技术主要可分为基于特征和基于网格的方法两大类。 基于特征的方法首先定义一些特征点集或线段集，然后通过对这些特征点 或线段进行插值获得中间图像。比较典型的是b e i e r 和n e e l y t 8 的基于特征的变 形，两幅图像的形状及色彩可以完全不同，利用人工方法指定图像对之间有向 线段的对应关系。变形过程为折叠( w a r p ) 两幅图像，起始图像的形状慢慢向 终结图像的形状变换，最后完成从一幅图像到另一幅图像的变化。图像变换采 用的是逆向映射( i n v e r s e m a p p i n g ) ，即扫描输出图像的每一个象素，找出它在 两幅输入图像中的对应象素，并把这些象素的值加权后赋值给输出象素。 7 基于图像绘制的案件现场三维技术研究与实现 m i c h a e lj a c k s o n 的音乐电视“b l a c ka n dw h i t e ”就是利用这种技术来获得图 像变形序列的。这种变形技术的优势在于操作者可灵活地定义特征对应关系， 变形按照操作者的意图进行，但计算量以及在指定特征之外的区域无法控制。 n i s h i t a 等人嘲的基于2 d 样条网格映射的方法是基于网格变形技术的一个 代表，在这种技术中，操作者定义起始图像和终结图像的对应网格点，格点间 的位移可通过某种插值方式计算出来，线性插值是最容易也是最流行的形式。 为了提高效率，图像变形可采用双通道( t w o p a s s ) 算法，即首先在x 方向 变换，然后在y 方向变换。同基于特征的变形技术相比，基于2 d 网格技术速 度快，且能局部控制，但对于要碍到按照操作者的意图所需的变换来说是更难 了。 s e i t z 等人们的视图变形技术( v i e wm o r p h i n g ) 是传统图像变形技术的扩 展，它是一种能够保证产生“物理上有效”( p l a y s i c a l l y - - v a l i d ) 的中间视图的 图像变形方法，即产生的中间图像应该保持起始与终结图像的形状。在这种情 形下，起始图像和终结图像不再是传统变形技术中形状和色彩不同的两幅图像， 而是对应不同视点的同一景物的投影图像，如图2 2 所示。对于两幅平行视图， 通过简单的线性插值就可以得到中间视图。对于非平行视图，需要以下三个步 骤： ( 1 ) 利用前向折叠( p r e w a r p ) 把两个视平面变换到平行位置； ( 2 ) 通过一般的图像变形方法，如简单的线性插值获得中间图像： ( 3 ) 通过后向折叠( p o s t w a r p ) 变换到所需的视平面显示输出。 基于图像绘制的案件现场三维技术研究与实现 图2 , 2 从不同视点的两幅视图产生中间视图的视图变形 2 2 2 基于全光函数的方法( p l e n o p t i c f u n c t i o n ) 全光函数的概念最早是由a d e l s o n 等人口”提出来的，用来描述空间任意位置 在任意时刻、任意波长范围内所看到的全部光线集合，因此全光函数定义在一 个7 d 的参数空间上。 1 7 = p ( k ，圪，目，谚a ，0( 2 1 ) 上式中( k k 。吒) 代表空间位置，( 目，西) 表示视域方向和范围的仰角和 方位角， 表示光波彼长，t 表示时间。 i b r 技术也就归结为对全光函数采样和重建的过程，这种方法通过大大增 加图像样本数量来避免计算图像间的光学流。 m c m i l l a n 等人n 6 1 假定场景的光波不变，场景也不随时间变化，将上述 全光函数描述为空问位置( 巧k k ) 和视域方向范围( 0 ，中) 决定的参数函数 尸r 巧巧圪口叫，从而被简化为5 d 函数。 光场绘制( 1 i g h tf i e l dr e n d e r i n g ) m 1 和l u m i g r a p 【3 0 进一步将全光函数简 化为描述离开或进入一个包围盒的光流分布，5 d 函数简化为4 d 函数： 1 4 = p ( u ，v ，s ，t )( 2 2 ) 式中( u ，v ) 和( s ，t ) 是两个参数化的平面，这种表示方式也称为光板( 1 i g h ts l a b ) ， 如图2 3 所示。若场景的包围盒是一个六面体，则需要六组这样的参数化平面表 示场景的所有光线。抽象地说，在4 d 光场中，一幅图像就相当于一个2 d 切片， 从一系列图像生成光场的过程可以认为是将2 d 切片插入到4 d 光场表示中；同 样，产生新视图就可认为是从4 d 光场中抽取和重采样切片。 这种方法需要特制的装置来采集图像样本，采样的密度也特别大，这种方 法的视场相对来说较小，只适合小的场景，对于大的场景，所需图像数量大得 惊人，无论采集还是存储都是相当困难的事情。因此目前来说，这种方法到底 适不适于真实场景的建模还未得到定论。 9 基于图像绘制的案件现场三维技术研究与实现 h j 。f ) 搜 图23 光场表不示葸图 沈向洋博士等人的同心拼图方法m 1 是将照相机固定在一个圆轨迹上运动，照 相机的光心朝外，从而得到3 - d 形式的全光函数。在这种同心拼图方法中，照 相机在圆周上运动，得到一系列图像样本，依次抽取各个图像中的“竖条光线”， 可以得到拼合后的同心拼图，所有光线用3 个参数加以索引：半径、旋转角度、 仰角。新视图通过一种有效方式组合获取的光线产生，在垂直方向上会产生畸 变，沈采用深度校正来弥补。 2 2 3 基于外极几何的方法( e p i p o l a rg e o m e t r y ) 这一类方法利用图像间的外极几何关系来获取中间图像。在描述这类方法 之前，我们先来介绍一下基本矩阵。设图像1 中的点p i = “v ，1 ) t ，小与图像2 中 的点p i = ( t l ，v t ，1 ) 1 ，小对应空间同一3 - d 点，则这对图像间存在如下关系： 0 u d 叫f 式中f 为基本矩阵，它描述两幅图像问的外极几何关系，约束了图像间的 对应点位置。从式( 2 3 ) 可知，利用图像点间的匹配点对可以解出f ，8 点算法1 3 2 】 3 3 】 基于图像绘制的案件现场三维技术研究与实现 可用来计算基本矩阵f 。如果不知道相机的内在参数，如焦距、纵横比( a s p e c t r a t i o ) 、图像中心等，相机称为弱定标( w e a k l yc a l i b r a t e d ) 加知道这些参数，f 称为本质矩阵( e s s e n t i a lm a t r i x ) ，可分解为相机运动的旋转和位移分量，这种 情形称为强定标( s t r o n g l y c a l i b r a t e d ) 。 l a v e a u 和f a u g e a s 3 4 1 t ”1 1 3 6 1 是采用外极约束关系来合成图像的先驱，他们利用 一系列叫做参考视图的图像和基本矩阵的原理来产生虚拟视图。对于新视点图 像的每一个象素，利用逆映射或光线跟踪方法基于外极几何约束找出它们在两 幅参考视图中的对应点，这种利用外极约束合成图像的方法，允许参考图像间 的插值或外推( e x t r a p o l a t i o n ) ，因此扩大了虚拟视点的范围。 基本矩阵定义两幅视图间的外极约束关系，而三幅视图则满足三线性匹配 约束”7 】【” 口9 l 【蚰】，这种约束关系可以用一个3 3 3 的三线性张量( t r i l i n e a r t e n s o r ) 口，“( f ，- ，k01 ，2 ，3 ) 来描述，三幅图像中的对应点p ，p0 ，p ”的关系可用三线性张量 如下描述； p2 j ：r k 口o 00 ( 2 4 ) 式中，= 1 , 2 ，s 1 ，s ；表示在捌相交的两条直线，_ 蜉表示在舢相交的两 直线，因此式( 2 4 ) 实际上代表j ：，s ；和一，? 的不同组合的4 个三线性方程，几 何描述如图2 4 所示。 图2 4 三线性张量示意图 如果得到三幅图像的三线性张量，那么任意给定其中两幅图像中的匹配点 基于图像绘制的案件现场三维技术研究与实现 对，第三幅图像中的对应点可直接计算得到，基于该原理就可由两幅或三幅参 考图像获得所需的其它视图。 2 2 4 基于全景图的方法( m o s a i c k i n g ) 获得真实场景全景图的技术有很多，如利用全景相机直接获取圆柱面全景 图嗍利用鱼眼镜头获得球面形全景图 9 】棱镜和抛物柱面镜也可用来直接获取全景 图f 1 0 1 。节省硬件开支的方法就是图像拼接方法。 所谓图像拼接是指由至少两幅图像组合成更高分辨率或更大的图像，这是 一个在摄影测量学、计算机视觉。图像处理及计算机图形学等领域都比较活跃 的研究方向，有着广泛的用途。早期的应用主要针对航测或卫星图像的处理， 近来的应用包括视频压缩f “ 、视频查询【1 2 j 、增大相机的视场【1 3 】或分辨率【1 4 】以及简 单的图像编辑1 1 5 ，还有一个比较重要的应用就是全景图的场景重建技术，通过采 集覆盖整个场景的许多图片或视频图像，经过校正后组合成全景图，进而构造 虚拟场景实现虚拟漫游【1 6 j ”l ”。 目前，大多数基于全景图方法构造虚拟场景的技术均采用圆柱面全景图方 式【16 】【” 1 8 【” 2 0 【2 1 ，即如果相机参数己知且保持不变，投影环视3 6 0 。的各个样本到 一个圆柱面上，相机的旋转运动就可以转化为图像样本在柱面坐标上的平移。 因此，在产生圆柱面全景图之前，相机的焦距必须事先得到，这可以通过相机 定标获得。其它基于全景图的方法还有直线式全景图1 1 2 3 1 ，球面全景图( 2 4 】以及超 高分辨率全景图像。对于视场相对较小的场合( t ( 4 5 ) 则保留c n 即，若两个模型的绘制结果误差较大时，则在c 。、c ：、c ，之间增 加观察点及其参考帧，其中，t 为判决门限，通常，t 取图像中有效象素点总和 的3 ( 一个较为实用的图像质量评价标准) 。 显然，这是一个迭代运算，因为当c 。保留后，c 。和其周围的观察点可以继 续构成三角形。 4 。5 冗余检测与层次模型 4 5 1 冗余检测 式( 4 4 ) 的模型经过修正后解决了漏填充与误填充问题，可以实现正确的 绘制。但是，由于相邻参考帧由各观察点对模型独立进行几何观察得到，各参 考帧有可能存在大量的数据冗余( 如，不同参考帧中的多个象素经过w a r p 变换 后将对应于同一象素) 。数据冗余将导致额外的时间代价，因此需要对模型的 冗余度进行检测。 设p o l y g o n ( c o 是c ；参考帧中的一个多边形，该参考帧周围有k 个相邻帧， 以i m a g e _ a j ( c ) ( 1 0k ) 表示，将p o l y g o n ( c ；) 向其相邻帧映射，得到k 个 多边形，分别以p o l y g o r ( 1 口，口k ) 表示，若满足以下逻辑关系： k 0 p o l y g o n j ( c i ) 口i m a g e a j ( c i ) = t r u e i - 1 则删除多边形p o l y g o n ( c j ) ，即，将多边形向其相邻参考帧变换、若变换得 到的多边形与相邻参考帧包含的多边形重叠，则删除该多边形。此处，删除多 边形是指图像中的象素点及其几何拓扑关系。 基于图像绘制的案件现场三维技术研究与实现 4 5 2 层次模型 至此，己经得到了最终的模型，由于层次模型可以有效降低绘制的时间复 杂度，因此，对模型进行层次表示是必要的。采用本文的建模方法，得到层次 表示的模型是较为容易的，可通过以下两种方法：第一，扩大包围几何模型的 球面半径；第二，对获得的各关键帧进行图像重采，即稀疏化处理图像网格。 前者是本文建模方法的简单重复，由于涉及到原始几何模型的绘制，故而建模 速度较慢( 但建模过程在预处理阶段完成，因此仅增加了预处理时间) ，但可 以保证最高的绘制逼真度：第二种方法是在本文模型的基础上进行处理，因而 具有较快的建模速度，但逼真度有一定的损失。 本文方法的层次模型由图像中包含的有效象素点数量反映。 4 6 实验框图与结果及其分析 本文具体实现时分了关键帧，多边形，模型和错误类等几个自定义类，相 关的类图如图4 8 所示： a u c k d 嘲w e r r o r 脾胃填充错误 l u c k i n f o ；漏填错误详细信息 + c l u c k d m w f a r o r 0 ；构造函数 + s h o w e r r l n f o o ；显示错误详细信息 + p r i n t e r d n f o o ；打印出错误详细信息 - c m s ge r r i n f o m s 9 0 ；发送错误详细信息 c m o d e e r r - e r r n o ；错误编号 + c m o d e e r r o ；构造函数 + v o i ds h o w e n 0 ；, 显示详细错误信息 + v o i dp r i n t e r r o ；