（控制科学与工程专业论文）犯罪案件现场虚拟重建技术研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 犯罪现场勘查，是指侦查人员依据法律规定，对与犯罪有关的时间、地点和 入、事、物进行的现场调查、勘验检查、现场记录等侦查活动，对于查明案件性 质、收集犯罪证据、分析案犯特点、确定侦查方向具有十分重要的作用，是侦查 活动的起点，也是公安刑侦工作的一个重要组成部分。传统的现场勘查工作做法 是通过现场笔录、现场图、现场照片、现场录像、各类鉴定结论以及现场勘验人 员的口头描述等方法来综合反映现场信息。这些方法存在信息反映的主观性、局 限性，能够获取到的信息量多寡也因人而异。 当前，计算机科学与工程技术飞速发展，已经广泛应用于各行各业。如何将 其与现场勘查技术有机结合起来，提高现场勘查工作的信息化、科学化水平，成 为侦查工作中充分发挥现场及物证作用的当务之急。本文紧紧围绕公安部门现场 勘查工作的特点和需求，结合虚拟现实、图像处理等技术，提出了一种基于i b r ( i m a g eb a s e dr e n d e r i n g ，基于图像渲染) 技术的犯罪案件现场虚拟重建方法，并 重点对现场全景图像生成过程中的若干关键技术进行了研究。 论文首先对现场全景图像生成过程建立了总体模型，将整个问题分为现场鱼 眼图像采集、鱼眼图像校正恢复、现场图像预处理、现场图像匹配和图像平滑五 个模块，使课题的研究过程变得清晰明了。在此基础上，对每个模块分别搭建了 研究框架，使得研究过程的每一个环节，都紧扣现场环境的特点，在案件现场虚 拟重建这一总体模型下来进行。 深入研究了鱼眼镜头的构造和成像原理，从现场环境和鱼眼镜头的特点以及 问题研究的需求出发，对图像采集过程中的技术细节逆行了规范。并使用基于球 面透视投影约束的方法，对采集的现场鱼眼图像进行了校正，较好地恢复了鱼眼 图像的桶形畸变。 系统分析了图像预处理技术的一些基本原理和方法，根据案件现场的特点和 现场重建的需求，综合运用了直方图规定化和中值滤波两种方法对现场图像进行 了匹配前的预处理，改善了图像的视觉效果、减少了噪声影响。 针对犯罪案件现场重建过程中的图像匹配环节，提出了一种精确的匹配算法。 该算法提取的特征点分布均匀、稳定可靠，虽然匹配的速度不是很快，但是匹配 精确、稳定，非常适合对匹配实时性要求不高但准确性要求高的案件现场图像进 行匹配。 在图像匹配完成后，采用一种渐入渐出的算法对图像进行平滑处理，达到了 较好的效果。 第i 页 国防科学技术大学研究生院硕士学位论文 主题词：犯罪案件现场；虚拟重建；基于图像渲染；全景图像：鱼眼图像恢 复；图像预处理；图像匹配 i 第i 页 一 国防科学技术大学研究生院硕十学位论文 a b s t r a c t t h es u r v e yo ft h ec r i m i n a ls c e n e sm e a n st h ep e r s o n n e lm a k e ss p o ts u r v e y ， i n v e s t i g a t i o na n dr e c o r do nt h et i m e ，p l a c e ，p e o p l e ，a c c i d e n t sa n dc o n t e n t sr e l a t e dt ot h e c r i m e i ti ss i g n i f i c a n tt of i n do u tt h ec h a r a c t e ro ft h ec a s e ，c o l l e c tt h ee v i d e n c eo ft h e c r i m i n a l ，a n a l y z et h ec h a r a c t e r i s t i co ft h ec r i m i n a la n dc o n f i r mt h ed i r e c t i o no ft h e d e t e c t i o n ，w h i c hi st h es t a r t i n gp o i n to fd e t e c t i o na n da l s oa l li m p o r t a n tp a r to fp o l i c e c r i m i n a ld e t e c t i o n i ti st h et r a d i t i o n a lm e t h o d st or e f l e c ti n f o r m a t i o no ft h es c e n e t h r o u g hd e p o s i t i o n ，f i e l di m a g e s ，f i e l dp h o t o s ，f i e l dv i d e o s ，d i f f e r e n ts u r v e yc o n c l u s i o n s a n do r a ld e s c r i p t i o n so fd e t e c t i o np e r s o n n e l t h e s em e t h o d sc o n t a i ns u b j e c t i v i t ya n d l o c a l i z a t i o no ft h ei n f o r m a t i o na n dt h ea m o u n to fi n f o r m a t i o na c q u i r e dd i f f e r sb y d i f f e r e n tp e r s o n n o w a d a y s ，c o m p u t e rs c i e n c ea n de n g i n e e r i n gt e c h n o l o g yd e v e l o p sr a p i d l ya n dh a s b e e na p p l i e di nm a n yp r o f e s s i o n s i ti sa nu r g e n ta f f a i ro fh o wt oc o m b i n ei tt os c e n e d e t e c t i o n ，w h i c hc a ni m p r o v et h ei n f o r m a t i o na n ds c i e n c el e v e l so fs c e n ed e t e c t i o n t h i sp a p e re n c i r c l e dt h ec h a r a c t e r i s t i c sa n dr e q u i r e m e n t so fs c e n ed e t e c t i o no fp o l i c e d e p a r t m e n t ，p r e s e n t e d av i r t u a lr e b u i l d i n gm e t h o db a s e do ni b r ( i m a g eb a s e d r e n d e r i n g ) ，w h i c ha s s o c i a t e dw i t hv i r t u a lr e a l i t ya n di m a g ep r o c e s s i n g a n dm a d e e m p h a s e sr e s e a r c ho ns o m ek e yt e c h n i q u e so fp a n o r a m ai m a g ec r e a t i o n f i r s t l y ，i tm a d eau n i v e r s em o d e lo ft h ec r e a t i n gp r o c e s so fs c e n ep a n o r a m ai m a g e a n dd i v i d e dt h ew h o l ei s s u et of i v e m o d u l e s ，w h i c hw e r e s c e n ef i s h e y ei m a g e a c q u i s i t i o n ，f i s h e y el e n sd i s t o r t i o nc o r r e c t i o n ，p r e - p r o c e s s i n go ft h es c e n ei m a g e ，s c e n e i m a g em a t c h i n ga f t e rp r e - p r o c e s s i n ga n ds c e n ei m a g es m o o t h i n g s e c o n d l y ，i tb u i l t r e s e a r c hs u b - m o d e l ss e p a r a t e l yo fe a c hm o d u l e ，w h i c hm a d ee a c hs e g m e n to fr e s e a r c h p r o c e s sc o i n c i d et h ec h a r a c t e r i s t i co f s c e n ec i r c u m s t a n c ea n dc a r r yt h r o u g hi nt h ef r a m e o fc r i m i n a ls c e n ev i r t u a lr e b u i l d i n g i th a dm a d ed e e pr e s e a r c ho ft h ec o n s t i t u t i o na n di m a g i n gp r i n c i p l eo ff i s h e y el e n s a n dm a d ec r i t e r i o no fd e t a i lt e c h n i q u ed u r i n gi m a g ea c q u i s i t i o no nt h ec h a r a c t e ro f s c e n ec i r c u m s t a n c ea n df i s h e y el e n sa n dt h ed e m a n do fi s s u e si n v e s t i g a t i o n i ts u m m a r i z e ds o m em e t h o d so fi m a g ep r e - p r o c e s s i n gt e c h n i q u es y s t e m a t i c a l l y h i s t o g r a ma n dm i d - v a l u ef i l t e r i n gw e r ea p p l i e dt op r e p r o c e s st h es c e n ei m a g e ，w h i c h d e v e l o p e dt h es i g h te f f e c ta n dr e d u c e dt h ei n f l u e n c eo f n o i s e s a p r e c i s em a t c h i n ga l g o r i t h m w a sp u tf o r w a r da g a i n s tt h ei m a g em a t c h i n g s e g m e n to fc r i m i n a l s c e n er e b u i l d i n g t h ec h a r a c t e r i s t i c p o i n t s e x t r a c t e db yt h e a l g o r i t h md i s t r i b u t e de q u a l l y ，s t a b l ya n dc r e d i b l y a l t h o u g ht h em a t c h i n gs p e e dd i dn o t f a s t ，i tm a t c h e dp r e c i s e l ya n ds t a b l y i tw a sv e r ys u i t a b l eo nt h ec r i m i n a ls c e n ei m a g e m a t c h i n gw h e r en e e dg e n e r a lr e a lt i m eq u a l i t y ，b u th i g ha c c u r a c y i tw a s a l s ot h em a i n i n n o v a t ep o i n ti nt h i sp a p e r 第i i i 页 国防科学技术大学研究生院硕十学位论文 a f t e ri m a g em a t c h i n gc o m p l e t e d ，w ea d o p tat y p eo ff a d ei nf a d eo u ta l g o r i t h mo i l t h ei m a g e st os m o o t ha n da c h i e v e dp r e f e r a b l er e s u l t s 。 k e yw o r d s ：c r i m i n a ls c e n e s ；v i r t u a lr e b u i l d i n g ；i m a g eb a s e dr e n d e r i n g ；p a n o r a m a i m a g e ；f i s h e y ei m a g ed i s t o r t i o nc o r r e c t i o n ；i m a g ep r e - p r o c e s s i n g ；i m a g em a t c h i n g 第i v 页 国防科学技术大学研究生院硕_ - tj 学位论文 表目录 表1n i k o nc o o l p i x 系列数码相机技术参数1 8 表2 鱼眼镜头f c e 8 性能指标1 8 表3 空域滤波增强方法分类3 1 表4 直方图均衡化计算列表3 4 表5 直方图规定化计算列表3 6 表6 匹配性能指标列表5 3 第1 i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 现场虚拟重建在侦查工作中的作用8 图2 论文组织结构图9 图3 现场全景图生成过程总体模型1 1 图4 现场全景图像采集过程1 2 图5 鱼眼图像畸变效果示例1 2 图6 现场鱼眼图像校正过程1 3 图7 现场图像预处理过程1 4 图8 现场图像匹配过程，15 图9 现场图像平滑过程1 6 图1 0 云台使用示意图1 9 图1 1 未采用云台导致图像无法正确匹配1 9 图1 2 图像曝光不当的两种效果图2 0 图1 3 鼓形模式鱼眼图片拼接示意图2 1 图14 全帧模式鱼眼图片拼接示意图。2 2 图1 5 整圆模式鱼眼图片拼接示意图2 2 图16 平面透视投影示意图2 3 图17 球面透视投影示意图2 3 图18 鱼眼变形校正模型2 6 图1 9 球面点到大圆的距离。2 7 图2 0 鱼眼校正实例。2 8 图2 1 直接灰度变换方法3 0 图2 2 图像的位面表示和位面图3 1 图2 3 用3x3 的模板进行空间滤波示意图3 2 图2 4 直方图均衡化图示3 4 图2 5 直方图均衡化效果实例3 5 图2 6 直方图规定化图示3 6 图2 7 直方图预处理效果实例3 7 图2 8 中值滤波效集实例3 9 图2 9 图像匹配算法流程图4 2 图3 0 特征点的分布图4 3 图3 1 差角计算示意图4 8 图3 2 基于图像交叉分块的特征点提取算法示意图一4 9 第1 v 页 国防科学技术大学研究生院硕+ 学位论文 图3 3 现场图像匹配过程示意图5 3 图3 4 图像匹配比较实验效果图。5 4 图3 5 渐入渐出示意图5 5 图3 6 现场图像平滑效果实例。5 5 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文作者签名： 至 鱼日期：知。g 年，f 月，。日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名： 作者指导教师签名： 日期：工口。多年f 月f d 日 日期：蛔8 年1 1 月9 日 国防科学技术大学研究生院硕十学何论文 第一章绪论 1 1 研究背景 在各类犯罪案件的侦查过程中，现场是获取证据和侦查线索的物质基础，现场勘查 是获取证据和侦查线索的手段。 在传统的现场勘查工作中，勘验人员对现场勘查完毕后，现场的具体形态只是直观 地存在于勘验人员头脑中，并且由于在现场勘查过程中勘验人员之间的分工合作，并不 是每位勘验人员都能客观、全面地把握整个现场形态以及现场勘查的结果。而案件的侦 查过程是一个系统化的工程，每一位指挥员、侦查员都有客观、全面地认识现场，获取 尽可能多现场信息的要求，但从保护现场不受破坏的角度出发，接触原始现场的人员又 要尽量减少。 目前，现场勘查工作主要通过现场笔录、现场图、现场照片、现场录像、各类鉴定 结论以及现场勘验人员的口头描述等方法来综合反映现场信息。这些方法存在信息反映 的主观性、局限性，能够获取到的信息量多寡也因人而异。随着现场物证发现、提取、 鉴定技术的发展，如何将现场与现场物证有机地结合起来，客观全面而又直观形象地呈 现现场整体形态，将现场信息快速、广泛地共享，成为侦查工作中发挥现场及物证作用 的当务之急。 虚拟现实( v i r t u a lr e a l i t y ，简称v r ，又译为临境、灵境等) 的概念由美国v p l r e s e a r c hi n c 的j l a n i e r 在1 9 8 9 年提出，通常是指用头盔显示器和传感手套等一系列新 型交互设备构造出的一种计算机软硬件环境，人们通过这些设施以自然的技能( 如头的 转动、身体的运动等) 向计算机送入各种命令，并得到计算机对用户的视觉、听觉及触 觉等多种感官的反馈。其目的就是要利用各种先进的硬件技术及软件工具，创建一个酷 似客观环境又超越客观时空、能沉浸其中又能驾驭其上的和谐人机环境，也就是一个由 多维信息所构成的可操作空间。它最重要的目标就是真实的体验和方便自然的人机交 互。能够达到或部分达到这样目标的系统就统称为虚拟现实系纠1 1 。从概念上讲，任何 一个虚拟现实系统都可以用三个“i ”来描述其特性，这就是“沉浸( i m m e r s i o n ) ”、“交互 ( i n t e r a c t i o n ) ”和“想象( i m a g i n a t i o n ) ”【2 l 。 虚拟现实的实现有两种方法。传统上，使用三维图形学方法进行建模和绘制，这种 方法需要繁琐的建模工作和昂贵的专用绘图硬件，而且用三维模型很难真实表现自然景 观。i b r ( i m a g eb a s e dr e n d e r i n g ，基于图像渲染) 技术是实现虚拟现实系统的另一种 方法，其真实感强，绘制时间短，效果清晰，绘制时间和所需内存大小和场景的复杂度 无关，仪仪和图像大小相关，这些优点非常适合案件现场重建的需要。 为此，课题从现场勘查和刑事侦查工作的实际需要出发，结合虚拟现实及图像处理 第1 页 国防科学技术大学研究生院硕十学位论文 等技术，对基于i b r ( i m a g e b a s e dr e n d e r i n g ，基于图像渲染) 技术的犯j 譬案件现场虚 拟重建方法进行了探讨，并重点对虚拟重建过程中现场全景图像生成环节的若干关键技 术进行了深入研究。 1 2 研究现状与发展趋势 1 2 1 犯罪案件现场勘查学的发展 犯罪案件现场，是指作案人进行犯罪行为的地点和留有犯罪痕迹、物证的有关场所， 它是犯罪行为的烙印、犯罪信息的载体，是侦查活动的出发点和落脚点。 犯罪案件现场勘查，是指侦查人员依据法律规定，对与犯罪有关的时间、地点( 场 所) 和人、事、物进行的现场调查、勘验检查、现场记录等侦查活动。勘查的主要任务 是查明事件性质、收集犯罪证据、分析案犯特点、确定侦查方向、采取紧急措施以及记 录现场情况等。犯罪案件现场勘查学是专门研究犯罪现场规律、特点和现场勘查对策的 一门公安应用科学，它具有广泛而坚实的侦查实践基础。 1 9 7 5 年1 2 月，湖北省云梦县睡虎地秦墓出土的一批司法文献( 秦简) 中，有一部 文献名为封诊式，这部文献是秦朝时期有关杀伤、偷盗、毒害等一些实际案例的记 录或摘要。封诊式中有“穴盗”一文，“穴盗”即挖洞入室盗窃。经研究证实，“穴盗” 一文，是侦破一起入室盗窃案件的现场勘查记录。封诊式的发现，证明了我国是世 界上应用刑事侦查、刑事科学和现场勘查技术最早的国家。 上世纪中期，有关机构编写了一些关于刑事侦查和刑事科学技术方面的教科书。如 侦探学、现代犯罪侦查、刑事照相等。这些教科书，主要反映了英、法、 德、意、日、美等西方国家的技术和理论，但专门研究并论述现场勘查方面理论知识的 教材很少。 从7 0 年代到8 0 年代，随着文化科学技术的进步和刑事侦查、现场勘查实践的发展， 我国的刑事侦查和现场勘查理论研究也发生了比较大的变化。1 9 7 9 年，公安部三局组 织编写了我国第一部刑事侦查学，这本书尽管在结构体系，内容的深度、广度等方 面存在不足之处，但是它对推动我国刑事侦查理论研究具有重要作用1 3 j 。 经过多年的实践和理论研究，我国的刑事侦查技术得到了不断的发展和完善。但同 时，在犯罪案件现场勘查工作中，侦查人员也面临着两大挑战： 1 ) 随着犯罪活动智能化趋势的不断发展，作案分子在实施犯罪活动的过程中，特 别是在犯罪现场上采取的各种反侦查伎俩也越来越高明。他们不仪在犯罪的预谋阶段采 取了更加隐蔽的各种反侦查措施，而且在实施具体犯罪行为时也常常采取毁痕灭迹等各 种破坏现场的手段。犯罪活动的这种发展趋势，给现场勘查工作增加了很大的难度。 2 ) 随着我围刑事诉讼制度的改革，能不能获取足够的犯罪证据成为衡量侦查机关 第2 页 国防科学技术大学研究生院硕十学位论文 侦查破案能力强弱的标准。刑事诉讼制度的这种改革，给侦查机关通过现场勘查获取各 种犯罪证据的工作提出了更高的要求。 面对挑战，惟有加强对犯罪活动发展趋势的研究，加强对现场勘查工作的智慧和技 术投入，不断提高侦查人员现场勘查的技能，才能适应形势发展变化的需要。 1 2 2i b r 技术的发展 围绕虚拟场景建模问题的解决方式主要有两种：一种是g b r ( g e o m e t r yb a s e d r e n d e r i n g ，基于图形渲染) 技术，另一种是i b r ( i m a g eb a s e dr e n d e r i n g ，基于图像渲 染) 技术。 g b r 场景构造方法主要是基于计算机图形，即首先对真实世界进行抽象，从而建立 起三维几何模型，一般用多边形表示。在给定观察点和观察方向以后，利用计算机由模 型实现多边形绘制、着色、消隐、光照以及投影等一系列过程，从而产生虚拟环境，其 实质是对场景中对象光线交互过程的仿真。这种基于图形渲染技术所面临的主要问题 是： 需要高性能的图形工作站，系统成本非常昂贵： 需要三维建模，工作非常繁琐，而且往往需要专业人员，这部分的费用也相当 高。 在这种情况下，i b r 技术产生了。i b r 是以环境中抽象出的离散图像组成基础数据， 通过处理与组织这些图像数据得到环境连续描述的过程。基于图像渲染的基础是图像， 图像可以被认为是二维空间上的一种测量。在传统的图像处理中，唯一的几何联系是图 像空间上的二维相邻。基于图像渲染则需要考虑一种更加全局的三维几何相邻。给定一 个更大的几何上下文，设法获取输入图像集内不同像素之间的几何联系，从而重构出虚 拟环境的连续描述。 但i b r 技术同样面临一个难题。由于真实场景的图片在计算机内表现为点阵结构的 像素图像，没有三维几何信息，没有光照信息，虽然图像很漂亮，且易于获取，但图像 往往只能反映真实场景的某一个角度的视觉特征，当用户移动观察视角时，无法由单幅 图像看到其它角度的场景。而从图像中获取场景的三维几何信息的问题，在计算机视觉 领域已研究多年，仍未完全解决。在这种情况下，虽然基于图像渲染的想法非常直接， 但一直没有引起大家的深入研究。 在这方面具有开创与示范作用的研究应推a p p l e 公司1 9 9 3 年推出的q u i c k t i m e v r 系 统 4 1 。它是一个基于柱面全景图像的虚拟现实系统，该系统生成虚拟环境不需要知道图 像的三维几何信息，但支持用户在虚拟环境中左看、右看、上看、下看、3 6 0 。环视，沿 固定路线前进与后退等漫游操作，而且用户所观察到的视觉效果是完全具有照片质量 的。虽然当时很多计算机图形研究人员并不完全承认它是一个虚拟现实系统，或者认为 第3 页 国防科学技术大学研究生院硕士学位论文 它相当于图形学中的纹理映射技术，但没有多久，学术界便确认 i b r 技术的学术地位， 并引发全球性的研究热潮。 以是否需要场景的3 d 几何信息为标准，可以将目前的i b r 技术分成三类【5 l ：基于 无几何信息的i b r 技术，基于部分几何信息的i b r 技术以及基于完全几何信息的i b r 技术。 1 2 2 1 基于无几何信息的i b r 技术 这种i b r 技术无需知道场景的几何信息。a d e l s o n 与b e r g e b l 6 】用全光函数说明从空间 中任意点在任何时候所看到任意波长光线的集合。 u 7 - p l e n o p t i c ( o ，妒，a ，屹，k ，k ，t ) ( 1 - 2 1 ) 其中( 屹，k ，屹) 表示空间位置，p ，妒) 表示观察方向即方位角与仰角，波长a 表示进 入观察者眼中的光能量，t 表示观察时间。 从理论上说，只需采样环境并重建出全光函数，i b r 便变得非常容易。但实际上， 重构七维的全光函数很难实现。m c m i l l a n 和b i s h o p 的全光建模系统( p l e n o p t i cm o d e l i n g ) 忽略了九和t ，从一组离散采样点产生连续五维全光函到7 j ： u 5 一p l e n o p t i c ( o ，妒，k ，k ，k ) ( 1 - 2 - 2 ) 然而五维函数仍然难以重构，l e v o y 等和g o r t l e r 等分别提出了光场函数i s ( l i g h t f i e l d ) 和光图函数【9 j ( l u m i g r a p h ) 方法，在一定条件下，把五维的全光函数降 为四维。 光图函数的假定应用对象是静态物体或场景，而且无需知道场景的反射特性，也不 需要关于场景的任何几何信息。然而计算光图函数的过程十分复杂，从采集图像到生成 最终所需要的图像将花费相当长的时间，而且精度与效果都有待于更进一步改进。 微软中国研究院的沈向洋博士提出同心圆拼图( c o n c e n t r i cm o s a i c s ) 方法i l ，把四 维全光函数减少到三维。这个方法限制摄像机在同心圆平面上运动，通过合成沿每个圆 的不同方向拍摄的线图像生成具有相同圆心的拼图，使用到的3 个参数是摄像机的旋转 半径、旋转角度和垂直高度。 基于无几何信息的i b r 技术不需要知道场景的任何几何信息，避开了计算机视觉 中的难点问题，因而非常适用于构造比较简单的虚拟实景空间。但是若要构造能够大范 围自由漫游的虚拟实景空间，光流采集非常困难，数据量相当大，而且数据冗余也很大。 1 2 2 2 基于部分几何信息的i b r 技术 有些i b r 技术只需要少量的图像就可以绘制出新的场景，这是因为它们使用了己有 图像之间的匹配信息。这种方法使用了场景的部分几何信息，所以称为基于部分几何信 第4 页 国防科学技术大学研究生院硕十学位论文 息的i b r 技术。 1 ) 视图插值技术 给定两幅图像，如果它们之间的光流信息己知，则可以重构出任意视点的新图像， 这就是c h e n 和w i l l i a m 的视图插值【1 1 l ( v i e wi n t e r p o l a t i o n ) 技术。这个方法利用相机的 位置和图像深度信息，事先计算出两幅图像对应像素的偏移向量，并存储在一对“变形 图( m o r p hm a p s ) ”中。为了提高映射速度，减少“变形图”大小，他们使用四叉树法对 图像进行分块，压缩“变形图”，并按照块的深度值进行前后排序，产生四叉树块查找链。 绘制新视图时，根据视点位置和图像对的关系，对偏移向量进行线性插值，并按插值向 量移动原图像中相应像素到新视图中，从而得到新的视图。 2 ) 图像变形技术 对于给定的两幅图像，同时对其形状和纹理进行2 d 插值，产生出新的视图，这种 技术称为图像变形( i m a g em o r p h i n g ) 技术【1 2 l 。图像变形技术的先锋是美国纽约大学c i t y 学院的g e o r g ew a l b e r g 教捌1 3 】，他也因这一成就而获得了1 9 9 9 2 0 0 0 年度的m a y o r 奖。 一般来说，图像变形技术需要解决以下三个问题： 如何建立给定两幅图像间的对应关系，这是变形技术最困难的部分，通常由人 工完成； 如何根据特征点、线段等定义来构造从第一幅图像到第二幅图像的映射函数； 如何融合两幅图像的像素值产生中间图像。 3 1 基于外极几何的方法 基于外极几何( e p i p o l a rg e o m e t r y ) 的方法利用两幅图像之间的外极几何关系生成 新的图像。由于在实际应用中照相机的内部参数很难得到，所以外极几何关系一般根据 两幅图像之间的对应点进行求解，如8 点算法【14 1 5 】等。 l a v e a u 和f a u g e a s l l 6 ，1 7 】是采用外极约束关系来合成图像的先驱，他们利用一系列叫 做参考视图的图像和基本矩阵的原理来产生虚拟视图。对于新视点图像的每一个像素， 利用逆映射或光线跟踪方法基于外极几何约束找出它们在两幅参考视图中的对应点，这 种利用外极约束合成图像的方法，允许参考图像间的插值或外推( e x t r a p o l a t i o n ) ，因 此扩大了虚拟视点的范围。 与无几何信息的i b r 技术相比，基于部分几何信息的i b r 技术的优点是：根据两幅 或多幅相邻的参考图像及其对应关系既可生成新的视图。这个过程所需的图像数量很 少，所以数据处理很小。但也存在不足： 场景中对象之间存在遮挡关系，而从参考图像中所获取的场景信息十分有限， 这使得在参考图像中不可见而在新视图中应该可见的区域出现“空洞”现象。如何根据有 限的场景信息填充这些“空洞”，是这类i b r 技术的难点问题； 由于获取的场景深度信息是不连续的，这导致匹配过程会出现误差。 第5 页 国防科学技术大学研究生院硕士学位论文 基于完全几何信息的i b r 技术是指在进行图像渲染时需要准确地知道场景完整的 几何信息，在这里不作过多介绍。 1 3 论文的研究目的、研究内容、研究意义和组织结构 1 3 1 论文的研究目的 课题研究的总体目标，是要用基于i b r 技术的方法，构建出案件现场的虚拟全景 空间( v i r t u a lp a n o r a m i cs p a c e ，简称为v p s ) 模型。这个模型没有现场的三维几何信 息，但支持用户在现场环境的固定视点左看、右看、上看、下看、3 6 0 。环视等，所观察 到的视觉效果是具有照片质量的，并且通过在场景中设置热点等，可以对重点区域和物 证进行调看。 这个模型的作用，主要是在公安部门案件侦查过程中，为现场分析等侦查活动提供 一个平台。在这个平台中，指挥、侦查人员既可以更加直观形象地观察现场，又可以随 时调看重点区域和物证信息，再结合传统的勘查手段，形成对现场更加完整的感性认识。 需要指出的是，在课题研究的v p s 模型中，不具有现场任何三维信息，其中的图 像也是通过相机拍摄获得的，它并不是真实现场环境完全客观的复现，而只能作为一种 辅助分析的手段和工具。 1 3 2 论文的研究内容 现场v p s 模型的构建过程可以分为两部分：一是将现场的离散图像序列拼接生成全 景图像；二是将全景图像组织生成虚拟全景空间并进行浏览。全景图像实际上描述的是 一个二维的全光函数，即在全光函数“= p l e n o p t i c ( o ，a ，屹，k ，t ) 中，固定视点 以，k ) 、时间t 与波长范围a 的情况下，变化观察视角( 口，妒) 得到的任意观察方向上 所看到的虚拟场景集合。也就是说，以全景图像技术为基础构建出的虚拟全景空间是一 个基于图像渲染的虚拟现实系统。 本课题作为硕士阶段毕业论文的研究课题，主要对v p s 模型构建过程中的全景图 像生成部分进行研究，具体可以分为以下四个部分： 针对犯罪案件现场的特点，对全景图像生成过程构建一个整体框架。将问题研 究分为现场鱼眼图像的采集、鱼眼图像校正、现场图像的预处理、预处理后图像的匹配 以及图像平滑五个模块，并分别建模进行研究； 针对现场环境的特点，如何获取高质量的现场鱼眼图像以及鱼眼图像的恢复和 校正问题研究； 对现场采集到的图像进行预处理，以达到消除或减少噪声影响以及改善图像视 第6 页 国防科学技术大学研究生院硕士学位论文 觉效果的目的； 研究并提出一种适合犯罪案件现场特点的，具有较高精度和可靠性的图像匹配 算法，并对匹配后的现场图像进行平滑处理。 1 3 3 论文的研究意义 目前，在国内的相关文献资料中，有少数关于利用虚拟现实技术实现犯罪案件现场 重建的研究和讨论。这些文献从不同的角度出发，有针对性地阐述了作者对于现场虚拟 重建的一些探索和思考，具有一定的创新性和启发性。 但是，有的文章仅仅从公安人员侦查破案的角度出发来考虑问题，要么过于浅显， 只是概念性地对问题进行了一些非常初步的描述；要么过于理想化，所提出的与客观环 境完全一致的建模乃至实现犯罪过程的重演，在现阶段来说难以实现。有的文章虽然进 行了一些技术环节上的研究和思考，但提出的现场环境以及物证的三维重建也过于复 杂，不符合目前公安部门侦查破案的实际需要。 课题所研究的犯罪案件现场虚拟重建技术是现场勘查技术与i b r 技术的结合。它 以公安部门侦查破案的实际需要为基础，以犯罪案件现场为背景，研究了一种切合现阶 段实际的案件现场虚拟重建方法，既保证了对现场情况尽可能客观全面地反应，又注重 了成本、时间的节约和操作上的简单灵活。 它为公安侦查人员展现了一个比离散照片更加全面直观的现场，通过将物证等现场 信息融入其中，整合形成了一个比较完整的现场分析平台。它在一定程度上改变了以往 的现场勘查模式，使指挥、侦查人员能够直观、快速、全方位地观察现场模型，掌握尽 可能多的现场信息，以利于现场分析工作的开展。 现场的虚拟重建是对现场的客观真实再现，现场分析是对现场更深层次的感性认 识。在对案件现场更加全面直观了解的基础上进行现场分析，可以对侦查活动作出更加 客观科学的指导。同时，建立数据库对各类案件分门别类，并通过公安金盾网进行共享， 可以使各地侦查机关更加全面和直观地了解各类案件的现场情况特点和犯罪分子的作 案手法，以利于串并案件的进行，具有重要的实践意义。 随着这一技术的进一步完善和发展，还可满足交警、消防、保险等部门现场处置和 记录的需要。此外，这项技术在房地产演示、广告、旅游展示、数字电影等多种场合， 都有很大的应用价值。 第7 页 国防科学技术大学研究生院硕士学位论文 1 3 4 论文的组织结构 密 图1 现场虚拟重建在侦查工作中的作用 按照所研究的主要内容，论文从总体上分为四个部分： 紧紧围绕公安部门侦查破案的实际需要，对犯罪案件现场虚拟重建技术进行研 究和分析，提出全景图像生成的整体框架： 犯罪案件现场全景图像生成过程建模； 案件现场虚拟重建过程中的关键技术研究。针对案件现场环境的特点，开展了 图像采集、鱼眼图像恢复、图像预处理、图像匹配和图像平滑等技术的学习、思考和研 究； 最后作全文的结论与展望。 论文的组织结构如图2 所示。 绪论以后各章的研究内容如下： 1 ) 论文的第二章首先从课题研究的实际需要出发，对研究过程建立了模型，将问 题的研究分为现场图像采集、鱼眼图像恢复、图像预处理、图像匹配和图像平滑五个前 后衔接的子模块。论述了各模块在整个问题研究过程中的地位、作用及其相互间的关系。 在此基础上，对每一个子模块分别搭建了研究框架，使得研究过程的每一个环节，都紧 扣现场环境的特点，在案件现场虚拟重建这一总体模型下来进行。 第8 页 国防科学技术大学研究生院硕士学位论文 2 1 论文的第三章苗先介缁了鱼眼镜头和现场鱼眼图像采集所需的器材设备，对获 取高质量现场鱼眼图像所必须遵循的技术细节进行了规范。然后使用基于球面透视投影 约束的方法，对采集的鱼眼图像进行了校正和恢复，取得了较好的效果。 3 ) 论文第四章的研究内容是对现场图像进行预处理。本章首先总结了现场图像预 处理过程中可能用到的一些基本方法，然后分别用直方图规定化和中值滤波算法对图像 进行了预处理，改善了视觉效果、减少了噪声干扰。 4 ) 论文的第五章为整个研究过程的核心。本章首先对图像匹配的研究要素和评价 标准作了综述，然后针对犯罪案件现场的特点，提出了一种精确的匹配算法。该匹配算 法的速度虽然不快，但是匹配精度高，误匹配概率小，非常适合案件现场图像匹配的实 际需要。在图像匹配处理结束后，论文采用了一种渐入渐出的算法，对图像进行了平滑 处理，取得了较好的效果。 5 ) 论文第六章对全文研究内容作了总结，并在分析了课题研究存在的不足后对进 一步深入研究作了展望。 广 i 第一章绪论l 。+ 。+ 1 。_ - 。1 l 第六章结论与展望i 【一，。，、一 图2 论文组织结构图 第9 页 国防科学技术大学研究生院硕士学位论文 第二章犯罪案件现场全景图像生成过程建模 课题所研究的内容，是整个犯罪案件现场虚拟重建过程的一部分，主要完成现场全 景图像的生成。这是一个基于i b r 技术的生成过程，即以采集获得的现场离散图像为基 础数据，通过处理与组织这些图像数据得到现场环境连续描述的过程。 在本章中，首先对现场全景图生成过程建立了总体模型，将问题的研究分为五个子 模块，描述了这五个模块在整个问题研究过程中的地位、作用及其相互间的关系。在此 基础上，对每一个子模块分别建立了研究模型，明确了各自的基本研究思路和研究方法。 通过模型的建立，使整个论文研究的目的更加明确，脉络更加清晰，重点更加突出。 2 1 现场全景图像生成过程总体模型 结合犯罪案件现场的特点，经过综合的考虑和比较，将整个课题的研究，分为五个 子模块来进行。 1 】现场图像的采集。现场图像的采集，是整个研究过程的起点。根据课题研究的 内容和特点，现场采集图像除了画面清晰、分辨率高外还应具有以下三个特点： 图像覆盖面要足够大，足够显示整个空间信息； 图像之间要有重叠区域，以满足图像拼接的需要； 图像