（控制科学与工程专业论文）折反射全景立体成像和深度估算方法研究.pdf

国防科学技术大学研究生院t 学硕士学位论文 摘要 立体视觉根据人的视觉原理，探求从平面图像中恢复三维空间信息的方法， 从而达到通过平面图像认识三维世界的目的。常规光学成像系统的视场较小，在 其基础上通过立体视觉技术只能获得有限视场范围的深度信息，这在实际应用中 引起了诸多不便。近年来，随着机器人导航技术、自动视频监控技术、虚拟现实 技术的快速发展，如何利用立体视觉和全景成像技术完成对全方向大视场场景的 立体感知和重建成为国内外研究的热点问题。折反射全景立体视觉技术能够实现 全方向场景的立体成像，估计场景的深度信息，并能简化计算和提高系统处理速 度。 本文研究并设计了一种利用单摄像机和双抛物面折反射镜获取全景立体图像 并估计场景深度信息的系统，主要解决了以下关键问题： ( 1 ) 设计了一种利用抛物面镜的折反射全景立体图像生成系统。该系统由单个 摄像机和两个抛物面折反射镜组成，它们在垂直方向上同轴排列，使得两抛物面 折反射镜在摄像机中成像为一对同心圆。这种设计能够使空间中一定范围内的空 间点在摄像机成像中有一对符合特定的外极几何约束条件的像点，根据这对像点 能够求得该空间点的深度信息。 ( 2 ) 根据本文中全景立体图像生成系统的设计方案推导出深度信息的计算公 式，并以该公式中涉及到的系统结构参数作为误差分析自变量，分析装置误差对 最终深度估算结果的影响，进而利用误差分析结果改善了系统结构。 ( 3 1 把原始全景立体图像投影变换为柱面全景立体图像对，使得现有的对应点 匹配算法能够顺利应用，提高了匹配精度，简化了深度估算。 ( 4 ) 根据柱面立体图像对的外极线特点，改进实现了基于区域的局部灰度相关 ( s a d ) 和动态规划( d p ) 两种对应点匹配的算法。应用本文设计分别在虚拟场景和实 际场景中获得了全景立体图像，并用两种算法进行了场景深度信息估算，得到了 相应的柱面全景浓密视差图，验证了该折反射全景立体视觉系统设计和匹配算法 的有效性。 主题词：立体视觉全景图像折反射深度估算对应点匹配 第i 页 国防科学技术大学研究生院t 学硕七学位论文 a b s t r a c t s t e r e ov i s i o nb a s e do nh u m a nv i s u a lp r i n c i p i u me x p l o r e st h em e t h o d ，w h i c h e s t i m a t e3 di n f o r m a t i o nf r o m2 di m a g e s ，i no r d e rt ou n d e r s t a n d3 dw o r l df r o mp l a n a r i m a g e s t h ef i e l do fv i e wi nt r a d i t i o n a lo p t i c a li m a g i n gs y s t e m si su s u a l l ys m a l l t h u s t h ed e p t hi n f o r m a t i o no b t a i n e db yu s i n gs t e r e ov i s i o nt e c h n i q u e si s l i m i t e d ，w h i c hi s i n c o n v e n i e n ti nm a n ya p p l i c a t i o n s a st h et e c h n i q u e so fn a v i g a t i o no fm o b i l er o b o t s ， a u t o n o m o u ss u r v e i l l a n c e ，v i r t u a lr e a l i t yd e v e l o p e di nr e c e n ty e a r s ，s t e r e op e r c e p t i o na n d r e c o n s t r u c t i o no fo m n i - d i r e c t i o n a ls c e n e sw i t h l a r g ef i e l do fv i e wb yu s i n gt h e t e c h n i q u e s o fs t e r e ov i s i o na n d p a n o r a m i ci m a g i n g a t t r a c t s m a n yr e s e a r c h e r s c a t a d i o p t i cp a n o r a m i c s t e r e ov i s i o nc a no b t a i n p a n o r a m i cs t e r e oi m a g eo f o m n i _ d i r e c t i o n a ls c e n e s ，e s t i m a t ed e p t hi n f o r m a t i o n ，s i m p l i f ya l g o r i t h m sa n ds p e e du p p r o c e s s e s as y s t e mw i t h s i n g l e c a m e r aa n dt w op a r a b o l o i d a l c a t a d i o p t i cm i r r o r s f o r e s t i m a t i n gd e p t hi n f o r m a t i o no fp a n o r a m i cs t e r e oi m a g e si sd e s i g n e d t h ef o l l o w i n g p r o b l e m sa r es o l v e d ： ( 1 ) ap a n o r a m i cs t e r e oi m a g e c r e a t i o ns y s t e mi sd e s i g n e d ，w h i c hu s e sp a r a b o l o i d a l c a t a d i o p t i cm i r r o r t 1 1 es y s t e mi s s e t u po fas i n g l ec a m e r aa n dt w op a r a b o l o i d a l c a t a d i o p t i cm i r r o r s ，w h i c ha r ec o a x i a li nv e r t i c a ld i r e c t i o n t h i sd e s i g nm a k e st h e i m a g e sb yt h et w op a r a b o l o i dc a t a d i o p t i cm i r r o r sa r ec o n c e n t r i cc i r c l e s t h u so b je c t si n t h ec o n s t r a i n e df i e l d sw i l lg e tac o u p l eo fp i x e l s ，t h r o u g hw h i c hd e p t hi n f o r m a t i o nc a n b ee s t i m a t e d ( 2 ) af o r m u l ai sf i g u r e do u tt oc a l c u l a t ed e p t hi n f o r m a t i o na c c o r d i n gt ot h ed e s i g n o ft h ep a n o r a m i cs t e r e oi m a g e - c r e a t i o ns y s t e m t h ep a r a m e t e r so ft h es t r u c t u r eo ft h e s y s t e mi nt h ef o r m u l aa r eu s e da si n d e p e n d e n tv a r i a b l e st oa n a l y z es y s t e me r r o r s r e s u l t so ft h i sa n a l y s i sa r eu s e dt oi m p r o v et h es y s t e ms t r u c t u r e ( 3 ) m a k i n gt h eo r i g i n a lo m n i d i r e c t i o n a ls t e r e oi m a g ei n t op a n o r a m i cs t e r e o i m a g e sb yp r o j e c t i v et r a n s f o r m a t i o ni no r d e rt om a k et h eu s eo ft h em e t h o do f c o r r e s p o n d i n gm a t c hi ne x i s t e n c e ，i m p r o v ep r e c i s i o no ft h ec o r r e s p o n d i n gm a t c h i n ga n d s i m p l i f yt h ea l g o r i t h mo fd e p t hi n f o r m a t i o ne s t i m a t i o n ( 4 ) t w ok i n do fa l g o r i t h m s ：s a da n dd pa r ei m p l e m e n t e d ，w h i c ha r eu s e dt o m a t c hc o r r e s p o n d i n gp o i n t s o m n i d i r e c t i o n a ls t e r e oi m a g ei so b t a i n e di nv i r t u a la n d p r a c t i c a ls c e n e ss e p a r a t e l yu s i n gt h ed e s i g ni n t h i sp a p e r d e p t hi n f o r m a t i o no ft h e s c e n e si se s t i m a t e db yt h e s et w oc o r r e s p o n d i n gm a t c ha l g o r i t h m s ，a n dt h ed e n s e d i s p a r i t yi m a g ei so b t a i n e d t h i sp r o v et h es y s t e ma n dt h ea l g o r i t h m sa r ea v a i l a b l e k e yw o r d s ：s t e r e ov i s i o n ，p a n o r a m i ci m a g e ，c a t a d i o p t r i c ，d e p t he s t i m a t i o n ， c o r r e s p o n d i n gm a t c h 第i i 页 国防科学技术大学研究生院t 学硕士学位论文 表目录 表3 1 抛物面型变化与系统误差关系3 0 表3 2 两抛物面顶点距离h 变化与系统误差关系3 0 表3 3 空间点深度z 变化与系统误差关系3 0 表3 4 空间点高度w 变化与系统误差关系3 0 第1 i i 页 国防科学技术人学研究生院丁学硕十学位论文 图目录 图1 1m a r r 的视觉理论框架2 图2 1 立体图像对的外极几何9 图2 2 标准双目立体视觉几何图1 0 图2 3 视差与深度的关系1 1 图2 4 球面全景示意图1 4 图2 5 立方体全景示意图15 图2 6 柱面全景示意图15 图2 7 鱼眼透镜和环形透镜光学结构示意图1 7 图2 8 单视点全景成像示意图18 图2 9 透视投影和平行投影模型示意图1 9 图3 1 基于狭缝像的全景立体图像的拼接2 0 图3 2 由三个折反射全景成像系统组成的全景立体成像示意图2 2 图3 3 两组同轴折反射全景成像系统组成的全景立体成像装置示意图2 2 图3 4 本文设计的全景立体成像系统示意图2 4 图3 5 原始全景立体图像的深度估算公式推导2 5 图3 6 本文中加工的镜面。2 7 图3 7 固定装置2 7 图4 1 均值滤波3 4 图4 2 中值滤波3 5 图4 3 原始全景图像到柱面全景图像的投影变换3 6 图4 4 展开的柱面全景图像的坐标系示意图3 6 图4 5 柱面全景立体图像对的深度估算3 8 图5 1 基于区域的局部灰度相关算法4 2 图5 2b e l l m a n 原理4 3 图5 3 求最小积累失真的d p 算法4 5 图5 43 d sm a x 虚拟场景4 8 图5 5 虚拟场景中的原始全景立体图像4 9 图5 6 虚拟场景中的柱面全景立体图像对4 9 图5 7 虚拟场景中的估算出的浓密视差图5 0 图5 8 实际场景中的实验结果5 l 图5 9 经过图像分割方法处理的( d p ) 算法实验结果5 2 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：堑丛盟全量童堡盛像堑逐廑垡篚友洼盈究 学位论文作者签名： 塞臣日期：2 叻g 年占月f 日 学位论文作者签名： 至绽日期：2 叻g 年6 月6 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文作者签名： 塞i 孝 日期：2 哪陴6 月了日 作者指导教师签名： 至聋 日期：孙留年尼s 日 国防科学技术大学研究生院工学硕+ 学位论文 第一章绪论弟一早三百v 匕 1 1 问题的提出 客观世界是一个三维的空间世界，而用现有各种观测系统以不同的形式和手 段观测客观世界而得到的图像是平面的。但是，在平面图像中却包含有物体的三 维空问信息，人的视觉系统具有将获取的图像信息转变为立体视图的功能。立体 视觉正是根据人的视觉系统原理，探求从平面图像中恢复三维空间信息，从而达 到通过平面图像认识三维世界的目的的一种方法。 立体视觉是计算机视觉的一个重要分支，即由不同位置的一台或者多台摄像 机经过移动或旋转拍摄同一场景，通过计算空间点在多幅图像中的视差，根据特 定几何关系转换为深度，从而获得该点的三维空间信息。相比其他类的体视方法， 如透镜板三维成像、投影式三维显示、全息照相术等，立体视觉直接模拟人眼处 理景物的方式，简便可靠，在诸如虚拟现实、机器人导航与航测、三维测量学及 微操作系统的位姿检测与控制等许多领域均极具应用价值。 常规光学成像系统的视场较小，在其基础上通过立体视觉技术只能获得有限 视场范围的深度信息，在实际应用中引起诸多不便。近年来，随着机器人导航技 术、自动视频监控技术、虚拟现实技术的快速发展，对全方向大视场场景的立体 感知和重建的需求日益增强。在光电子学、计算机视觉和计算机图形学发展的推 动下，出现了一些全景立体成像的技术和方法。但是由于全景图像的特殊性，如 成像有畸变、分辨率不均匀，外极几何复杂等原因，使得通常对于平面立体图像 对的图像校正和对应点匹配算法不能直接应用于全景立体图像。因此根据现有的 全景立体成像的技术和方法所构成的实际系统，一般只在特定应用背景和场景环 境下有效，尚且还不能达到通用的快速的全景深度信息获取。 本文将以给场景的三维重建和基于深度信息的运动对象检测提供基础的深度 信息数据为目的，设计一种全景立体图像生成系统，并寻求一种适合全景立体图 像的深度信息估算方法。 1 2 国内外研究现状 计算机视觉是一个新兴的、发展迅速的研究领域，已经成为计算机科学的重 要研究领域之一。 计算机视觉起始于2 0 世纪5 0 年代对统计模式识别的研究，当时的工作主要 集中在二维图像分析和识别上，如光学字符识别、工件表面、纤维图片和航空图 第1 页 国防科学技术大学研究生院工学硕十学何论文 片的分析和解释等。 6 0 年代，r o b e r t s 通过计算机程序从数字图像中提取出诸如立方体、楔形体、 棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创了理解三维场景为目的的三维机器视觉的研究，研究的范围从边 缘、角点等特征提取，到线条、平面、曲面等几何要素分析，一直到图像明暗、 纹理、运动及成像几何等，并建立了各种数据结构和推理规则。到了7 0 年代，己 经出现了一些计算机视觉应用系统。 7 0 年代中期，麻省理工学院( m i t ) 人工智能( a i ) 实验室吸引了国际上许多知名 学者参与机器视觉的理论、算法、系统设计的研究。其中的d a v i dm a r r 教授，在 1 9 7 7 年提出了不同于“积木世界”分析方法的计算视觉理论幢1 ，该理论在8 0 年代 成为计算机视觉研究领域中的一个十分重要的理论框架。m a r r 认为视觉过程是一 个信息处理过程，相应的研究应分为三个层次：计算理论层次，表示与算法层次， 硬件实现层次。m a r r 理论强调了当时并不受人重视的计算理论的层次，他把立体 视觉在这一层次所应完成的主要任务规定为定量地恢复出图像所反映的场景中的 三维物体的形状和空间位置，并将这一恢复过程进一步分成如下前、中、后三个 视觉处理阶段，如图1 1 所示。 【二维图像h 前鏊鎏觉h 巾銎鎏觉川后翌銎觉h 三维模型 要素图 2 5 维图 图1 1m a r r 的视觉理论框架 前期视觉处理阶段是通过输入的二维图像来获得二维图素。图素指的是图像 中灰度变化剧烈处的位置及其几何分布和组织结构。中期视觉处理阶段是通过二 维图素来获得2 5 维图像。2 5 维图像指的是在以观察者为中心的坐标系中，可见 表面的法向、大致的深度以及它们的不连续轮廓等。由于2 5 维图像中包含了深度 的信息，因而包含的信息比二维更多，但还不是真正的三维表示。这一阶段是由 多个相对独立的视觉模块组成，又称”s h a p ef r o mx ”模型，这些模型包括由某些图 像特征( 如边缘点、轮廓线、纹理、颜色、序列图像对应特征等) 恢复物体的三维形 状等。后期处理阶段是从2 5 维图像获得场景中物体的三维描述，识别出场景中存 在的物体以及确定这些物体的位冠和姿态。三维描述指的是物体为中心的坐标系 中，用含有体积基元和面积基元的模块化的分层次表示，同时给出各物体之间的 空间关系描述。 m a r r 建立的视觉计算理论，使计算机视觉研究有了一个比较明确的体系，大 第2 页 国防科学技术大学研究生院工学硕士学位论文 大推动了计算机视觉研究的发展。m a r r 将这种视觉计算理论应用在双目匹配上， 使两张有视差的平面图产生有深度的立体图形，奠定了立体视觉发展的理论基础。 立体视觉是计算机视觉的一个重要分支，立体视觉由不同位置的一台或者多 台摄像机( c c d ) 经过移动或旋转拍摄同一场景，通过三角测量原理计算空间点在所 得两幅图像中的像素间的位置偏差( 即视差) ，来获得该点的三维坐标信息。一个完 整的立体视觉系统可以划分立体图像获取、摄像机标定、特征提取、立体匹配、 深度估算和三维重建等模块聆3 。 相比于其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相 术等，双目立体视觉方法直接模拟人类双眼处理景物的方式，简便可靠，在诸如 机器人导航与航测、虚拟现实、医学成像、工业测量及国防系统等许多领域均极 具应用价值。应该指出的是，许多人类视觉无法感知的场合，如精确定量感知、 危险场景感知等，立体视觉更突显其优越性。立体视觉的典型应用包括： ( 1 ) 移动机器人导航 机器人可以利用其搭载的两个摄像机同步获取场景的立体图对以恢复场景的 三维信息，并进而利用场景的三维信息完成识别目标、识别道路、判断障碍物等 任务，实现行走路径的自主规划和导航。这种技术对无人汽车、无人飞机、无人 战车等自主系统的自动导航十分有用。比如，著名的美国s o j o u r n e r 系列火星探测 移动机器人都使用了立体视觉导航系统h 1 。 ( 2 ) 虚拟现实系统 虚拟现实系统可以通过立体视觉方法获取特定场景的立体图像对，从中估算 出所需的三维信息，并重建整个场景的模型。这种基于图像的虚拟场景的建模方 法易于自动化实现，相比于基于图形的建模方法能大幅降低对系统资源的需求， 是虚拟现实技术新的研究热点之一。 ( 3 ) 医学图象分析 目前医学图像己经广泛用于医学诊断，立体视觉方法可以由人体断层二维图 像重建立体器官的立体图示，协助医生对其所感兴趣的区域进行定量测量与空间 定位踌1 。与人机交互技术相结合，建立人体的三维模型后，可以进行模拟外科手术， 帮助医生建立正确的手术方案，或者进行教学研究工作。 ( 4 ) 工业测量 由于在工业环境下，结构、照明等因素可以得到严格的控制，因此，立体视 觉在需要进行测量的工业生产和装配作业中得到了十分成功的应用。立体视觉系 统可以提供准确的定位信息，而且对一些无法进行接触测量的场合是一种十分有 效的测量手段。 ( 5 ) 国防系统 第3 页 国防科学技术大学研究生院t 学硕十学位论文 立体视觉技术在圈防系统中的作用越来越重要，因为它可以满足自主操作的 需要。在国防系统中迅速做出反应是极其重要的，这就要求在人工尽可能少的干 预下自动快速做出各种决策，这种情况下与立体视觉方法有关的图像制导等技术 将起着极其关键的作用。 上述诸多领域的实际应用中，由于常规光学成像系统的视场较小，通过立体 视觉技术只能获得有限视场范围的深度信息，在实际应用中引起诸多不便。随着 上述各领域的发展需要，对全方向大视场场景的立体感知和重建的需求也日益增 强。为此在立体视觉中引入了全景成像技术。 全景图像是可以表示水平方向3 6 0 度、垂直方向大到半球以上视场的场景图 像。全景图像按基准表面的映射模型一般可分为球表面，立方体表面和圆柱面口8 1 等几种类型，它是通过将所得原始图像投影到这些简单表面上完成的。 全景图像在视频监控与跟踪、微型机器人视觉、虚拟现实等领域有着广泛的 应用。如： ( 1 ) 李学庆等哺3 提出了一个基于球面映射的视景生成系统，建立了一个基于三 个旋转角度控制图像变换的拼接模型，可以用于手持摄像机拍摄的图像的拼接。 系统对输入的一系列图像，可以通过交互拼接，在球面模型上建立起全景图像， 实现水平3 6 0 度和垂直18 0 度的随意浏览。 ( 2 ) 唐瓒等口1 提出了一种基于立方体模型的全景图像绘制方法。推导出了任意 方位的照片图像与立方体表面的相互映射公式，把全方位图像映射到一个立方体 的表面上，形成立方体全景图像。 ( 3 ) 柱面全景图像应用的一个经典例子就是美国苹果计算机公司( a p p l e c o m p a n y ) 的商业软件q u i c k t i m ev r 呻1 。它在场景中一些关键位置点生成柱面全景 图像，在每一个关键点，可以实现视线方向的连续变化，通过关键点间的跳转来 实现场景的漫游。 ( 4 ) 国防科技大学的张茂军等叫n 们成功开发了一个h v s 系统，这是一个基于柱 面全景图像模型的虚拟现实系统，用户可在其中进行前进、后退、仰视、俯视、 3 6 0 度环视、近视、远视等漫游操作。 近年来随着全景成像技术的发展，出现了一些针对全方向大视场的立体视觉 系统，这些全景立体视觉系统获取场景深度信息的基本原理与普通立体视觉系统 是一致的，其关键问题在于如何获取存在视差的全景立体图像，以及针对全景图 像成像有畸变、分辨率不均匀、外极几何复杂等特点，如何选取和改进深度估算 方法。 目前各类文献中涉及的获取全景图像的方法主要有图像拼接和使用特殊光学 元件两大类方法。在立体视觉中，基于这两类方法所形成的获取全景立体图像的 第4 页 国防科学技术大学研究生院工学硕士学位论文 方法主要有旋转成像、多摄像机成像和折反射镜成像。 旋转成像方法是让摄像机围绕通过其光心的轴旋转，在旋转的各个角度拍摄 多幅图像，再将这些图像进行拼接或者重采样，从而得到全景立体图像对。 i s h i g u r o n 妇等和h e r m a n 2 1 采用一个常规摄像机以半径r 绕旋转中心旋转，通过对旋 转中不同位置拍摄的图像寻找对应点，进行深度恢复。这种方法旋转一周的时间 大约是1 0 分钟，成像方式需要精确的机械旋转运动控制部件。 多摄像机成像方法采用朝向各个方向的多个摄像机来实现全景成像n 引，将多 个摄像机同时拍摄的图像进行融合，生成全景图像，并采用移动设备或增加一组 设备的方式来实现立体成像。但这种成像系统若要满足单视点约束n 引，各个摄像 机的光学中心必须重合。实际上由于各个摄像机的物理特性限制，安装中不同摄 像机的光学中心不可能重合，而且这种成像方式成本高，系统复杂。 折反射全景成像系统是当前计算机视觉的一个研究热点n 硼n 刚n7 1 。折反射全景 成像系统由一个摄像机和曲面反射镜组成，能够实时获取水平方向3 6 0 度和垂直 方向一定角度的全景图像。 由于折反射全景成像具有大视场范围成像，结构相对简单、光能损失低，系 统成本较低，系统设计柔性较好等优点。因此折反射全景成像方法能满足从高技 术领域( 如机器人导航、运动目标检测和跟踪、虚拟现实中场景的模式获取) 到一般 技术领域( 如监视、视频会议) 的全方向大视场成像的应用需要，近年来发展较快。 目前已经出现了机器人导航折反射全景成像系统u 引，视频会议折反射全景成像系 统n 引，监视折反射全景成像系统3 和虚拟现实应用的折反射全景成像系统乜等多 种实用产品。而在全景立体成像方面的应用也有许多研究成果。 r o l a n db u n s c h o t e n 幢2 1 使用安装在机器人上的单个双曲面反射镜，利用机器人运 动时获取的图像序列实现多基线立体视觉，即其全景立体图像对是通过机器人的 运动来获取。此类方法需要机器人装有精确的码盘等导航传感器，且只适用于平 整的地面等理想情况，不适用于在室外等自然环境下的障碍物探测和导航。 贾云得等利用两个双曲面镜和两个摄像机组成水平基线的全景立体视觉系 统，此系统可对机器人前后的障碍物进行检测，但水平基线立体视觉的测量精度 很不均匀，而且由于系统本身的遮挡对两侧场景不能进行感知。另外这种方法获 得的全景图像的外极线是二次曲线心4 1 ，对应点计算复杂。 g l u c h k m a n 和n a y e r 心朝使用两个抛物面反射镜和两个正交投影镜头摄像机、 y s h i r a i 乜刚用两个双曲面镜和两个透视镜头摄像机组成垂直基线的全景立体视觉 系统。此类系统把两个摄像机上下共轴放置，此时外极线成为一系列放射线，原 始全景图像被投影成柱面全景图像后，外极线成为一系列垂直平行线，对应点的 计算简化为在相同坐标的垂直扫描线上的像素点中寻找。这种配置使摄像机之间 第5 页 国防科学技术大学研究生院下学硕十学何论文 的相互遮挡减少了，但两组摄像机共轴的设计必然使得装置体积较大，且保持两 组摄像机共轴也使系统复杂性增加。 m f d s o u t h w e l l 乜引，l c o n r o y 和e d u a r d ol l c a b r a l 乜们利用一个透 视摄像机和两个反射镜面连在一起的反射镜组成全景立体视觉系统，使用一个摄 像机实现全景立体视觉。此类系统成像为两个同心圆，空间同一点经两镜面的反 射后分别成像在从像平面中心往外发散的半径的不同位置上，这类系统具有前述 g l u c h k m a n 和n a y e r 的方法以及y s h i r a i 的方法中对应点求解容易的优点，且只 用一个摄像机降低了系统的复杂性，系统安装也更加紧凑，但由于系统的基线太 短( 只有十几个毫米) ，计算结果具有很大的误差。 苏连成汹3 等设计了一种新的全向立体视觉光学系统( o s v o d ) ，利用一个透视 摄像机和两个分开的双曲面反射镜组成了全景立体视觉系统。该系统除了具有前 面l c o n r o y 和e d u a r d ol l c a b r a l 的设计中使用一个摄像机和对应点匹配简 单的特点外，由于使系统基线增长，减小了系统误差。但由于系统结构模型要求， 透视摄像机中心必须置于两个双曲面反射镜的共同焦点上，因此系统体积较大而 且不够灵活。 上述各种折反射全景立体成像方法在坚持立体视觉基本原理的基础上，利用 各种不同曲面折反射镜全景成像的特点完成全景立体图像的获取，并在设计中积 极考虑了成像模型、外极线、基线等立体视觉基本要素，简化了全景立体视觉计 算，提高了所获得深度信息的准确度。但在实际应用中，各种方法都略有不足或 者是使用场合受限等，因此仍需要根据实际情况设计出适合的成像系统，来满足 特定的全景立体视觉应用需求。 总的来说，对计算机视觉的全球性研究热潮是从2 0 世纪8 0 年代开始的，到 了8 0 年代中期，计算机视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现。 而立体视觉是其中一个非常活跃的研究领域，全景立体视觉更是其中的热点问题， 许多会议论文集都反映了该领域的最新进展，还有许多学术期刊也包含了这一领 域的最新研究成果。因此，进一步研究改进折反射全景立体成像方法以及与之相 适应的深度估算方法，为下一步恢复三维场景提供良好的数据基础，对于全景立 体视觉的发展和其在诸如虚拟现实、机器人导航、工业三维测量等许多领域的应 用有着重要的理论意义和应用价值。 1 3 论文主要工作 本文主要研究设计了一种利用单摄像机和双抛物面折反射镜获取全景立体图 像深度信息的系统。论文的研究成果主要包括以下几个方面： ( 1 ) 设计了一种利用抛物面镜的折反射全景立体图像生成系统。该系统由单个 第6 页 国防科学技术大学研究生院工学硕士学位论文 摄像机和两个抛物面折反射镜组成，它们在垂直方向上同轴排列，使得两抛物面 折反射镜在摄像机中成像为一对同心圆。这种设计能够使空间中一定范围内的空 间点在摄像机成像中有一对符合特定的几何约束条件的像点，根据这对像点能够 求得该空间点的深度信息。 ( 2 ) 根据本文中全景立体图像生成系统的设计方案推导出深度信息的计算公 式，并以该公式中涉及到的系统结构参数作为误差分析自变量，分析装置误差对 最终深度估算结果的影响，进而利用误差分析结果改善系统结构。 ( 3 ) 把原始全景立体图像投影变换为柱面全景立体图像对，使得现有的对应点 匹配算法能够顺利应用，提高了匹配精度，还简化了深度估算。 ( 4 ) 根据柱面立体图像对的外极线特点，改进实现了基于区域的局部狄度相关 ( s a d ) 和动态规划( d p ) 两种对应点匹配的算法。应用本文设计分别在虚拟场景和实 际场景中获得了全景立体图像，并用两种算法进行了场景深度信息估算，得到了 相应的柱面全景浓密视差图，验证了该折反射全景立体视觉系统设计和匹配算法 的有效性。 1 4 论文组织结构 根据论文研究的主要内容和研究成果，本文共分六章，各章的内容如下： 第一章，绪论。概述了立体视觉和全景成像的发展情况，提出了研究全景立 体成像技术的必要性。本章详细介绍了全景立体成像方法的国内外研究现状和目 前仍然存在的不足。最后描述了论文的主要工作和论文的组织结构。 第二章，立体视觉和全景成像理论。概述了立体视觉的基本原理和一般系统 构成，介绍了全景图像的概念和分类以及目前主要的全景成像方法。 第三章，全景立体成像系统设计。简要介绍了目前已有的全景立体成像方法， 分析了设计全景立体成像系统时要考虑的关键问题。提出了本文中利用单摄像机 双抛物面镜的折反射全景立体成像设计方案，及对应的深度估算方法。利用原始 图像的深度估算模型，对系统的误差进行分析，并得出了系统结构参数的修正方 案。 第四章，全景立体图像的预处理。介绍了全景摄像机标定的基本概念和相关 方法，以及用于图像去噪声的两种滤波器，并根据本文应用在其中选择较适用的 方法；提出了把原始全景立体图像投影变换成柱面全景立体图像的方法，并利用 柱面全景立体图像简化了系统深度估算方法。 第五章，柱面全景立体图像对的深度估算。介绍了对应点匹配算法的分类和 常用的约束条件。实现了基于区域的局部灰度相关绝对差和法( s a d ) 和动念规划法 ( d p ) 两种对应点匹配算法。并利用本文设计中外极几何关系的优点降低了对应点 第7 页 国防科学技术人学研究生院t 学硕士学位论文 匹配算法复杂度，提高了算法的准确度。实验中完成了虚拟场景和实际场景的深 度估算，验证了系统的有效性。 第六章，结束语。这是对本文工作进行的总结和对未来工作的展望。 第8 页 国防科学技术大学研究生院工学硕十学位论文 第二章立体视觉和全景成像理论基础 2 1 立体视觉 2 0 世纪7 0 、8 0 年代美国麻省理工学院人工智能实验室的m a r r 教授提出了一 种视觉计算理论并应用在双眼匹配上，使两张有视差的平面图产生有深度的立体 图形，由此奠定了双目立体视觉发展的理论基础。 立体视觉主要研究如何借助( 多图像) 成像技术从( 多幅) 图像罩获取场景中物 体的深度( 距离) 信息。立体视觉的基本方法是用两个或两个以上的视点去观察同 一物体目标，获得在不同视角下的一组图像，然后通过视觉成像的光路几何原理 推算出不同图像中对应像素间的相对位置信息，进而推断物体目标的空间位置。 2 1 1 外极几何 外极几何是一个应用于立体视觉问题的基本几何概念。对于拍摄同一场景的 任意一对图像，它们的摄像机光学中心c l 、c r 与空间点p 构成三维空间的一个平 面p c l c r ，称为外极平面，如图2 1 所示。c l 与c r 的连线在图像平面i r 、i l 上的 相应交点e l 、e r 称为外极点；空间点p 的像点p l 、p r 分别与e l 、e r 的相连，所 得直线p l e l 、p r e r 称为外极线。由外极线定义可知，不论是对图像平面i l 还是i r 来说，所有的外极线都在外极点相交，同时从图中可以看出，在同一个外极平面 上所有空间点的投影都在图像平面的同一条外极线上，因此一幅图像中的点在另 一幅图像中的对应点必定处在其对应的外极线上，如图2 1 中点p 在图像平面i l 、 i r 上的投影点p l 、p r 之间的关系。 p 图2 1 立体图像对的外极几何 第9 页 国防科学技术大学研究生院t 学硕士学位论文 根据上面外极几何的定义，如果我们己经找到图像平面i l 上点p l 在另一图像 平面i r 上的对应点p r ，那么它们对应的空间点p 是直线c l p l 、c r p r 的交点，也 就是说，如果已知一对图像上像素点的对应关系，那么就可以根据摄像机位置关 系确定它们对应的空间点位置，这就是立体视觉的基本原理。 2 1 2 标准双目立体视觉 立体视觉中最简单的情况为标准双目立体视觉，如图2 2 所示。两个图像平面 位于空间同一平面，摄像机坐标系的x 轴共线，且摄像机的光轴互相平行。摄像 机光学中心c i 。、c r 的距离称为基线长度，用b 表示。这种情形假定两个摄像机的 焦距相等，各内部参数也相等，或者用的是同一摄像机。由于光轴与图像平面垂 直，故两个图像平面的x 轴互相重合，y 轴互相平行，此时两个图像平面的外极 点位于无穷远处。在这种情况下，外极线可以认为就是图像的水平扫描线，一幅 图像中的像素点在另一幅图像中的对应点一定在与其有相同y 轴坐标的水平扫描 线上，这样对应点的搜索空间从二维降为一维，这种外极线约束称为标准外极线 约束，它大大减小了图像对应点的搜索空间。 p y l y r 图2 2 标准双目立体视觉几何图 在一般情况下，这样的配置是很难做到的。但是对于任意配置的双摄像机系 统，我们可以通过摄像机标定的方法求出摄像机外部参数，然后通过坐标变换的 方法将其转化为这种最为基本的配置。 第1 0 页 国防科学技术人学研究生院t 学硕+ 学位论文 2 1 3 视差与深度的关系 图2 3 所示为标准双目立体视觉中视差与深度关系示意图。p 点在左、右图像 平面中成像点相对于坐标原点o l ，和0 2 ( o l 和0 2 是左、右摄像机透镜光轴与图像 平面的交点) 的距离分别为x 。，x ：。p 点在左、右图像平面中成像点位置差戈。一x ： 被称为视差( d i s p a r i t y ) ，一般用d 表示。图2 3 所示情况下，空问点p 点距透镜中 心的距离z 为 z = 壬冬亿，1 2 xx 。 其中f 是透镜的焦距，b 是基线长度。当摄像机的几何位置固定时，视差d 只 与p 点到基线的距离z 有关，而与p 点离摄像机光轴的距离无关。视差越大说明 物体离透镜的距离越近；反之，则越远。 p c lb c 2 图2 3 视差与深度的关系 从以上的论述可知，我们通过立体视觉技术恢复图像深度信息其实只需求出 两幅图像中像素点的对应关系，即获得视差图，深度图通过简单的反比换算就可 得到。摄像机焦距可通过摄像机标定方法求出，基线距离可事先通过测量得到。 2 1 4 立体视觉系统模块 一个完整的立体视觉系统可以划分为立体图像获取、摄像机标定、特征提取、 立体匹配、深度估算和三维重建等模块。 1 立体图像获取 获取含有立体信息图像的方式很多，主要取决于应用的场合和目的。通常利 用c c d 摄像器件或c m o s 摄像器件并经过预处理获得景物的原始图像。其基本方式 第1 1 页 国防科学技术大学研究生院t 学硕士学位论文 是由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，或者借助 特殊的光学元器件和机械装置拍摄场景，来获取立体图像对。 2 摄像机标定 摄像机标定是为了确定摄像机的内部参数( 如焦距、镜头失真系数、不确定性 图像因子) 和外部参数( 如旋转矩阵和平移矢量) ，以便确定成像模型。 立体视觉中，通常先采用单摄像机的标定方法，分别得到两个摄像机的内、 外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。 目前常用的单摄像机标定方法主要有： ( 1 ) 非线性极小化方法 传统的摄像机标定方法大多数使用的是非线性极小化方法。这种方法的基本 思想是建立己知的三维标定点坐标与其二维透视投影图像坐标之间的关系方程， 然后构造方程残差函数，通过优化迭代算法求解方程参数。这类方法的最大优点 是可以估计摄像机的许多变形参数，并且可以达到很高的精度，但其缺点是迭代 过程可能收敛到错误的极小值，或根本不收敛。 ( 2 ) 直接方法 通过定义中间变量参数来代替原来的系统参数，建立线性方程组，直接求解 这一线性方程组，得到中间变量参数。原来的系统参数可以通过这些中间参数计 算得到。 ( 3 ) 两步标定法 这种方法在计算机立体视觉标定中得到了广泛的应用。它的基本思想是将系 统参数分为两大部分，分别用直接方法和迭代方法求解。系统的外部参数和部分 内部参数通过直接方法求解，在此基础上，用非线性迭代算法求解径向变形等参 数。这种算法吸取了迭代算法高精度估计参数的优点和直接求解方法估计参数的 稳定性和简洁性等优点。 3 特征提取 特征提取是为了得到匹配赖以进行的图像基元。常用的匹配基元主要有像素 灰度，图像特征和相位特征。 ( 1 ) 像素灰度。像素灰度可由成像系统直接得到，因此是最简单最充足的一种 基元。 ( 2 ) 图像特征。这类匹配基元为图像中包含丰富信息的结构所在的位置，常 用的图像特征有角点和边缘点。与像素狄度相比图像特征数量较少。 ( 3 ) 相位特征。将灰度图像变换成傅立叶相位图像，傅立叶图像中各点的符号 可作为一种匹配基元。在傅立叶图像中可得到正号区和负号区。这两个区域之边 界接近于灰度梯度局部极大值的位置。 第1 2 页 国防科学技术大学研究生院_ t 学硕十学位论文 4 立体匹配 由于立体图像对拍摄时图像灰度的改变，以及光学畸变、电子噪声和景物遮 档等影响，对一幅图中的给定匹配基元