（控制科学与工程专业论文）面向室内三维重建的单幅全向图水平直线检测与定位.pdf

国防科学技术大学研究生院t 学硕士学位论文 捅要 室内环境的三维重建是计算机视觉中的重要问题，在虚拟漫游、机器人导航、 生活娱乐等领域有着广泛应用。室内环境几何特征明显，空间水平直线和竖直直 线构成了室内环境的基本特征和总体框架。研究水平直线和竖直直线的空间定位 可以有效地辅助解决室内环境的三维重建问题。 折反射全向图像具有“一次成像，全向获取 的优点。本文针对非单视点折 反射全向成像系统中水平直线和竖直直线的成像特点，设计了一种基于单幅非单 视点全向图像的空间直线检测与定位方法，实验证明该方法具有较好的结果。论 文的主要工作包含以下几方面： ( 1 ) 分析了室内环境三维重建与空间水平、竖直直线定位的关系；室内环境 中，水平直线和竖直直线是大量存在的，根据直线间相交、共面、平行及垂直关 系，可以构建出室内环境的基本框架，达到辅助三维重建的目的。 ( 2 ) 由于全向图中竖直直线是一条径向射线，其检测比较简单，本文重点研 究水平直线所成的像。采用全向h o u g h 变换检测折反射全向图中的水平直线，推 导了空间水平直线在非单视点全向图中的成像特点，根据成像特点对全向h o u g h 变换进行了改进，根据成像特点对全向图进行预处理，剔除了非水平直线所成的 像，提高了检测的效率； ( 3 ) 针对非单视点折反射全向图中水平直线的定位问题，提出了基于“主像 点月 主像点”的两点定位算法，证明了该算法的可行性和正确性，分析了像点提 取精度对实验结果的影响； ( 4 ) 对锥面折反射全向成像系统和抛物面折反射全向成像系统进行了对比分 析，得出锥面折反射全向成像系统更加适合室内环境的三维重建。最后采用两点 定位算法，基于锥面折反射全向成像系统进行了仿真实验，实验取得了较好的结 果。 主题词：单幅图像非单视点折反射全向图全向h o u g h 变换直线检测 直线定位三维重建 第i 页 国防科学技术大学研究生院工学硕十学位论文 a bs t r a c t 3 dr e c o n s t r u c t i o no fi n d o o re n v i r o n m e n th a sb e e nw i d e l ya p p l i e di l lv a r i o u sf i e l d s s u c ha sv i r t u a lw a l k t h r o u g h , r o b o tn a v i g a t i o na n de m e r t a i n m e m i ti sa ni m p o r t a n t p r o b l e mi nc o m p u t e rv i s i o n t h e r ea r eo b v i o u sg e o m e t r yc h a r a c t e r i s t i c si i lt h ei n d o o r e n v i r o n m e n t ；e s p e c i a l l y t h a th o r i z o n t a ll i n e sa n dv e r t i c a ll i n e sc o n s t i t u t et h e f r a m e w o r ko ft h es c e n e t h e r e f o r e 1 0 c a l i z a t i o no ft h e ml i n e sp r o v i d e sa ne f f e c t i v e w a y t or e c o n s t r u c tt h ei n d o o re n v i r o n m e n t c a t a d i o p t r i co m n i - d i r e c t i o n a li m a g i n gs y s t e mc a p t u r e st h e3 6 0d e g r e ef i e l do fv i e w j u s ti i lo n es h o t w i t hr e s p e c tt ot h ep e c u l i a rp r o p e r t yo fh o r i z o m a ll i n ei m a g ea n d v e r t i c a ll i n ei m a g ei nc a t a d i o p t r i co m n i - d i r e c t i o n a li m a g i n gs y s t e m , t h i sp a p e r p r o p o s e sam e t h o do fl i n ed e t e c t i o na n dl o c a l i z a t i o nf r o ms i n g l en o n - s i n g l ev i e w p o i n t ( m n - s v p ) c m a d i o p t f i co m n i - d i r e c t i o n a li m a g e o u rc o n t r i b u t i o n sc a nb em a i n l yc o n c l u d e da sf o l l o w i n g ： ( 1 ) i l l u s t r a t et h er e l a t i o n s h i pb e t w e e n3 dr e c o n s t r u c t i o no fi n d o o re n v i r o n m e n ta n d l o c a l i z a t i o no fh o r i z o m a la n dv e r t i c a ll i n e s w i t hc o n s t r a i n t so fi n t e r s e c t i o n , c o p l a n a r i t y , p a r a l l e l i s ma n dp e r p e n d i c u l a r i t yb e t w e e nt h e s el i n e s ，w es h o wt h a ti t i s e a s yt or e c o n s t r u c ti n d o o rs c e n ea f t e rt h el o c a l i z a t i o no ft h o s es p a c el i n e s ( 2 ) s t u d yt h ed e t e c t i o no fh o r i z o n t a ll i n e si nc a t a d i o p t r i co m n i d i r e c t i o n a li m a g e ， s i n c ed e t e c t i o no fv e r t i c a ll i n e s ，w h o s ep r o j e c t i o na r er a d i a la n dp a s st h r o u g ht h e c e n t e ro ft h ei m a g e ，a r er e l a t i v e l ys i m p l e b ye x p l o i t i n gt h ep e c u l i a rp r o p e r t yo f h o r i z o n t a ll i n ei m a g ei nc a t a d i o p t r i cs y s t e m , w ei m p r o v et h eo m n i - d i r e c t i o n a lh o u g h t r a n s f o r m w i t hw h i c h , h o r i z o n t a ll i n ed e t e c t i o nf r o m s i n g l e n o n - s v p o m n i - d i r e c t i o n a li m a g ei sb e e ns i m p l i f i e d ( 3 ) d e v e l o pan o v e la l g o r i t h mb a s e do nt w oi m a g ep o i n t st o1 0 c a t eh o r i z o n t a ll i n e s f r o ms i n g l en o n - s v po m n i - d i r e c t i o n a li m a g e ，a n de v a l u a t et h ee f f e c to fp o 砬 e x t r a c t i o np r e c i s i o no nr e c o n s t r u c t i o na c c u r a c y 嬲w e l l ( 4 ) g e tt h ec o n c l u s i o nt h a tc o n i c a lc a t a d i o p t r i co m n i - d i r e c t i o n a li m a g i n gs y s t e mi s m o r ea p p r o p r i a t ef o r3 dr e c o n s t r u c t i o no fi n d o o re n v i r o n m e n t ，b yc o m p a r i n gt h e d i f f e r e n c eb e t w e e ni m a g i n gs y s t e m sc o n s i s t i n go fp a r a b o l o i d a lm i r r o r sa n dc o n i c a l m i o r r s w ec a r r yo ne x p e r i m e n t sw i t ht h el a t e ro n ea n dg e tg o o dr e s u l t s k e yw o r d s ：s i n g l ei m a g e ，n o n s v pc a t a d i o p t r i co m n i - d i r e c t i o n a li m a g e ， o m n i - d i r e c t i o n a lh o u g ht r a n s f o r m 。l i n ed e t e c t i o n ，l i n el o c a l i z a t i o n ，3 d r e c o n s t r u c t i o n 第i i 页 国防科学技术大学研究生院丁学硕士学位论文 表目录 表3 1 全向h o u g h 变换和改进全向h o u g h 变换对比2 6 表5 1 基于p r o i s 的真实场景中直线真实值与定位结果对比3 6 表5 2 基于锥面的仿真场景直线真实值与定位结果对比分析4 2 第1 i i 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图1 1m a r r 的视觉理论框架2 图2 1 单视点全向成像示意图9 图2 2 透视投影和平行投影模型示意图9 图2 3 单视点成像系统空间直线成像示意图l o 图2 4 双反射镜面的折反射全向成像系统模型示意图1 2 图2 5 非单视点折反射全向成像光路示意图1 3 图2 6 空间直线通过锥面反射镜成像示意图1 4 图2 7 竖直直线成像示意图l5 图2 8 室内的水平直线和竖直直线1 5 图2 9 同一个折反射全向成像系统不同水平直线的像1 6 图3 1h o u g h 变换累积检测最大值1 8 图3 2 系统剖面示意图：2 0 图3 3 像平面的点在全向h o u g h 空间的轨迹2 l 图3 4 像平面中的曲线上所有的点映射到全像h o u g h 空间2 1 图3 5 锥面折反射全向系统的成像模型2 3 图3 6 空间水平直线在锥面折反射系统中的成像模型2 4 图3 7 对比所用的非单视点全向图像2 6 图4 1 空间水平直线锥面反射全向成像示意图2 9 图4 2 改进四点定位法和本文方法对同一直线不同像点提取精度下的定位结果3 3 图4 3 改进四点定位法和本文方法对不同直线相同像点提取精度下的统计结果3 4 图5 1 抛物面反射全景成像系统p i 的i s 3 5 图5 2 实际拍摄的室内环境全向图像3 5 图5 3 人眼对不同距离物体的区分3 6 图5 4 锥面折反射全向成像系统视点轨迹剖面图3 7 图5 5 ( a ) 非单视点抛物面折反射全向成像系统视点轨迹3 7 图5 5 ( b ) 非单视点抛物面折反射全向成像系统视点轨迹剖面图3 7 图5 6 基于抛物面折反射成像系统和锥面折反射成像系统同一直线不同像点提取 精度下的定位结果4 0 图5 7 基于抛物面折反射成像系统和锥面折反射成像系统不同直线相同像点提取 精度下的统计结果4 l 图5 8 基于单幅全向图像空间水平直线定位4 2 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：鍪堑终 日期：卯。9 年l 瑚二 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名： 作者指导教师签名：一二蔓牡 日期：y 佴f z 月日 日期： 哆年f ，二月，日 国防科学技术大学研究生院工学硕七学位论文 第一章绪论 1 1 问题的提出 人类认识外界信息的8 0 来自视觉，随着计算机技术和信号处理理论的发展， 人们开始尝试利用摄像机拍摄环境图像并将其存储到计算机中，然后让计算机完成 视觉信息处理的全过程，由此就产生了一门新兴的学科，即计算机视觉。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能 力。如何根据二维图像获得三维信息是计算机视觉研究的重要目的。室内环境是人 类生活必不可少的重要活动场所，人类日常大部分活动都是在室内进行的。因此计 算机的室内环境三维重建具有重要研究意义和应用价值，可以广泛应用于机器人室 内导航、室内装潢设计、视觉监控以及计算机三维动画等多个领域。 目前，国内外在三维重建方面的研究主要集中在两个方面：l 、基于声光测距装 置的方法，直接测量出物体表面的三维坐标：2 、基于计算机视觉的方法，利用摄像 机成像模型计算出物体的三维结构。后者由于具有低成本、使用方便等特点，已得 到越来越广泛的研究。 基于计算机视觉方法进行三维重建的研究主要集中在利用普通图像和双目视觉 或多目立体视觉原理，求解两幅或多幅图像中的对应点匹配问题，如基于动态规划 【1 1 、最大流最小割【2 捌、信念传播网络【4 】等方法。这类方法是通过对应点的匹配，得 到一系列点的空间坐标，通过对“点 定位得到三维重建的基础数据信息，进而恢 复出三维场景，计算量较大且重建结果不够理想。 室内环境几何特征明显，在室内环境中存在着大量空间水平直线、竖直直线， 比如屋顶地面边缘、门窗边界、走廊顶部底部边缘、室内摆放物边缘等都可认为 是空间水平或竖直直线。可以直接通过对“线 的定位，通过线线关系重建出 室内环境的框架结构。即对于室内环境的三维重建问题可以借助对空间水平直线和 竖直直线的检测与定位，根据直线的位置关系，达到辅助三维重建的目的。 随着全向成像技术的研究与发展，折反射全向成像技术由于具有一次拍摄即可 获得水平方向3 6 0 度、垂直方向大到半球以上视场的巨大优势，因而越来越受到国 内外学者的关注。 非单视点折反射全向成像的一幅图像中，蕴涵了不同场景籍由不同视点成像的 信息，在单幅全向图像的基础上，通过空间水平、竖直直线检测与定位进行室内环 境三维重建，可以避免对应点匹配问题，大大降低了计算量。目前利用单幅全向图 像进行三维重建仍处于起步阶段，相关研究还不够成熟，本文结合室内环境几何特 征明显，水平、竖直直线大量存在的特点，在现有研究基础上，提出了用于辅助室 第1 页 国防科学技术大学研究生院- t 学硕士学位论文 内环境三维重建的空间水平直线、竖直直线检测与定位方法。 1 2 国内外研究现状 计算机视觉起始于2 0 世纪5 0 年代对统计模式识别的研究，当时的工作主要集 中在二维图像分析和识别上，如光学字符识别、工件表面、纤维图片和航空图片的 分析与解释等。 6 0 年代，r o b e r t s 5 】通过计算机程序从数字图像中提取出诸如立方体、棱柱体等 多面体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作 开创了以理解三维场景为目的的三维机器视觉的研究。 7 0 年代中期，麻省理工学院( m i t ) 人工智能( 触) 实验室吸引了国际上许多知名学 者参与机器视觉的理论、算法、系统设计的研究。其中的d a v i dm a n 教授，在1 9 7 7 年提出了不同于“积木世界”分析方法的计算视觉理论【6 】，该理论在8 0 年代成为计 算机视觉研究领域中的一个十分重要的理论框架。m a r r 认为视觉过程是一个信息处 理过程，相应的研究应分为三个层次：计算理论层次，表示与算法层次，硬件实现 层次 7 4 1 。m a r t 理论强调了当时并不受人重视的计算理论层次，他把立体视觉在这 一层次所应完成的主要任务规定为定量地恢复出图像所反映的场景中的三维物体的 形状和空间位置，并将这一恢复过程进一步分成如下前、中、后三个视觉处理阶段， 如图1 1 所示。 i 二维图像h 前搿卜 j 中期视觉li 后期视觉i 一三维模型 一1处理r 处理r _ 要素图 2 5 维图 图l - l 妇r r 的视觉理论框架 前期视觉处理阶段是通过输入的二维图像来获得二维图素。图素指的是图像中 灰度变化剧烈处的位置及其几何分布和组织结构。中期视觉处理阶段是通过二维图 素获得2 5 维图像。2 5 维图像指的是在以观察者为中心的坐标系中，可见表面的法 向、大致的深度以及它们的不连续轮廓等。由于2 5 维图像中包含了深度的信息， 因而包含的信息比二维更多，但还不是真正的三维表示。这一阶段是由多个相对独 立的视觉模块组成，又称“s h a p ef r o mx 一模型，这些模型包括由某些图像特征f 如 边缘点、轮廓线、纹理、颜色、序列图像对应特征等) 恢复物体的三维形状等。后期 处理阶段是从2 5 维图像获得场景中物体的三维描述，识别出场景中存在的物体以 及确定这些物体的位置和姿态。三维描述指的是物体为中心的坐标系中，用含有体 第2 页 国防科学技术大学研究生院工学硕士学位论文 积基元和面积基元的模块化的分层次表示，同时给出各物体之l 、h j 的空问关系描述。 m a r r 建立的视觉计算理论，使计算机视觉研究有了一个比较明确的体系，大大 推动了计算机视觉研究的发展。m a r r 将这种视觉计算理论应用在双目匹配上，使两 张有视差的平面图产生有深度的立体图形，奠定了立体视觉发展的理论基础。 三维重建是计算机视觉研究领域中一个重要分支，也是用计算机模拟人眼视觉 功能所需要完成的至关重要的一步，即恢复物体的三维信息。国内外学者在这方面 已做了大量的工作。从应用目的看，这方面的工作分为两大类： 一种是获得视野范围内的立体信息，如同人的视觉，这在工业机器人视觉、军 事侦察、地质等领域有着广泛应用； 另一种是以所摄物体为中心，获得物体表面全方位立体信息，这主要是用于机 械制造、影视、广告业中。 本文内容主要是针对第一种应用而提出的，关于第二种应用不在本文研究之列， 这里不进行过多的描述。 目前关于三维重建的研究大多集中在双目或多目立体视觉方面，这方面国内外 已有大量的相关研究。 c m u 大学的t o m a s i 和k a n a d e 等人在假定摄像机为正交投影模型的前提下， 利用仿射分解的方法同时解出了三维结构和摄像机运动【9 】。该系统使用基于光流的 跟踪器技术( p o i n tt r a c k e r ) 解决点的匹配问题。该系统的缺点在于采用的摄像机模型 是正交投影模型，这种模型只有在物体的深度远远大于物体的尺寸时才合理。由于 只有少数关键点被用于生成三维模型，所以模型的整体质量不高。 b e r k e l e y 大学的d e b e v o c 、t a y l o r 等人完成了著名的建筑物重构系统f a c a d e l l 2 j ， 该系统要求首先得到建筑物的粗略几何模型和摄像机运动参数，然后将该几何模型 反投到图像上与实际图像作比较，通过减小反投影误差计算出建筑物的三维结构。 该系统的缺点在于需要预先得到建筑物的几何模型，并且建筑物的几何结构应当比 较简单。 日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器 人行走导航系统【1 3 】。该系统首先利用平面分割算法分离所拍摄图像对中的地面与障 碍物，再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述 躯体姿态的世界坐标系，建立机器人周围区域的地图；其次，根据实时建立的地图 进行障碍物检测，从而确定机器人的行走方向。 东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对 值极小化立体匹配新方法 3 6 1 ，可对三维不规则物体( 偏转线圈) 的三维空间坐标进行 非接触精密测量。 在上述重建系统中，由于常规光学成像系统的视场较小，在实际应用中引起诸 第3 页 国防科学技术大学研究生院工学硕士学位论文 多不便。随着科技进步和社会发展，人们对全方向大视场场景的重建需求日益增强， 为此大视场场景的三维重建研究受到越来越多的学者关注。 目前获取全景场景的方法主要有全景拼接成像技术和一次性全向成像 ( o m n i - d i r e c t i o n a li m a g i n g ) 技术。两种方法均能得到水平方向3 6 0 度、垂直方向大到 半球以上视场的场景图像。 按照全景图像获取方式不同，全景成像( p a n o r a m i ci m a g i n g ) 分为普通图像拼接全 景和专用设备一次性成像全景两类。普通图像拼接全景是将普通相片拼接而成的全 方位图像，一般采用多相机或多角度完成采集任务，再根据拍摄特点按照拍摄几何 规则实现图像的拼接。专用设备一次性成像全景获得的图像称为全向图像，全景图 像是由全向图像进行全景展开获得的，根据展开基准表面的不同主要分为：球面全 景图像【3 7 1 、立方体全景图像【3 8 】和柱面全景图像【3 9 。4 。 利用普通图像拼接全景进行三维重建的相关研究已经比较成熟。 p e t e r 等人【1 4 】将一个普通相机绕一个圆周按照一定的角度逐渐运动拍摄图像，由 于相机的光轴与圆周的圆心分离，因此将得到的图像序列拼接而得到的图像带有深 度信息，可以用于机器人的导航。 朱志刚【1 5 】采用平行透视拼图的方法从航拍视频生成立体的宽幅图像。拼图由单 个相机视场的两个不同倾斜视角的狭缝图像构成，使得左右两个视野的全景图的立 体像素对能够捕获场景的三维信息。 i s h i g u r o 等【1 6 】和h e r m a n 等【1 7 】采用一个常规摄像机以半径r 绕旋转中心旋转，通 过对旋转中不同位置拍摄的图像寻找对应点，进行深度恢复。这种方法旋转一周的 时间大约是1 0 分钟，成像方式需要精确的机械旋转运动控制部件。 j i a n gy uz h e n g 等人【1 8 】进行的全景深度提取则是属于长廊式场景的全景拼接， 将相机横向运动时产生的视差加以利用，得到场景一侧的空间信息。 沈向阳【8 2 i 提出了同心圆拼图用于进行全景漫游，该方法是一种基于狭缝图像拼 图的多视点柱面全景图，它限制相机运动在平面同心圆上，从在同心圆不同位置上 所拍摄的图像中提取出狭缝图像拼接成全景图，但该方法的漫游范围有限，在垂直 方向上存在失真变形。 但是基于拼接的全景技术要么采用多相机，要么采用单相机多角度，在运用时 难免会遇到拍摄同步问题，如果多相机工作时存在一个相机捕捉速度不一致，或者 单个相机运动拍摄时产生了拍摄时间间隔，则在时间间隔内场景发生运动以后拍摄 获得的场景信息便产生变化，导致无法对场景进行准确的三维重建。 而采用专用设备一次性全向成像展开获得全景图像则不会出现拼接全景的拍摄 同步问题，随着折反射全景成像理论和技术的成熟【1 9 - 2 0 ，基于一次性全景成像的三 维重建受到越来越多的学者关注。目前实现一次性全向成像主要采取折反射全向成 第4 页 国防科学技术大学研究生院| t 学硕十学位论文 像技术。折反射全向成像利用曲面镜收集来自三维空间3 6 0 度范围内物体的光线， 并将它们反射到光学成像系统【2 l - 2 5 l ，从而获得周围3 6 0 度范围内物体的图像，然后 将该图像按要求展开为需要的全景图像。 s o o y e o n g 等人【2 6 】利用在折反射全景抛物球面下增加透镜的方法添加了与原始 全向图成像点不一致的新图像，从而产生视差，依此计算四周场景的深度信息。 瑞士苏黎世联邦理工大学的d a v i d e 等人【2 7 】通过折反射全景设备拍摄得到的特 殊围墙全向图像推理运算，获取围墙的相对位置。 德国f r e i b u r g 大学p l a g e m a n n 等人【2 8 】贝0 借助高斯模型，对拍摄而得的全向视频 帧对地面边缘进行学习训练，从而实现室内机器人导航，目前地面边缘检测实验的 平均误差在l 2 米之间 w i n t e r s 等人【2 9 3 l 】设计了一个机器人导航系统，该系统利用球面折反射全向成像 设备拍摄的图像进行三维重建，通过人机交互的方式实现机器人的室内导航。该方 法可以基于单幅全向图像进行室内的三维重建，避免了对应点的匹配问题，但是该 方法需要人工干预，自主性较差。 贾云得等【3 2 】利用两个双曲面镜和两个相机组成水平基线的全景立体视觉系统， 此系统可对机器人前后的障碍物进行检测，但水平基线立体视觉的测量精度很不均 匀，而且由于系统本身的遮挡对两侧场景不能进行感知。另外这种方法获得的全景 图像的外极线是二次曲线，对应点计算复杂。 苏连成等【3 3 】利用两个双曲面镜和一个普通相机组成一个全向立体视觉光学系 统( o s v o d ) ，用于机器人探测障碍物和环境深度信息自动获取。该系统利用一个 摄像机，对应点匹配简单，而且由于系统基线较长长，减小了系统误差。但由于系 统结构模型要求，透视摄像机中心必须置于两个双曲面反射镜的共同焦点上，因此 系统体积较大而且不够灵活。 上述以全景图像进行三维重建的研究中，以两幅或多幅图像的研究为主，根据 对应点的匹配，恢复三维信息。 在透视图像中，基于单幅图像进行三维重建主要是采用灰度图像的明暗变化恢 复形状( s h a p ef r o ms h a d i n g ，s f s ) 该方法最早由h o r n 等r 7 8 】提出，s f s 方法能够 根据灰度图像中的灰度信息，获取三维形貌信息。但是该方法基于一些关于成像条 件和反射特性等方面特定的假设，得到的是较为粗略的结果。 事实上，非单视点折反射全向成像获得的全向图像由于各像点是从不同视点获 得，即使单幅图像也具备深度分析的能力，这为单幅图象三维重建奠定了理论基础。 基于单幅非单视点全向图像的三维环境重建刚刚兴起，目前仍处于起步阶段。 西班牙g i r o n a 大学r a d u 等人uo j 于2 0 0 5 年提出了基于阴影的折反射全景图像理 解重构的方法，由于基于阴影的三维重构需要光源辅助】，其适用范围比较受限。 第5 页 国防科学技术大学研究生院工学硕士学位论文 m f i a l a 和a b a s u 等人【3 4 j 设计了一个基于单幅全向图像的机器人导航系统，通 过对室内环境的角点、水平竖直线的检测与跟踪来实现机器人的导航。 c p i n c i r o l i 等1 3 5 j 基于单幅全向图像的水平直线定位方面进行了相关研究，该算 法基于r a n s a c 方法，提高了整个算法的鲁棒性。 1 3 本文工作 本文针对室内环境水平直线、垂直直线比比皆是，且彼此交叉构成明显点、线、 面几何特征的特点，提出了根据单幅非单视点全向图的水平直线和竖直直线的空间 定位信息用于辅助室内环境三维重建的设想，并重点研究了单幅非单视点全向图中 水平直线的检测与定位。论文主要讨论了以下几方面内容： ( 1 ) 分析了室内环境三维重建与空间水平、竖直直线定位的关系；室内环境中， 水平直线和竖直直线是大量存在的，根据直线间相交、共面、平行及垂直关系，可 以构建出室内环境的基本框架，达到辅助三维重建的目的。 ( 2 ) 由于全向图中竖直直线是一条径向射线，其检测比较简单，本文只进行了 简要的理论分析。本文重点研究水平直线所成的像，分析并推导了空间水平直线在 非单视点全向图中的成像特点，并据此对全向h o u g h 变换进行了改进，根据成像特 点对全向图进行预处理，剔除了非水平直线所成的像，提高了检测的效率； ( 3 ) 分析了目前基于单幅全向图像进行空间水平直线定位的算法，并自主提出 了“主像点一非像主点定位算法进行空间水平直线的定位，对算法就精度方面进 行了对比分析，分析表明该算法具有较高的定位精度。 ( 4 ) 采用实验室现有的抛物面折反射全向成像系统进行了实景实验，分析了实 验结果不理想的原因。对比了锥面折反射全向成像系统和抛物面折反射全向成像系 统的精度，得出锥面情况下更加适合室内水平直线的定位，最后基于锥面折反射成 像系统进行了仿真实验。 1 4 论文的组织结构 根据论文研究的主要内容和研究成果，本文共分五章，各章的内容如下： 第一章：绪论。介绍了基于视觉的三维重建研究现状。 第二章：全向成像及室内环境三维重建。对比了两类折反射全向成像的基本特 点，阐述了利用非单视点折反射成像系统获得的单幅全向图辅助进行三维重建的相 关技术，分析了空间直线检测定位与室内环境三维重建的关系，简要阐述了垂直直 线的处理方法，指出问题的关键在于水平直线的检测与定位 第三章：非单视点折反射全向图中水平直线的检测。分析了基于全向h o u g h 变 换的水平直线检测方法，并根据水平直线在全向图中的成像特点，对全向h o u g h 变 第6 页 国防科学技术大学研究生院工学硕士学位论文 换算法进行了改进，预先剔除了全向图中非水平直线所成的像，提高了检测效率。 第四章：非单视点折反射全向图中水平直线的空间定位。分析目前主要的定位 算法，在已有算法基础上提出了空间水平直线两点定位算法，并对算法就精度方面 进行了对比分析，分析表明该算法具有较高的定位精度。 第五章：系统实验与分析。采用现有的实验设备抛物面折反射全向成像系 统进行实景实验，分析了实验结果不够理想的原因。对比了锥面折反射全向成像系 统和抛物面折反射全向成像系统的精度，进一步说明了锥面情况下具有较高的精度， 更加适合室内水平直线的定位。最后给出了基于锥面折反射全向成像仿真系统，采 用“主像点j 乍主像点”对仿真场景中水平直线的定位结果。 第六章：总结与展望。对本文所做的工作进行总结，并针对当前工作的不足提 出改进希望。 第7 页 国防科学技术大学研究生院1 = 学硕士学位论文 第二章全向成像及室内环境三维重建 2 1 折反射全向成像简介 折反射全向成像系统通常由一个摄像机和曲面反射镜组成，能够一次性获取水平 方向3 6 0 度和垂直方向一定角度场景的图像。一般而言，折反射全向成像设备采用 在摄像机正上方放置反射镜的结构达到扩大视野的目的。折反射镜面的面形结构可 以为球面、圆锥面、抛物面、双曲面等，每一种面形具有独特的成像特性，与透视 相机或远心相机以特定位置关系可以构成不同的折反射全向成像系统 4 2 4 7 1 。 根据是否满足单视点成像约束，折反射全向成像系统分为单视点( s i n g l e v i e w p o i n t ，简称s v p ) 折反射全向成像系统口2 之3 1 1 4 4 1 1 4 8 1 和非单视点( n o n - s v p ) 折反 射全向成像系统【2 3 1 1 4 9 - s 2 1 。单视点成像是指入射光线在进入全向成像系统时交于一个 虚拟视点，所以单视点成像又称中心成像( c e n t r a li m a g i n g ) ；而非单视点成像指的 是进入折反射全向成像系统的入射光线没有唯一的交点，所有非单视点成像又称非 中心成像( n o n - c e n t r a lh n a g m g ) 。 2 2 单视点折反射全向成像及三维重建问题 2 - 2 1 单视点折反射全向成像系统 单视点折反射全向成像的示意图如图2 1 所示，在单视点折反射全向图中的每 一个像素点都对应着经过同一点的一条入射光线，所有入射光线相交于同一点，即 视点。如果已知折反射系统的各项参数，就可以反推出每个像素对应的入射光线的 方向。因此，可以将全向图中的像素点投影到离视点任意距离的某个平面上形成平 面投影图像。由此可见，单视点的重要性在于它允许将全向图变换成平面投影图， 看起来与普通摄像机得到的图像没有差别，而观察视角更加广阔，从而可以使用一 般的处理投影图的方法进行图像分析和处理。 第8 页 国防科学技术大学研究生院工学硕士学位论文 像平面 像点b f 焦点f 单视点。 图2 1 单视点全向成像示意图 目前常用的单视点折反射全向成像系统有两类：抛物面折反射全向成像系统和 双曲面折反射全向成像系统对应于双曲面和抛物面折反射全向成像系统，根据透 镜成像模型可以分为基于透视投影成像模型( 如图2 2 ( a ) ) 的成像系统和基于平 行投影成像模型( 如图2 2 ( b ) ) 的成像系统。s n a y a r 采用远心透镜和抛物面反射 镜首次设计出基于平行投影成像模型幽【4 引，符合单视点约束的较理想的折反射全向 成像系统，这种系统称为抛物面折反射全向成像系统【5 3 1 。这种系统较为紧凑，而且 成像质量较好。其主要缺点在于远心透镜价格较贵。实现单视点全景成像的另一种 方法基于透视投影成像模型，即采用常规的成像透镜和双曲面反射镜，这种系统称 为双曲面折反射全向成像系统1 5 4 】，由于透视成像透镜较远心透镜容易选购，价格低， 因此双曲面折反射全景成像系统较抛物面折反射全景成像系统更具实用性。 视点 镜面 ( a ) 透视投影模型 ( b ) 平行投影模型 图2 2 透视投影和平行投影模型示意图 第9 页 国防科学技术大学研究生院t 学硕士学位论文 2 2 2 基于单视点折反射全向图像的三维重建 对于单视点全向成像系统，设空间直线三所成像为l ，如图2 3 所示，则三上 所有点对应的入射光线交于同一点即视点，它们形成的面吼( 视线面v i e w i n g s u r f a c e ) 是一个经过直线三和视点0 的平面，从而导致吼上任一直线所成像与l 完 r 全重合( 不考虑直线长度) ，1 工对应无数条可能的空间直线。因此，对单视点成像 系统而言，仅仅根据1 无法在准确公式计算的基础上进行空间直线的定位。由此可 以得出结论：在没有先验知识的情况下，根据单幅单视点全向图像是无法进行三维 重建的。 x 间直线 图2 3 单视点成像系统空间直线成像不慈图 在单视点全向成像系统中，由于系统存在单视点，根据成像规律可以通过对单 视点全向图像进行柱面展开，得到柱面全景图像，然后进一步将柱面全景图像转换 为平面透视图像。在全向图像展开为柱面全景图像的方法中，光路跟踪坐标映射法 2 9 1 6 3 】是最为精确的。它利用光线传播与反射性质，对成像点进行光路跟踪和投影变 换，建立全向图像到柱面全景图像的像素点之间坐标映射关系。然后采用柱面全景 图像的投影算法从柱面全景图像重新构造出柱面视点空间每一个视线方向所对应的 透视图像。 基于单视点折反射全向成像系统进行三维重建的思路和传统双目或多目立体视 觉的思路一致，必须在两幅或多幅不同视点的全向图像中进行立体匹配，然后用经 典的立体视觉方法进行三维重建。解决对应点匹配问题的各种算法间的区别主要在 于选择什么样的匹配基元，以及选用什么约束条件来限制搜索空间和删除不合适的 第l o 页 国防科学技术大学研究生院工学硕士学位论文 匹配。 根据所选择图像匹配基元的不同，匹配算法可以分为：区域匹配、特征匹配和 相位匹配。区域匹配是把一幅图像中的某一点的灰度邻域作为模版，在另一幅图像 中搜索具有相同( 或相似) 灰度值分布的对应点邻域。特征匹配通过灰度导出的符 号特征来实现匹配。相位匹配与前面两种传统方法相比，对图像高频噪声和畸变有 很好的抵制作用，能获得亚像素级精度的浓密视差。 常用的几何约束条件有：外极线约束、一致性约束、唯一性约束和连续性约束。 外极线约束指一幅图像上某像素点的对应点一定位于另一幅图像对应的外极线上； 一致性约束指左图像扫描行上的一个从左至右的灰度模式只能和右图像扫描行上的 一个同样从左至右的灰度模式相匹配。唯一性约束要求左图像中的一个像素点最多 只能和右图像中一个像素点相匹配。连续性约束是指物体表面上各点的视差是局部 连续的( 这里假定被观察表面是局部光滑的，因此物体表面上各点在图像上的投影 也是局部连续的) 。 通过立体匹配得到图像中的对应点后，即可得到视差图像，进而可根据立体视 觉基本几何关系计算匹配点所对应空间点的深度信息。利用已有深度信息的匹配点 进行深度插值，进一步得到其它各点的深度，最后可以得到所有点的空间坐标；然 后采用三角或多边形网格等手段实现场景的三维重建。 2 3 非单视点折反射全向成像及三维重建问题 2 3 1 非单视点折反射全向成像系统 s n a y a r 在文献 4 8 】中证明了单视点折反射全向系统只能是远心相机上面放置 抛物面镜或者透视相机上面放置双曲面镜的形式。但是，单视点全向成像系统需要 对系统进行精确的安装调校以确保所有入射光线能够汇聚于一个虚拟视点，实际实 施较为困难。而且在三维重建方面，在没有先验知识的情况下，仅根据单幅单视点 全向图是无法完成重建工作的。而非单视点全向成像系统对反射镜的面形要求较宽 泛，可以满足不同情况下对镜面形状的设计需求，具有更加广阔的应用前景。甚至 可以通过采用多反射镜的方法来加大拍摄范围【5 5 5 们，如图2 4 所示，这对于单视点 全向成像系统是无法完成的。同时非单视点全向图像是场景在多个视点的成像，基 于单幅非单视点全向像可以完成三维重建工作，避免了两幅或者多幅图像中对应点 的匹配问题，可大大降低三维重建的计算量。 第1 1 页 国防科学技术大学研究生院工学硕士学位论文 图2 4 双反射镜面的折反射全向成像系统模型不意图 非单视点折反射全向成像系统中的入射光线没有虚拟的汇聚点，即入射光线不 相交于同一点，光路示意图如图2 5 所示，其中反射镜面形没有特殊要求，可以是 球面、锥面、抛物面以及其他任意形状的面形。考虑到镜面成本和数学分析的复杂 性，早期的非单视点成像系统主要基于球面镜或者圆锥面镜来实现。 y a g i 和k a w a t o 等设计了一种锥面折反射成像系统c o p i s ( c o n i c a lp r o j e c t i o n i m a g es e n s o r ) 5 7 1 ；b e t k e 和g u r v i t s 设计了一个以球面镜作为反射镜的折反射成像 系统【5 引，并将其用于机器人导航的视频采集。国内学者曾吉勇【2 3 】【5 9 - 6 0 设计了非单视 点折反射全景成像系统，设计制作了特殊面形反射镜，建立了水平场景无畸变的折 反射全景成像系统【5 9 】与柱面场景无畸变折反射全景成像系统 6 0 1 。 非单视点折反射全向成像系统在面形选择上的自由可以让使用者根据实际需要 寻找最优的反射镜的面形或者使用多个镜面进行组合。例如：a b a s u 等人开发了一 种双反射镜面的折反射全向成像系统 5 5 - 5 6 】来增大视场，如图2 4 所示。 d s o u t h w e l l 5 6 1 ，l c o n r o ，6 1 】和e d u a r d o 6 2 1 利用一个透视摄像机和两个反射镜面连在 一起的反射镜组成折反射全向成像系统。 第1 2 页 国防科学技术大学研究生院t 学硕七学位论文 像平 高 像点 w 于1 彳| 反射电，浆 图2 5 非单视点折反射全向成像光路不意图 2 3 2 基于非单视点折反射全向图像的三维重建 对于任意