(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf_第1页
(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf_第2页
(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf_第3页
(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf_第4页
(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf_第5页
已阅读5页,还剩47页未读, 继续免费阅读

(大地测量学与测量工程专业论文)稀疏深度图匹配关键技术研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中南大学硕士学位论文摘要 摘要 三维数据的获取问题对于3 d g i s 而言具有极其重要的意义。基 于摄影测量与多视几何理论的影像匹配技术可以获得地面高程信息、 纹理数据等,它已逐渐成为三维数据获取的最主要手段之一。基于影 像匹配所得的结果是稠密深度图,它包含了影像中每个象素的三维信 息,但由此得到的三维数据用在3 d g i s 建模时需要进行大量简化, 同时当影像中存在大范围非特征区域时,易产生大量的误匹配。为此, 论文针对3 d g i s 建模的需求,研究了稀疏深度图匹配的关键技术, 旨在快速自动生成特征区域内的深度图,回避对纹理稀疏区域的匹 配。论文的主要工作有: 1 ) 介绍了双目立体视觉成像原理以及基于多视几何理论的核线 影像求解方法,分析了影像匹配中的约束条件、难点和匹配算法的主 要评价手段。 2 ) 提出了一种基于法向量的特征区域提取算法。该算法根据象 素点邻域内法向量的变化程度来判断其是否为特征点,有效提取了灰 度变化剧烈的区域,过滤了特征不明显的平滑区域。 3 ) 对现有的影像匹配算法进行了对比、分析和总结。提出一种 基于特征区域的稀疏深度图匹配算法。将影像看成是一个连续的三维 曲面,以特征区域作为匹配对象,利用匹配窗口中对应法向量的余弦 值之总和构造匹配代价函数。基于特征区域的匹配可以回避对纹理缺 乏区域的错误匹配,同时加快了计算速度。 4 ) 利用c + + 语言开发了上述算法,使用真实影像数据进行了匹 配实验。结果表明,本文匹配算法可以有效地生成稀疏深度图,错误 匹配率较低,并能满足3 d g i s 中的建模需求。 关键字摄影测量,特征区域提取,向量匹配,稀疏深度图,3 d g i s 中南大学硕士学位论文 a b s t r a c t a bs t r a c t t h e3 dd a t aa c q u i s i t i o ni s v e r yi m p o r t a n tf o r3 dg e o g r a p h i c i n f o r m a t i o ns y s t e m ( 3 d g i s ) i m a g em a t c h i n gb a s e do np h o t o g r a m m e t r y a n dm u l t i p l ev i e wg e o m e t r yh a sb e c o m eo n eo ft h em a i nm e a n so f3 d d a t aa c q u i s i t i o nw h i c hc a no b t a i ng r o u n de l e v a t i o na n dt e x t u r ed a t a d e n s ed e p t hm a pa st h er e s u l to fi m a g em a t c h i n gc o n t a i n s3 d i n f o r m a t i o no f e a c hi m a g ep i x e l b u tt h e3 dd a t ae x t r a c t e df r o mt h i sw a y n e e dt ob es i m p l i f i e di fu s e df o r3 dm o d e l i n gi n3 d g i s o nt h eo t h e r h a n d ,i fs p a r s et e x t u r er e g i o n se x i s t i nt h ei m a g e s ,i t sd i f f i c u l tt o o v e r c o m et h ee r r o rm a t c h e s t h e r e f o r e ,f o rt h en e e do f3 d g i sm o d e l i n g , t h ea u t h o rs t u d i e st h ek e yt e c h n o l o g i e so fs p a r s ed e p t hm a pm a t c h i n g t h eo b je c t i v ei st oq u i c k l yg e n e r a t es p a r s ed e p t hm a pa u t o m a t i c a l l ya n d a v o i dm i s m a t c h i n gi nt e x t u r e l e s sr e g i o n s t h em a i nw o r ki sa sf o l l o w s : 1 ) t h ei m a g i n gp r i n c i p l eo fb i n o c u l a r s t e r e ov i s i o n ,t h eb a s i ct h e o r y a n ds o l u t i o nm e t h o do fe p i p o l a ri m a g eg e n e r a t i o na r ei n t r o d u c e d t h e n t h ei m a g em a t c h i n gc o n s t r a i n t s ,d i f f i c u l t i e sa n de v a l u a t i o nm e a n sa r e a n a l y z e d 2 ) t h ea u t h o rp r o p o s e sa ne x t r a c t i o na l g o r i t h mo ff e a t u r er e g i o n s b a s e do nn o r m a lv e c t o r t h em e t h o dj u d g e sw h e t h e rt h ep i x e li sf e a t u r e p o i n to rn o ta c c o r d i n gt ot h ec h a n g ed e g r e eo fn o r m a lv e c t o r si np i x e l n e i g h b o r h o o d i te f f e c t i v e l ye x t r a c t st h er e g i o n si nw h i c ht h eg r a ys c a l e c h a n g e sg r e a t l ya n df i l t e r st h es m o o t ha r e a sw i t h n or e m a r k a b l ef e a t u r e 3 ) a f t e rc o m p a r i n ga n da n a l y z i n gt h em a t c h i n ga l g o r i t h m si nc u r r e n t r e f e r e n c e ,t h ea u t h o rp r e s e n t sas p a r s ed e p t hm a pm a t c h i n ga l g o r i t h m b a s e do nf e a t u r er e g i o n s t h ea l g o r i t h mt a k e so n ei m a g ea sac o n t i n u o u s 3 ds u r f a c e ,a n dm a i n l ym a t c h e sf e a t u r er e g i o n s t h es u m m a r yo fc o s i n e v a l u e so fc o r r e s p o n d i n gn o r m a lv e c t o r si nt w om a t c hw i n d o w sa r e a d o p t e da st h ec o s tf u n c t i o n s t h ea l g o r i t h mb a s e d o nf e a t u r er e g i o n sc a n f i l t e rs p a r s et e x t u r er e g i o n st oa v o i dm i s m a t c ha n ds a v ec o m p u t e rt i m e 4 ) c + + l a n g u a g ei su s e dt oi m p l e m e n tt h i sa l g o r i t h m ,a n dt h er e a l i m a g ed a t ai s u s e df o rc h e c k i n gi t t h er e s u l t ss h o wt h a tt h ep r o p o s e d a l g o r i t h mi se f f e c t i v et oo b t a i nt h es p a r s ed e p t hm a p sw h i c h c a l ls a t i s f y i l 中南大学硕士学位论文 a b s t r a c t 3d g i sm o d e l i n g k e y w o r d s p h o t o g r a m m e t r y ,f e a t u r er e g i o ne x t r a c t i o n ,v e c t o rb a s e d m a t c h i n g ,s p a r s ed e p t hm a p ,3 d g i s i i i 中南大学硕士学位论文第一章绪论 1 1 研究背景与意义 第一章绪论 二十一世纪,随着经济建设、现代电子技术、航天技术和通信技术等的快速 发展,人类正大步跨入信息时代。利用空间信息科学实现地球、区域和城市的数 字化管理成为地球科学领域的项主要任务。由于二维空间信息的局限性,二维 地理信息系统( 2 d g i s ) 已逐渐不能满足各行各业应用的需求。如何提高计算机 对三维数据的获取、管理和应用能力越来越受到各领域的关注,三维地理信息系 统( 3 d g i s ) 应运而生。3 d g i s 突破了常规二维表示对形式的束缚,实现了对现 实世界中三维对象的逼真表示,为各行业提供了更加直观的辅助决策支持。相比 2 d g i s 而言,3 d g i s 具有多维信息表达、处理和分析的特点,在城市应急、军 事仿真、虚拟旅游、智能交通、环保监测、石油设施与海洋资源管理等许多行业 和领域得到广泛应用,并具有不可替代性【1 1 。 三维数据的获取问题对于3 d g i s 而言具有极其重要的意义,也是阻碍3 d g i s 进一步发展的瓶颈之一。传统的空间测量方法由于采集周期长、效率低,难以快 速采集和更新大批量空间三维信息。随着航空摄影测量、近景摄影测量、地面移 动测量、机载与地面激光扫描与g p s 等传感器的精度与速度的明显提高,三维 数据获取技术也得到了快速进步。 目前,三维数据获取方法主要有【2 】:数字摄影测量方法、三维激光扫描技术、 机载三维成像仪、单片立体量测和车载移动测量系统等。其中基于三维激光扫描 和机载三维成像仪的方法适用于大范围三维模型数据获取和复杂地物精细建模, 但其价格昂贵,难以得到普及应用;单片立体量测主要适用于建筑物等具有明显 几何特征的空间物体;车载移动测量方法适用于走廊地带建模,其相关技术有待 完善,且设备过于昂贵。基于数字摄影测量的方法是利用航空影像或普通数码相 机获取的数字影像,通过影像匹配得到地面高程信息、纹理数据等,它已逐渐成 为三维数据获取的最主要手段之一 基于数字摄影测量的三维数据获取方法涉及到数字影像处理、计算机视觉和 模式识别等多学科的理论和方法,其核心技术是影像匹配。影像匹配是通过定 的匹配算法在两幅( 或多幅) 影像之间识别同名点的过程。它的发展程度在一定 意义上决定了数字摄影测量的自动化程度。同时,影像匹配在越来越多的领域扮 演着重要的角色,如:计算机视觉、航空摄影测量、生物医学、光学和雷达跟踪、 飞行器巡航制导、巡航导弹末制导、环境监测、视觉控制等p j 。 中南大学硕士学位论文第章绪论 近年来,国际上有关影像匹配的大量研究工作集中在图像处理和计算机视觉 领域,它是计算机视觉应用,如深度恢复、摄像机标定、运动分析以及三维重构 等问题的研究基石,基于这方面应用的匹配算法大多数情况以桌面影像数据为 主。在3 d g i s 领域,主要目的是通过影像匹配获取地面自然环境以及地物的三维 数据,实现数字表面模型( d s m ) 的自动提取。 与计算机视觉相比,3 d g i s 领域研究的影像数据有所不同,它包含了大量的 人工建筑物、道路、植被等复杂信息,具有以下特点:视差较大、噪声较多、光 照变化明显、单幅影像数据量大等,从而增加了影像匹配的难度。另外,影像匹 配的直接结果是稠密深度图( d e n s ed e p t hm a p ) ,深度图与一般的光学图像不同, 深度图中每个象素的值表示物体表面各点离传感器的距离而不是表面各点反射 光的强度。稠密深度图的生成是逐象素进行的,计算量大,它用于3 d g i s 中的 三维建模时,必须予以简化。而且它目前仍然缺乏良好的算法来解决匹配过程中 出现的各类难题。 本论文的研究课题来源于国家高技术研究发展计划项目“面向应急救援的增 强现实地理信息系统技术”,该项目中的主要内容之一增强影像生成技术, 增强影像即附带了三维信息的二维影像,主要研究基于序列影像的深度图快速生 成技术,而影像匹配的直接结果是深度图。通过影像匹配获取地物的三维空间信 息,从而重构出数字表面模型。本文针对项目以及3 d g i s 应用的需求,研究了稀 疏深度图( s p a r s ed e p t hm a p ) 匹配的关键技术,旨在快速自动生成稀疏深度图, 回避对表面光滑连续的纹理稀疏区域的匹配,如:湖泊、沙地、大面积农作物、 道路、现代建筑物墙面和项部等。 1 2 国内外研究现状与成果综述 基于影像匹配获取三维信息的方法近年来得到了广泛而深入的研究。影像匹 配作为计算机视觉和数字摄影测量的核心技术,是三维场景结构信息获取的研究 热点之一,其基本原理是从两个视点观察同一场景以获得立体像对,通过一定的 匹配算法识别像对间的同名点。 影像匹配的研究始于2 0 世纪8 0 年代初,美国麻省理工学院的d m a r r 首次 从信息处理的角度提出了第一个较为完善的视觉系统框架1 4 】,定义三维视觉为 “从场景的一幅或者多幅影像,推导出该场景的精确三维几何信息,并定量地确 定场景中物体的性质”。1 9 8 2 年,b a r n a r d 和f i s c h l e r t 5 j 第一次系统地总结了三维 视觉的研究成果,主要集中在立体重建的基本原理、算法评价准则以及对当时比 较流行的算法的评述。立体匹配开始成为计算机视觉领域的研究热点之一。s m i t h 2 中南大学硕士学位论文 第一章绪论 和h a r r i s 等提出了基于特征的算法,其中s u s a n 角点检测算子【6 】对象素周围区 域最小化,用统计特性来决定该象素的属性,h a r r i s 算子【7 】是对m o r a v e c 算子【8 】 ( 也被称为p l e s s e y 算子) 的改进,它作为一种典型的角点检测算子被广泛应用 于计算机视觉,本文采用了该算法进行特征点提取。u r d h o n d 和j k a g g a r w a l l 9 1 总结了8 0 年代立体匹配方法,包括大量新匹配方法,引入了层次处理概念,并 采用三目立体约束以降低立体匹配的二义性。 随着立体匹配在多方面的逐步成熟,9 0 年代早期开始,很多研究者将重点 转向立体匹配在特定问题中的应用,如三维重建、摄影测量、虚拟现实、基于图 像的绘制技术等。f a u g e r a s 1 0 j 详细综述了在非摄像机校正条件下立体视觉的研 究。k o s c h a n 1 总结了1 9 8 9 年到1 9 9 3 年立体影像匹配技术的发展,包括对遮挡 ( o c c l u s i o n ) 的早期研究,主动和动态立体匹配,无纹理问题以及实时立体视觉 实现等问题。1 9 9 2 年h a r t l e y 和z i s s e r m a n 1 2 】提出了计算机多视几何学,从理论 上对三维重建进行了分析。在这种建模框架下,可以从未标定图像序列进行三维 射影重构。另外,发展了很多新的方法,如区域匹配算法,特征匹配算法,处理 遮挡问题的方法,多相机立体匹配等。 s c h a r s t e i n 和s z e l i s k i t l 3 j 在2 0 0 2 年对当时已有的一些代表性算法进行了详细 分类和评估。将现有立体匹配过程分为四个相对独立模块:匹配代价计算、匹配 代价累加、视差计算最优化、视差校正,认为当前的各种匹配算法归结为模块 相对变动的结果。该方法采用1 6 种误差统计参数,分析和评价每个模块变动因 素对算法性能的影响以及对图像不同性质区域的性能。并编写了一个软件平台 ( 见m i d d l e b u r y 网站1 1 4 j ) 用于各类算法的评估。 长期以来,国内外有大批学者研究影像匹配相关问题,并根据实际需求提出 了许多改进的方法。如w a n g ”l 根据分割区域动态选择匹配窗口的形状和大小, 取得了很好的匹配效果,但对于复杂纹理图像,精确分割受到限制。鼬m 【l6 】采用 分级思想,融合了区域匹配、特征匹配和能量最小化三种算法,形成一种混合优 化算法。徐奕l l7 】利用双正交小波基构造滤波器,采用多尺度匹配策略的动态规划 技术,得到最优的匹配路径。o h t a 0 8 l 提出了以边缘线为匹配特征的动态规划匹配 算法,首次将动态规划的搜索空间扩大到三维。c o x l l 9 】利用图割算法( g r a p hc u t ) 求解立体匹配时,设计的能量函数首次考虑了遮挡情况,图割算法能有效地去除 纹理瑕疵。z i t n i e k 2 0 1 极具创意地改进了d m a r t 原始协同算法( c o o p e r a t i v e a l g o r i t h m ) 。s u n l 2 1 】在m a r k o v 网络框架下,用b a y e s i a n 置信度传播算法( b e l i e f p r o p a g a t i o n ) ,在整个影像区域得到较好的结果。对于稀疏深度图的研究,m i c h e l s a r k i s 等【2 2 】提出基于置信度传播的方法,该方法用一个稀疏的左影像去匹配完整 的右影像,其本质与区域匹配法差异不大。 中南大学硕士学位论文第一章绪论 这些基于区域和基于特征匹配的方法,动态规划算法,人工智能算法,基于 图割的方法,非线性扩散算法等的研究,在过去十年中都取得了很多成果。据 m i d d l e b u r y 网站的评估,基于图像分割的算法1 2 3 1 1 2 4 】【2 5 1 1 2 6 具有最好的匹配结果。 其主要思想是先利用分割算法将图像按灰度相似性分割为块,在假定块内深度是 线性变化的条件下,约束匹配过程,从而得到较理想的匹配结果。基于分割的算 法优点是将匹配限定在具有近似特征的分块间进行,限定了匹配的范围,从而具 有很好的匹配效果。其缺点是在图像分割阶段需花费大量的计算时间。 影像匹配算法经过三十多年的研究已有很大的发展,但是由于场景的复杂多 变,至今仍未研究出一种算法可以同时解决匹配精度、准确率、速度、通用性等 问题,完善现有立体匹配技术还有很大的空间。尽管它在国际上仍然是一大难题, 但其广泛的应用前景不断地吸引众多学者对其进行研究,新的算法层出不穷。在 解决匹配算法中重复纹理、纹理信息缺乏、深度不连续、遮挡、变形等问题上还 需要我们不断探索和完善。 1 3 本文的主要工作及安排 本文围绕影像匹配这一核心问题展开工作,研究重点是影像中特征区域内对 应点高效、快速、可靠的自动匹配,提高匹配的自动化程度和精度。研究的总体 框架如图1 1 所示。 图1 - 1 研究的总体框架 4 中南大学硕士学位论文第一章绪论 本文的主要内容安排如下: 1 ) 绪论。简单论述了深度图匹配的研究背景和意义,综述了影像匹配技术 的发展历程和现状,并介绍了论文的总体框架和内容安排。 2 ) 研究基础与理论方法。本章主要介绍了深度与视差的关系、基于多视几 何理论的影像校正,简述了影像匹配中的约束条件、难点与主要的算法评价手段。 概述了影像匹配问题以及当前各种匹配算法的分类和比较。 3 ) 影像特征区域提取。首先对影像采用w a u i s 滤波算法来进行影像预处理, 可以增强原始影像的反差,同时抑制噪声。提出一种基于法向量的特征区域提取 算法,该算法能有效提取纹理丰富的特征区域,检测影像中灰度变化平坦的区域, 如天空、建筑物墙面、顶部、道路以及大面积水域等,有效提取了灰度变化剧烈 的区域,从而简化后续的深度图匹配;并对特征提取结果进行了比较分析。 4 ) 基于特征区域的稀疏深度图匹配算法。本章为全文的核心,提出一种基 于特征区域的稀疏深度图匹配算法,根据法向量之间的相互关系确定一种适当的 影像相关性,从而建立匹配代价函数,设计了匹配算法以及深度图优化算法。并 对深度图匹配算法进行实验验证,对匹配结果进行了比较分析。 5 ) 总结与展望。本章对全论文研究工作进行了总结,对匹配算法在下一阶 段应做的研究进行了展望和探讨。 5 中南大学硕士学位论文第二章研究基础与理论方法 第二章研究基础与理论方法 立体匹配是从摄像机获取的影像出发,计算三维自然环境中物体的深度信息 的过程。影像上每点的位置与空间物体表面相应点的几何位置有关,它们的相互 关系由摄像机成像几何模型决定。下面介绍与立体匹配有关的基本概念和理论知 识,主要包括立体视觉中视差与深度的关系、摄像机模型、两视几何基本原理等, 通过提取少量特征点进行匹配来求解基本矩阵,从而校正原始影像,为匹配提供 核线影像。并简述了影像匹配中的约束条件、难点以及评价的基本手段。这些内 容是本文算法设计、理论推导的理论基础和依据。 2 1 立体视觉 人眼是一个天然的光学系统,利用双眼观察场景,可以判断物体的远近,得 到场景的立体效应。当人眼从两个不同角度观察某一场景时,离观察者距离不同 的物体会在两眼视网膜上不同的位置成像,这种位置差称为双目视差。 在计算机视觉中,同一物体在左右两个像平面上的位置差称为视差,它反映 了物体的深度( 如图2 1 所示) ,即物点到焦点的距离。两幅图像上所有像点的 视差组成的图称为视差图。 焦 图2 - 1 深度的定义 如图2 - 1 所示,将人眼看成是两台相机( 见图2 2 ) ,将基线距设为召,焦距 设为 当相机从两个不同角度观察( 尸,q ) 时,离相机距离不同的物体会在像平面 ( g ,g g 上不同的位置成像。设物体尸的空间坐标为尸阢动,尸分别在左右相 机上的投影设为p l 岱蕊y l o ) ,1 2 ,劫。假设两相机的图像在同一个平面上, 6 中南大学硕士学位论文 第二章研究基础与理论方法 d e p t h 左焦点 1 b 右焦点 图2 2 人眼的立体视觉 则p l ,p 2 的图像纵坐标相同,即卜砀= ,视差为: d i s p a r i t y = 工岛一爿oi _ q 鼻+ 0 2 丑 设点p 到基线的垂直交点与左焦点之间的距离为z ,由几何关系可知视差和 深度之间存在如下关系: 却历= 0 l 弓i ( 2 - 1 ) 【厂d e p t h = 0 2 曼( b 一,) 由上式可得:l = 0 1 p l 宰b ( o i p l + 0 2 p 2 ) ,将,代入公式( 2 1 ) 可知深度d e p t h = b * f d i s p a r i t y 。由此可以看出,当基线长度和焦距已知时,要实现影像深度的关键是 得到视差。 由三角几何关系得到: x 坳= 扛c z c = f ( x c b ) z c ( 2 2 ) 【y = 成乙 由此可得p 点的三维坐标为: f x o = b 拳d i s p a r i t y 儿= 口宰】,d i s p a r i t y ( 2 - 3 ) 【乙= b 宰f d i s p a r i t y 因此,左影像上的任意一点只要能在右影像上找到对应的匹配点,就可以确 定出该点的三维坐标。这是一种点对点运算方法,影像上所有的点只要存在相应 的匹配点,就可利用上述运算获取其对应的空间三维坐标。 7 中南大学硕士学位论文 第二章研究基础与理论方法 2 2 多视几何基本理论 多视几何( m u l t i p l ev i e wg e o m e t r y ) 理论在计算机科学领域近十多年来得到 了长足的发展,成为一个热点研究方向,国际上已有一些经典的文献( 如: h a r t l e y i l2 。,m ,j ) ,理论和实践已达到成熟的阶段。多视几何主要研究在摄像机 未标定的情况下,利用几何的方法,通过由普通相机所获取的二维影像序列,来 重构场景的三维几何结构信息,以及相机获取影像时的三维空间位置与方向。多 视几何理论应用很广泛,如电视、电影以及游戏制作;机器人自主导航;考古现 场的三维场景重构;犯罪现场、交通事故的取证与分析;以及为诸多行业提供虚 实融合技术等。同时,它的理论及技术的发展为传统摄影测量领域提供了新的发 展方向。下面将主要介绍摄像机模型和两视几何。 2 2 1 摄像机模型 为了根据图像上像点的位置确定相应物点的空间位置,必须选择适当的坐标 系来定量描述像点和物点以及摄像机的位置关系,实现坐标系的变换。在介绍摄 像机模型前首先了解一下图像坐标系、摄像机坐标系与世界坐标系【2 8 1 。 jl, o nl o l ( u o ,v o ) 1ry 图2 - 3 图像坐标系 在计算机内,每幅数字图像是一个m x n 的矩阵,矩阵的每个元素值称为图 像的象素( 即灰度值) 。 如图2 3 所示,在图像上定义一个平面直角坐标系弘n 以象素为单位。坐 标( “,v ) 分别表示象素在矩阵中的行数和列数,但是由于没有物理单位来表示该象 素点在图像中的位置,所以需再建立一个以物理单位表示的图像坐标系必l 该 坐标系的原点d l 定义为摄像机光轴与图像平面的交点,也称为摄像机的主点, 一般位于图像的中心。( 材,d 表示以象素为单位的图像坐标系的坐标,似力表示 以毫米为单位的图像坐标系的坐标。假设0 l 在u - v 坐标系中的坐标为( 蜘,岫, 8 中南大学硕士学位论文第二章研究基础与理论方法 任一象素m 在x 轴、】,轴方向上的物理尺寸为d x ,砂,在图像坐标系中的坐标记 为甬= ( x ,y ) r ,则在两个坐标系下,图像中任意个象素有如下关系: k 1 2 - x i 船h o ( 2 - 4 ) t 1 ,= y d y + i = 1 爹,潮 协5 , 潮豳 协6 , 图2 - 4 摄像机坐标系与世界坐标系 图2 4 表示摄像机成像几何关系 2 9 1 。其中伉点为摄像机光心,疋轴和匕轴 分别与x 轴和】,轴平行,垂直于图像平面的z c 轴表示摄像机光轴。图像坐标系 的原点为乙轴与图像平面的交点。点d c 与足轴,匕轴,乙轴构成摄像机坐标系。 万为摄像机像平面,厂为摄像机的焦距。摄像机的位置与环境中任何物体的位置 通过世界坐标系来描述,它由点仉与凰轴,k 轴,乙轴组成。用旋转矩阵尺 ( 为3 x 3 的正交单位矩阵) 与平移向量t ( 为三位平移向量) 可以描述摄像机坐 标系与世界坐标系之间的关系。 空间中任意一点从如果已知该点在摄像机坐标系与世界坐标系下的齐次坐 9 出0 0 。l i | i 1j x y r。,。l 为 菇 示 表丌: - f 系关逆其 中南大学硕士学位论文第二章研究基础与理论方法 标位,y c ,z c ) r 与,肌,如,1 ) t 则存在如下关系: y c z c 1 = 鲫 瓦 y 。 z ” l = m y 。 z ” l ( 2 7 ) 其中0 = ( o ,0 ,o ) 7 ;n i 为4 x 4 的矩阵。 摄像机的基本成像模型为针孔模型,由三维空间到平面的中心投影变换所给 出,如图2 - 4 所示。空间点m 在图像上的成像位置m 为佛与m 的连线与平面万 的交点,根据三角形相似性原理可知以下比例关系: y x := 以f x c 麓 协8 , 公式( 2 8 ) 的矩阵形式为: 00 o l i f 001 010l j t y c z c l ( 2 9 ) 将公式( 2 5 ) ( 2 6 ) 代入公式( 2 9 ) ,可得世界坐标系下的m 点坐标与投 影点m 的坐标( “,d 的关系如下: 乙 i = 1 苫抚- 墨耖辜 吾詈0 7 三 ;, = 畦1 ;u o l e o : 儿 乙 l = l n 2 x 。= n x k y 。 z w l ( 2 1 0 ) 其中,q = 厂出,口,= 厂咖,= ( ,h ,1 ) 1 。n 1 只与摄像机内部结构有 关,称为摄像机内部参数,2 由摄像机相对于世界坐标系的方位决定,称为摄 像机外部参数。确定摄像机的内外参数称为摄像机定标。是一个3 4 矩阵,通 常称它为摄像机矩阵,也称投影矩阵。可知,如果摄像机的内外参数已知,即投 影矩阵已知,对空点任意点m 如果已知它的世界坐标,h ,z w , 1 ) 丁,就可求出 它的像点m 的图像坐标( “,。这就是针孔成像模型的代数表示。 1 0 厂0 0 。l = 1,j 成舭乙 _,l = 1j x y l 。l 乙 中南大学硕士学位论文第二章研究基础与理论方法 2 2 2 两视几何 两视几何【1 2 】是研究两幅图像之间存在的极几何。它与场景结构无关,只依赖 于摄像机的内外参数和相对姿态。两视几何的精华集中在基本矩阵f 。下面介绍 两摄像机的极几何关系,并推导基本矩阵。 如图2 5 所示 3 0 1 ,no 为摄像机光心,通过两个摄像机光心的平面万称为 极平面,两个摄像机光心的连线o o 称为基线,所有极平面的全体构成共基线 的平面束。极平面万与摄像机平面彳,口的交线, ,称为极线,则,称为一对极 线对应。极平面万上任意一点m 在两像平面上的投影m ,朋( 通常称为同名点) 必定分别位于极线7 ,上。基线与像平面的交点e ,p 称为极点。由于所有极平面 都通过基线,所以两个像平面上所有极线都分别交于极点e ,e ,从而所有极线构 成了共极点的平面线束。 圈2 - 5 两幅图像的极几何 极几何是描述两幅图像上点和线的关联关系,这种关系可以用基本矩阵或本 质矩阵表达。当两影像问存在相对旋转矩阵r 、相对位移矢量,且两相机内参矩 阵匠k 未知时,两影像间的映射关系可用基本矩阵描述。基本矩阵是一个秩为2 的3 3 矩阵,如果三维空间中点m 在两幅视图中的像点分别为m ,m ,则这两像点 满足关系: 埘订。f m ;0 ,f = 【k ,】。【r 】 ( 2 一l1 ) 基本矩阵,的几何意义是,点m 在b 上的对应点所必然在过b 核点的直线上。 基本矩阵有以下重要性质: 1 ) 如果,是像对( f i t ,伪) 的基本矩阵,则,是其反序像x , j ( m ,m ) 的基本矩阵。 中南大学硕士学位论文第二章研究基础与理论方法 2 ) 如果点m 与m 对应,n m 在对应于点m 的对极线,上,即满足关系:l = f m , 同理,= ,荔。 3 ) 任何像点m 的对极线,包含对极点e 因此满足关系:p 丁c 砌) = ( p 幻聊= o , 从而推出:e 爿肛0 ,同理:f e = o 。 4 ) 腥一个3 * 3 矩阵,有8 个独立的比率,另外,n 丕满足约束d e t f = 0 ,因此 要再减去一个自由度,所以席7 个自由度,只需要计算7 个同名点对即可求解基 本矩阵。 投影矩阵的实质是摄影测量中的共线条件方程。在多视几何理论中,投影矩 阵是将空间三维点变换n - - 维点的映射矩阵。令与同名像点m 与m 对应的三维点 为m 则有:m = p m o 又:p = 研r 卜r 日,即有m = 研r 卜r t m o 对于一个像对而言,如果以左影像相机投影中心为参考原点,设两影铷与 b 的投影矩阵分别为p l 与尸2 ,则其与基本矩阵贿如下关系【1 2 1 : 设基本矩阵为r 影像b 的核点为e ,且存在一个偏斜矩阵s ,则p l 与尸2 可表 达为: 眉= 1 1 0 】,昱= s f l p 】 ( 2 - 1 2 ) 通常河选择e 构成的斜对称矩阵,即可令s = p 1 。m 。 令与同名像点m 与m 对应的三维点为m 则:m = p l 必m = p 2 m o 故当尸l 与尸2 均已知时,即可求得三维点蝴位置。 2 3 基于多视几何理论的影像校正 2 3 1 影像特征点提取 通过特征提取可以获取影像匹配赖以进行的图像特征,图像特征的性质与图 像匹配的方法选择有着密切的联系。迄今为止,还没有建立起一种普遍适用的获 取图像特征的理论,因此导致了立体视觉研究领域中匹配特征的多样化。常用的 匹配特征主要有点状特征、线状特征和区域特征等几种情形。目前,关于特征点 提取的算子非常多,其中基于灰度变化的特征点提取算子有:m o r a v e c 算子【3 、 f o r s t n e r 算子【3 2 】、s u s a n 算子【6 1 、k l t 算子【3 3 1 、h a r r i s 算子 7 1 等,针对不同的影 像内容可做适当的选择。本文中影像特征点提取目的是为求解影像的内外方位元 素提供匹配所需的少量点。由于h a r r i s 算子具有较强的鲁棒性且复杂程度适中, 本文采用h a r r i s 算子来进行特征点的提取。 h a r r i s 算子【7 j 是c h a r r i s 和m s t e p h e n s 在m o r a v c c 算子的基础上发展出来 的点特征提取算子。在特征点提取中,常用梯度v f = u ,工) 7 来表征。在进行特 1 2 中南大学硕士学位论文 第二章研究基础与理论方法 征提取前,用高斯滤波器q ( x ,少) 来平滑去除图像中的噪声,提高所提取特征点 的准确性。用卷积g y 代替厂( 式中木代表两个序列卷积运算) ,完成平滑过程。 h a r r i s 算子给出与自相关函数相联系的矩阵m ,m 的表达式为: 州町,c v f ) r = 阢办 磊钐 协 公式( 2 1 3 ) 中,五为x 方向的梯度,石为y 方向的梯度。矩阵m 可以解析 地表达点特征的性质。假设g 0 是满足l f o d x d y = l 的权重函数,可得 一m :g * m( 2 1 4 ) m 能保持原图像的质量。在理想的特征点,其梯度是直角方向的,m 有两 个同样大的正特征值。在真正的特征点,两特征值都很大,且大小几乎一致。由 此,h a r r i s 构造了表达式: k 肭= d e t ( m ) 一k 幸t r 2 ( m ) ( 2 1 5 ) 其中d e t ( m ) 是矩阵的行列式,t r ( m ) 是矩阵的迹,k 为默认的正参数。d e t ( m ) 在特征点处大,在特征边缘处小,而t r ( m ) 在特征点和边缘保持一致。所以,风肭 为局部最大时,该点为特征点。 h a r r i s 算子是一种有效的点特征提取算子,其优点有p 4 1 :1 ) 计算简单,算 法只用到灰度的一阶差分及滤波,计算量小,速度快。2 ) 提取特征点均匀且合 理,在纹理丰富的区域提取的特征点数量多,而纹理贫乏的区域只能提取少量的 特征点。3 ) 可根据所需的特征点个数,对所有局部极值点进行排序,根据需要 提取出有特性的点。4 ) 提取稳定,计算中只涉及到一阶导数,对图像旋转、灰 度变化、噪声和视点的变换不敏感,是一种稳定的点特征提取算子。 2 3 2 求解基本矩阵 计算基本矩阵的一般方法有归一化8 点算法、代数误差的最小化算法、黄金 标准几何算法。在大多数情况下,后两种算法的结果几乎相同,且明显优于第一 种未迭代的8 点算法。由于基本矩阵的求解过程对噪声非常敏感,本文中采用基 于r a n s a c 3 5 1 ( r a n d o ms a m p l i n gc o n s e n s u s ,随机抽样一致性算法) 思想的自 动估计算法来估计基本矩阵,该算法具有很强的鲁棒性。 r a n s a c 算法是f i s e h l e r 和b o l l e s 于19 81 年提出,它在计算机视觉领域有着十 分广泛的应用。黜州s a c 算法的基本思想是:通过迭代随机地抽取最小点集,找 出使得内点( 满足估计的点) 所占比例最高的最小点集,利用最小点集估计的基 本矩阵和这些内点一起进一步非线性优化,估算出最终的基本矩阵。其估计步骤 如下1 4 】: 中南大学硕士学位论文 第二章研究基础与理论方法 1 ) 从两幅图像上提取特征点,本文中采用h a r r i s 算法( 见2 3 1 节) ; 2 ) 根据特征点的灰度领域的相近和相似计算它们的匹配集; 3 ) 采用7 组点对应估计基本矩阵f 的初始值,结果可能得到一个或三个实解; 4 ) 对每一组假设对应点利m s a m p s o n 近似计算距离d ,测量一对匹配点满足 对极几何的接近程度; 5 ) 计算与矩阵严致的内点数,如果脯三个实解,则计算每个实解的内点 数,保留具有最多内点数的解,存在数目相同的情况,则保留内点标准方差最小 的解; 6 ) 根据划为内点的所有对应点重新估计基本矩阵凡 7 ) 利用f 定义对极线附近的搜索区域,进一步确认对应的特征点; 8 ) 反复迭代计算步骤6 ) 和7 ) ,直到对应点的数目稳定为止。 r a n s a c 算法的最大优点是能够处理传统鲁棒性方法所不能处理的误匹配 点比率大于5 0 的情况,因此它在很多计算机视觉应用中已成为标准配置。 2 3 3 影像校正 影像校正是影像重采样的过程,其结果是生成水平核线影像,即核线平行于 图像阵列的行。核线在摄影测量中是一个重要的概念,特别是进入数字摄影测量 它变得尤其重要。通过基线的平面( 即核面) 与影像的交线为核线,同一核面与 左右影像的交线称为同名核线。由此可知任意物点一定位于通过该点的核面与影 像的交线上,影像校正可以使匹配点搜索位于同名核线上( 如图2 - 6 所示) 。 图2 - 6 原始影像与核线影像的关系 按照图像中需要进行匹配的像点的相对数目,图像匹配分为稀疏匹配和稠密 匹配两类。稀疏匹配产生稀疏的匹配点,主要用于确定视点与图像以及图像之间 的相对位置关系,即基本矩阵。 本文影像校正的基本流程如- v 1 3 6 1 : 1 ) 分别对影像进行特征点提取,本文采用的h a r r i s 算法得到了较理想的特 征点: 1 4 中南大学硕士学位论文第二章研究基础与理论方法 2 ) 进行影像特征点匹配,匹配的窗口大小以及搜索范围将直接影响匹配的 结果,一般可按图像的大小决定;由于错误匹配一般不可避免,本文采用 凡州s a c 算法; 3 ) 由于匹配过程中同时计算基本矩阵是一种稳健的方法,因此特征点匹配 与基本矩阵计算通常循环进行; 4 ) 投影矩阵可按第2 2 2 节所述内容由基本矩阵分解得到; 5 ) 利用对应像点集,结合投影矩阵,即可得到三维点集; 6 ) 利用投影矩阵计算得到对应矩阵日,再利用对应矩阵进行影像校正【3 0 1 , 得校正影像。 h 的计算可以参考文献 3 7 1 。假设影像彳与曰的校正影像分别为彳与b , 则a h 彳,b = 飓b 。两局矩阵为对应矩阵,在投影中心不存在平移的情况下, h = k r k 7 矩阵反映了两平面间的对应点投影关系。 为了获取稳健的结果,一般在拍摄前需要对相机进行校正,如有必要,在拍 摄后也应对相机再做一次校正。图2 7 为实验所用的无人机获取的像对经主要步 骤:h a r r i s 角点提取、特征点匹配和影像校正所得的结果。 ( a ) 左影像特征点提取( b ) 右影像特征点提取 ( c ) 匹配结果( d ) 校正后的左影像( e ) 校正后的右影像 图2 7 无人机获取的影像校正各步骤结果 由于采用多视几何理论进行影像校正时,对相机外方位元素无要求,因此本 实验所开发的系统不仅可用于航空摄影情形,同时也可以很好地用于地面近景摄 影测量,如图2 8 为采用普通数码相机拍摄的北大红一办公楼的影像对,通过一 系列处理得到了较好的结果。 中南人学硕士学位论文第二章研究基础与理论方法 ( a ) 左影像特征点提取( b ) 匹配结果 ( c ) 校正后的左影像( d ) 校正后的右影像 图2 - 8 北大红一办公楼影像校正各步骤结果 通过以上实验表明,基于多视几何理论的影像校正方法完全是可行而且有效 的,得到了比较理想的校正结果。 2 4 影像匹配中的约束条件及难点 2 4 1 匹配约束条件 为了解决从三维世界向二维影像投影过程中丧失大量信息这样一个病态问 题,通常需要按照成像几何原理和光学测定学性质等,假设一系列的约束条件来 减少搜索的范围和确定正确的匹配。当前影像匹配中常用到的约束条件有3 8 】: 1 ) 核线约束 对于经过校正的待匹配影像对,存在核线几何关系,即左核线上任意一点对 应于右影像的同名点必定位于右影像的同名核线上,2 1 2

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论