（信息与通信工程专业论文）数字摄影测量与三维重建系统关键技术研究.pdf

国防科学技术人。学研究生院! 学位论文 摘要 近年来，三维重建技术受到越来越多的关注。本文简要介绍了数字摄影测量与三维重 建的基本原理；然后针剥项目的具体情况提出了一种基于相对运动的相机标定方法，并和 现有的标定算法做了性能l 的对比；接着提出一种基于控制点约束的特征匹配方法；最后 着重介绍了我们设计并实现的完整的三维重建系统，给出实验结果并进行分析。 传统的相机标定一般利用专用的标定物进行；而白标定方法不需要标定物，直接从两 视图中求解相机内外参数。二崭都有其优点，但电都存在一定的局限眭。我们针对项f i 的 实际情况，提出了一种基十相列运动的相机标定方法，将相机参数分为儿组分别求解，实 验证明取得较好的结果并且求解速度较快，对设备的要求也很低。 目前图像特征匹配土要有基r 而积、基于特征和层次化的方法，但一直没有一种方法 能够达到人们所希望的全自动的效果。本文针对项f i 的实际情况提出了一科r 特征匹配方 法。浚方法首先通过一些控制点的匹配，进而实现其他特征点的匹配；实践证明这种方法 方便而实用。 我们实现的三维重建系统分为多个移动端雨1个服务器端，其中移动端的任务主要是 信息采集、打包和回传，而数据管理、三维重建等功能则统一由服务器端完成。作者的工 作主要集中在服务器端的软件匕，包括原始数掘库管理、相机标定、畸变校正( 部分) 、 三维重建、模型调整等功能的实现，同时包括相应的人机交互界面的设计；其中核心部分 是相机标定、畸变校正和：维照建，我们提h j 的各种方法已经成功的应用于这些部分。实 验结果表明本系统已经达剑实用的要求，能够较好的实现三维重建的任务。 【关键词】：摄影测量，计算机视觉，三维重建，相机标定，特征匹配 筇t 页 幽防科。、j 技术人学研究生院学位论文 a b s t r a c t i nr e c e n ty e a r s ，m o r ec o n c e r nh a sb e e ng i v e nt o3 dr e c o n s t r u c t i n gt e c h n o l o g y t h i st h e s i s i n t r o d u c e st h ee s s e n t i a lp r i n c i p l eo fd i g i t a lp h o t o g r a m m e t r ya n d3 dr e c o n s t r u c t i o nb r i e f l y , t h e na m e t h o db a s e do nr e l a t i v em o v e m e n tf o rc a m e r ac a l i b r a t i o ni sb r o u g h tu p ，a n di ti sc o m p a r e d w i t ho t h e re x i s t i n ga l g o r i t h m s a f t e rt h a tam e t h o db a s e do nc o n t r o l - p o i n tr e s t r i c t i o nf o rf e a t u r e m a t c h i n gi sg i v e n f i n a l l ya l li n t e g r a t e ds y s t e mo f3 dr e c o n s t r u c t i o nd e s i g n e da n di m p l e m e n t e d b yu si si n t r o d u c e d ，a n de x p e r i m e n tr e s u l t sa r eg i v e n c o n v e n t i o n a lm e t h o d sf o rc a m e r ac a l i b r a t i o nu s u a l l yn e e ds p e c i a lc a l i b r a t i n g o b j e c t s w h i l es e l f - c a l i b r a t i o nm e t h o d sd on o t t h e ye x t r a c tc a m e r ap a r a m e t e r sf r o mi m a g e sd i r e c t l y e a c hk i n do fm e t h o dh a si t ss t r o n g p o i n ta n dl i m i t a t i o nf o ro u rp r o j e c t ，w eh a v ec o m eu pw i t ha m e t h o df o rc a n r e r ac a l i b r a t i o nb a s e do nr e l a t i v em o v e n r e n t i td i v i d e sc a m e r ap a r a m e t e r si n t o s e v e r a lg r o u p sa n dc a l c u l a t e st h e ms e p a r a t e l y e x p e r i m e n tr e s u l t ss h o wt h a ti tm a k e sa n s w e r s n i c e t ya n dr a p i d l y , a n di t sr e q u i r e m e n tf o ri n s t r u m e n t si sl o w e x i s t i n ga l g o r i t h m sf o rt 、e a t u r em a t c h i n go fi m a g ea r em a i n l yb a s e do na r e a ，l e a t u r eo r h i e r a r c h yb u tt h e r ei sn oa l g o r i t h mc a nd oi tf u l l ya u t o m a t i c a l l y i nt h i st h e s i san e wm e t h o df o r f e a t u r em a t c h i n gi sg i v e n i tm a t c h e ss e v e r a lc o n t r o lp o i n t s ，a n dt h e nm a t c h e so t h e rp o i n t sb a s e d o nt h e m t h r o u g he x p e r i e n c ew ef o u n di te f f e c t i v e o u r3 dr e c o n s t r u c t i n gs y s t e mi n c l u d e ss e v e r a lc l i e n t sa n das e r v e r t h ec l i e n t sc o l l e c t ， a r r a n g ea n ds e n db a c ki n f o r m a t i o n t h es e r v e rm a n a g e st h ed a t aa n di m p l e m e n t st h ew o r ko f3 d r e c o n s t r u c t i o n m yw o r ki sm a i n l ya b o u tt h es o f l w a l ei nt h es e r v e r , i n c l u d i n gm a n a g e m e n to f o r i g i n a ld a t a b a s e ，c a m e r ac a l i b r a t i o n ，i m a g ec o r r e c t i o n ( p a r t l y ) ，3 dr e c o n s t r u c t i o n ，m o d e l a d j u s t m e n t ，a n ds oo n n e c e s s a r yi n t e r l h c eb e t w e e nh u m a na n dc o m p u t e ri si n c l u d e do fc o u r s e t h em o s ti m p o r t a n tp a r t sa r ec a m e r ac a l i b r a t i o n ，i m a g ec o r r e c t i o na n d3 dr e c o n s t r u c t i o n ，a n d o u rm e t h o d sh a v eb e e na p p l i e di nt h e me x p e r i m e n tr e s u l t ss h o wt h es y s t e mc a l ra c h i e v et h et a s k o f3 dr e c o n s t r u c t i o np r o p e r l y k e yw o r d s l ：p h o t o g r a m m e t r y , c o m p u t e rv i s i o n ，3 dr e c o n s t r u c t i o n ，c a m e r ac a l i b r a t i o n ， f e a t u r em a t c h i n g 笫i i 页 国防利学技术人学研究生院学位论文 图目录 图2 1 图像坐标系5 图2 2 相机坐标系与世界坐标系6 图2 3 对极儿何8 图2 4 用双相机观察卒问，氘1 4 图2 5 直线基元的三维重建一1 5 图3 1 相机的针孔成像2 5 图3 2 相机平移2 7 图3 3 目标点平移2 7 图4 1 零交叉模式3 4 图4 2 常见的几类控制点3 5 图4 3 特征提取结果3 6 图4 ，4 控制点和内部，扎3 6 图4 5 币直极线约束3 7 图5 1 系统原理框图3 8 图5 2 系统主界面4 0 图5 3 源数据入库一4 1 图5 4 源数据库查询4 1 图5 5 显示已有参数一4 2 图5 6 输入平移参数4 2 图5 7 重建结果显示4 3 图5 8 其他风格的外观4 4 图5 9 完整的重建结果4 8 1 1 1 国防利、技术人学研究生院学位论文 表目录 表5 1 数据文件4 5 表5 2 畸变校正文件4 5 表5 3 标定参数文件4 6 表5 4 辅助信息文件一4 6 表5 5 室内实验结果4 7 表5 6 室外实验结果4 8 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材抖。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目 熟垒壅当塑瞳曼三盔童建丕丝耋塑塑塑i 叠 学位沦文作者签名：j 鲁堕立牮单 日期：2 。斗午f 1月i 上日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借闵；可以将学位论文的全部或部分内容编入有关数据 厍进行检索，司以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目 垫矗立啦! 庠壁垒遣遣圣垒基避奎垂辱免 学位论文作者签名：避盈车 作者指导教师签名：弪筮鱼f 日期：2 0o 牛年f f 月眵日 日期：2 , oo 牛年1 1 月岱日 旦堕型堂丝垄套堂些窒坐瞳堂丝丝塞 第一章绪论 1 1引言 作为计算机科学的一个重要学科分支，计算机视觉【2 1 在最近几十年有了突飞猛进的 发展。其应用领域遍及工业、农业、医学、军事、交通、城市规划、科学研究等，对这些 领域的自动化水平和机动性能的提高起了重要作用。可以预见这种发展势头还将保持一个 相当长的时期口 。因为视觉信息在人类活动所涉及的各种信息中所占的比重最大，所谓“百 闻不如一见”，由于图像独特的空问特性和结构特性，它的作用是其他信息无法替代的。 国际上有时使用计算机视觉和图形、图像处理这一名称。通常，计算机视觉的研究范 围较宽，包含了图像处理的绝大部分内容，但是一般不包括图像编码传输以及图像综合。 图形学是专门研究图形的，+ 成，而当今的图形学更多的涉及了真实景物的生成，这应该是 图像综合的内容。虽然说图形是图像的种，从概念卜晓图像综合也包含了图形学的内容， 然而图形学已经相当壮大，到了可以自立门户的地步了。人们也常使用“图像分析”这一 名称，这是介于图像处理与计算机视觉之问的一个名词。另外，模式识别与机器智能、机 器视觉【6 1 等名词也屡见不鲜。坚持模式识别的学者争辩说，视觉信息是模式的一种，当然 模式u 别就可以包括计算机视觉了。事实上，住计算机视觉中确实使用了很多模式识别的 概念和方法，而视觉信息有其特殊性，传统模式识别包含不了计算机视觉，视觉是人类智 能的一种，计算机视觉当然就可以既是一种机器智能。 立体视觉是由多幅图像( 股两幅) 获耿物体三维几何信息的方法。剥生物视觉系统， 人们早就注意到，几乎所有具有视觉的牛物都有两个眼睛。用两个眼睛同时观察物体时， 会有深度或远近的感觉。台二计算机视觉系统中，我们也可以用双日机，从叫i 同角度同时获 取周围景物的两幅数字图像，然后用特定的算法，山计算机重建( r e c o n s t r u c t ) 周倒景物的i 维形状与位晋。 在利用双相机进行可视场景的三维重建时，数字摄影测量技术采用的同样是双目视 觉，这与计算机视觉中的相应内容是一致的。 1 2国内外研究现状 立体视觉研究的核心问题是图像匹配技术，其研究现状可以从计算理论，算法结构利 硬件实施3 个层次评述刚9 1 】 j 1 。 1 计算理论 1 1匹配特征的选取 根据视差理论，确定三维景物的深度需要在立体像对上确定相应像点，即依据图像特 第1 页 旦堕垫堂垫尘厶堂丛童生堕堂焦丝毫 征来确定卡h 应像点，这是个匹配特征的选取问题。目前尚没有一干叶r 普遍适用的理论可运 用于匹配特征的提取，导致了立体视觉研究巾匹配特征的多样性。良好的匹配特征应具有 u j 区分性、不变性、稳定性、唯一性以及有效解决歧义匹配的能力。为此，必须确定哪些 特征作为匹配的特征；其次，怎样把这些刈应特征匹配起来，并得到视筹信息。这两个问 题是相互关联并互相影响的。常用的匹配特征有：图像灰度，边缘，亮度峰值或者重心， 高阶特性等。 12立体视觉的不确定性 m a n 提出了关于立体视觉不确定性的重要理论，他认为早期视觉的一个恰当定义是成 像过程的逆过程。经典光学或计算机图形学中遇到的是确定三维物体的影像，而在计算机 视觉中面对的是它的逆问题，即山影像恢复三维物体的表而信息，由于在从三维世界向二 维影像投影的过程中丧失了人量的信启、，视觉系统必须依赖自然的约束条件才能获得确定 的解。为避免假匹配，m a r r 首先采取了_ 个约束条件： 1 ) 任何一个给定点，在任何时候都只有一个固定的何置。这也是唯一性约束条件。 2 ) 物体是凝聚的，它们不可能突然折断或者弯m 度有变化而事先不表示出有这种变化的迹 象。这也是连续性的约束条件。 当前的立体匹配算法中还用到有很多约束，通常采用的有如下约束： 1 1 极线约束，同名像点在同名极线上； 2 1 唯一性约束； 3 ) 光度匹配约束，i 司名像点周用邻域狄度应该匹配； 4 ) 几何相似约束，同名特征的儿何特征应桐似； 5 ) 顺序约束，物体在左右影像点的投影顺序应致： 6 ) 形状连续性约束，沿边缘方i 句上的视差变化应连续： 7 ) 相容性约束，同名特征应相容； 8 ) 视差有限； 9 ) 视差变化的梯度有限： 13对物体的再认以与立体视觉的关系 j u l e s z 设计的一种随机点立体图对，看起来是两张完全无规律的点图，没有任何图形， 没有任何单眼线索。通过立体镜，左眼和右眼分别观察左右随机点图，便一j 。看到一个立体 图像。随机点立体图表明，在排除了其他所有深度线索的条件下，一组完全兀意义的视觉 刺激，只要具备视差条件，便能产牛深度知觉。换上j 话蜕，双眼立体视觉的产生不需要对 左眼和右眼的输入分别进行认知加1 _ 便可i f 别理解图像。立体视觉的产生过程，在特征知 觉的信息加工便可完成，小需要高级认知活动的参与，视差是体视的充分条件。 1 4 几何畸变与遮挡问题 三维的场景被投影为二j 维的图像，深度和不可见部分的信息被丢失了，凼而出产生了 第2 页 国堕型堂垫垄套堂堡窒生堕堂鱼丝塞 同一物体在不同视角下的图像会有极人的不同，以及后面的物体被前面的物体遮挡而丢失 信息等问题。前者被归结为几何畸变问题：后者为遮挡问题。 最近几年，在计算机视觉领域也较多她研究了遮挡问题。如根据m a r t 和p o g g i o 提出 的影像匹配唯一性和连续性条件，采用协同匹配算法检测遮挡区域；还有采用白适应窗口 和左右一致性校验算法检测遮挡区域。s c h a r s t e i n 和s z e l s k i 提出了一个基于贝叶斯估计的 影像匹配模型，该模型视差的分布为非线性，该方法取得了弓自适应窗口算法类似的效果。 还有几种方法在动态规划算法r p 应用顺序约束来同时获得视差和检测遮挡。 2算法 2 1 相容性测度 相容性是相应像点一致性的测度，在训算机视觉领域通常采用相关函数( 矢量数积) 测度、协方差函数( 矢量投影) 洲度、相关系数( 欠最夹角) 测度、差平方和( 差矢量模) 测度、差绝对值和( 差矢量分量绝对和) 测度，其中相关系数测度对狄度的线性畸变有较 强的鲁棒性。 2 2 最优解算法 在目前的立体视觉研究中，绝大多数是针对各自的应用目的和要求建立实用的体视系 统。立体匹配的计算变为存匹配准则下的最优解问题。许多数学上的最优化技术都可应用 于曲：体匹配，如：动态规划技术、松弛迭代技术、人工神经网络、遗传算法等。 3硬件实施 3 1专用图像处理器 在实时立体视觉系统中常用门的图像处理器、图像处理板具有高计算密度、高内存 带宽、高i o 带宽的特点。于图像处理器的体系结构是针对特定类型的计算任务设计的， 刺该类算法硬件设计hz j _ 实现很高的优化，专门图像处理器可以达到实时处理。h a r i y a m a 于2 0 0 1 年设计了大规模集成电路立体匹配专用芯片；w o o d f i l l 于1 9 9 7 年设计的p a r 下s 专用图像处理器：k a n a d e 丁1 9 9 5 年设计了c m u 的v i d e or a t es t e r e om a c h i n e ；v u i l l e m i n 于1 9 9 5 年设计的p a m 专用圈像处理器；a r n o l d - j 二1 9 9 3 年设计了s p l a s h 一2 协处理器：b o x 于1 9 9 4 年设计了c h a m p - 1 、c h a m p - 2 专用图像处理器，g i g a 于1 9 9 6 年设计了g i g a - o p s 专用图像处理器，这些处理器( 协处理器) 只要稍加改动，均具有立体匹配的功能。 32 通用计算机 2 0f 吐纪5 0 年代大舰模集成电路技术e 速发展，通用商用计算机的c p u 的处理速度从 1 9 8 0 年起以每年增长6 0 的速度提高，而h 通用商用计算机的性价比远优于专用图像处理 器，因此大量立体视觉系统的功能得以在通用计算机上实现。如k o n o l i g e 二19 9 7 年在采 用p e n t i u mi i 处理器的w i n d o w s 和l i n u x 平台上应用m m x 技术实现了s m a l lv i s i o ns y s t e m 进行立体匹配。其他的通用锋：机还包括件数字摄影测量领域内对航空立体像对处理的实 第3 页 崮堕型堂丝垄盔堂堡窒生瞳堂鱼丝塞 用商用系统，如s g i 工作站、s u n 工作站以及基于i n t e l 芯片的微机图形【：作站等。 3 3实用系统 经过这些年的发展，国内外已经出现了各种各样的立体视觉应用系统，除了在机器人 领域的应用外，还有针对各种特定用途的，比如应用于地理信息系统的，或者交通事故勘 查的，或者工业变形检测或者川视对象建模等等。就困内而言，比较有名的是武汉立得空 间信息技术发展有限公司丌发的一系列双目视觉系统，其技术处于国内领先水平。主要是 在机动车上装配全球定位系统( g p s ) 、视频系统( c c d ) 、惯性导航系统( i n s ) 或航位推算系 统等先进的传感器和设备，在车辆的高速行进之中，快速采集道路及道路两旁地物的空间 位置数据和属性数据。得剑了广泛j 、i 用。 1 3本文主要工作 本文首先简要介绍了立体视觉及三维重建的发展现状、基本原理等。然后深入研究了 现有的各种相机标定方法，并提m 一种新的标定方法。还研究了图像特征匹配的各种方法， 提出了一种改进的方法。最后钊列我们实现的一个完整的三维重建系统，进行了原理介绍、 实验结果分析等。 伞文共分为六章，各章的内容简述和绢织如下： 笫一章绪论。交代了本课题的背景与发展历程，介绍了本课题国内外研究现状，简 述了本文的丰要工作； 第二章数字摄影测量与三维重建原理概述。从总体卜介绍数字摄影测量与- 维重建 的基本原理、关键技术以及重j ? i 难。j 、l 等。 第三章基于相对运动的相机标定方法。首先比较全面的研究分析了几种常用的相机 标定方法，阐述其原理、实现。然后在此基础 ：提出一种基了i 相对运动的标定方法，并与 其他方法做比较，分析各自的优缺点。 第四章图像特征点的匹配。研究分析现有的若下种图像特钲匹配方法，阐述其原理、 实现。然后针剥颂目的实际情况提出种基于控制点约束的匹配方法。 第血章系统实现及实验结果分析。以。个已经实现了的三维重建系统为例。阐述其 基本原理、系统实现，并简要介绍了已经实现的软件的主要功能。最后给出实验结果并进 行分析。 第六章结束语。总结本文所做的工作，归纳杆关的创新点，并指m 未来的发展方向。 第4 页 第二章数字摄影测量与三维重建原理概述 本章首先介绍了数字摄影测量与三维重建中的基本概念，如各种坐标系、相机模型等。 然后简要介绍进行三维重建关键的相机标定和镜头畸变校正两部分内容。最后在此基础上 详细阐述求解空间点三维坐标的般方法。这些是三维重建的基本原理，几乎所有的三维 重建系统都是建立在此原理之上的。同时，这些内容也是本文算法设训、理论推导和应用 的理论基础m l 【1 4 】。 2 1坐标系与相机模型 2 1 1 计算机图像坐标系、图像坐标系 数码相机拍摄得到的是数字罔像，传统相机所拍摄的照片最后也可以转换成数码形 式。每幅数字图像在计算机内为m n 数组，m 行n 列的图像中的每个元素( 称为像素， p i x e l ) 的数值即是图像点的亮度( 或者称为灰度) 。 r u r o l x r v 1r y 图2l 图像坐标系 在图像上定义计算机幽像坐标系o o u v ，计算机剧像坐标系的原点定义在左上角，u 轴、 v 轴，如图2 1 所示。每一个像素的坐标( u ，v ) 分别是该像素在数组中的列数与行数，所以 ( u ，v ) 是以像素为单位的坐标。山于( u v ) 只表示像素位于数组中的列数与行数，并没有用物 理单位表示出该像素在图像中的位置。因而需要建立以物理单位( 常用毫米m m ) 表示的 图像坐标系o 】x y 。该坐标系以图像内某一点o l 为原点，x 轴与y 轴分别u 与v 轴平行。( u ， v ) 表示以像素为单位的计算机图像坐标系的坐标，f x ，v ) 表示以毫米为币位的图像坐标系 o o u v 的坐标。在图像坐标系o o u v 坐标系中，0 1 原点定义在相机光轴与图像的交点，该交 点一般位于图像中心处，但是由于相机制作的原因，也会有些偏离，若在图像坐标系o o u v 中的坐标为( u 0 ，v ( 】) ，每一个像素在x 轴与y i 轴方向上的物理尺寸为k 、，k y ，则图像t 扣任 意一个像素在两个坐标系一f 的火系用齐次坐标与矩阵形式表示为： 第5 页 逆关系可写成 “1 尼r o “o x ：1 鲁呲j 雕 ( 2 1 1 ) ( 2 1 2 ) 2 1 2 计算机图像坐标系、图像坐标系 相机成像几何关系口i ij 到2 2 表示。定义相机坐标系o 。x 。y c z 。，o 。点是相机光心，x 。 轴与y c 轴分别与图像坐标系中的x 轴与y 轴平行，z 。轴为相机的光轴，且z 。轴与图像平面 垂直。光轴与图像平面的交点，即为图像的原点o ，。在相机坐标系o 。x 。y 。z 。中，o 。o 】称为 相机焦距。 o 图2 2 相机坐标系与世界坐标系 在实际应用中，往往选择世界坐标系o 。x 。y 。z 。作为基准坐标系来描述相机的位置， 并用它描述物空间中任何物体的位胃，它由x 。、y 。、z 。轴组成。相机坐标系o 。x 。y 。z 。与 世界坐标系o 。x 。y 。z 、v 的关系可以用旋转矩阵r 与平移向量t 来描述。因此，空间某点p 在世界坐标系与相机坐标系下的齐次坐标分别是( x 。，y 。，z 。，1 ) 。与( x 。，y 。，z 。，1 ) 1 ，于是存 在如下关系： x w 。 z w 1 x 。， y 。 z w l ( 2 1 3 ) 第6 页 “ v l 七七 ， 一 _r h 抄一 国堕型堂建垄杰堂堡窒生堕耋鱼篓毫 其中，r 为3 3 的f 交单位矩阵；t 一( t x ，t ，t ：) 7 为三维平移向量：m 1 是4 4 的矩 阵。 2 1 3 线性相机模型( 针孔模型) 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任何点p 在图像上 的投影位置p ，为光心o 与p 点的连线o p 与图像平面的交点。这种关系也称为中心射影 或透视投影。由比例关系有如下关系式： 。：丝 z 。 y = 笋 ( 2 1 4 ) 其中，( x ，y ) 为p 点的图像坐标：( x 。，y 。，z 。) 为空间点p 在相机坐标系下的坐标。我 们用齐次坐标与矩阵表示上述透视投影关系： x 厂 oo o z 。| y = l0 厂0 0 1 1jl o o1 o j x ： r z 。 1 ( 2 1 5 ) 将式( 2 1 2 ) 与( 2 1 t 3 ) 代入上式，我们得到以世界坐标系表示的p 点坐标与其投影点p 的坐标( u ，v ) 的关系： 0 “f ) a x 0 v o 口v 0o1 氍孙： 0 船： x 。 y 。， z w 1 纠 = m i m 2 x 。= m x 。 ( 2 1 6 ) 其中，d ，= ，出，口、= l ，d y ；n 为3 4 矩阵，称为投影矩阵：m l 完全由d ，口。， u o ，v o 决定，由于a ，口。u o ，v o 只与相机内部结构有关，我们称这些参数为相机内部参数； m 2 完全由相机相对于世界坐标系的方位决定，称为相机外部参数。确定某一相机的内外参 数的过程，称为相机标定。 第7 页 r = 刊 由上式可知，如果己经知道相机的内部、外部参数，就知道了投影矩阵m ，对任何空 间点p ，如果已经知道它的坐标x 。= ( x 。，y 。，z 。，1 ) ，就可以求出它的图像点p 的位置( u ， v ) ，这是因为在己知m 与x 。叫，式( 2 1 6 ) 给出7 z 个方程，在三个方程中消去z 。就可以 求出( u ，v ) 。而反过来，如果己知空涮某点p 的图像点p 位置( u ，v ) ，即使己知相机内部、外 部参数，x 。也是不能唯一确定的。事实上，在式( 2 1 6 ) 中，m 是3 4 不可逆矩阵，当己 知m 与f u ，v ) 时，由式( 2 16 ) 给出的二个方程中消去z 。，只可得到关于x 。，y 。，z 。的两个 线性方程，由这两个线性方程组成的方程组为一射线的方程，也就是说，投影点为p 的所 有点均在该射线上，其物理意义可由图2 2 看出，当己知图像点p 时，由针7 l 模型，任何 位于该射线上的空问点的图像都足p 点；因此，浚空间点是不能唯一确定的。 2 2 对极几何约束 对极几何( e p i p o l a rg e o m e t r y ) 是两幅图像之间内在的射影几何。它独立于景物结构，只 依赖于相机内参数和相对姿态。基本矩阵( f u n d a m e n t a lm a t r i x ) f 是一个秩为2 的3 3 矩阵， 它集中了这个内在几何的精华。如果三维空间点x 在第一图像上的像是x ，在第二幅图像 上的像x ，那么有关系式( x ) 1 fx = 0 成立。 2 2 1 对极几何 两幅图像之间的刘极几何是图像平面与以基线为轴的平面束的交线的几何。基线定义 为两相机中心的连线。上世纪7 0 年代初，美国摄影测量学家u v h e l a v a 提出了一维极线 相关的概念，使用对极约束将两视图立体匹配二维搜索问题简化为一维搜索。自此，极线 的作用在摄影测量自动化系统中得到重视。 假定三维空间点x 在两幅视图中成像，在第一图像上的像为u ，在第二幅图像上的像 为u 。从图2 3 中可以看出，像点u ，u 、空间点x 和相机中心是共面的。 对极点是连接两相机叫 心的卣线与像平面的交点。或者说，对极点是相机中心在另一 幅图像中的像。对极平面是包含基线的平面。对极线是对极平面与像平面的交线，对极平 面决定了左右两幅图像上对极线的对应。所有对极线交于对极点。 图23 对极几何 第8 页 国堕型堂堇垄套堂些基生医堂熊丝堑 “ k io 仆k x ( 2 ：，) 小 k r b - k r t 阶( 肌蚴瑙省 ( 2 2 2 ) 在公式中做代换x = k u 、x r = ( k ) 。及x l 。= r ( k ) h u ，得到： ( k “) 7 ( ，r 。( k ) “。) = 0( 2 2 ，6 ) 平移矢量是t = ( t 、，t ，t ：) t ，如果t o ，由它可以生成一个反对称的矩阵s ： s = e 珏01 ， l ，r ，| 第9 页 ( “) ( s r 。( k ) ) = 0 进而整理为： “7 ( k “) 艘。( k 1 ) = 0 将该公式的中间部分写成单个矩阵f ，称之为两视图的基本矩阵 f = ( k 。) 7s r “( k ) 。 在公式( 2 , 2 1 0 ) 中以f 代入，得到任意两个视图的双线性关系： ( 2 2 9 ) ( 2 2 1 1 ) “7 f u = 0 ( 2 2 1 2 ) 如果点对应问题解决了，则基本矩阵包含了从一对图像中可以恢复出来的所有信息。 基本矩阵具有如下性质： f e t f = 0 【f e = 0 。= 丢 ； e 老。七：。， 2 2 3 本质矩阵 本质矩阵是归一化图像坐标系的基本矩阵的特殊形式。己知相机的标定矩阵k 和k 可以规范左右图像中的量测，将规范后的量测记作n 和。相机的标定矩阵给出了如下关系： h - = k 。万及万。= ( k ) “酉 将这些关系用于公式( 2 , 2 1 0 ) 得 令 得 石7 s r 一1 万：0 e = 舳 ( 2 2 1 7 ) 订7 e _ t = 0 ( 2 2 1 8 ) e 称为本质矩阵，它包含了标定好的相机从第一个位置到第二个位管的相对运动的所 篇1 0 页 国堕型耋基垄盔堂堡蜜丝瞳耋堡丝毫一 有信息，可以从图像量测中估计出来。本质矩阵的重要性质如下： 1 本质矩阵e 的秩是2 ； 2 设t 是平移矢量，且t = r t ，则e t 0 且t 。e = o ； 3 $ v d 分解将e 分解为e = u d v l ，d 为对角矩阵，则： k 0 0 d = l0 女0 l ( 2 2 1 9 ) 1 0 0 0 j 假设已经估计得到了奉质矩阵e ，存相差个尺度因了和个四重多义性下，可以恢 复相机矩阵，即恢复两个视图f 自j 的旋转r 和平移t 。公式( 2 21 6 ) 表明本质矩阵是矩阵s 和r o 的乘积。由于： 万7s r “= 0 f2 2 2 1 、 = i1 知1 旋转矩阵r 可以由下式计算： ( 2 2 2 1 ) u d v 7 ，d = d i a g k k ，o 。设： r = u w v 。 ( 2 2 2 4 ) 或 r = u w7 v 7 ( 2 2 2 5 ) 而从公式( 2 2 7 ) 中知道平移矢量的分量可以从矩阵s 中导出。s 本身可以由下式估计： s = v z v 7 ( 2 2 2 6 ) 2 3双目相机标定 计算机视觉系统应能从视觉传感器( 如相机) 获取的图像计算出三维环境物体的位置、 形状等几何信息，并由此识别环境中的物体，才能做出j e 确反应。因此计算机视觉的中心 任务就是利用计算机实现对三维景物的描述和识别。这里所晚的描述是指由三维信息获取 二维图像的过程，而识别就是二维图像的三维恢复。无论哪颂任务，首要解决的都是三 第1 1 页 ) ) 挖 ” 2 2 2 2 ( ( 亘堕毯堂丝垄杰堂堡枣垒匡堂焦丝至 维物点与二维像点间的对应问题。这种对应关系是由相机成像几何模型决定的，确定这种 对应关系的过程称为相机标定。具体地讲，就是通过建立己知物像点的对应关系模型来计 算成像系统内外几何及光学参数，从而获取模型参数的过程。一旦建立了这种对应关系， 就可以通过二维像点坐标推出物点三维世界坐标；或相反的，从己知的三维信息推出二维 信息。由此可知系统标定是计算机视觉研究的基本问题和实现前提。 不同的应用背景对年日机标定技术提出了不同的要求。如果系统的任务是物体定位，相 对于某一参考坐标系的绝对定位精度就特别重要。如在自主车辆导航系统中，自主式移动 机器人必须准确地知道其自身的位胃、工作空间中障碍物的运动情况，刁能有效安全地进 行导航。如果系统的任务是物体识别，则物体相对于某一个参考坐标系的绝对定位就显得 并不特别重要，更重要的是物体特征点问相对位置必须有足够高的精度，才能进行有效的 匹配和识别。在我们实现的个三维重建系统一ii ，重建的对象是建筑物，拍摄距离远、对 象尺度大；为了准确反映建筑物的形状，最重要的是重建点在水平和垂直两个方向上的坐 标精度：而在这种较大的距离下，相机外参数中的旋转参数必须受到额外的重视，因为旋 转参数的微小误差都会引起重建坐标的剧烈偏差。针对这种特殊性，我们提出了一种简便、 可靠的标定方法，将在第三章做详细介绍。 精确标定相机内外参数不仅可以真接提高测量精度，而且可以为后面的图像匹配与三 维重建奠定良好的基础。 2 4镜头畸变校正 在机器视觉的研究和应用中，将三维空间场景通过透视变换转换成二维图像，所使用 的仪器或设备。一。般都为山多片透镜组成的光学镜头，如胶片相机、数码相机、相机等。它 们都有着相同的成像模型，即小孔模型。出于相机制造和工艺等原因，如入射光线在通过 各个透镜时的折射误差和c c d 点阵位置误差等，光学系统存在着非线性几何失真，使得 目标像点与理论成像点相比存在着多种类型的几何畸变。常见的包括以下几种： 1 ) 径向畸变( r a d i a ld i s t o r t i o n ) 径向畸变主要是由镜头形状缺陷造成的，是关于相机镜头的主光轴对称的。正向畸变 是枕形畸变，负向畸变是桶彤畸变。其数学模型为： j 。= x ( 七h2 + k 2 ，4 + k 6 +) 占。= y ( 惫2 + k 卸4 + 七m6 + )( 2 4 1 ) 2 ) 偏心畸变( d e c e a t e r i t t gd i s t o r t i o n ) 偏心畸变主要是由光学系统光心与儿何中心不一致造成的，即各透镜的光轴中心不能 严格共线。这类畸变既含有径向畸变，又含有切向畸变。切向畸变的数学模型为： 瓯。，= 2 p l x y + p 2 ( r 2 + 2 x 2 ) + 第1 2 页 5 y , f = 2 p 1 ( r ! + 2 y ) + 2 p 2 砂+ ( 2 4 2 ) 其中，p l ，p 2 ，为切向畸变系数。 3 ) 薄棱镜畸变 薄棱镜畸变是由于镜头设计、制造缺陷和加工安装误差所造成的，如镜头与相机成像 平面有很小的倾角等。这类畸变相当于在光学系统中附加了一个薄棱镜，不仅会引起径向 偏差，而且引起切向误差。其数学模型为： 6 h ，2s i r + 占。，= 5 2 r 2 + ( 2 4 3 ) 其中，s ，s 2 为薄棱镜畸变系数。 如果考虑上述的几何畸变，需要对小i l 成像模型进行修正。归一化的理想图像坐标p = ( x ，y ) 7 与有畸变的实际图像点的归一化坐标p d = ( x d ，y d ) 7 之问的关系为： 胪盼：笔划 。， 其中x = x 。z 。，y = y 。z 。，则从相机坐标系到图像像素坐标系的变换为： 卅：k s ：n 0 p d = 印d。 1j l0 0 l j 由上述各式导出了世界坐标系与图像像素坐标系之涮的关系，这就是考虑各种几何畸 变的成像几何模型。相机标定所求取的结果实际上就是六个外参数r t ，五个内参数f u ，f v ， u o ，v o ，s 以及各种畸变系数k i ，k 2 ，k 3 ，p l ，p 2 等，其中较小的畸变系数i 引h 忽略不计。 除上述因素造成的几何畸变误差外，还有其他因素引起的误差。如特征点坐标的提取， 是以特征点图像模型与特征点定位算法为基础的。但是由于各种因素的干扰，同一个特征 点图像模型与特征点定位算法不可能完全相同地适用全部特征点，因而导致特征点定位的 误差在图像平面内随机变化：在标准曝光条件下，各个光敏元件的输出信号存在差别，使 得在均匀光照条件下，每个像元的响应度不同，导致图像失真；c c d 是空间离散的采样机 构，数码相机将c c d行所有有效光敏元件产生的离散信号转化成数码照片的过程也必 然存在量化误差。 综上所述，空i 司点与其矧像对应点之间是种复杂的非线性映射关系。要建立一个有 效的相机模型，不可能囊括上面所有因素，只能选择几种主要的畸变，而忽略其它不确定 因素。 第1 3 页 2 5空间目标的三维重建 2 5 1 空间点的三维重建 假如能得到物体表面上所有点的i 维坐标，则i 维物体的形状与位置就是唯一确定 的。在有些简单的场合，如三维物体是一个多面体，我们只需要知道它的各个顶点的三维 坐标与相邻关系，则该多面体的形状和位置也是唯一确定的，因此，用立体视觉方法获取 三维点的坐标是最基本的，也是最简单的，称为基于点的三维重建。点的三维重建至少需 要该点的两个投影。 p f m l l im 1 1 2m 1 1 3m 1 l 4j m 2 1 lm 2 1 2m 2 1 3 m 2 1 4 m i = im 1 2 l m i 2 2 m 1 2 3 m 1 2 4 m 2 = l m 2 2 1m 2 2 2 m 2 2 3 m 2 2 4l ( 2 5 1 ) l m l 3 l m 1 3 2 m 1 3 3 m i 3 4j l m 2 3 lm 2 3 2m 2 ”m 2 3 4j “2 x + 6 2 y + 。2 2 + d 22 0 f2 5 21 第1 4 页 口2 = m 12 i 一”【m t3 ip 2 = m 2 2 l 一。2 m 2 ) l b 2 = m 12 2 v i m l 3 2q 2 = m 2 2 2 一”2 m 23 2 c 2 = m i2 3 一”1 m