（地图学与地理信息系统专业论文）基于双目立体视觉的三维图像重建.pdf

首都师范大学硕l 学位论文 摘要 摘要 近年来各个城市都在陆续开展对数字城市建设的研究和应用，航空摄影测量 和车载激光扫描作为其中三维信息获取的主要手段，可以很好的获得地表以及道 路两侧的数据信息。然而对于所重建的建筑室内的物体陈设，则需要采用立体视 觉的方法。针对这一实际应用需要，本文在分析论述目前已有研究的基础上，提 出了一套基于双目立体视觉的三维图像重建系统，以求找到一种精度高、速度快 的解决方案。 用立体视觉方法进行三维重建，在计算机视觉中是指由两幅图像或多幅二维 图像恢复物体三维可见表面几何形状的方法。三维重建的先决条件是要建立两幅 图像的对应关系。在建立这种对应关系时的一个重要约束条件，称为极线约束一 一同一空间点在两幅图像上的投影所满足的唯一几何关系。摄像机标定是三维重 建中的关键技术。本文首先给出了摄像机的线性和非线性模型，分析比较了几种 不同的摄像机标定方法，并在张正友的平面模板标定法基础上结合非线性摄像机 模型完成了摄像机的高精度标定。 本文以双目立体视觉理论为基础，采用双摄像机获取两幅视点之间差异不大 的同一物体的图像，用h a r r i s 算子提取特征角点，利用狄度相关计算对应点匹配， 用i l a j q s a c 方法来求解基础矩阵，恢复极线几何，利用初匹配集和对极几何约束， 进行一维搜索，并在此基础上使用s f m 算法进行关键点的重建，从而恢复出物体 三维表面信息，最终在o p e n g l 中实现物体的三维重建，获得了良好的重建效果。 关键词：三维重建立体匹配双目立体视觉基础矩阵极线约束 首都师范大学硕士学位论文 a b s t r a g t a b s t r a c t i nr e c e n ty e a r s ，c i t i e sh a v e b e e nc o n d u c t e di nt h er e s e a r c ha n d a p p l i c a t i o no fd i g i t a lc i t y a e r i a lp h o t o g r a p h i cs u r v e y i n gv e h i c l ei n w h i c ht h r e e d i m e n s i o n a ll a s e rs c a n n i n ga st h ep r i m a r ym e a n st oa c c e s s i n f o r m a t i o n ，w h i c hi sg o o dt oa c q u i r es u r f a c ed a t aa n dt h ei n f o r m a t i o n o nb o t hs i d e so ft h er o a d b u tf o rt h er e c o n s t r u c t i o no ft h ei n d o o rd i s p l a y o b j e c t s ，y o un e e dt ou s et h r e e d i m e n s i o n a lv i s u a la p p r o a c h a i m e da tt h i s p r a c t i c a la p p l i c a t i o n ， i nt h i sd i s s e r t a t i o n ，b a s e do na n a l y z i n gt h e e x i s t i n gr e s e a r c hw o r k so f3 dv i s i o nm e a s u r e m e n t ，as e to f 3 di m a g e r e c o n s t r u c t i o nb a s e do ns t e r e ov i s i o ns y s t e mi sp u tf o r w a r d ，i no r d e rt o f i n dah i g ha c c u r a c ya n df a s ts o l u t i o n 3 dr e c o n s t r u c t i o nu s i n gs t e r e o s c o p i cv i s i o nm e t h o d i nc o m p u t e r v i s i o ni sd e f i n e db yt w oo ran u m b e ro ft w o d i m e n s i o n a li m a g e st or e s t o r e t h ev i s i b l e3 ds u r f a c eg e o m e t r yo fo b j e c t 。t h et h r e e d i m e n s i o n a l r e c o n s t r u c t i o ni sap r e r e q u i s i t ef o rt h ee s t a b l i s h m e n to fac o r r e s - p o n d e n c eb e t w e e nt h et w oi m a g e s i nt h ee s t a b lis h m e n to fs u c hr e l a ti o n s a s a ni m p o r t a n tc o n s t r a i n tc o n d i t i o n si sc a l l e de p i p o l a rc o n s t r a i n t 一一 t h es a m es p a c ep o i n t si nt h ep r o j e c t i o no ft w oi m a g e sw h i c hi so n l y s a t i s f i e db yg e o m e t r yr e l a t i o n s h i p c a li b r a t i o no ft h r e e d i m e n s i o n a l r e c o n s t r u c t i o ni st h ek e yt e c h n o l o g i e s f i r s t l y ，1 i n e a ra n dn o n - i i n e a r c a m e r am o d e la r ee s t a b lis h e d ：s o m em e t h o d so fc a m e r ac a li b r a t i o n e x p e r i m e n to fc a m e r ac a lib r a ti o nw it h n o n - iin e a rc a m e r am o d e lis a c c o m p l is h e d t h i sp a p e rp r e s e n t sas t e r e ov i s i o nm e t h o dt oo b t a i ni n f o r m a t i o no f 3 do b j e c t s f i r s t ，t w oc a m e r a sw e r eu s e dt oo b t a i nt h ei m a g e so ft h es a m e o b j e c tb e t w e e nt h et w ov i e w sw i t hf e wd i f f e r e n c e s h a r r i so p e r a t o rw a s u s e dt oe x t r a c tt h ec o r n e rp o i n t sa st h ef e a t u r e t h em a t c h i n gg r a yw a s u s e dt oc a l c u l a t e dt h er e l e v a n tp o i n t s r a n s a cm e t h o dw a su s e dt oe s t i m a t e t h ef u n d a m e n t a lm a t r i x ，t h e nr e s t o r e de p i p o l a rg e o m e t r y ，t h ee a r l y m a t c h i n gs e t sa n dt h ee p i p o l a rg e o m e t r yw e r eu s e dt os e a r c ht h ee x a c t p o i n t si no n e d i m e n s i o n a n dt h e nt h ec o r r e s p o n d i n gi m a g e so fd e p t hm a p w a sc a l c u l a t e d ，3 dp o i n t sc l o u di n f o r m a t i o no ft h eo b j e c tw a sr e c o v e r e d r e s u l t so fr e a le x d e r i m e n t a ld a t ad e m o n s t r a t et h ism e t h o d k e y w o r d s ：t h r e e d i m e n s i o n a lr e c o n s t r u c t i o ns t e r e om a t c h i n g b i n o c u l a r s t e r e ov i s i o nf u n d a m e n t a lm a t r i xe p i p o l a rc o n s t r a i n t i i 首都师范大学学位论文原创性声明 本入郑重声臻：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或 集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果e l j 本人承担。 学位论文作者签名： 刁猫芜 日期跚孵姐z 日 首都师范大学学位论文授权使用声明 本人完全了解首都师范大学有关保窝、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阕。有权将学 位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出 版。保密的学位论文在解密后适用本规定。 学位论文作者签名：【劝气学爻 日期功罐年2 目 首都师范大学硕上学位论文 第一章绪论 1 1 概述 第一章绪论 在由计算机构成的实时交互的三维虚拟系统中，三维物体的重构一直是一个 关键的算法。随着计算机运算速度的不断提高，计算机的不断普及，实时交互的 三维虚拟现实系统的应用不断的得以扩展与普及。我们可以用它在网络上建立虚 拟的超市，可以让人们在虚拟的环境中看到商品的真实感图像，以此来吸引更多 的顾客：我们可以利用它建立虚拟的博物馆，只需每个物体的几幅图像，就能给 游客身临其境的感觉。 视觉是人类感知客观世界获取外界信息最重要的途径之一。人们通常通过视 觉、触觉、嗅觉等感觉器官从外界环境获取信息。据统计约有8 0 的客观世界信 息是通过视觉获取的n 1 。人类的视觉，不仅包括对信息的获取，还包括传输、处 理、存储与理解的全过程。信号处理理论与计算机出现以后，人们试图用摄像机 获取环境图像并转换成数字信号，用计算机实现对视觉信息处理的全过程，这样， 就形成了一门新兴的学科计算机视觉。 7 0 年代末，m i t 的m a r r 教授乜1 首次从信息处理的角度综合了图像处理、心理 物理学、神经生理学、及临床精神病学的研究成果，提出第一个比较完善的视觉 系统框架。计算机视觉的理论框架，大大地促进了计算机视觉的发展，并成为这 一领域中的主流理论。m a r r 从信息处理的角度出发，认为此系统的研究应分为三 个层次，即计算理论层次、表达( r e p r e s e n t a t i o n ) 与算法层次、硬件实现层次。 由此将系统分为自下而上的三个阶段：一：要素图或基元图( p r i m a r ys k e t c h ) ， 基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特 征组成；二：2 5 维描述部分的、不完整的三维信息描述，即“计算上的 重建三维物体以观察者为中心坐标系下的三维形状与位置；三：三维描述，即在 某一固定坐标系下物体完整的三维描述。这种理论基本上是建立在对人类感知三 维信息分析的基础上口1 ，尽管这些方法在数学上是可行的，但由于各种干扰的存 在以及逆成像问题，使得问题本身是病态的。病态问题求解成为计算机视觉研究 中一个非常重要的方面。所谓病态问题是指问题的解不唯一，或不连续依赖于初 始条件。 首都师范大学硕上学位论文第一章绪论 物体三维重建的方法分为主动和被动两大类，主动的方法包括结构光 ( s t r u c t u r e dl i g h t ) 方法和激光扫描方法等，其中后者可以提供极高的三维重建精 度，但是价格昂贵。并且该类方法容易受到应用环境和被测物体性质的限制。被 动的方法主要是根据相机拍摄的图像序列进行物体的三维重建。与主动的方法相 比，被动的方法不需要昂贵的设备，在应用中不受上述环境和物体性质的约束。 在近十年中，研究者们非常重视该类方法的研究，并提出了各种相关计算方法与 技术，以求达到较满意的三维重建结果。该类技术被称为从运动中恢复结构 ( s t r u c t u r ef r o mm o t i o n ) 或从运动中恢复形状( s h a p ef r o mm o t i o n ) 。 而在三维物体重构的算法中，立体视觉是一个重要分支。立体视觉是由多幅 图像( 一般两幅) 获取物体三维几何信息的方法。对生物视觉系统，人们早就注意 到，几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察物体时，会有 深度或远近的感觉。立体电影之所以有逼真的深度感，也是仿照了立体视觉原理。 在立体电影拍摄中，用两个摄像机( 模仿人的双眼) 同时拍摄，而在放映时，将两 个摄像机拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别 看到左右摄像机拍摄的图像，从而使人有真实三维景物的立体感。在计算机视觉 系统中，我们也可以利用两台位置相对固定的摄像机，从不同角度同时获取同一 景物的两幅图像，通过计算空间点在两幅图像中的像差来获得其三维坐标值。基 本原理如图1 1 所示，j 为空间任意一点，通过图像处理及分析测定点j 像坐标 ( x 。，y ；) ( i = l ，2 ) ，建立三维空间重构算法，即可由( x 。，y ；) ( i = 1 ，2 ) 恢复点j 的三维坐标( x ，y ，z ) 。在这个重建的过程中，有三个关键的步骤需要完成：摄像机 内参数的获得、图像对应点的确定以及二图像间摄像机外部运动参数的确定。立 体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵活、使用范围广 等特点，可以进行非接触、自动、在线的检测，因而十分具有应用前途，在机器 人视觉、车辆自主驾驶、多自由度机械装置控制等领域均极具应用价值。 2 首都师范大学硕上学位论文第一章绪论 图1 1立体视觉成象原理示意图 1 2 国内外双目立体视觉的发展 当空间三维物体投影n - 维图像平面上时，同一景物在不同视点下的图像不 同，各种因素的影响被综合为单一的灰度图像。要实现三维重建，首先就需要把 不同图像对应起来，即实现匹配。要准确地对仅仅包含一些深度线索的图像进行 无歧义的匹配是十分困难的。时至今日，匹配仍然是计算机视觉的一个瓶颈h 1 ， 几十年来，人们研究了大量的匹配算法，大致分为模板匹配和特征匹配两类。 基于区域的模板匹配是把一幅图像某点邻域作为模板，在另一幅图像中搜索 具有相同或相似灰度值分布的对应点邻域，从而实现两幅图像的匹配。l e v i n e 晦1 给出了一种对平行立体视觉在极线约束下的互相关检测过程，使得对匹配邻域的 搜索由二维减小到一维。m o r a v e c 1 、g e n n e y m 、h a n n a h 砸等也给出了一些基于区 域的图像匹配方法，但存在以下不足：由于基于区域的图像匹配是直接利用图像 中的象素灰度值进行匹配，因此它对于图像的旋转以及光强和对比度的变化等非 常敏感；当左右两幅图像中存在重复结构的纹理特征或相关象素邻域内存在遮挡 现象时，常常会引起匹配的混淆，给出错误的匹配结果；虽然采用极线假设以及 由粗到精的层次化结构等约束条件可以在一定程度上减少基于区域的图像匹配 的计算量，但由于互相关匹配的大运算量的特点，这种方法的时空复杂性仍然是 很大的。 基于特征的匹配是通过图像灰度导出的符号特征来实现匹配。它对于对比度 和明显的光照变化等相对稳定。同时，基于特征的匹配可以通过对特征属性的简 单比较而实现，因此速度较模板匹配更快。首先提取图像中能够反映空间景物结 3 首都师范大学硕士学位论文 第一章绪论 构信息的特征呻1 ，比如角点、边界、轮廓或其它几何基元，然后用图表来描述这 些几何基元以及基元间的关系，从而将图像间的匹配问题转化为不同图表间的对 应问题( 也称为子图同构问题) 。 国外在基于双目立体视觉的计算机三维重建方面，主要是分立体匹配和三维 重建两个部分进行研究。立体匹配部分主要是研究特征点的提取和匹配算法的完 善，更加精确的建立匹配点的对应关系：三维重建部分主要是研究如何从得到的 匹配点中计算出摄像机的投影矩阵( 如果是外部标定的话，就是求出摄像机的外 部参数) 以及如何计算出匹配点的三维坐标。在立体匹配方面， b e a r d s l e y n 等 人提取角点作为特征点，运用灰度相关进行初匹配，将匹配的结果用s v d 分解法 求取基础矩阵。p r i t c h e t t 和z i s s e r m a n 等3 采用了两种不同的匹配方法，一方面 是用单应矩阵( h o m o g r a p h y ) 取代灰度相似性和极线约束作为匹配的准则，他们 近似认为特征点及其周围的小块区域是空间中平面的成像，因此匹配点对之间应 近似满足单应矩阵的关系；另一方面，寻找一种整体相似变换，以使两幅图像在 相差一个比例因子的情况下具有最大相关性，根据整体变换，估计图像间局部区 域的仿射变换，用局部变换来寻找匹配点。p r i t c h e t t 等的方法对于某些含有丰 富平面信息的图像特别有效。 在三维重建方面，微软的张正友n 2 3 在应用8 点法求出基础矩阵f 的基础上进一 步提出了应用l e v e n b e r g m a r q u a r d t 算法最小化图像点与对应的外极线问距离的 方法，大大提高了基础矩阵的精度。在利用基础矩阵求出摄像机外部参数方面， l o n g u e t h i g g i n s h 驯提出了一种方法，通过计算四种候选值的景深来唯一确定一 组旋转矩阵r 和平移向量t 。 目前国内在计算机双目立体视觉方面，无论是在摄像机的标定技术还是在立 体图像对的匹配算法上都进行了大量的研究，提出了很多比较完善的理论。而在 算法的具体实现方面，中科院自动化研究所机器人视觉研究组己经取得了很大的 成就。机器人视觉研究组的雷成博士实现了c v s u i t e 软件，该软件主要完成了特 征点的提取、特征点的匹配、像机的自标定、模型的三维显示的功能。该软件使 用比较方便能对不同来源的二维图像进行处理，但是它的缺点也比较明显，首先 是由于使用了k r u p p a 方程进行像机自标定，所以它需要的图像对的数目为三幅， 尽管它所使用的其它方法和原理都是基于双目立体视觉的，但这对于类似机器人 4 首都师范大学硕上学位论文第一章绪论 视觉的工作环境显然是不允许的：其次在实际的匹配过程中能明显感觉到效率不 高，速度非常慢。此外，天津大学的陈明舟f 1 4 】实现了基于主动光栅投影的双目 立体视觉。在他的研究中，主要是采用主动光栅投影双目视觉测量来获得被测自 由曲面外形轮廓的方法，实现自由曲面的高精度检测。在图像匹配过程中，他使 用了基于外极约束的光栅边缘匹配方法，并且通过光栅边缘的两种编码技术和利 用b 样条拟合的方法来优化匹配过程。该方法主要缺点一方面是图像匹配过程过 渡的依赖于外极约束，而对图像中边缘本身的拓扑关系依赖较少：另一方面方法 的实现对所需要的外部设备的精度要求较高。还有，清华大学的王磊【”】也提出 了一种基于平面投影变换和遗传算法的匹配算法。该算法能在未知摄像机内外参 数的情况下自动找到正确的对应点，但是由于使用的是平面投影变换，所以在使 用中只允许摄像机有旋转运动而不能存在平移，这种约束条件在很多场合是不能 满足的。 在这些研究的基础上，各家公司已有许多成熟的产品推向市场。德国的g o m 公司是将光学视觉三维测量应用于工业领域的典型，1 9 9 5 年开始推出a t o s 系统， 采用了结构光投影测量法。此系统可以在1 分钟内完成一幅包括4 3 0 0 0 0 点的图像 测量，精度可达n o 0 3 m m ，不过它存在图像获取和处理时间长，测量量程较短等 问题。1 9 9 6 年又推出基于编码特征图标的近景摄影测量系统t r i t o p ，并将两者集 成实现大型曲面三维测量。该集成系统精度依赖于近景摄影测量精度，而且需要 高精度的专业数字摄像机( 分辨率达4 k 4 k ) 。国内的北京天远三维科技有限公司 也推出了精度达n o 0 4 0 0 5 m m 的一系列三维扫描测量产品。 1 3 课题来源与研究内容 1 3 1 课题来源 本项工作是“流动光学扫描仪 的一部分，“流动光学扫描仪 项目作为地 面扫描与航空遥感数据交叉整合处理平台的一个层次，要完成数据获取设备研制 等关键技术的研究。 首都师范大学硕士学位论文 第一章绪论 1 3 2 研究意义 本文的研究属于计算机视觉理论基础上发展起来的一项测量技术。计算机视 觉本身就是一个发展中的交叉性学科，涉及到图像处理，射影几何，人工智能及 计算机技术等领域的相关知识，但其理论体系还不完备，新的理论、新算法及新 的应用技术还在不断的涌现。另外，高速、较高精度的便携式测量是目前计算机 视觉三维测量领域的研究重点和热点之一，并且在某些领域已经出现了一些成功 应用的例子。所以，该项研究既具有重要的理论意义，又具有重大的实用价值， 其应用前景和市场前景十分的广阔。 1 3 3 结构组织 本文在总结国内外已有的计算机视觉理论和系统方案的基础上，针对实际应 用的需要和存在的问题，旨在寻求一种精度高、简单和自动化程度较高的三维测 量解决方案并利用v c + + 6 0 和o p e n c v0 5 b 给出其初步的系统实现。具体内容 如下： 第一章绪论，概述性介绍了三维测量技术的分类、发展，并介绍了几种比较主 流的三维视觉测量技术； 第二章摄像机模型和基础矩阵，介绍了本文所用到的一些计算机视觉的基础知 识。阐述了两幅图像间唯一的几何约束对极几何约束，简要介绍了对极几何 的代数实现基本矩阵f 的概念和性质。详细介绍了基本矩阵的线性计算方 法： 第三章介绍了几种目前常用的摄像机标定方法- t s a i 的力能标定法，w e n g s 标定法，以及张正友提出的平面板标定法，并在张氏平面模板标定方法的基础上， 完成了本文的标定实验； 第四章特征点提取和相关匹配，首先介绍了常用的角点检测器h a r r i s 角 点检测器；然后在张正友提出的一种匹配方法的基础之上，结合r a n s a c 方法， 提出了一种对应点匹配方法，实现了角点的高准确率匹配计算方法，最后给出一 种鲁棒估计基本矩阵的方法； 第五章三维数据的获得和显示，介绍了一种运动恢复结构( s t r u c t u r ef r o mm 6 首都师范大学硕上学位论文第一章绪论 o t i o n s f m ) 的三维重建方法，在此基础上完成了本文的三维视觉测量实验系统， 利用该系统对实际的照片进行了实验，并对实验结果进行了分析；最后分析了三 维煎建中常见的影响精度的误差因素； 第六章三维重建系统框架、结构及实现本章酋先贪缨了双嚣立体褫觉系统实现 三维重建的总体流程框架和模块结构，论述了各部分的具体实现，并得到了本文 所研究的视激系统现阶段的研究结暴空闻点酶三维坐标恢复； 第七章全文总结及展望总结了本文所做的工作，指出今后需要改进之处和进一 步研究的方淘。 彳 首都师范大学硕：l ：学位论文第二章摄像机模型和基础矩阵 第二章摄像机模型和基础矩阵 三维重建是计算机视觉的重要问题，本文的工作就是围绕三维重建展开的， 匹配是重建的准备，可视化是为了显示重建结果。三维重建有三个关键步骤，即 匹配、摄像机定标和运动的建立。摄像机模型和对极几何关系是这些工作的理论 基础。有了匹配，可得到对极几何关系，在建立摄像机模型并得到内参数矩阵后 可直接进行三维重建。 匹配在计算机视觉领域中具有非常重要的作用，也是很困难的一个问题，被 称为计算机视觉的瓶颈。图像对应点问的匹配只有两个约束，即灰度相似和对极 几何约束。对极几何约束是在摄像机成像过程中构成的，空间同一物体，同一摄 像机在不同位置拍摄的两幅图像必然满足一种几何上的关系，这种关系就是对极 几何，它由两部分构成：一部分是摄像机参数，即空间物体是如何投影到成像平 面并最终转换到图像的象素坐标系：另一部分就是摄像机由一个位置到另一个位 置究竟进行了怎样的运动，包括平移和旋转。只要已知了这两部分参数，就可以 确的图像间的对极几何关系，从而对匹配构成约束。 2 1 坐标系 首先我们先定义几种不同类型的坐标系：世界坐标系、摄像机坐标系、图像 坐标系。 1 世界坐标系：x w ，y w ，z w 由于摄像机可安放在环境中的任何位置，所以在环境中还应该选择了一个基 准坐标系来描述摄像机的位置，并用它描述环境中其它任何物体的位置，该坐标 系称为世界坐标系，它由x w ，y w ，z w 轴组成，其刻度单位属于物理单位，具体见图 2 1 。 2 图像坐标系：( u ，v ) ，( x ，y ) 通过摄像机采集的图像都是以标准电视信号的形式输入计算机，并经计算机 中的专用数模转换器变换成数字图像。每幅数字图像在计算机内为m x n 数组，m 行n 列的图像中的每一个元素我们称之为像素，其数值即为图像点的亮度于是在 图像上定义了一个直角坐标系u ，v ，每一像素的坐标( u ，v ) 分别是该像素在数组中 的列数与行数。所以，( u ，v ) 是以像素为单位的图像坐标系的坐标，也被称为图像 8 首都师范大学硕：e 学位论文 第二章摄像机模型和基础矩阵 像素坐标系。由于( u ，v ) 只表示像素位于数组中的列数与行数，并没有用物理单 位表示出该像素在图像中的位置，因而需要再建立以物理单位表示的图像坐标 系，该坐标系以光轴与像平面交点为原点，以毫米为单位，x 轴与y 轴分别与u ，v 轴平行，也被称为图像物理坐标系。具体见图2 1 。 3 摄像机坐标系：) ( c ，y 。，z 。 为了分析摄像机成像的几何关系，我们又定义了一个新的坐标系，其原点0 在摄像机的光心上，x 。轴和y 。轴和图像坐标系中的x 轴与y 轴平行，z 。为摄像机的 光轴，它与图像平面垂直，光轴与图像平面的交点即为图像坐标系的原点。 世界坐标系 2 2 摄像机模型 2 2 1 线性模型 d 摄像机坐标系 图2 1 世界坐标系和摄像机坐标系 摄像机摄取的图像上的每一点的亮度反映了空间物体表面某点反射光的强 度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置 的相互关系，由摄像机成像几何模型所决定。该几何模型的参数就称为摄像机参 数。这些参数必须由实验与计算来确定，这就是摄像机定标所做的工作。 摄像机参数包括与摄像机自身的几何和光学特性有关的参数，称为内参数 ( i n t r i n s i cp a r a m e t e r s ) ，还包括它对于某一世界坐标系的三维位置和方向， 称为外参数( e x t r i n s i cp a r a m e t e r s ) 。 摄像机参数总是相对于某种几何成像模型的，这个模型是对光学成像过程的 简化，比如最常用的针孔模型，它是摄像机定标研究的基本模型们。 实际的成像系统一般的采用透镜成像原理，如图2 2 所示， 9 首都师范大学硕二i ：学位论文第二章摄像机模型和基础矩阵 图2 2 透视成像模型 其中u 为物距，f 为透镜焦距，v 为像距，三者满足关系： lll 蕾一+ 一 l 链v ( 2 1 ) 在一般的双目视觉测t 条件下，由于u 远远大于f ，由式( 2 1 ) 可得v f 。这样， 就可以用小针孔成像模型来非常近似的替代透镜成像模型，小孔模型可以有两种 不同的表达方式：前透视模型和后透视模型。两者在实际意义上是等价的，我们 以后透视模型( 如图2 2 ) 建立摄像机的模型。 z p 。 0 图2 3 针孔摄像机模型 针孔摄像机模型是目前最常见的摄像机模型，它简单实用而不失准确性，在 计算机图形学里被广泛使用。如图2 2 ，视点为o ，空间点p ( x w ，y w ，z w ) ，在摄像 机坐标系下坐标为( x c ，y c ，z c ) 它在摄像机成像平面上的投影点为p ( x ，y ，f ) ，我 们有 上：三：上 z f以艺 ( 2 2 ) 3 d 空间中的世界坐标系下某一点p ( x w ，y w ，z w ) ，它的齐次坐标为( x w ，y w ， z w ，1 ) ，投影n - - 维图像平面上，经过下列坐标变换： l o 首都师范大学硕士学位论文 1 从世界坐标系到摄像机坐标系之间的刚体变换： 卧 第二章摄像机模型和基础矩阵 式中：( x c ，y c ，z c ，1 ) 卜摄像机坐标系下的三维坐标的齐次坐标， r 摄像机坐标系相对于世界坐标系的3 3 的旋转矩阵， t 摄像机坐标系相对于世界坐标系的3 1 平移矩阵。 2 由摄像机坐标到图像坐标系的变换： r 乙忖l ： ! i - 臣 式中：卜摄像机焦距， ( x ，y ，1 ) t 图像坐标系下的齐次坐标。 3 由图像坐标系变换到象素坐标系： ( i = 1 渊 ( 2 3 ) ( 2 4 ) ( 2 5 ) 式中：( u ，v ，1 ) t 象素坐标系下的齐次坐标； d x ，d y 象素坐标系中每个象素在u 轴与v 轴方向上的物理尺寸， s 一一因摄像机成像平面坐标系相互不正交引出的倾斜因子( s k e w f a c t o r ) ， ( u o ，v o ) 为摄像机主点( p r i n c i p a lp o i n t ) 。 综合上述变换过程得到： 、j一 丁l足o ，fi 0 0 l o ，o 协o 首都师范大学硕上学位论文 j ； = 第二章摄像机模型和基础矩阵 州割 l lj 篁 喜吾；三 ( ：) 【霉j = z 村r _ = 尸- 石_i工j ( 2 6 ) 1 2 ，l 0 o 0 0 0 l o 厂0 ，0 o ，i-l-_-_-_-_ l、ilr-， o o 1s协。 协o o ，。一 首都师范大学硕上学位论文第二章摄像机模型和基础矩阵 况调节激光束使其精确地通过光学中心，此时图像中激光束的像( 一个光点) 表 示出了图像中心，这是一种最为精确的直接计算图像中心点的方法。 2 2 2 非线性模型 由于实际成像系统中存在着各种误差因素，如透镜和成像平面与透镜光轴并 不垂直等。这样，像点、光心和物点在同一条直线上的假设并不成立，这表明成 像模型并不满足线性关系，而是一种非线性关系。非线性摄像机模型可以用下式 描述： fr 嚣x s + 最( x ，y ) i y = 儿十( j c ，y ) ( 2 7 ) 其中，万x 和万y 表示非线性畸变值的x 、y 轴分量。 对于中焦距普通质量的镜头，在图像的边界大致有1 3 个像素大小的畸变 误差。在使用广角镜头，在图像边界的畸变误差会更大。此时如果仍然继续采用 针孔模型，必定会带来较大的测量误差。因此为了获取较高的测量精度，必须采 用非线形模型来对摄像机进行标定。 经过科研工作者多年来大量的研究，一般认为描述点的非线性畸变可以用下 述公式： f 疋( x ，y ) = 七l x ( x 2 + y 2 ) + ( p l ( 3 工2 + j ，2 ) + 2 p 2 x y ) + s i ( x 2 + 夕2 ) 1 ( x ，y ) = k 2 y ( x 2 + y 2 ) + ( 历( 3 x 2 + y 2 ) + 2 p i x y ) + s 2 ( x 2 + y 2 ) ( 2 8 ) 其中，万x 或万y 的第一项称为径向畸变，第二项成为离心畸变( d e c e n t e r i n g ) ， 第三项成为薄棱镜畸变( t h i n p r i s m ) 式中的k l 、恕、p l 、p 2 、s i 、观称为非线性畸变 参数，确定非线性畸变系数也是摄像机标定的重要步骤之一。 一般情况下，上述非线性模型的第一项径向畸变己足以描述非线性畸变， t s a i t l 7 1 在1 9 8 6 年曾指出，由于在考虑非线性畸变时对摄像机标定需要使用非线 性优化算法，引入过多的非线性参数往往不仅不能提高精度，反而引起解的不稳 定。这里采用的非线性成像模型可以用下式描述： 首都师范大学硕士学位论文 第二章摄像机模型和基础矩阵 f a , ( x , y ) - - x 毛( x 2 + y 2 ) + 屯( x 2 + y 2 ) 2 + ) 1 万y ( j r ，) ，) = y ( k i ( x 2 + y 2 ) 十走2 ( x 2 + y 2 ) 2 + ) 其中k l 、k 2 称为径向畸变系数。 2 3 对极几何与基础矩阵 ( 2 9 ) 同一世界坐标系下的同一物体的图像间存在一种几何上的对极几何约束关 系，它是立体视觉中寻找图像间对应关系的一个最基本的约束。在立体视觉 中，可以利用图像点的匹配来恢复这种几何关系，反过来，可以利用这种几何关 系来约束匹配，匹配点的搜索可由二维转化为对应极线上的一维搜索，这使得匹 配的鲁棒性、精度都得到很大提高。 2 3 1 基础矩阵 两幅图像间的对极几何约束如图2 1 ：摄像机分别在不同的光心位置0 ，0 ， 摄取两幅图像，给定第一幅图像上的点m ，则它在第二幅图像上的对应点m 必 然落在m o o 三点确定的平面q 与第二个图像平面i 的交线l 上， 图2 4 两幅图像间的对极几何关系 f i g 2 4e p i p o l a rg e o m e t r yo ft w oi m a g e s l 为点m 在平面i 上的极线( e p i p o l el i n e ) ，因此，在第二幅图像平面i 上寻找m 的对应点时，只需在直线l 上寻找即可，所以，把在i 上的二维搜索降至l 上的 一维搜索；同理，m 必然落在平面q 与第一个图像平面i 的交线l 上。任何空间 1 4 首都师范大学硕士学位论文第二章摄像机模型和基础矩阵 点与o ，o 组成的平面必然经过直线o ，o 与两图像平面分别交于e ，e ，e ，e 称为极点( e p i p o l e ) 。由几何关系可知，平面i 上的所有点在1 上的对应极线都 经过点e ，同理，平面i 上的所：f i - 点在i 上的对应极线都经过点e 。下面给出对 极几何关系的数学证明【1 8 】。 由图1 1 ，a 1 ，a 2 ，是两摄像机的内参数矩阵，r ，t 由位置o 到o 的旋转和平 移矩阵，m 是空间任意一点，由摄像机成像模型可得： 岁，历= 彳，( ，。) 。( 簟) 。2 。) s 2 肌。= a 2 ( r r ) ( ) 。2 。， 岁2 4 9 m = r m + r s 2 tp 彳m - 丁9 r 朋 阴x = 之0 tp j 5 i - 【刀x b s 2 ( 彳f m ) r 【r 】x o 么芗m = ( 彳；m ) r - i t x r m 朋彳 t l x r - , 4 1 。m = 0 今e - i t x 尺= t r f = 彳i r - 【丁】x - r 彳f 。 首都师范大学硕士学位论文第二章摄像机模型和基础矩阵 并且有 m a f 朋- - 0 ( 2 1 2 ) ，= f m ，= f7 聊 m 和m 是左右摄像机的内参数矩阵，矩阵e 仅与两个摄像机之间的相对位置、 姿态有关，称为本质矩阵( e s s e n t i a lm a t r i x ) 。而f 不仅包含了摄像机的运动参数， 还综合了摄像机的内参数，集中体现了这种对极几何关系。习惯上称f 为基础矩 阵( f u n d a m e n t a lm a t r i x ) 。由f 的推导过程可知，f 是秩为2 的3 3 矩阵，式( 2 1 2 ) 在相差一个非零常数因子下都是成立的，因此f 是一个含有7 个独立变量的3 3 矩阵。 由前面陈述可知，给定一幅图像上一点m ，在已知摄像机内参数及摄像机运 动的情况下，即可确定m 在i 上的极线方程，即为f m ，同理，m 在平面i 上的极 线方程为f t m 。关于对f 的性质的讨论，可参阅【1 9 】。由于f 包含了两幅图像间的 所有几何信息，因此，精确地计算f 对于标定，寻找精确匹配和三维重建都具有 重要意义。 2 3 2 求解基础矩阵 基本矩阵描述了两幅未定标图像之间的对极几何关系，在三维计算机视觉中 占有非常重要的地位2 0 , 2 1 】，对基本矩阵的精确估计成为一个非常重要的研究课 题。基本矩阵f 是一个秩为2 的3 * 3 矩阵，它包含了相机的内外参数【2 l 】，得到 基本矩阵就可以在相差一个三维射影变换的前提下实现重建【2 2 , 1 0 】，对基本矩阵的 估计在两视点图像差异不大时可以自动进行【2 3 1 ，然而当两视点的基线较大时， 这些方法往往不能得到正确结果。 基础矩阵的解法很多，算法及分析可参阅【2 0 】，我们采用的算法是直接基于式 ( 2 8 ) 式的8 点算法【2 4 】，原理如下： 设m - - ( u ，v ，1 ) t p m = ( u ，v ，1 ) t 将f 写成由各分量组成的列矢量形 式，即f = ( f i i , f 1 2 ，f 1 3 ，f 2 l ，f 2 2 , f 2 3 , f 3 1 , f 3 2 ，f 3 3 ) t ，则对每一对对应点 m ，m ) 可写出方 程： 1 6 首都师范大学硕上学位论文 第二章摄像机模型和基础矩阵 ( u u u u v w v uv1 ) f 三0 取n 组对应点即可得到1 1 个这样的方程，联立起来可得到线性方程组a f = o ，可 求得f ，进而求得f 。由于基础矩阵f 有7 个独立分量，因此，最少需要7 对匹 配点。但此时的匹配点只能由唯一性、相容性、连续性及图像灰度的相关性等假 设求得，常常不够稳定，加之数据噪声往往很大，使得结果不够鲁棒，由于这个 方程对于f 的系数是齐次的，我们可以设定f 3 3 = 1 ，并使用8 个对应点，将方程 改写为一个8 8 的非齐次线性方程组。使用这个方程组来估计基础矩阵得到的 8 点算法，最初由l o n g u e t - - h i g g i n s ( 1 9 8 1 ) 在标定摄像机的情况下提出。当相 应的8 8 矩阵为奇异时，它就失效了，但这种情况可以避免。因此，在实际计 算中，往往取更多的匹配对，即n 8 ，并对图像点进行正则化，利用s v d t 2 s 1 分解 来计算方程的最小二乘解。 2 3 3 基础矩阵的鲁棒解法 作为一个替代的方法，h a r t l e y ( 1 9 9 5 ) 提出规范化线性8 点算法。算法在 8 点算法的基础上强化了f 秩为2 的限制，为此h a r t l e y 使用了t s a i 和h u a n g ( 1 9 8 4 ) 在标定情况下提出的技术，它构造了f 的奇异值分解f = u s v t 。 奇异值分解( s v d ) 定义如下： 设a 是一个m xn 矩阵，且满足m n ，则a 总可以写成 a = u w v t 其中， u 是m xn 的列正交阵，即u t u = i w 是一个对角阵，对角元素w ；( i = 1 ，n ) 为a 的奇异值，满足w l w 2 w n 0 v 是一个n x n 的正交阵，v t v = v v t = i d 。 这就是矩阵a 的奇异值分解。 下面的定理说明了矩阵的奇异值与它的平方阵的特征值与特征向量的关系。 定理1a 的奇异值，就是a 7 a 的特征值，且v 的各列就是对应的特征向量。 这个定理可以用来解a x - - o 一类的超定齐次线性方程，而不需要具体计算出 对应的方阵a 1 a 。a 进行s v d 后，矩阵v 中与最小的奇异值对应的列向量就是方 1 7 首都师范大学硕士学位论文第二章摄像机模型和基础矩阵 程的解。 下面的定理说明，s v d 还提供了一种有效的近似方法。在两种情况下，u p 和v p 仍然是u 和v 最左边的p 列，w p 是由p 个最大的特征值组成的对角阵。但 是此时a 的最大秩为n ，剩下的奇异值也可以是非零的。 定理2 若a 的秩大于p ，则u p w p v p t 是在f r o b e n i u s 距离意义下，对a 的秩 为p 的最优估计。 实践表明，这种规范化很好地改进了线性最小二乘估计方法的条件。具体来 说，算法有4 步：首先，通过适当的平移和放缩算子变