（电力电子与电力传动专业论文）基于双目立体视觉的三维重建.pdf

黑龙江科技学院硕士学位论文 a b s t r a c t o n eo ft h em a i nc o m p o n e n t so ft h et o m p u t e rv i s i o ni s3 dr e c o l l s u u c t i o n c a l i b r a t i o no fc a m e r a si n t r i n s i ca n de x t r i n s i cp a r a m e t e r s s t e r e om a t c h i n go f i m a g ea n dt r i a n g u l a t i o n a r ek e yt e c h n i q u e so f3 dr e c o n s t r u c t i o n t h e3 d r e c o n s t r u c t i o ni sai n v e r s ep r o b l e mw h i c hc o m p u t i n gg e o m e t r yc h a r a c t e ro f3 d o b j e c tf r o m2 di m a g e sg r a y i ti sa l s oai 1 1 p o s e dp r o b l e mw h i c hi sn o n l i n c a l a n d s e n s i t i v et oe l r o l 苫a d s i n gf r o mn o i s e f i n d i 丑zi t ss o l u t i o ni st h ec o n t e n to ft h i s p a p e r t l l i sp a p e ri n w o d u c e dt h es i g n i f i c a n c e sa n dt h ed o m e s t i ca n df o r e i g n d e v e l o p m e n tc o i l d i t i o n so f3 dr e c o n s t r u c t i o n t h c a 。j ti n t r o d u c o dt h em a i n c o n s t i t u e n t so f3 dr e c o l l s t n l c t i o nw h i c hb a s e do nm a l r st h e o r y i nc a m e r a c a l l b r a t i o n , t a k i n gz h a n g sc a l i b r a t i o nm e t h o da saf o u n d a t i o n 。i tp r o p o s e da i n n o v a t i v ec a m e r ac a l i b r a t i o nm e t h o db a s e do nt h ep r o j e c t i o i li n v a r i a n tw i t ha p l a n a rp a t t e m ，t h ee x p e r i m e n t a l r e s u l tp r o v e dt h i sm e t h o di ss u c c i n c t ，i s a u t o m a t i c ，a n do b t a i n st h ep r e c i s er e s u l t ；i nt h es t e r e om a t c h i n ga s p e c t ，i th a s u s e d as t e r e om a t c h i n gm o t h o dw h i c hb a s e do nt h ep h a s e - s h i f ta n dt h eg r a yc o d e t e c h n o l o g yt oc a l t i e so ni m a g es t e r e om a t c h i n g i nt r i a n g u l a t i o no fs u r f a c e ，i t r e a l i z e dt h e p l a n eg r i dt r i a n g u l a l o nm e t h o d , t r i a n g u l a t i o np o i n tb yp o i n t m e t h o d q u a d r a n t 8t r i a n g u l a t i o nm e t h o da n ds l i c et r i a n g u l a t i o nm e t h o dw i t hv c + + t h er e s u l t ss h o w e dt h a t t h e s em e t h o d sa r es u i t a b l ef o rs c a t t e r e da n dd i s o r d e rs e t o fp o i n t sw h i e hi nap l a n e ，o ri ns p a t i a l ，o rp a r to fao b i e c t ，o re n t i r eo fao b i e c t a t t h ee n d o ft h ep a p e r ，i th a sr e a l i z e dt h ei m a g ed i s p l a ya n dt h ec o i l e l a t i o n o p e r a t i o n sw i t ho p e n g l k e y w o r d s ：3 dr e c o n s t r u c t i o n ，c a m e r ac a l i b r a t i o n ，i m a g ep r o c e s s i n g ， s t e r e om a t c h i n g ，t r i a n g u l a t i o n 黑龙江科技学院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得黑龙江科技学 院或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名： 黑龙江科技学院学位论文使用授权声明 黑龙江科技学院、中国科学技术信息研究所、国家图书馆有权保留本人 所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段 保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或 部分内容。论文的公布( 包括刊登) 授权黑龙江科技学院研究生处办理。 一躲晰一：啦 黑龙江科技学院硕士学位论文 1 1 引言 第一章绪论 视觉是人类观察世界、认知世界的重要手段，人类从外界获取的信息约 有7 5 来自视觉系统。而现在利用计算机来实现人类的视觉功能计算机 视觉，也就是用计算机来实现对客观世界的识别，即实现人类视觉系统的某 些功能，其目标是实现对三维场景的感知、描述、识别和理解。二十世纪七 十年代末，m r r 工作组的m a r t 教授在系统的总结心理物理学、神经生理学、 临床神经病理学等领域己取得重要成果的基础上创立了计算机视觉理论框 架，是迄今为止最为系统的视觉理论体系，对计算机视觉的发展起到了巨大 的推进作用，虽然这一理论体系尚不完善，但仍被广大科技工作者所接受， 在计算机视觉领域占有十分重要的地位。 三维重建一直是计算机视觉研究的重点和热点之一。用立体视觉方法进 行三维重建，是指由两幅或多幅二维图像恢复物体三维可见表面几何形状的 方法。在计算机立体视觉系统中，通过摄像机从不同角度获取同一景物的两 幅图像，然后利用三维重建原理，由计算机重建景物的三维形状，恢复出物 体的空间位置信息。立体视觉直接模拟人类双眼处理景物的方式，具有简单、 可靠、灵活、使用范围广等特点。该问题的研究成果广泛应用在机器人导航、 精密工业测量、物体识别、虚拟现实、场景漫游、现场勘测以及军事等领域。 1 2m a r t 计算机视觉理论框架和三维重建的主要组成部分 1 2 1m a r t 的计算机视觉理论框架 m a r r 的计算机视觉理论框架经过几十年的检验，仍然被认为是计算机视 觉领域的最理想、被广大科学工作者最能接受的框架结构。在m a n 的视觉的 理论框架基础上，经过众多研究工作者的几十年的研究，使这个应用领域广 泛的高新技术的理论和方法不断成熟和完善。 m a r t 从视觉计算理论出发，将计算机立体视觉分为自下而上的三个阶段 【l l ，即视觉信息从最初的原始数据( 二维图象数据) 到最终对三维环境的表 达经历了三个阶段的处理，如图1 1 所示。 黑龙江科技学院硕士学位论文 霞索翻2 5 维幽 图i - im a r t 框架的视觉三阶段 f i g 1 l t h e t h r e es t a g e so f m a r t s f r a m e 第一阶段( 也称为早期阶段) 构成所谓“要素图”或者“基元图”( p r i m a r y s k e t c h ) ，基元图由二维图象中的边缘点、直线段、曲线、顶点、纹理等基本 几何元素或特征组成：第二阶段( 中期阶段) ，m a r r 称为对环境的2 5 维描述， 2 5 维描述是一种形象的说法，也即部分的，不完整的三维信息的描述，用计 算的语言来讲，就是重建三维物体在观察者为中心的坐标系下的三维形状和 位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自 身的坐标系来描述的，另外，我们只能观察物体的一部分( 另一部分是物体 的背景或被其他物体遮挡的部分) 。这样，重建的结果是以观察者坐标系下描 述的部分三维物体形状，称为2 5 维描述。这一阶段中存在许多并行的相对 独立的模块，如立体视觉、运动分析、由灰度恢复表面形状等不同处理单元。 事实上，从各种不同角度去观察物体，观察到的形状都是不完整的，不能设 想，人脑中存在有同一物体从所有可能的角度观察看到的物体形象，以用来 与所谓的物体的2 5 维描述进行匹配和比较。因此，2 5 维描述必须进一步处 理以得到物体的完整三维描述，而且必须是物体本身某一固定坐标系下的描 述，这一阶段称为第三阶段( 后期阶段) 。 三维重建研究就是按照m a r t 计算机理论框架来逐步进行研究。首先通过 图象处理的方法得n - - 维图象的“要素图”( 第一阶段) ；再在摄像机标定的基 础上，利用多种立体匹配约束计算出物体表面点的三维坐标；最后通过三角 剖分( 三角表面重构) 得到物体表面信息的维描。这个物体表面信息有可能 仅仅是没有经过拼合的物体的部分表面信息( 第二阶段) ，也有可能是经过拼 合的物体整个表面信息( 第三阶段) 。 1 2 2 三维重建的主要组成部分 三维重建由摄像机标定、图象处理、图象的立体匹配、多视点云的拼合 和点云的三角剖分几部分组成。而三维重建中最主要的是摄像机标定、立体 匹配和三角剖分三部分。虽然本人在图象处理和多视点云的拼合方面也进行 了学习和研究( 并发表相关论文一篇) ，但由于个人的能力和研究时间的限制， 2 黑龙江科技学院硕士学位论文 本课题的研究主要集中在三维重建的三个主要部分，本文的章节也是按照这 三个主要部分来进行排布。 图1 - 2 三维重建的主要组成部分 h g 1 2t h em a j o rc o m p o n e n t so f3 dr e c o n s t r u c t i o n 三维重建中的摄像机标定、立体匹配和三角剖分三个主要部分紧密联 系，缺一不可。如图1 2 所示，他们之间的相互联系是：首先，通过摄像机 标定确定出摄像机的内部参数和外部参数，利用这些内外参数确定出摄像机 的本质矩阵e 和基本矩阵f ，将本质矩阵e 和基本矩阵f 送往图象的立体匹 配部分；然后，图象的立体匹配中用摄像机标定部分得到的e 、f 计算出左 右图象的极线约束关系，合同别的约束关系( 如相关性约束和唯一性约束等) 确定左右两幅图象中的基元匹配( 本文的图象基元采用的是图象中的像素) ， 再利用匹配的匹配三角形原理计算出物体表面点的三维空间坐标值，将这些 f 计算出三维坐标的点( 点集) 送往三角剖分部分j 最后，在三角剖分部分中 对己知三维坐标的空间点集利用三角剖分的方法，将其连接成许多互不重叠 的微小三角形面片去逼近真实物体的表曲面。 1 3 三维重建的研究意义、选题依据 1 3 1 三维重建的研究意义 三维重建以其非接触性、快速、准确、高精度等优点，有着广泛的应用 场合。下边就是三维重建在实际生活、建设中的应用。 1 1 逆向工程【1 2 1 随着工业技术的发展和人们生活水平的提高，任何通用性产品在消费者 高品质的要求下，功能的需求已不再是赢得市场竞争力的唯一条件。产品不 但要求功能先进，其外观造型也必须能吸引消费者的注意。于是在工业设计 中传统的顺向工程流程已不能满足需要，取而代之的是以三维尺寸测量方式 3 黑龙江科技学院硕士学位论文 建立出自由曲面的“逆向工程( 1 也，r e v e r s ee n g i n e e r i n g ) 。逆向工程示意图如 图1 3 所示。逆向工程的体系结构由3 d 外形轮廓测量、三维重建及快速制造 三部分组成，准确、快速、完各地获取实物的3 d 外形轮廓数据。 藿扫描物体c 堋越快速展盟 图1 - 3 逆向工程示意图 f i g 1 - 3t h e g r a p hr e v e r s ee n g i n m i n g 进行三维重建是实现逆向工程的关键步骤之一。目前，涉及的应用领域 有汽车、飞机、船舶装及鞋楦加工假牙和骨骼、3 d 数据等。 2 1 产品检测【廿j 如图1 - 4 所示，对于精密零件的检测、产品尺寸的测量是工业生产中必 不可少的工作，有时需要对具有自由曲面的产品模型进行高精度三维测量分 析。传统的常规测量方式不能达到要求，三维重建中的误差检测就能很好的 完成这样的精密测量。 图1 _ 4 精密寄什的检测 f i 墨l - 4t h e t e s to fp r e c i s i o nm a c h i n ep a r t 3 ) 虚拟现实 三维重建能提供虚拟现实v r ( v n - t u a lr e a l i t y ) 系统所需要的大量与现实 世界完全一致的三维模型数据。由于虚拟现实技术可以展示三维景像，模拟 未知环境和模型，具有很强的交互性，已被广泛应用于产品展示、规划设计、 远程教育、建筑工程和商业应用等领域。 钔游戏娱乐业 可以为游戏、娱乐系统提供大量具有极强真实感的三维彩色模型还可 以将游戏者的形象扫描输入到系统中，增加游戏的真实性和娱乐性。 除此之外，三维重建还在模具设计制造与检测、文物保护、三维传真、 雕塑、柔软物体测量、服装设计和影视特技等方面有着广泛的应用。 4 黑龙江科技学院硕士学位论文 1 3 2 选题依据 自m a n 的视觉计算理论框架形成以来，经过了三十多年的发展，计算机 视觉有了很大的发展。作为计算机视觉的重要研究领域一三维重建已经在 自动化生产、虚拟现实、游戏娱乐业、文物保护、三维传真、雕塑等众多领 域得到广泛的应用，但还是远远不能满足生产、生活多方面的需要，这些需 求要求三维重建提高精度、扩大测量范围、简化操作过程和使视觉智能化。 计算机科学的发展、视觉研究领域的新思路和新方法的涌现、硬件设备的发 展和成熟对为三维重建的进一步发展和完善注入了活力。三维重建科学如何 在这些已有基础上发展自己，提高测量精度和扩大应用范围，以便更加适应 实际生产、生活的需要是计算机视觉工作者的主要任务。同时本课题还是华 中科技大学和本校合作的逆向工程项目三维扫描系统的研究的关键 技术。 1 4 三维重建的研究状况和存在的问题 1 4 1 国内外立体视觉的研究状况 近年来许国内外学者、专家对其计算机视觉涉及的标定、图像处理，三 角重构等技术进行了深入的研究，取得了很多突破性进展。 1 ) 文献【2 】的标定方法考虑了摄像机成像过程中的各种因素，对于每一幅图 像，利用了至少1 7 个参数兰维物体空间的约束关系，计算量非常大：由于引 进的参数比较多，并使用专业量测像机，得到非常精确的标定参数。 2 ) a b d e l a z i z 和k a l a r a 在文献【3 】中通过求解线性方程的手段就可以求得摄 像机模型的参数，然而这种方法完全没有考虑摄像机过程中的非线性畸变问 题，虽然求解简单，但标定精度不高。 3 ) m a r t i n s 等在文献 4 q a 提出了双平面模型。此方法的优点是利用线性方法 就可以解有关参数：缺点是要求解大量的未知参数，存在过分参数化的倾向。 4 ) 汪连贺和董江在文献【5 】中探讨了以三角剖分的逐点插入法为基础构建不 规则三角网的方法，并在程序设计中对该算法进行了改进，提高了三角网的 构建效率。 5 ) 董辰世和汪国昭在文献【6 】中给出了一种散乱点三角剖分算法：输入一组 散乱点以及所在曲面s 在这些散乱点处的一致定向的法矢信息，该算法将产 生一张插值散乱点的三角网格曲面m ，并且曲面m 可以近似地看成是曲面s 的三角剖分。 黑龙江科技学院硕士学位论文 6 ) 张永春等在文献【7 】中从曲率入手，提出一种空间凸四边形的曲率估计算 法，由此建立了一种新的基于该曲率的三角剖分优化准则以及曲面三角剖分 算法。该算法修改了部分常用的数据结构，使得算法有较好的空间复杂度。 7 ) c h o i 提出的一种增量算法【8 】可以对点云进行直接剖分，但该方法有算法 复杂、运行速度慢等缺点。 8 ) 蔡清华等针对散乱数据三角剖分中几何拓扑关系难建立和存在大量冗余 数据的特点，研究了散乱数据直接分层方法【9 】，简化了几何拓扑关系的建立 过程。利用n u r b s 曲线的拟合技术实现了截面轮廓数据的精整，在此基础 上采用曲线间相容性处理实现了散乱数据的三角剖分算法。 9 ) 熊歆斌等在文献【1 0 】中提出一种改进的波前算法，从点云任意一点开始构 造初始波前，通过匹配点的加入和三角形的形成，不断修正波前并向外扩展， 从而对散乱数据点进行三角剖分。 1 徐松和王剑英在传统的映射法基础上，采用自适应三角网格加密法【1 1 l 能 有效地处理带有特征约束条件的任意曲面的三角剖分问题：在平面三角化算 法中对环边统一处理，并且采取了一种简单有效的曲率估算方法；并在保持 外观的基础上进行了网格质量的优化。 1 1 ) 浙江大学的刘海涛提出基于凹多变形凸分解的相容三角剖分算法，该算 法在添加辅助点数目和算法时间复杂度有了些改进，但仍然需要人工参与， 剖分的三角形质量也不太尽人意。 1 2 ) 华中科技大学的刘志刚提出了一种改进的螺旋边三角剖分算法，算法引 用“自然邻近点集”的概念，以螺旋边三角剖分算法的边界环为基础向外生长 三角形以包围盒算法搜索边界点的邻近点集，估计边界点的法向量，将边 界点及其邻近点集投影到切平而上进行局部二维d e l a u n a y 三角剖分，从而确 定边界点的自然邻近点集，最后将自然邻近点集以适当的方式添加到边界环 上。 针对于国内外发展现状发现，大多数成果都是在一定的图像采集方案下 应用数字图像处理算法，对于不同问题提出了一些改进算法，主要是在算法 的执行速度上或算法的精度上有一定的提高。目前在三角剖分研究领域还不 存在一种能够高效处理与复杂曲面相对应的大规模散乱数据点的三角剖分方 法，数据点云分块难以自动完成，需行人工交互，这样就难以保证分块结果 的准确性、效率和三角化的自动化。 6 黑龙江科技学院硕士学位论文 1 4 2 三维重建存在的疑难问题 1 1 计算机视觉的问题本质上都是逆问题( i n v e r s ep r o b l e m ) 。输入图像的灰度 受物体的几何特征、材料表面性质、颜色、环境光照及摄像机参数等许多因 素的影响，由灰度反推以上各种参数是一个逆过程，往往都是非线性的，问 题的解不具有唯一性，而且对噪声或离散量化引起的误差极其敏感，所以计 算机视觉本身存在一定的病态性。如何得到问题的鲁棒解成为三维重建过程 的难点所在。 在立体点匹配中，匹配搜索是个极尽搜索的过程，计算量大，花费时间 长。而且单用某一种匹配方法的误匹配点很多，也不能实现全局最优。如何 实现快速、实时、精确的匹配是一个难题。 3 ) 当前点云数据的三角化主要还是采用平面三角，而当前点云数据的直接 立体三角化发展还很不完善，而且效果比平面三角化差，采用平面三角化来 实现空间立体的三角化是较常采用的方法。而由多个局部平面的三角化如何 缝合成高质量的立体三角化是一个难题。 4 1 当前国内的三角化方法一般都是真对某一特殊形状的物体，国外的一些 相关软件虽然有就较好的方法，但都处于保密状态，所以当前国内缺乏有效 的通用形状三角化方法，找到一个可以解决各种形状的三角化方法是一个很 大的难题。 5 1 现在的要进行处理( 三角化) 的数据一般都是海量数据，如何保证三角 化的质量的基础上提高处理速度是又一难题，它不仅要找到有效的方法，还 要有高效快速的数据结构。 这里只列出了计算机视觉三维重构中几个方面的疑难环节，实际在三维 重建中还有许多难点( 如多视定位中的坐标精确统一和重叠处的数据的处理 等等) 要我们科学研究者去不断的解决和完善。 1 5 、研究思路、具体工作、组织结构及主要研究内容 1 5 1 课题的研究思路 摄像机标定是三维重建中基础的而不可缺少的一部分。传统的摄像机标 定方法设备昂贵、计算复杂；直接线性变换法没有充分考虑到成像的畸变问 题而使标定的结果精度不太高：双平面法未知数个数多，图像坐标和实际坐 标间的变换是基于实验的，造成了最终结果的不确定性：摄像机自标定精度 和鲁棒性不高。在本研究中，以射影不变量为基础，采用张正友的2 d 平面 7 黑龙江科技学院硕士学位论文 靶标的标定方法进行摄像机标定，其标定操作简单，自动快速，标定结果比 较精确。 立体匹配是三维重建中的一个重点、难点。由于难于寻找图象中的对应 匹配点对，本文采用增加编码结构光来对图象中的区域进行标记，增加左右 图象中相同区域的约束关系，再在极限约束等约束的条件下进行点对匹配的 寻找。这样简化了对应点的匹配，使立体匹配过程具有很好的稳定性和鲁棒 性。 空间点集的三角化也是三维重建中的重要部分。由于在逐点加入三角剖 分中对每个空间点都要进行操作，当点云数据是海量数据时，剖分的速度非 常慢，本文在逐点剖分的算法中采用分区三角形的边信息和分区三角形信息 以及简化的点与三角形关系的搜索方法来加快剖分速度；由于现在的平面三 角剖分的方法发展较成熟，而空间立体直接剖分操作复杂、剖分质量不高， 本文中采用先将整体点云划分成部分点云剖分，再缝合各个部分的方法对自 封闭整体点云进行三角形剖分；利用整体点云切片三角化对整体点云进行三 角形剖分。 1 5 2 研究的具体工作： 基于课题的研究思路，将课题研究的工作进行具体细化，课题研究主要 工作如下： 1 ) 对双目立体视觉的三维重建系统进行分解，对其各部分进行建模。 学习图象处理知识，实现图象预处理软件。 3 ) 学习摄像机标定知识，对摄像机标定模块进行软件实现。 4 1 学习图象匹配知识。 5 ) 学习三角剖分知识，对三维散乱点三角化模块进行软件实现。 6 ) 学习o p e n g l 知识，对图象输出模块进行软件实现。 1 5 3 本文的组织结构及主要研究内容 论文的结构按照三维重建的主要组成部分进行组织，主要由三大部分组 成。第一大部分介绍了论文的研究意义、选题依据、当前国内外发展情况等 内容。第二大部分介绍了三维重建中表面重建以前研究的部分，它包括第二 章中的摄像机标定，第三章中的立体匹配。第三大部分主要由第四章和第五 章组成，它们分别介绍了表面重建的理论部分和实践( 实验) 部分。下图1 5 所示的是本文各章的组织关系图： 8 黑龙江科技学院硕士学位论文 图1 - 5 全文的组织结构 h g 1 - 5t h es t r u c t u r eo f t h i sp a p e r 本文第二章摄像机标定部分介绍了摄像机的几种模型、当前的摄像机标 定方法和标定过程中的图象处理，最后提出了一种基于射影不变量的2 d 标 靶摄像机标定方法。第三章图象匹配是立体视觉中的一个重难环节，着重介 绍了立体匹配的原理、各种匹配方法、匹配的相关约束和当前结构光立体匹 配技术，最后介绍了一种相移和格雷码技术结合的图象匹配方法。第四章三 维表面重建的理论介绍了表面重建分类，着重介绍了当前三角剖分的各种方 法和空间三角形优化准则，这部分是三角剖分的理论部分。第五章三角化的 具体实现和结构中介绍了作者所实现的平面网格、立体网格、逐点加入等三 角化方法的实现和结果，并介绍了利用o p e n g l 来对显示的实现和显示界面 各个功能的介绍。 立体视觉的三维重建研究主要过程包括摄像机标定，图象的立体匹配和 表面的重建。由于本课题研究是基于“三维扫描系统的研究”项目中的表面重 建部分的研究，再加上精力和时间的限制，所以本课题研究的范围主要集中 在表面重建这一部分，对摄像机标定也进行了浅层次上的研究、立体匹配方 面进行学习和应用。 1 6 本章小结 本章介绍了三维立体视觉重建的理论依据m a 丌理论，三维重建的主 要组成部分的研究就是对m a r t 理论中的三个层次阶段研究的具体化。除此之 外，本章还介绍了三维重建研究意义、选题依据、当前国内外发展状况，三 维重建研究的重难环节等。全面分析了三维重建的当前条件、困难和具体实 现的思路步骤，从全局上把握和布置了本文的研究主要内容和章节组织结构。 9 黑龙江科技学院硕士学位论文 2 1 引言 第二章摄像机的标定 三维重建的主要任务是从摄像机获取的图像信息出发计算三维空间中物 体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何位 置与其在图像中对应点之间的相互关系是从摄像机成像的几何模型决定的。 这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验 与计算才能得到。这个过程被称为是摄像机标定。 立体视觉中的摄像机标定是立体视觉中的一个重点环节，摄像机标定的 目的是通过一系列的操作来计算出摄像机的内部参数和外部参数。标定的内 外数据为摄像机获取数字图象提供依据，为获取的数字图象数据进行立体匹 配提供参数。这也就是说摄像机标定的精度效果，将直接关系到后边的图象 匹配的精度和结果，甚至不高精度的标定结果使图象匹配的结果根本不能使 用。这章将着重介绍摄像机的模型和摄像机的标定方法。由于摄像机标定中 的图象需要进行处理，本章对标定中的图象处理也进行了介绍。 现有的摄像机标定技术大体可以归结为两类，传统的摄像机标定方法和 摄像机自标定方法。传统的摄像机标定方法，其特点是要求有摄像机标定块； 通过建立标定块上三维坐标已知的点与其图像点间的对应关系，来计算摄像 j 叽的内外参数，算法比较复杂，但精度较高。摄像机自标定方法则不需要标 定参照物，直接利用从图像序列中得到的约束关系来计算摄像机的参数，使 实时地、在线地标定成为可能，己成为近年来摄像机标定研究中一个热点。 2 2 摄像机透视投影模型 摄像机参数总是相对于某种几何成像模型的，这个模型是对光学成像过 程的简化，比如最常用的针孔模型，它是摄像机标定研究的基本模型。所以 我们研究摄像机标定必须首先学习和研究摄像机的模型。 摄像机通过成像凸透镜将三维场景投影到摄像机二维像平面上，这种投 影可用成像变换描述，即摄像机成像模型。摄像机成像模型有不同描述方法， 本节主要介绍机器视觉所用的三种坐标( 图象坐标、摄像机坐标与世界坐标) 、 三种坐标之间的关系、摄像机线性模型、非线性模型和摄像机透视投影的四 种近似模型。 1 0 黑龙江科技学院硕士学位论文 2 2 1 图象坐标、摄像机坐标与世界坐标 摄像机或者c c d 采集的模拟图象信号经过高速图象采集系统( 采集卡) 中的a d 转换成数字图象信号，然后传进计算机。每幅数字图象在计算机中 为m j v 数组，m 行列的图象中每个元素( 即像素p i x e l ) 的数值即是图 象点的亮度( 灰度) 值。如图2 1 所示： 图2 - 1 图像坐标系 f i g 2 1i m a g ec o o r d n a t es y s t e m 在图像上定义直角坐标系“一v ，每一像素的坐标0 ，v ) 分别是该像素在数 组中的行数和列数。所以“，v ) 是像素为单位的图象坐标系中的坐标。由于 “，v ) 只表示像素在数组中的行数和列数，并没有用物理单位表示该像素在图 象中的位置。因此需要再建立一个以物理单位( 如m a l l 、c m 等) 表示的图象 坐标系。该坐标系以图象内某一点d 1 为原点，x 轴与y 轴分别与“，v 轴平行。 其中0 ，v ) 表示以像素为单位的图象坐标系的坐标，o ，y ) 表示以物理单位为 单位的图象坐标系的坐标。在x 、y 坐标系中，原点0 1 大约在摄像机光轴与 图象平面的交点，该点一般位于图象中心处，但由于某些原因，也会有写偏 差，若d 1 在一v 坐标系中坐标为，) ，每一像素在z 轴与y 轴方向上的物 理尺寸为出、由，则图象中任意一个像素在两个坐标系下的关系为： 为以后使用方便，我们将式( 2 1 ) 表示为齐次坐标与矩阵的形式 1 1 )l2( + + 三出，一方 - - “ v 黑龙江科技学院硕士学位论文 【；】- 1 0 d x o 上 由 00 ( 2 2 ) i 】- 喜瀚团 ， 点o x 。称o c o , 为摄像机的焦距。仇一x 上z ，为世界坐标系，它是作为基准 图2 - 2 摄像机坐标系与世界坐标系 f i g 2 - 2t h e c a m e r ac o o r d i n a t es y s t e ma n dt h ew o r l dc o o r d i n a t es y s t e m 摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵尺与平移向量t 来描述。若空间中某点p 在世界坐标系与摄像机坐标系下的齐次坐标分别为 x 。，圪，z 。，1 ) 7 与( x 。，t ，z 。，1 ) r ，则有如下关系： 置1f x 。1f x 。 k 乙 1 一阳 l z 。 1 一m l 匕 z 。 1 ( 2 4 ) 其中，r 为3 x 3 的正交矩阵，t 为三维平移矩阵，向量o 一( 0 ，0 ，o ) 7 ，m 。 为4 x 4 矩阵。 黑龙江科技学院硕士学位论文 2 2 2 线形模型( 针孔模型) 针孔模型是目前最常见的摄像机模型，它简单实用而不失准确性，在计 算机视觉研究中被广泛使用。如图2 - 2 ，视点为q ，空间点p ( x 。，匕，z 。，1 ) 在 摄像机坐标系下的坐标为何。，z 。) ，在图像上的投影位置p ( x ，y ) 为连线 d c p 和图像平面的交点，它们满足如下的透视投影几何关系： 石x c z c ( 2 5 ) 。盟 7 z c 用齐次坐标与矩阵可以将( 2 5 ) 式表示为 z c 【i i 陌 0 0 0 1 ，00 1 01 0 i 工。 【 z 。 1 ( 2 6 ) 根据图2 - 2 以及( 2 3 ) 、( 2 4 ) 和( 2 6 ) 式，最后就得到空间点p 的齐次坐 标g ，匕，z ，1 ) r 与其投影点p 的齐次坐标 ，v ，1 ) r 的关系1 1 5 l ： 骨p 引瓣】 0 “o 4 ， 0 1 耠】 x 。 匕 z 。 1 。医 阵 悸 - & 货，- 缉。( 2 7 ) 其中，口。一f d x ，口，- f d y ；m 为3 4 矩阵，称为投影矩阵；k 完全 由口，n ，“。，决定，而4 。，4 ，。，只与摄像机内部结构有关，称为摄像 机内部参数；a 完全由摄像机相对与世界坐标系的方位决定，称为摄像机外 部参数。摄像机标定的过程就是求解摄像机内、外部参数的过程。 2 2 3 非线性模型 实际上，由于实际的透镜成像并不是理想的透镜成像，而是带有不同程 f 陋 1_l_-j o q 0 黑龙江科技学院硕士学位论文 度的畸变，使空间点所成的像并不在线性模型所描述的位置g ，y ) 上，而是 受不同镜头失真的影响偏移到实际像坐标0 ：) ，上，它们之间的关系是： e 麓 旺8 ， 其中6 ，、6 分别是z 、y 方向上的非线性畸变值，它与图象点在图象中 的位置有关。理论上透镜是同时存在径向畸变和切向畸变。但一般情况下， 切向畸变比径向畸变小的多，径向畸变的修正量由距离图象中心的径向距离 的的幂次多项式模型来表示【1 】： j 屯- o 。叫。脚：“：7 ：扣”? ( 2 9 ) 1 6 r - ( ) ， - v o x k l r 2 + 七2 r 4 + ) 其中瓴，v o ) 是主点位置坐标的精确值，而r 2 为： r 2 一o l 瞄) 2 + o ，一) 2( 2 1 0 ) 上式表明x 方向和y 方向的相对畸变值( 屯x ，6 ，y ) 与径向半径的平方 成正比，即在图象边缘的畸变较大。对一般的非线性描述，一阶径向畸变已 经足够了，即只要式( 2 9 ) 中右侧r 2 就可以了，而，的高次幂就可以省略了。 2 2 4 摄像机透视投影近似模型 由上小节我们知道了透视投影实际上是一个非线性的对应过程。这在实 际求解中需要大量的计算工作，而且如果透视效果不明显的时候，直接使用 该非线性模型可能会使求解的方程变为病态。另外，在某些情况下透视模型 可以很好的利用线性模型来进行代替，这种近似不仅大大简化了推导和计算 过程，而且透视模型描述的精度也足够。下边就介绍几种常用的透视投影的 近似模型。 1 1 正投影：最简单的线性近似称为正投影。这种近似完全忽略了深度信息。 在这种投影方式下，物体到摄像机的垂直距离( 深度信息) 和物体到光轴的 距离( 位置信息) 都完全丢失了。因此只有在这两个信息确实都可以忽略时 才可以使用。 2 ) 弱透视：如果摄像机的视场比较小，而且物体深度变化相对于其到摄像 机的距离很小的时候，物体上各个点的深度可以用一个固定的深度值来近似， 这个值一般就选择物体的质心的深度。要使用弱透视，一般要求物体到摄像 机的距离大于物体表面深度变化的十倍以上。 3 ) 平行透视：在平行透视中，投影过程分为两步：首先把物体投影到过质 心且与像平面平行的平面上( 但投影线不一定与光轴平行) 。然后按透视模型 1 4 黑龙江科技学院硕士学位论文 将上述平面上的图形投影到摄像机的图象平面上。和弱透视相比，平行透视 的像点位置不仅和物体的x 、y 坐标有关，而且还和物体的z 坐标有关。平 行透视的像点误差是三维点的二阶无穷小要比弱透视的一阶无穷小更接近像 点的实际位置。 4 ) 仿射摄像机：仿射摄像机的一个重要的性质是保平行性：三维空间的平 行线投影n - - 维空间仍然是平行地。它的另外一个重要性质是它把三维点的 质心投影到二维投影点上。它的缺点是几何意义不明显。即使不标定摄像机 内部参数，仍然能从图象中提取平行性和定长性这样的仿射度量，这是它的 重要优点。最后需要注意的是仿射摄像机虽然是实际摄像机的近似，但它只 能在感兴趣目标的深度相对其深度变化而言可以忽略不计时才适用。 2 3 摄像机的标定方法 早年在摄像机标定方法己经取得了很多研究成果。对于计算机视觉而言， 考虑到摄像机标定在理论和实践中的重要价值，学术界在最近2 0 余年来进行 了广泛的研究，基于不同的出发点和思路取得了一系列成果，对于不同的问 题背景它们都有其各自的应用价值。以下是现有的各种方法进行总结、比较 和分类。 2 3 1 利用最优化算法的摄像机标定方法 这一类摄像机标定方法的优点是：可以假设摄像机的光学成像模型非常。 复杂，包括成像过程中各种因素，然而由此带来的问题是【1 6 1 ： 1 1 摄像机标定的结果取决于摄像机的初始给定值，如果初始值给得不恰当， 很难通过优化程序得到正确的标定结果。 2 1 优化程序非常费时，无法实时地得到标定结果。 2 3 1 1 摄影测量学中的传统方法 文献【2 】中的标定方法是这一类标定技术的典型代表，他考虑了摄像机成 像过程中的各种因素，精心设计了摄像机成像模型。对于每一幅图像，利用 了至少1 7 个参数来描述其与三维物体空间的约束关系，计算量非常大。由于 引进的参数比较多，并使用了特殊的专业量测像机( 其所摄取的照片的分辨率 比普通的固态成像感光阵列高4 倍以上) ，在图像投射和三维重建时取得了很 高的精度。 黑龙江科技学院硕士学位论文 2 3 1 2 直接线性变换方法( o l t ) 直接线性变换方法是a b d e l - a z i z 和k a r a t a 首先于1 9 7 1 年提出的1 3 悯。 通过求解线性方程的手段就可以求得摄像机模型的参数，这是直接线性变换 方法的吸引力之所在。然而这种方法完全没有考虑摄像机过程中的非线性畸 变问题，为了提高标定精度，非线性最优化算法仍不可避免。直接线性变换 方法具有两种含义，一种含义是直接通过求解一组线性方程得到摄像机的有 关参数：另一种含义是求解的过程不排除使用非线性优化算法。 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投 影矩阵的形式： h s l y | - p 【1j 工。 匕 z ， 1 ( 2 1 1 ) 其中 ，v ，1 ) r 为图象坐标系下的像点的齐次坐标，皤，匕，z ，1 ) r 为世界 坐标系下的空间点的齐次坐标，p 为3 x 4 的透视投影矩阵，s 为常数因子。消 去s ，就可以得到方程： f n l z ，+ n 2 l + p 1 3 z ，+ 一p n u x 一p 匕一几弘，一p u u 一0，11 1 p 2 1 乙+ p 2 2 匕+ p 2 乒。+ p “一p ，2 i 厦。一p 3 一匕一p ，m z ，一p ，- 0 恤1 - 7 当已知n 个空间点和对应的图像上的点时，可以得到一个含有 p 一+ p t 2 圪+ p u 乙+ 见4 一p m u x 2 一划l 一见以一m 。o2 x n 个 l p 2 1 x 。+ p 2 2 匕+ p 2 z ，+ p u - p 3 2 u x ，- p z z u 匕- p 3 一z 一p 3 一。0 。 方程的方程组： a l 一0( 2 1 3 ) 其中a 为2 n x l 2 的矩阵，l 为透视投影矩阵元素组成的向量 ( n ，n 2 ，p 。，n 。，p ：。，p ，p ，p 2 ，p 3 1 ，p 3 2 ，p 3 刊) 7 。相机标定的任务就是寻找 合适的l ，使得0 舭0 为最小，即 蜘i i a l l i s u b j e c t t o p u - 1 ( 2 1 4 ) 此时有l - 一( c 7 c ) - 1 c 7 b ，l 为l 的前1 1 个元素组成的向量。c 为a 前1 1 个列组成的矩阵，b 为a 第1 2 列组成的向量i 直接线性变换方法是对摄影测量学中的传统方法的一种简化。与摄影测 量学中的传统方法相比，更符合计算机视觉中应用问题的要求和所使用的 c c d 摄像机的特点，成为连接摄影测量学的计算机视觉之间的桥梁。两个领 域都可以使用直接线性变换方法对摄像进行标定。 1 6 黑龙江科技学院硕士学位论文 2 3 1 3 利用透视变换矩阵的摄像机标定方法( 基于3 d 立体靶标的摄像机标 定) 严格来说，基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方 法没有本质的区别，而且透视变换矩阵与直接线性变换矩阵之间只相差一个 比例因子，基于两者都可以计算摄像机的内部参数和外部参数。 这一类标定方法的优点是不需利用最优化方法来求解摄像机的参数，从 而运算速度快，能够实现摄像机参数的实时的计算。缺点是1 1 6 1 ： 1 ) 标定过程中不考虑摄像机镜头的非线性畸变，标定精度受到影响： 2 ) 线性方程中未知参数的个数大于要求解的独立的摄像机模型参数的个 数，线性方程中未知数不是相互独立的，这种过分参数化的缺点是：在图像 含有噪音的情况下，解得线性方程中的未知数也许能很好的符合这一组线性 方程，但由此分解得到的参数值却未必与实际情况很好地符合。 下面讨论透视交换矩阵的求解。将( 2 7 ) 式写成： x 。 匕 z 。 1 ( 2 王5 ， 其中， ，l ，z 。，1 ) r 为空间三维点的齐次坐标， ，v ，矿为对应像点的 齐次坐标，m 。视变换矩阵m 的元素。含三个方程，整理消去z ，可得到如 下两个关于m 。的线性方程： i ，气1 爿0 + t o n y + 朋b z ，+ 厅l h u x , m 3 1 - - u y j n ，2 一u z _ m 3 3 _ 1 ，1 、 l m2 l x 。+ m 2 2 y + ，珂z ，+ ，”2 4 - v x j n 3 1 一v y , , , m 3 2 一v z m 3 ，- 岷 这两个方程描述了三维世界点与相应图像点之间的关系。如果己知三维 世界坐标和相应的图像坐标，将变换矩阵看作未知数，则共有1 2 个未知数。 对于每一个物体点，都有如上的两个方程，因此，取6 个物体点，就可以得 到1 2 个方程，从而求得变换矩阵m 的系数，也就可以通过已经知道的m 矩 阵求解出摄像机坐标系与世界坐标系之间的旋转矩阵r 和平移矩阵t 。详细 的方法介绍请参见文献【1 】或者文献【1 6 】。 2 3 1 4 两步法( r a c 两步法) t s a i 的两步法【1 61 7 】基于以下几点观察，参照图2 3 ： 1 ) 假设摄像机镜头的畸变是径向的，无论畸变如何变化，从图像中心点到 m m i h h