（机械电子工程专业论文）双目立体摄影测量中的标定方法研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 双目立体视觉测量直接模拟人类的眼睛处理景物的方式，具有简单、可 靠、灵活、使用范围广等特点，越来越受人们的重视，是立体视觉最常用的 实现方式，建立一个双目立体视觉系统对于实现实时、在线立体视觉摄影测 量具有重要的理论意义和使用价值。 本文的研究主要体现在以下工作： ( 1 ) 分析研究了现有的摄像机标定方法，线性摄像机标定方法、t s a i 提出 的基于r a c 约束的两步标定方法以及张氏标定方法，如线性摄像机标定方 法是在理想状态下的标定方法，精度不高，不易实现，而t s a i 提出的基于 r a c 约束的两步标定方法和张氏标定方法的精度高，但是对于实验设备要求 高，难于实现。针对这些标定方法的足限，提出了一种新的摄像机标定方法。 ( 2 ) 立体摄影测量系统中的另外一个难点就是立体匹配，目前还没有统一 的方法。通过分析基于区域的立体匹配方法、基于相位的立体匹配方法、基 于特征点的立体匹配方法，本文采取加入极线约束的特征点匹配方法，结合 本文的摄像机标定方法，详细地叙述了匹配过程。 ( 3 ) 为了验证本文所提出的摄像机标定方法，以及经过改进的适用于本文 的匹配方法的有效性，利用实验对t s a i 提出的基于r a c 约束的摄像机标定 方法、张氏标定方法和本文标定方法做了一个比较。 关键词：双目立体摄影摄像机标定特征点匹配 西南科技大学硕士研究生学位论文 第1 i 页 a b s t r a c t b i n o c u l a rs t e r e op h o t o g r a m m e t r yi sak i n do fw a yt od e a lw i t hs c e n e r yb y i m i t a t i n g h u m a nb e i n g s e y e s i th a sm a n yc h a r a c t e r i s t i c sl i k eb r i e f n e s s ， d e p e n d a b i l i t y ，f l e x i b i l i t ya n ds oo n t h i sm e t h o d i sc o m m o nw a yt or e a l i z es t e r e o v i s i o na n di ti sb e c o m i n gh i g h l yv a l u e d i th a si m p o r t a n tt h e o r ym e a n i n ga n d p r a c t i c ev a l u et or e a l i z er e a l t i m es t e r e op h o t o g r a m m e t r yb yf o r m i n gb i n o c u l a r s t e r e ov i s i o ns y s t e m t h em a i nw o r ka n da c h i e v e m e n t so ft h i st h e s i sa r ea sf o l l o w s ： 1 i th a sa l r e a d ya n a l y z e de x i s t i n gw a y sa b o u tc a m e r ac a l i b r a t i o nl i k el i n e a r c a m e r ac a l i b r a t i o nm e t h o d ，t s a it w o s t e pm e t h o d ，z h a n gm e t h o d f o rl i n e a r c a m e r ac a l i b r a t i o nm e t h o d ，i ti sam e t h o d t oc a l i b r a t eb e l o wt h ei d e a l c i r c u m s t a n c e i t sm a c h i n i n ga c c u r a c yi sn o ts og o o da n di ti sn o te a s yt oa t t a i n t s a it w o s t e pm e t h o da n dz h a n gm e t h o d sa c c u r a c ya r eh i g h e r , b u tt h e i r s d e ：m a n d sf o re x p e r i m e n t a lf a c i l i t i e sa r ec r i t i c a la n di t i sd i f f i c u l tt oa t t a i n a i m i n ga tt h ed e f i c i e n c yo ft h ee x i s t e dc a m e r ac a l i b r a t i o nm e t h o d s ，i tc o m e su p w i t han e wm e t h o da b o u tc a m e r ac a l i b r a t i o n 2 o n eo fd i f f i c u l t yi ns t e r e op h o t o g r a m m e t r ys y s t e mi ss t e r e om a t c h i n ga n d n o wt h e r ei sn ou n i f o r ma p p r o a c h b ya n a l y z i n gt h ea r e am a t c h i n ga p p r o a c h ， p h a s em a t c h i n ga n df e a t u r em a t c h i n g ，t h ep a p e r u s e st h ew a yn a m e df e a t u r ep o i n t m a t c h i n gw h i c ha d d sl i m i t r e s t r a i n tc o m b i n gw i t hc a m e r ac a l i b r a t i o nm e t h o di n p a p e rt on a r r a t et h em a t c h i n gp r o c e s s d e t a i l e d 3 i no r d e rt oc h e c kt h ea v a i l a b i l i t yo fc a m e r ac a l i b r a t i o nm e t h o da n d m o d i f i e dm a t c hm e t h o di np a p e r , t h ep a p e rc o n d u c t sa ne x p e r i m e n t a b o u t c o m p a r i n gt h et s a it w o s t e pm e t h o d ，z h a n gm e t h o d a n dt h em e t h o di np a p e r k e yw ords ：b i n o c u l a r s t e r e op h o t o g r a p h y ；c a m e r ac a l i b r a t i o n ；f e a t u r e m a t c h i n g 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1 概述 三维空间物体的几何测量方法在实际生活中都有着广泛的应用。但传统 的立体测量方法，在特定的应用场景都有一些固有的缺陷，如利用接触法的 三维坐标测量机的测量法，虽然它的测量精度高，但只能对硬质且比较规则 的物体进行测量；采用以c c d 作为传感器的单目摄影测量系统或双目立体摄 影测量系统，对于回转体或面型纹理较复杂的，部分区域存在遮挡的场景， 显然从一个角度测量可能有视觉盲区存在，无法得到足够多的表面信息【：l 【3 】。 但对物体的3 6 0 0 非接触式测量，尤其是实现实时的，快速的，非接触式的在 线测量，将有非常大的实用价值，这对于减少工业废品率和提高企业的生产 效率也将起着不可估量的作用。 1 2数字摄影测量技术的国内外发展现状 1 2 1概述 摄影测量( p h o t o g r a m m e t r y ) 是通过摄像机投影的影像参数信息来测定 目标物体的形状、大小、空间位置、性质以及相互关系的科学技术t j 。它包 含很多的分支学科，例如工业摄影测量、工程摄影测量、航空摄影测量和近 景摄影测量等。而近景摄影测量是指摄像机与目标物体的测量距离不大于 3 0 0 m ，利用摄像机提取目标物体的立体像对进行的摄影测量1 5 】。近年来，随 着半导体技术和微电子技术的迅速发展，尤其是数码摄像机和计算机硬件、 软件的发展，使得近景摄影测量技术已经全面进入数字近景摄影测量时代【s 】。 1 2 2 国外研究现状与发展趋势 数字近景摄影测量的发展过程，概括起来包括五个不同特征的发展时期： 处于基础阶段的早期发展；初步进入数字摄影测量阶段的逐步发展；进入数 字阶段的全面发展、稳步研究和加大其推广应用的深入发展以及新近的成熟 发展【7 1 。 1 9 6 4 年至1 9 8 4 年，数字近景摄影测量处于基础阶段的早期发展，这一发 展阶段的研究成果，其主要特点就是为数字近景摄影测量的理论知识奠定了 基础，包括图形图像处理算法、误差的分析理论、c c d 器件的研究与应用、 西南科技大学硕士研究生学位论文第2 页 模板的特征点匹配算法及同时处理多张图像的技术等 s l l 9 l d 0 l i h 1 2 1 ，因此也有人 将这个阶段称为数字近景摄影测量的婴儿时期( i n f a n ts t a t e ) 【，】。 1 9 8 4 至1 9 8 8 年是初步进入数字发展阶段的逐步发展期，在这个阶段开始 逐渐研发出很多数字近景摄影测量系统，虽然这些系统很少能用到实际的应 用中，但在系统的设计、研发和标定等方面的进展为后续的研究工作奠定了 基础1 1 3 1 1 1 4 。1 9 8 6 年6 月，作为第五委员会的主题之一的数字近景摄影测量，出 现在加拿大渥太华召开的国际数字摄影测量与遥感检测大会的年会上：1 9 8 7 年6 月，在i s p r s 年会上第一次单独以数字摄影测量为主题的国际会议，在瑞 士i n t e r l a k e n 召开；1 9 8 8 年，第1 6 届国际数字摄影测量与遥感大会在日本京都 召开，其中一项就是第五委员会被正式改名为“数字近景摄影测量与计算机 视觉 ，会议上出现了大量关于数字近景摄影测量方面的文章。 1 9 8 8 年至1 9 9 2 年，数字近景摄影测量进入全面发展时期，在这个时期越 来越多的学者在此方向进行系统的研究和开发，出现了许多案例在应用上成 功的报道，而且应用领域也大大拓宽了( 如生物立体测量、流量测量、工业 测量、汽车碰撞试验测量和空间探测等) 1 5 1 1 6 1 1 1 7 1 1 1 8 1 。这一时期的显著特点有： ( 1 ) 在学术研究和商业应用方面，全自动测量系统的数量继续增加：( 2 ) 应用领 域与应用范围大大扩宽；( 3 ) 与计算机视觉等其他领域的交叉应用开始变多。 1 9 9 2 至1 9 9 6 年，对于数字近景摄影测量的研发不再像前一时期那样不断 的涌现出新成果和新发现，而是处于更加稳定的发展阶段，领域内更多的关 注放在了拓展应用及成型系统的市场推广上。一些老公司已经研发出新的数 字化产品，也出现了很多专业化的小公司和新系统。一系列的会议论文集公 开出版发售，表明数字近景摄影测量技术的研究和开发已趋近成熟。 1 9 9 6 年至今，数字近景摄影测量的开发与应用已进入成熟期。它已经能 满足医学界对图像实时性、几何精度高等方面的要求，可应用于医学界的外 科研究、人体测量学的开发、人类行为动作的监控测量等i t 9 。研究的重点从 几何测量精度转为实时性、全自动化和测量结果的三维建模及虚拟现实等， 尤其是激光扫描技术的发展，使得多传感器数据采集及数据融合等问题备受 关注，从而也使数字近景摄影测量与机器视觉的关系越来越密切1 2 0 1 1 2 - 1 。 1 2 3国内研究现状与发展趋势 国内自7 0 年代末就开始进行对近景摄影测量的研发，到当前为止，已有 许多研究者在数字近景摄影测量方面进行了很多的研究及应用工作，但主要 是测绘学科的研究人员，研究的重点也主要是针对普通测绘工程的，而针对 西南科技大学硕士研究生学位论文第3 页 工业测量的研究和应用就很少了，而且不成系统f 2 2 l 。 数字近景摄影测量的研究应用领域已经扩展到空间飞行器制造、航空工 业、船舶工业、汽车工业、核能工业、化学工业以及医学领域、生物工程、 公安刑事侦查、交通事故及其他事故现场处理、古建筑的建档与恢复、对大 型工程建设监测等方面。“十五 重点研究及其突破点主要包括： ( 1 ) 利用数字摄像机与实时数字近景摄影测量技术相结合建立相应的工 业零件检测系统。该类系统使用高重叠度序列图像作为影像数据源，利用较多 同名特征的冗余观测值成功地进行粗差剔除，根据二维序列图像导出物体不 同部位的三维信息，然后将这些三维信息融为统一的表面模型，实现了高精度 的三维模型重建。 ( 2 ) 利用数码摄像机与全站仪集成形成一个全新的测量系统一一摄影全 站仪系统。近年来，尽管传统近景摄影测量得到巨大发展，但必须在被测物体 表面或周围布设一定数量的控制点，摄影测量工作者心中的“无接触测量 没 有真正实现。全站仪作为一种高精度测量仪器在工程测量中被广泛接受，本质 上它是一种基于“点 的测量仪器。将它与基于“面 的摄影测量有机地结 合起来，形成一个全新的测量系统一一摄影全站仪测量系统。在该系统中，量 测数码相机安装在全站仪的望远镜上，测量时利用全站仪进行导线测量，在每 个导线点利用量测数码摄像机对被测物体进行摄影。每张影像对应的方位元 素可以由导线测量与全站仪的读数中获取【：，】。本文的目标就是实现实时的， 快速的，无接触的测量，以上综述将给本课题的研究提供一些非常有用的信 息。 1 3 本课题的研究内容、研究目标及拟解决的关键问题 1 3 1研究内容 ( 1 ) 研究了摄影测量原理【2 4 l 【：钮：s l ，对原理深入的了解和学习是本课题的研 究基础，更好地把握摄影测量原理将有助更好地选用测量方法。 ( 2 ) 重点研究了数字近景摄影测量的数学方法与理论，包括投影几何学、 非线性优化算法、矩阵算法、误差分析等。用这些数学知识计算三个核心矩 阵，即：投影矩阵、本质矩阵、基础矩阵。从本质矩阵和基础矩阵中分解出 摄像机的内部参数和外部参数( 包括旋转矩阵和平移向量) ，并且利用投影矩 阵进行图像点的匹配。 ( 3 ) 数字图像的获取与处理，视点的布置是图像的获取与处理的前提，而 西南科技大学硕士研究生学位论文第4 页 图像的获取与处理是进行后续工作的前提。图像的获取与处理是布置视点与 摄像机标定的中间环节，那么怎样获得高质量的图像，怎样对图像进行处理 也是本课题要涉及到的问题。 ( 4 ) 数码摄像机的线性标定技术及传统标定技术，研究了摄像机的畸变规 律，阐述并总结了各类标定方法的理论推导过程、应用及其各自的优缺点。 ( 5 ) 摄像机的布置方案。 1 3 2 研究目标 ( 1 ) 根据测量理论，确定摄像机的视点数目，以及对各个视点进行合理的 布置。 ( 2 ) 在以往获取摄像机内外部参数信息的数学理论基础上，提出本文的方 法并根据实验获得各个摄像机的内部参数信息以及各个摄像机之间的相对位 置关系。 ( 3 ) 建立一个以最简单的系统结构、最低的实验设备成本来验证立体摄影 测量中的摄像机标定技术的有效性和可靠性。 1 3 3 拟解决的关键问题 ( 1 ) 立体摄影测量是基于计算机视觉理论的三维摄影测量方法。它通过若 干位置相对固定的摄像机，从不同角度获得同一空间物体的几幅或者多幅图 像，通过计算空间点在两两图像之间的视差来获得其三维坐标。立体摄影测 量有单目摄影测量、双目立体摄影测量、三目立体摄影测量甚至多目立体摄 影测量等等，所以依据简单、有效、可靠、使用范围广的特点，视点数目的 确定和视点合理布设就成为了一个关键技术问题，视点布设如图1 - 1 所示。 图1 - 1视点布设图 f i g 1 1 v i o wi a y o u td i a g r a m 西南科技大学硕士研究生学位论文第5 页 ( 2 ) 图像匹配是立体摄影测量的另一关键技术之一，高精度的摄像机标定 和有效可靠的图像匹配是立体摄影测量中的两大基础。当空间三维物体通过 摄像机投影到二维图像时，同一空间物体点在不同图像上会有很大差别，而 且外界环境的诸多因素，如噪声干扰、光照条件和摄像机特性等，都会影响 空间物体表面点在图像上的灰度。因此，要准确找到同一物体点在不同视点 下的一一对应关系，是有一定困难的。本文在此采用的图像匹配如图1 - 2 所 示。 图1 2 带有极线约束的图像点匹配图 f j g 1 2e p ；p o l a rc o n s t r a in tw i t hi m a g ep o i n tm a t c h i n gg r a p h 1 4本课题的研究思路及主要创新点 1 4 1本课题的研究思路 本课题的研究首先是要对摄影测量领域的发展状况和基本的理论知识进 行一定程度的了解，例如单目摄影测量，双目立体摄影测量，图像点的提取 以及不同视点下的图像点的匹配，坐标系之间的转换，共线方程的基本形式， 摄像机的标定方法及其内外参数的求解等。其次就是要利用所了解的理论知 识来进行视点的确定及其位置的合理布置，完成摄影测量中的特征点匹配和 摄像机参数的标定。最后用实验来验证摄像机标定方法的可行性及其有效性。 1 4 2 主要创新点 完整的立体摄影测量系统包括五个部分。摄像机标定是立体摄影测量的 关键步骤之一，其标定结果的精度直接影响后续工作的有效性。当前存在的 摄像机标定方法主要有线性摄像机标定方法、径向畸变的分步标定方法、径 西南科技大学硕士研究生学位论文第6 页 向畸变的线性摄像机标定方法以及径向畸变和切向畸变的非线性优化算法， 具有各自的特点和应用领域。本课题在标定结果精度高、计算简便的前提下， 提出一种新的摄像机标定方法并选用新的视点确定方法，结合改进之后的图 像特征点的匹配方法，通过实验验证该方法的可靠性、有效性。 西南科技大学硕士研究生学位论文第7 页 2 双目立体摄像测量的标定方法 2 1引言 摄像机标定是立体视觉的关键步骤之一，也是立体视觉的最基本步骤之 一，因为从空问三维物体的2 d 信息获得其3 d 信息，我们只有对摄像机进行 标定才能进行后续工作，摄像机标定的精度会影响到整个立体视觉系统的效 果。摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以确 定空间坐标系中物点同它所在图像平面上像点之间的对应关系1 2 7 1 1 2 8 1 。反言之， 只有摄像机被标定以后，才能根据三维物体的图像平面中的二维图像信息获 得物体的三维信息。摄像机模型与摄像机参数标定有密切的关联，因为构造 不同的摄像机模型，摄像机参数标定算法就不同，并且不同场景对摄像机标 定的要求也不同。本章将介绍摄像机标定模型及摄像机标定方法中的针孔摄 像机标定、非线性标定方法、t s a i 两步法和张氏标定方法，给出其标定原理， 指出其存在的问题。针对这些问题，第三章将提出一种基于畸变校正的双目 立体摄像机线性标定方法。该标定方法具有较好的计算稳定性和较高的标定 精度。 2 2 摄像机测量的标定模型 定量的描述摄像机的标定模型，首先要建立摄影测量中的四个坐标系： 计算机图像坐标系、图像平面坐标系、摄像机坐标系和基准坐标系( 世界坐 标系) ，其坐标系关系如图2 1 所示。 图2 1 摄像测量成像模型中的坐标关系 f i g 2 1 t h ec o o r d i n a t er e l a t i o n si nt h em o d e io fc a m e r ai m a g i n gm e a s u r e m e n t 西南科技大学硕士研究生学位论文第8 页 ( 1 ) 计算机图像坐标系( d n u v ) 由于摄像机获取的图像是以电信号形式存储在计算机里的，通过计算机 里的数模转换器进行转换，获得数字图像。数字图像是以m n 数组的形式 进行存储的，m 行、列的每一个元素，称为像素，其值为图像点的灰度值。 在图2 1 的坐标系关系中我们定义计算机图像坐标系0 。“1 ，( “，v ) 是以像素为 单位的坐标，表示每一个像素点在计算机图像坐标系中的坐标值。 ( 2 ) 图像平面坐标系( d l x y ) 计算机图像坐标系o o u v 是以像素为单位的坐标系，( “，d 只是表示像点的 像素的列数和行数，并没有表示出像点的具体位置，所以定义像点的物理坐 标系( 单位为r a m ) ：图像平面坐标系0 1 x y 。利用透视变换原理可知，图像平 面坐标系原点0 与图像平面的几何中心重合，x 轴平行于甜轴，y 轴平行于v 轴。d l 点在计算机图像坐标系o o u v 中的坐标为d l ( u o ，v o ) 。 ( 3 ) 摄像机坐标系( x 。z 。) 摄像机坐标系的几何关系可从图2 - 1 看出，摄像机坐标系是以摄像机光 心0 为原点的坐标系，记为茸e 互。x c ，【分别平行图像平面坐标系中的x ，y 轴，d d l 之间的距离为摄像机的焦距厂。 ( 4 ) 基准坐标系( 世界坐标系) ( x 。匕z 。) 摄像机可以放在环境中的任何位置，为了定量地描述摄像机位置，我们 定义了基准坐标系，即世界坐标系( x 。l z 。) 。在世界坐标系中可以用旋转 矩阵尺和平移向量t 来描述摄像机的位置。 2 2 1 线性摄像机测量的标定模型 线性摄像机标定方法采用的是小孔成像模型1 ：9 1 ，o 】，这种标定方法不用考 虑任何的畸变因数，计算简单、方便、快捷。在不要求标定精度的状态下可 以使用这种标定方法。 利用透视变换原理从图2 - 1 可知，计算机坐标系o o u v 与图像坐标系0 x y 之间的转换关系： “- - u 0 = 屯z ( 2 1 ) v 一= 凡y 、& 分别表示x 、y 轴方向上单位长度上的像素点数。 像平面坐标系与摄像机坐标系是中继坐标系，由共线方程可得二者之间 的关系式如下： 西南科技大学硕士研究生学位论文第9 页 x = 区 z c y = 譬 用齐次坐标与矩阵表示上述投影关系式： z 件瞄 ( 2 - 2 ) 摄像机坐标系与世界坐标系之间的转换关系可以用旋转矩阵r 和平移向 量，来表示。其关系式如下： ( 2 - 3 ) 尺为3 3 的正交单位阵，t 为3 1 的平移向量。由式( 2 - 1 ) 、式( 2 - 2 ) 和式( 2 - 3 ) 得 h 卜 乙 l 吕 一肾 0o ， 言 - i 乖 ( 2 4 ) 1j 以匕乙 0 0 1o 厂o k匕乙， 。l 1j f_ 足0 l i l 艺艺乙 l匕乙。 门习 0 ，o 厂o 0 。l1，j o o 0 o k 匕乙l 门刈 o o “ y l o o q s 广 0 0 s 。l = 瓦匕乙l 西南科技大学硕士研究生学位论文第10 页 s u f 0 u q o l 式( 2 - - 4 ) 中m 。= l 0 s ，f 0l 为3 4 阶矩阵，与摄像机内部参 l0 01 0 j 数有关，鸩= f 言：l 为4 4 阶矩阵，与摄像机外部参数有关。 式( 2 4 ) 矩阵可表示成三个线性方程。 z d u f = m l l x 耐+ m 1 2 k4 - m 1 3 z 纠+ 优1 4 z d 吩= m 2 l x 谢+ m 2 2 4 - m 2 3 z 埘+ m 2 4 ( 2 5 ) z c i = m 3 l x 衍+ m 3 2 k + m 3 3 z 埘+ m 3 4 但是这三个线性方程不是独立的，前两个方程式除以第三个方程式可得出两 个独立的线性方程： k 铂l 斗圪惕2 + 乙3 + ，z 1 4 一x u i m 3 l 一匕吩鸭2 一z u , m s 3 = u i r t h 4 l + 2 + 乙+ 一如k l 一k 一乙m 3 = u ( 2 6 ) 根据式( 2 - 6 ) 可知，如果已知标定板上计算机图像坐标系中的n 个特 征点的像素坐标及其空间三维坐标就可算出m 矩阵。把线性方程式转换成矩 阵形式： x 。ll i z 。l 100 000 0 x ，l 匕1 ， x w 。y 哪z w ，1 00 000 0 x w 。y w n 00 一x 。l u l z 。l 1 一x 。l v l 0 0 一x 。“。 z 。 1 一x 。v 。 一y w l “l 一】，：，i ，1 一k “。 一匕。v 。 一z w i “l z 。lv 1 一z 。u 。 - z 。 ，。 m i i m 1 2 埘1 3 小1 4 1 7 1 2 1 ，1 2 2 m 2 3 历2 4 小3 l m 3 2 m 3 3 ( 2 - 7 ) 由于矩阵乘以任意不为零的常数是不会影响参数之间的关系，为了计算 方便，假设，= l ，式( 2 7 ) 可变换为： 蚝叱屹 西南科技大学硕士研究生学位论文第1 1 页 k 宰m - - - u( 2 8 ) k 为2 n 1l 阶矩阵，m 为1l l 阶矩阵，【，为2 疗维矩阵，其中矩阵k 和 矩阵u 为已知矩阵。根据矩阵算法知道，如果2 n 1 1 ( 线性方程个数大于等于 未知数个数) ，可以利用超线性方程组的最d , - 乘法解出矩阵m 【3 l l 。在出现 数据误差的时候，利用超线性方程组中的最小二乘法可以依据各个参数之间 的约束关系进行误差分配，使得计算结果的误差降到最小。 m = ( k7 k ) 一1k r u( 2 - 9 ) 利用计算出的m 矩阵，结合式( 2 7 ) 可以计算出摄像机的内外参数， 即对摄像机进行标定。 假设摄像机参数是已经标定好的，已知空间三维坐标( l ，匕，乙) ，由式 ( 2 - 4 ) 解线性方程组可得出该点的像素坐标( ，1 ，) ，且解是唯一的。但是假 设知道计算机图像坐标系中的任意一特征点的像素坐标( “，访，不能唯一确定 该特征点的空间三维坐标( k ，匕，z w ) 。事实上，两线性方程表示的是任一空 间点经过摄像机投影到图像坐标系的射线，该空间射线上的任意一点在图像 上的投影都是同一点。要想唯一确定空间点的三维坐标值，就要利用双目立 体摄影测量的三角交汇原理。 2 2 2 非线性摄像机测量的标定模型 线性摄像机标定是在理想状态下的成像模型，是真实情况的近似。由于 摄像机镜头的生产、加工和安装等误差，摄像机线性成像模型不能准确描述 其成像几何关系，尤其在摄像机广角模式下，远离图像中心区域处会形成较 大的畸变。所以对于精度要求较高的场合，要引入畸变参数。并非引入的畸 变参数越多，所得结果精度越高，目前主要考虑的畸变参数有径向畸变和切 向畸变。假设空间三维物体的表面特征点通过摄像机投影在图像平面坐标系 中的理想图像坐标为( 吒，y 。) ，实际图像坐标为( 勤，儿) 。 径向畸变是关于摄像机主光轴对称的畸变，其数学模型 3 2 1 为： 6 口l = k l r 2 x d 6 i i r = k i 2 y d 式中：巧= x ；+ y ；，k l 为径向畸变系数，( 露，“) 为径向畸变坐标。切 向畸变则与摄像机镜头的主光轴不对称，其数学模型，为： 西南科技大学硕士研究生学位论文第12 页 万= 后2 ( 3 x 三+ y 三) + 2 k 3 石d y d = 2 k 2 x d y d + 七3 ( x 三+ 少；) 式中：k 2 如为切向畸变系数，( 屯，厶) 为切向畸变坐标。所以得到总的 畸变模型： 2 2 3 双目立体摄像机测量的标定模型 根据不用的应用场景，当前主要有单目摄影测量系统、双目立体摄影测 量系统、三目立体测量系统甚至多目立体测量系统等。选择什么样的测量系 统，怎么样布置摄像机视点以及选择多少个视点对于近景摄影测量系统的组 成有着至关重要的影响，根据摄像机不同视点之间的对应关系和所测空间范 围进行视点的布置： ( 1 ) 实施近景摄影测量的目的有两个【3 4 】【3 s 】：一是把所构建的近景摄影测量 系统纳入到给定的物方空间坐标系中：二是通过多余的控制( 包括控制点和 相对控制点) 点加强摄影测量系统的强度并进一步检查摄影测量系统的精确 度和可靠性。 ( 2 ) 近景摄影测量控制点的选取【，4 】1 3 s 】：一般仅需要所测目标的形状与尺寸， 而不需要知道它的绝对位置，所以可采用布设局部测站控制点的方法形成物 方空间坐标系。控制点布设时需要满足下列条件：在满足获得拍摄图像密 度与消除拍摄盲区的基础上，使控制点点数较少；点位选在视野开阔、易 于扩展，基础坚实的位置，点位尽量均匀布设在被测物体周围，各点相互通 视。 综上因素，结合课题的实际情况，本文选择双目立体摄影测量系统。双 目立体摄影测量系统与单目摄影测量系统标定的重要区别是，除了需要标定 每个摄像机的内部参数之外，还要精确确定两个摄像机之间的相对位置关系。 如图2 - 2 所示( 这里未画出畸变效应) ，选定左摄像机为世界坐标系。左、右 摄像机相对于世界坐标系的旋转矩阵分别为墨、是，平移向量分别为、岛。 则两摄像机相对位置关系式 3 7 1 卜 批轴铊弼力坞嚣研研劫虼 西南科技大学硕士研究生学位论文第13 页 坞i2 心掣，( 2 - 1 1 ) f 2 ，= 乞一是矸1 r ：。表示右摄像机坐标系相对于左摄像机坐标系的旋转矩阵，f ：，表示右 摄像机坐标系相对于左摄像机坐标系的平移向量。 图2 - 2双目立体测量原理图 fig 2 2 t h es c h e m a ti0o ft h ebin o o uia rs t e r e op h o t o g r a p hm e a s u r e m e n t 2 3摄像机测量的标定方法 2 3 1摄像机测量的自标定方法 摄像机测量自标定方法不需要一个标准的参照物及其精确的三维信息， 而是利用从图像序列中得到的约束关系来计算摄像机模型参数。这类标定方 法使在线的、实时的标定摄像机模型参数成为可能。 在线性模型下，摄像机测量自标定方法可以在三个层次上进行。在对摄 像机模型的外部参数一无所知的情况下，即不对摄像机模型的空间结构作任 何假设，也不对摄像机的具体位置作量化描述，此时只能计算出投影矩阵m ， 不能从中分解出摄像机的内外参数，这是在投影意义下的标定。如果成像深 度足够大，即满足在平行投影的条件下，可以在防射意义下进行标定，其结 果是由无穷远点引入的同形( h o m o g r a p h y ) 矩阵【3 s 】。如果能准确的知道摄像 机的外部参数，通过分解投影矩阵可以计算出摄像机的内部参数。当前，对 摄像机自标定方法的研究主要有以下几种： ( 1 ) 利用本质矩阵和基础矩阵的摄像机自标定方法【s ，】 假设摄像机的光学几何成像模型是理想状态下的线性成像模型，本质矩 阵的定义是对于两幅图像平面上的对应像点之间的基本几何约束，是由 西南科技大学硕士研究生学位论文第14 页 l o n g u e t - h i g g i n s 教授【o 】首先引入的。其基本的几何约束关系式如下所示： 7 e m a = 0 ( 2 1 2 ) 式中e = t r 为本质矩阵，表示两摄像机坐标系之间的相互对应关系，尺 为旋转矩阵，丁是由平移向量中的元素所构成的斜对称矩阵。嘲、鸭分别为 两幅图像平面上的对应点的齐次坐标。 由于本质矩阵只包括摄像机外部参数的信息，即两个摄像机坐标系之间 的相对位置关系，所以根据本质矩阵只能够计算出摄像机的外部参数。而 o d f a u g e r a s 和s m a y b a n k t + t 出了有关基础矩阵的关系式，并详细的论述了 内部参数与外部参数的求解过程。由o d f a u g e r a s 和s m a y b a n k 的论述可知 基本矩阵即包含摄像机的外部参数的信息，也包含了摄像机内部参数的信息。 根据计算出的基础矩阵，进一步求解出摄像机模型的内部参数及外部参数。 ( 2 ) 利用绝对二次曲线和外极线变换性质的标定方法 4 1 1 1 4 2 1 1 4 3 图2 - 3绝对二次曲线的几何关系 k r u p p a 方程根据绝对二次曲线满足的几何关系推导出来，即：通过光心 c ，c 且与无穷远平面7 。上的绝对二次曲线q 相切的两个平面必定同时与q 的象国、国相切f a u g e r a s ，l u o n g ，m a y b a n k 等提出的摄像机自标定方法是通 过直接求解k r u p p a 方程的一种方法【4 4 】【4 习，该方法是根据绝对二次曲线的概念 与极线变换原理推导出k r u p p a 方程。 如图2 3 所示，与光心c 对应的图像平面l 上，有两条极线厶、，与国相 切，与光心c 对应的图像平面2 上也有两条极线厶、厶与国相切( 国与分 西南科技大学硕士研究生学位论文第15 页 别为绝对二次曲线q 在图像平面l 与图像平面2 上的投影) 。根据投影几何【4 6 】 原理可知：与、，2 与厶分别和无穷远平面7 。上与绝对二次曲线相切的两 条直线相对应，这种对应关系称为极线变换。如果用e x m 来表示极线，l ，那 ， 么，l 在图像平面l 上的切点m 在图像平面2 上形成的极线即为，l ，且可以用 基础矩阵f m 来表示，l 的方程，则由极线变换可得： 即： ( e xm ) r k k r m ) = m r m 三r _ x r 【g 】，m ( f m ) 7 k k7 ( f m ) = m 7 f7 k k r 砌，v m e g r i ( r m 工兰f r k k r f ( 2 1 3 ) 式中口r 表示矢量的反对称矩阵。 从式( 2 1 3 ) 可得出5 个有关国分量的二次方程，但只有其中的2 个二 次方程是独立的【4 7 】。由于其方程式形式的特殊性，此方程常被称为k r u p p a 方程。从两幅图像中可以得出两个独立的k r u p p a 方程，如果在给定3 幅图像 的情况下，理论上可以通过联立求解方程组计算出摄像机的5 个内部参数。 到目前为止，对于k r u p p a 方程的计算方法，已有许多学者对此进行了研 究。f a u g e r a s ，m a y b a n k 等 4 2 4 4 1 最早提出的算法完全基于代数几何的概念，此 算法对噪声非常敏感，一般计算机的浮点运算已经不能满足其要求。l u o n g * n 提出了一套较实用的计算策略，此方法基于连续同伦算法【柏l ，降低了对噪声 的敏感度，但是该方法对于拐点的提取精度要求达到亚像素级( 0 2 个像素) 。 以上两种对k r u p p a 方程的直接求解存在着共同的缺点：计算困难，并且 计算过程是针对两两图像进行列方程，如果图像数e l 增加，解的个数可能会 呈指数增长，直接求解就失去了原有的含义。z e l l e r 等【一。】提出了间接的非线 性优化方法来计算k x u p p a 方程。此方法首先计算出多幅图像上的所有像点与 其相对应极线之间的距离之和，然后利用l e v e n b e r g m a r q u a r d t 优化算法【s 0 】 来减小该距离，进而求出相应的内参数。此优化算法的缺点在于待优化的参 数过多，容易陷入局部最优值。 线性摄像机标定模型和非线性摄像机标定模型有各自的优缺点，综合两 者的特点即可形成两步标定方法。第一步就是在理想状态下，不考虑畸变模 型，利用线性标定模型，根据线性成像几何原理，计算出摄像机参数；第二 西南科技大学硕士研究生学位论文第16 页 步，把计算出来的摄像机参数作为初始值，加入畸变系数，根据畸变模型中 的几何原理以及优化算法计算出畸变系数以及利用优化算法对畸变系数进行 优化。以下介绍t s a i 基于r a c 约束的两步标定方法和张氏标定方法。 2 3 2t s ai 基于r a c 约束的两步标定方法 8 0 年代t s a i 提出的两步标定方法m 】1 5 l l l 5 2 1 ，首先利用r a c 约束来计算除乞 之外的所有外参数，然后再求其他参数，使得计算过程主要采用线性方法， 降低了计算的复杂度。其计算快捷、精度高。其标定模型如图2 - 4 所示。 图2 - 4带有一阶径向畸变的模型 y 玉 ) f i g 2 4 t h em o d e lw i t hf i s - o r d e rr a d i a ld is t o r t i o n 基于r a c 约束的两步标定方法的计算过程分两步：根据r a c 约束标 定除f ：之外的外部参数和尺度因子s ，；标定有效焦距、平移向量t ：和畸 变系数白；其计算过程如下。 由一个空间点( x 。，匕，z 。) 到相应的图像像素点( x s ，y ，z s ) 需要四个步 ( 1 ) 三维空间位置变化，即从坐标( x 。，匕z ，) 到( x ，y ，z ) 卜阱 川 ( 2 ) 理想状态下的投影，即从坐标( x ，y ) 到( 吒，儿) 西南科技大学硕士研究生学位论文第17 页 x x 。2ji 厶 ，y y 。2jj z ( 3 ) 畸变模型 毛= x a ( 1 + 研) y 。= 儿( 1 + 砑) 疗= 巧2 + y ；，k 为畸变系数。 ( 2 1 5 ) ( 2 1 6 ) ( 4 ) 实际图像坐标到计算机图像坐标变换，即从坐标( 劫，儿) 到( o ，y ) 吩2q 们z 或嘞 ( 2 1 7 ) y f = c y + d ；y d q 为尺度因子，( c ，c ，) 为计算机图像中心坐标，= 以惫，它们都需 要预标定。 第一步：利用径向一致约束求解旋转矩阵r 、平移向量屯和t y 以及s x ( 1 ) i l a c 约束意味着： 心。y 蕾y w y az w y ly d x d y w x d z w x d 、) 毒 ( s x t y l ls x t ；1 r 2s x t f l r 3s ，f ；1 t x 1 r 4 丐1 r 5 丐1 r 6 ) = x d ( 2 1 8 ) 其中勤= d ，0 一c 工) ，y d = d y ( v c y ) ，如果取多于7 个特征点和他们的对 应投影图像点，就可以根据最小二乘法解出以下7 个变量： 由孑+ 孑+ 露= 1 得 l i t y l = ( 口；+ 口：+ 4 ；) 一i ( 2 - 2 0 ) 均卜 吃 n p ， = 一 q y 吩 3 i i 以 杈如 = = 似弧 9 9 = = 砌 纵 西南科技大学硕士研究生学位论文第18 页 ( 3 ) 确定巳 由彳+ 孑+ 孑= l 得 l s = ( 口；+ 口；+ 口；) j i t y l ( 2 2 1 ) ( 4 ) 计算旋转矩阵尺和，并确定的符号 先假定取正号，根据以下公式可计算出旋转矩阵r 和t ，吒= 口l t , s 工， 吃= 口2 0 ，吩= 口3 t y s ，r 4 = 口5 0 ，吩= a 6 t y ，r 6 = 口7 0 ，= 口4 0s x 。取世界坐标系 中任一特征点( x 。，y w ，z 。) ，则可以计算出其在摄像机坐标系中的坐标： 以= 1 l + 吃l + 乙+ 气，匕= _ l + 吩匕+ r 6 z ，+ t y ，同时取这个坐标点在图 像上的投影点x d = s 二1 丸( o c 工) ，j ，d = d y ( 以一勺) 。在实际摄像机系统中，x 。和 h 应该是同号，如果计算出两者为异号，则t ，取负号。最后利用下面公式求 出r 7 ，吩。 第二步：标定有效焦距、平移向量t ：和畸变系数岛 对于一个特征点，可以得到以下方程组： 勤+ 勤白c x ；+ y ；，= 雹害量 专赫 。2 2 2 ) y d + y a k lc 惦2 m 警糍 当畸变不存在时，k 1 = 0 。( 2 2 2 ) 式变为下式 篡二八f ( 杜r 4 x ”。：袭：吩r 6 葛= 裟轰j 豢j2 r 9 乙z 。) ( 2 2 3 ， 虼乞一+ 匕+ 乙+ f ，) = 儿( 巧叉0 + 匕+ 对于一系列的特征点，则形成了一个超线性方程组，可以用最小二乘法 求出t 2 和厂。当畸变存在时，仍用( 2 - 2 3 ) 求出t ：和f 的初始值，然后将求 解出的t ：和厂连同k i = 0 作为条件，对式( 2 2 2 ) 进行非线性优化，估计出t 。、 厂和毛的真实值。 2 3 3 张氏标定法 张氏标定法1 5 3 l 成像模型如图2 5 所示。首先要确定模板中每一个特征点 西南科技大学硕士研究生学位论文第19 页 在世界坐标系中的坐标，假设z 。= o ；然后把摄像机至少摆放三个不同的角度， 获得三幅或三幅以上的模板图像，并取得每个特征点的像素坐