（信号与信息处理专业论文）基于灭点径向一致性约束的相机标定研究.pdf

南京邮电大学硕士研究生学位论文 摘要 i 摘摘 要要 相机标定技术是从二维数字影像中获得三维信息的关键技术，也是计算机视觉中重要 的基础研究之一，在摄影测量、机器视觉、安防监控、三维重建、生物医学、遥感测绘、 导航控制等领域有着广泛的应用。 本文针对 tsai 两步法相机标定过程无法求解相机主点位置的问题，引入灭点知识对 tsai 两步法进行改进， 建立了相机内参数以及 tsai 两步法相机标定过程参数间的严格数 学关系，提出了一种基于灭点径向一致性约束约束下的相机参数标定方法。 本文的具体工作包括以下几个部分： 1)、对相机标定的一些相关理论进行研究，包括相机模型、畸变模型、灭点几何理论 以及误差处理方法。 2)、对现有数码相机标定技术进行归纳总结与对比分析，重点研究了 tsai 两步法和 单像灭点标定法，对以上两标定算法的原理和具体步骤进行研究，实验并对比分析其优缺 点。 3)、针对 tsai 两步法相机标定过程无法求解相机主点位置的问题，本文引入灭点几 何约束对 tsai 两步法进行改进， 建立了相机内参数以及 tsai 两步法相机标定过程参数间 的严格数学关系，最终求解出相机内方位参数以及径向畸变参数。 4)、对 tsai 两步法及改进后的算法进行相应实验，对实验结果从各个方面进行对比 分析，结果证明了改进后算法的有效性、高精度和稳定性。 关键词：相机标定，灭点几何，径向畸变约束，最小二乘法 南京邮电大学硕士研究生学位论文 abstract ii abstract camera calibration technique is the key of three-dimensional information that is obtained from the two-dimensional digital images, and is also important basic computer vision research, which is applied in photogrammetry, machine vision, security monitoring, three-dimensional reconstruction, bio-medicine, remote sensing and mapping, navigation control and other fields. for the problem that the main point cannot be solved in the process of tsai two-steps method, this work improved the calibration method of tsai two-steps. the strict mathematical relationship between camera parameters and process parameters of tsai two-steps method are derived and established. a camera calibration technique is presented based on the vanishing point radial direction constrained by uniformly alignment. the specific work is given as follows: 1). a number of related theories about camera calibration, including the camera model, distortion model, geometric theory of vanishing point and error handling method are studied. 2). the tsai two-step calibration and single point calibration are focused on via summarizing, comparing and analyzing the existing digital camera calibration technique. the principles and concrete steps of above two algorithms are also studied. calibration experiments are carried out to analysis the advantages. 3). vanishing point geometric constraint is improved by tsai two-steps calibration method that is introduced in this paper for the problem that the main point cannot be solved in the calibration process of tsai two-steps method. the strict mathematical relationship between two-vanishing points configured by camera parameters and process parameters of tsai two-steps method are derived and established, radial distortion parameters and exterior orientation parameters of camera are solved out. 4). experiments are conducted corresponding to tsai two-steps algorithm and the improved algorithm in this paper, and the results prove the improved algorithm has validity, high precision and stability. key words: camera calibration, vanishing point geometry, radial alignment constrain, least square method 南京邮电大学硕士研究生学位论文 缩略词 52 缩略词缩略词 缩略词 英文全称 译文 cc camera calibration 相机标定 rac radial alignment constraint 基于径向排列约束 ibmr image-based modeling and rendering 基于影像的建模与绘制 dlt direct linear transformation 直接线性变换 spm single-point matching 单点匹配 lsim least squares image matching 最小二乘影像匹配 ils imperfect lens shape 镜头形状缺陷 ieee institute of electrical and electronics engineers 美国电气电子工程师学会 bd barrel distortion 桶形畸变 pd pincushion distortion 枕形畸变 南京邮电大学硕士研究生学位论文 图标清单 53 图表图表清单清单 图 2-1 考虑畸变差的成像模型 . 7 图 2-2 径向畸变 . 7 图 2-3 偏心畸变成因 . 8 图 2-4 偏心畸变示意图 . 8 图 2-5 透视影像中的灭点 . 10 图 2-6 理想成像系统示意图 . 10 图 2-7 灭点与主点的几何关系图 . 11 图 3-1 两条直线段的延长线交于一点 . 14 图 3-2 通过 photoshop 测量出 5 个立方体共 40 个顶点的像素坐标值 . 15 图 3-3 内方为元素计算示意图 . 17 图 3-4 求解畸变参数流程图 . 19 图 3-5 畸变直线放大图 . 20 图 3-6 实验所用的合成图像 . 23 图 3-7 灭点 x的验证图 . 24 图 3-8 灭点 y的验证图 . 24 图 3-9 灭点 z的验证图 . 24 图 3-10 三灭点构成的三角形 . 26 图 3-11 实验用合成图 . 27 图 3-12 直线段上所取点示意图 . 27 图 3-13 过灭点 x的直线族的斜率验证图 . 29 图 3-14 过灭点 y的直线族的斜率验证图 . 29 图 3-15 过灭点 z的直线族的斜率验证图 . 29 图 3-16 畸变示意图 . 30 图 4-1 相机坐标系、世界坐标系和图像坐标系示意图 . 32 图 4-2 tsai 两步法求解相机内方位和畸变参数流程图 . 34 图 4-3 处理后的标定板图像 . 35 图 4-4 20 控制点标注图 . 36 图 4-5 采用 hough 变换方法进行直线检测后的图像 . 40 图 4-6 引入灭点前后误差对比分析图 . 49 表 3-1 各直线斜率计算 . 28 南京邮电大学硕士研究生学位论文 图标清单 54 表 4-1 20 个控制点的图像坐标（注：以图像左上角为坐标原点） . 38 表 4-2 20 个控制点的世界坐标 . 39 表 4-3 tsai 两步法标定结果 . 39 表 4-4 标定板上的直线斜率和截距 . 40 表 4-5 引入新主点后的 15 ss及 y t值 . 44 表 4-6 引入灭点知识的 tsai 两步法实验结果 . 45 表 4-7 tasi 两步法 x 方向误差（单位：像素） . 46 表 4-8 tsai 两步法 y 方向误差(单位：像素) . 46 表 4-9 引入灭点后两步法标定的 x 轴误差(像素) . 47 表 4-10 引入灭点后两步法标定的 y 轴误差（像素） . 47 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。 论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南京邮电大学硕士研究生学位论文 第一章 绪 论 1 第一章第一章 绪绪 论论 1.1 课题研究背景课题研究背景 摄影测量和计算机视觉领域都是从二维影像获取三维空间信息，相机作为二维影像的 获取工具，其影像的质量直接影响到后续研究，故对相机进行标定是关键的一步。相机标 定技术最早应用于摄影测量学，使用数学解析分析的方法，在标定过程中通常要利用数学 方法对影像数据进行处理1,2。对于计算机视觉而言，考虑到相机标定在理论和实践中的重 要价值，学术界在最近十几年来进行了广泛的研究，基于不同的出发点和思路取得了一系 列成果3,4,5。 摄影测量经历了模拟摄影测量、解析摄影测量两个阶段，在数字化的今天，它已进入 到第三个阶段数字摄影测量阶段。1950 年，美国工程兵研究发展实验室与一家光学仪 器公司合作研制了第一台自动化摄影测量测图仪，将相片上的灰度值转化成电信号，利用 电子技术实现自动化。数字摄影测量可视为解析摄影测量的继续和扩展，它将数字影像作 为处理对象，以计算机影像框标和同名点的识别来代替人眼的观测从而自动获取三维信息 6,7。数字摄影测量实际上是由两部分组成：一部分是摄影测量的关系8；而另一部分是模 式识别与计算机视觉9。 计算机视觉就是用各种成像系统代替视觉器官作为输入手段，利用计算机从二维影像 中提取景物的二维或三维结构和属性的描述并加以理解。计算机视觉研究的主要目的是使 计算机系统具有类似于人类的视觉能力，获取三维场景的几何信息是其最基础的研究内 容。它的研究内容有两个方面：一是开发从输入影像数据自动构造场景描述的影像理解系 统； 二是理解人类视觉机理， 以便用机器代替人去做人类难以达到或根本无法达到的工作。 计算机视觉是当今最为活跃的学科之一，是一个重要而又富有挑战意义的研究领域。 数字摄影测量在很多领域与计算机视觉是相同的，尤其在影像匹配与解译、三维模型 重建等问题上，它们更是如出一辙。数字摄影测量发展到今天，已经不属于摄影测量工作 者独家所有。一般摄影测量需要先对所使用的相机进行标定，即检查和校正相机内方位 元素和光学畸变系数，这一过程称之为相机的标定。 相机标定在以下应用中起着重要作用： 南京邮电大学硕士研究生学位论文 第一章 绪 论 2 （1）从计算机图像坐标中导出三维信息。由相机标定所确定的相机模型和参数能够 提供一种给定目标点的图像坐标，并能确定一条含有实际目标点的空间直线。利用两幅这 样的图像就可由两条直线的交点确定这一目标的空间位置。这种信息可以应用于包括工件 在线测量、机电元件的自动装配、机器人标定或轨迹分析等重要领域中。 （2）利用相机标定来确定一个移动相机的空间位置。在这类应用中，已知目标点的 图像坐标和空间坐标，利用相机外部参数标定技术就可解出相机的空间坐标和方向信息。 （3）由已知的物体三维信息导出二维计算机图像坐标。在模型驱动(model driven)的 机器视觉的检测和装配应用中，关于物体三维空间位置、方向的假设可以利用相机模型和 参数转化为对其所成图像的一个假设。将假设图像和实际拍摄的图像进行匹配比较，即可 拒绝或确认对物体及其空间位置的假设，这就是基于模型驱动的机器视觉的基本方法。在 这类计算机视觉系统中相机参数的标定起着关键的作用。 基于影像的三维重建不仅是计算机视觉的基本任务，同时也是摄影测量的主要研究范 畴。随着数码相机的普及，基于一般数码相机拍摄的影像的三维重建就成为近景摄影测量 和计算机视觉研究的热点问题。一个完善的三维计算机视觉系统应能从相机获取的影像信 息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体。影像上 每一点的亮度反映了空间物体表面某点反射光的强度，而该点在影像上的位置则与空间物 体表面相应点的几何位置有关，这些位置的相互关系，由相机成像几何模型所决定，该几 何模型的参数称为相机参数（在摄影测量学中称作相机内方位元素） ，这些参数必须由实 验与计算来确定，实验与计算的过程称为相机标定（camera calibration） 10-15。 相机标定的基本模型是针孔模型。然而，由于任何一种光学镜头都存在不同程度的畸 变差，实际上的相机模型达不到理想的透视投影，且在映射过程中引入了非线性畸变16， 导致图像上的各像素点偏离其理想位置的现象产生。只有利用校正后的模型进行三维测量 工作才能得到更高的精度，这就要求知道各项畸变参数。因此，相机畸变参数标定研究， 成为计算机视觉以及摄影测量领域中相机标定研究的重点之一。 1.2 国内外研究现状国内外研究现状 为了能既简便又精确标定相机，国内外的摄影测量及计算机视觉界的专家学者提出多 种多样的标定方法17,18， 标定物从三维立体(控制场、 立方体标志块)到二维平面(平面格网)， 甚至是一维孤立点19，标志形状从有形的点、直线、正方形、圆形、菱形、五角星、六边 形等甚至到无形的灭点。然而，没有哪一种标定方法可以用于所有应用中，对于精度要求 较高的应用，可采用基于控制场的标定法；对于精度要求不高的应用，则可采用不带控制 南京邮电大学硕士研究生学位论文 第一章 绪 论 3 信息的标定法，比如灭点标定法和自标定法。 相机标定方法根据标定方式的不同，可以归结为以下四种：传统标定方法，自标定方 法，基于灭点的标定方法，以及基于主动视觉标定法。 （1）所谓传统的相机标定方法，是指用一个结构已知、精度很高的标定物或控制场 作为空间参照物，通过空间点和影像点之间的对应关系来建立相机内参数的约束，然后通 过优化算法来求取这些参数。传统标定方法的优点在于可以获得较高的精度。其中最典型 的就是 tsai20,21提出的基于径向排列约束（radial alignment constraint，rac）的 tsai 两 步法，它利用成像过程中的径向排列约束分解各参数，这一方法有很高的精度，很多改进 的相机标定算法都是基于 tsai 的两步法22。 但是 tsai 的两步法只考虑了径向畸变， 国内外 许多学者对 tsai 的方法进行了实现或改进。j.weng23改进了 tsai 模型的畸变模型，使之能 适应视场较大和畸变较严重的场合。ma sid-ahmed 和 tb mohamed 考虑了径向和切向畸 变24，weng j，p cohen， m hernious 等提出了一种 ccd 立体视觉的非线性畸变模型25， 考虑了主要的相机畸变来源，如径向、离心和薄棱镜畸变等。研究人员在传统相机标定研 究的另一方向也作了深入的探讨，这就是寻找更合理的相机模型，使之更全面，更有效地 表示 ccd 相机实际成像过程。martins 等首先提出了双平面模型( two plane model)26。马 颂德和魏国庆27, 28 在利用双平面模型标定相机参数方面做了大量的研究工作29-31。 这种方 法的优点是利用线性方法就可以解有关参数，但缺点是要求解大量的未知参数，存在过分 参数化的倾向。 （2）自标定方法克服了传统方法需要标定物的缺点，它不需要标定物，仅仅依靠多 视图对应点之间的关系直接进行标定32。相机自标定是 90 年代以来在计算机视觉领域中 兴起的最重要的研究方向之一，是在 1992 年由 fuageruas 和 mnabynak33,34首次提出，并 在此之后不断发展成熟起来。由于自标定方法是根据未标定场景影像之间的对应关系来求 解，所以标定过程灵活、方便，应用前景广泛。 目前，相机自标定方法可以大概分为： 直接求解 kruppa 方程的自标定35； 基 于绝对二次曲面的自标定36； pollefeys 的模约束标定； 可变内参数下的分层逐步标 定37； 张正友38（1998）提出了一种介于传统标定和自标定之间的标定方法，利用旋 转矩阵的正交性条件和非线性最优化来实现标定过程，避免了传统方法设备要求高，操作 繁琐等缺点，同时又提高了自标定方法的精度，其标定精度可达到 0.135 左右； 文章39 提出了一种新的无伪角点提取算法，该算法对边界提取后的灰度梯度图像进行处理，根据 梯度极值点位置与角点位置的相关性，推出角点坐标的大致位置，然后引用 susan 法中 susan 的概念，实现标定板角点的无伪精确提取，基于 labview 平台，实现了角点的自 南京邮电大学硕士研究生学位论文 第一章 绪 论 4 动提取和匹配，采用 tsai 算法，实现了标定过程的自动化。 但是，自标定方法最大的不足是稳健性较差。自标定方法可以应用于度量精度要求不 太高的场合，如虚拟现实、三维动画、基于影像的建模与绘制(image-based modeling and rendering-ibmr)等新兴领域，在这些场合，主要考虑的是视觉效果而不是度量精度。 （3） 90 年代起，国内外许多学者开始对基于灭点的标定方法进行大量的研究。 e.lutton 通过 hough 变换确定灭点40；john c.h.leung 通过两幅影像中灭点的不变特性将 灭点与自然交叉点区分开来41，他主要应用三点透视的影像分两步对相机的内方位元素进 行标定,用线摄影测量理论解决基于人工规则建筑物的重建问题。基于灭点的标定方法，无 需控制场且在只有一幅图像的情况下也可以求解出相机参数，操作灵活简单还可以达到一 定的精度。本文试验中用到过这一标定方法。 （4）基于主动视觉的相机标定，是指在已知相机的某些运动信息下标定相机的方法。 其主要优点是由于在标定过程中知道了一些相机的运动信息，所以一般来说，相机的模型 参数可以线性求解，因而算法的鲁棒性比较高。目前，基于主动视觉的相机标定的研究集 中在尽量减少对相机运动限制的同时仍能线性求解相机的模型参数42。 目前基于主动视觉的相机标定算法有：yongduek43提出一种控制相机作纯旋转运动来 求解内参数的方法，但由于在实际应用中很难做到绕旋转轴作旋转而没有一点平移，因而 该方法实现起来比较困难。 针对这一点 q. ji44提出一种能够消灭由于没有考虑平移偏移而 造成误差的相机标定方法。 lee s45提出了控制相机在三维空间做平移运动来求解内参数的 方法，通过控制相机作两组平移运动，每组包括三次两两正交的平移运动，可以线性求解 相机四个内参数。yang46将该方法进行改进，控制相机作四组平面正交平移运动，可线性 求解相机的四个内参数。王普47提出了控制相机在三维空间做两次平移并伴有一定旋转的 可线性求解五个内参数的方法。马颂德48,49提出了利用主动系统控制相机做特定运动的标 定方法。 以上对这四类标定方法做了简单的介绍，其中传统标定法精度最高，但标定时需要控 制场，限制了其应用范围。而自标定与灭点标定法不需要控制场，这大大提高了标定的灵 活性。与自标定相比，基于灭点标定方法的精度略低，这是因为绝大多数基于灭点标定相 机的方法都是通过单幅影像的灭点进行标定的。 目前，数码相机畸变差的检测方法可以分为两大类：一是建立数学畸变模型，实现自 标定改正， 常规摄影测量采用该方法对相机实施标定； 一是建立面积不同的准二维控制场， 测定各类成像系统每个像素的总畸变，建立该影像专用的数字畸变模型，以对各类成像系 统各个环节产生的各种畸变进行总体补偿 。以上两种方法各有优缺点，需要根据实际情 南京邮电大学硕士研究生学位论文 第一章 绪 论 5 况进行取舍。 对数码相机畸变参数的测定方法有很多，文献50中介绍了普通相机（或数码相机）镜 头畸变改正系数的测定方法。他们的研究表明，施加镜头畸变改正后，消减了镜头畸变对 变形监测的影响，使变形监测结果的精度明显提高。文献51中通过分析数字相机的结构和 误差来源，以共线方程为基础推导建立 dlt（direct linear transformation）方程，dlt 参 数确定了像片在物空间和数字化影像间几何关系。考虑镜头的各项畸变并结合畸变的数学 模型，提出对数字相机畸变差检测的严密数学模型，并运用相应方法解算该数学模型。 1.3 论文论文主要研究内容主要研究内容 本文重点研究了 tasi 两步标定方法，根据相机内部固有参数和摄像实景与获取像片 的映射关系完成对相机内部未知参数的求取， 包括求取相机焦距 f 和一阶径向畸变系数 k1。 tsai 相机标定不求解像主点，认为其位于相片中心。基于以上考虑, 本文最后依据灭点几 何将求解得到的两方向灭点引入到 tsai 两步标定法中，并在计算过程中将其有效的结合 起来， 从而解决了传统 tsai 两步相机标定法无法求解像主点 （), 00 vu的问题， 对传统 tsai 两步法标定进行改进，而且通过实验验证了其可行性和优越性。 本文按照先原理和方法介绍后实验的顺序进行编排，全文共分五章： 第一章为绪论部分。主要介绍了相机标定算法研究的背景及意义、研究现状以及国内 外研究成果，并对全文结构作了详细安排。 第二章介绍了介绍了本文研究所要用到的相关理论，包括相机模型、灭点几何理论和 误差处理理论等。 第三章首先详细介绍了基于单幅立体影像的灭点标定算法的原理和具体实施步骤，最 后做出实验验证，并对结果进行误差分析和评价。 第四章首先详细介绍了基于径向畸变约束的 tsai 两步法，然后在此基础上，推导并 建立了灭点与基于 rac 的 tasi 两步标定过程参数间的严格数学关系， 从而进一步进行完 整的内方位参数标定解算，最后通过具体实验结果分析，证明了本文新的改进算法具有明 显的可行性和有效性。 第五章对本文所做的工作进行总结，并指出今后需要改进之处和进一步的研究方向。 南京邮电大学硕士研究生学位论文 第二章 理论基础 6 第二章第二章 理论基础理论基础 2.1 相机标定模型相机标定模型 计算机视觉与摄影测量的基本任务之一就是要从相机获取的二维图像信息中获得三 维空间的几何信息，并由此重建和识别物体，而空间物体某点的三维几何位置与其在图像 中对应点之间的相互关系是由相机成像的几何模型来决定的，这些几何模型参数就是相机 参数。在大多数情况下，这些参数必须通过实验与计算才能得到，这个过程被称作相机标 定。一般的，相机标定包括主点位置、主距和畸变系数的测定等。 相机参数总是相对于某种几何成像模型的，这个模型是对光学成像过程的简化。根据 透视投影成像原理，如果采用理想的光学相机来摄影，则物点、镜头中心和像点三点共线。 这种情况用针孔模型来表示。事实上没有真正理想的相机，由于各种干扰因素的存在，像 点在像平面上的实际坐标相对其理论坐标总存在一定的偏差（yx ,） 。这时针孔模型就不 能准确的描述相机实际的成像过程，而应该采用含畸变的标定模型，如图 2-1 所示，其中 （ 00, y x）是像主点，也就是主光轴与成像平面的交点， （yx ,）是相机畸变引起的像点 偏差。设像点的实际坐标为（yx,） ，其理想坐标为（ , y x） ，则有： 0 0 xxxx yyyy （2-1） 2.2 相机畸变模型相机畸变模型 实际上相机模型达不到理想的透视投影(尤其是使用短焦距镜头时)且在映射过程中引 入了非线性畸变52。相机物镜系统设计、制作和装配所引起的像点偏离其理想位置的点位 误差称之为光学畸变差。光学畸变差是影响点坐标质量的一项重要误差，主要表现为直线 投影成像的弯曲现象。光学畸变差分为径向畸变差(radial distortion)和偏心畸变差 (decentering distortion)两类。 南京邮电大学硕士研究生学位论文 第二章 理论基础 7 图 2-1 考虑畸变差的成像模型 2.2.1 径向畸变差 径向畸变差一般是由于镜头形状缺陷引起的，它只与像点离主点的距离有关，导致构 像点 a 沿向径方向偏离其准确理想位置 0 a；径向畸变又可分为桶形畸变(barrel distortion) 和枕形畸变(pincushion distortion)两类， 枕形畸变是由镜头引起的图像像素向自中心向外扩 散的现象，桶形畸变是由镜头引起的图像中的像素向中心点收缩造成的。如图 2-2 所示， 实线正方形表示无畸变情况下像素的理想位置，正方形内部的虚线 a 表示桶形畸变引起的 误差， 除主点外的所有像点都向主点收缩， 正方形外部的虚线 b 表示枕形畸变引起的误差， 除主点外的所有像点都远离主点向外扩张。 图 2-2 径向畸变 南京邮电大学硕士研究生学位论文 第二章 理论基础 8 径向畸变的数学模型为： )( )( 6 3 4 2 2 10 6 3 4 2 2 10 rkrkrkyyy rkrkrkxxx （2-2） 222 00 ()()rxxyy 其中，, x y为像点坐标， 00 ,xy为主点坐标， 1 k， 2 k为径向畸变系数，r为该像点的向 径。主点位置与影像的中心重合时， 0 x， 0 y的值为 0。 2.2.2 偏心畸变差 图 2-3 偏心畸变成因 图2-4 偏心畸变示意 南京邮电大学硕士研究生学位论文 第二章 理论基础 9 偏心畸变差主要是由光学系统光心与几何中心不一致造成的，即镜头器件的光学中心 不能严格共线，如图 2-3 所示。它使得构像点沿径向方向和垂直径向的方向相对其理想位 置都发生偏离，设在主距为 f 的标准像片 0 p上，物方点 a 的标准位置为点 0 a，实际构像于 点 a，构像角与其物方角 不等，如图 2-4 所示。 偏心畸变的数学模型为： 22 10200 22 10200 (2 () )2() () (2 () )2() () d d xp rxxp xxyy yp ryyp xxyy （2-3） 222 00 ()()rxxyy 其中，, x y为像点坐标； 00 ,xy为主点坐标； 1 p、 2 p为偏心畸变系数；r为该像点的向 径。主点位置与影像的中心重合时， 0 x、 0 y的值为零。 一般情况下，标定时只考虑径向畸变的前两项即可。在相机标定中使用非线性优化算 法时，如果引入过多的非线性参数，不仅不能提高精度，反而引起解的不稳定，因此一般 情况下，径向畸变已能足够描述非线性畸变。这样，像点的修正坐标可写为： 24 00012 24 00012 ()() ()() xxxxxxxxk rk r yyyyyyyyk rk r （2-4） 其中， x、 y为畸变差修正后的像点坐标。 2.3 灭点几何灭点几何 2.3.1 灭点的概念 根据小孔成像原理，在理想的条件下，空间的平行直线族在影像上的投影将汇聚于一 点，即灭点53。灭点一般位于图像外，甚至在无穷远处。人造景观中的场景往往有大量平 行直线存在于窗户、门洞、阳台等实体之中，因此，利用灭点的特性可为从单幅透视影像 中获取深度信息54-56。灭点可以直接由图像上的直线信息得到，而不需要知道相机参数及 其与场景的变换关系。当平行线数量多于两条时，一般采用最小二乘法等优化算法来计算 灭点。 对于结构化场景，如建筑物等，通常含有三个相互垂直的平面或三组相互垂直的平行 南京邮电大学硕士研究生学位论文 第二章 理论基础 10 线，这样就可以从单幅图像中求出空间中三个相互垂直方向的平行直线在影像上的灭点。 设三个主方向（分别平行于三个空间坐标轴的方向）上的平行线在影像上的灭点为 x),( xx yx、 y(,) yy xy、 z),( zz yx，如图 2-5 所示。 图 2-5 透视影像中的灭点 2.3.2 灭点与主点的几何关系 成像系统中投影光轴与像平面垂直，主点是投影光轴与像平面的交点。投影中心与主 点间的距离就是主距 f。理想的成像系统中像平面坐标系的原点（即像平面的中心）与像 主点 o 重合。如图 2-6 所示。 图 2-6 理想成像系统示意 南京邮电大学硕士研究生学位论文 第二章 理论基础 11 如图 2-7 所示， x v、 y v、 z v分别是三个互相垂直方向的平行直线簇在成像平面上汇 聚成的三个灭点。o 为投影中心，p 为 o 在像平面上的投影，即 p 为主点，则 c 为主距， 可见 op 与像平面垂直。 x vo 可理解为， 形成灭点 x v的空间平行直线族中的过投影中心的 一条直线的延长线。这条直线在像平面上的像为一个点，即灭点 x v。 y vo 与 z vo 也是同 样的原理。就可以推出 x vo、 y vo 与 z vo 两两互相垂直。在这些线段间存在着一定的几何 关系，推导过程为： 因 x vo、 y vo 与 z vo 两两互相垂直， 则 y vo 垂直平面 x vo z v， 于是有 y vo 垂直 x v z v； 又因 op 垂直于像平面，则 op 垂直 x v z v；所以得到 x v z v垂直平面 y vo p，从而有 x v z v 与 y vp 垂直。同理可以推出 z vp 与 x v y v垂直。则 p 是 x v y v z v的垂心。最终得出结论: 灭点 x v、 y v、 z v构成的三角形的垂心与主点重合。 图 2-7 灭点与主点的几何关系 2.4 数据处理数据处理方法方法 最小二乘法原理是一种在多学科中获得广泛应用的数据处理方法，采用这种方法可以 妥善解决参数的最可信赖值的估算、组合测量的数据处理、用实验的方法来拟定经验公式 等一系列数据处理的问题。 本文使用的数据处理方法就是最小二乘法，在此对其做简要的介绍。 为了测定m个不可直接测定的未知量 12 , m x xx的估计量 12 ,., m x xx，可对与该m 个未知量有函数关系的直接测量量y进行n次测量，得到测量数据 12 , , n l ll，并设有如下 函数关系： 南京邮电大学硕士研究生学位论文 第二章 理论基础 12 1112 2212 12 , , , m m nnm yfxxx yfxxx yfxxx （2-5） 若 n=m，则可由上式直接求得未知量。由于测量数据不可避免地包含着测量误差，所 求得的结果 12 ,., m x xx也必定包含一定的误差，为了提高所得结果的精度，应适当增加测 量次数n，以便减小随机误差的影响