摄像机阵列标定方法研究 硕士论文

中国科学技术大学 硕士学位论文 摄像机阵列标定 方法研究作者姓名： 闵 星 学科专业： 模式识别与智能系统 导师姓名： 汪增福 教授完成时间： 二一年五月九日 University of Science and Technology of China A dissertation for masters degree Research on Calibration of Camera Array Authors Name： Xing Min Speciality： Pattern Recognition & Intelligent Systems Supervisor： Prof. Zengfu Wang Finished time: May 9th, 2009 中国科学技术大学学位论文原创性声明 本人声 明所 呈交的 学位论 文,是 本人 在导师 指导下 进行研 究工作 所取 得的成果。除已特 别加以标注和 致谢的地方外， 论文中不包含任 何他人已经发表 或撰写过的研究 成果。与我一 同工作的同志对 本研究所做的贡 献均已在论文中 作了明确的说明。 作者签名：_ 签字日期：_ 中国科学技术大学学位论文授权使用声明 作为申请学 位的条件之一， 学位论文著作 权拥有者授权 中国科学技术大 学拥有学位论文 的部分使用权 ，即：学校有权 按有关规定向国 家有关部门或机 构送交论文的复 印件和电子版 ，允许论文被查 阅和借阅，可以 将学位论文编入 有关数据库进行 检索，可以采 用影印、缩印或 扫描等复制手段 保存、汇编学位 论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 公开 保密（_年） 作者签名：_ 导师签名：_ 签字日期：_ 签字日期：_ 摘 要 摘 要 摄像机阵列具有较大视场，在视觉监控、基于真实场景图像的虚拟漫游与三维重建等方面具有广泛的应用。摄像机标定是从二维图像获取三维信息必不可少的步骤，并由此重建和识别物体。目前对单个摄像机标定的研究已经比较成熟，并且能够得到较好的标定结果。因此，在单摄像机标定方法的基础上，研究摄像机阵列的标定，具有重要的理论研究意义和实际应用价值。 为了实现摄像机阵列的标定，本文研究了单个摄像机的标定，选用合适的标定方法，将其扩展至摄像机阵列的标定。首先使用基于平面模板的标定方法对每个摄像机进行标定，然后再通过一定的方法，标定出所有摄像机之间的相对位置关系。 针对其中的各个环节，本文所做的工作如下： 1） 通过研究国内外主流摄像机标定方法，采用基于 平面模板的标定方法对单个摄像机进行标定，实验结果较好。 2） 利用标定模板平面和摄像机图像平面之间的单应性矩阵的性质，使用矩阵分解的方法得到所有摄像机的投影矩阵和模板平面参数。加入标定模板的几何约 束，将分 解得到的结 果变换为 同一参考坐 标系下的摄 像机之间 的相对位置 关系。 3） 本文提出了一种基于逐步优化的摄像机阵列标定方法，该 方法是对基于平面模板的单摄像机标定方法的扩展。使用基于平面模板的方法求解出各个摄像机的内参数以及各个摄像机相对于模板的位置关系。选定一个摄像机作为参考摄像机，再逐步的标定出其它的摄像机相对于参考摄像机的位置，最后得到所有的摄像机在同一个世界坐标系中的位置关系。 对摄像机阵列标定的实验结果表明，所提出的方法可得到准确的摄像机内外参数以及相互之间的位置关系。 关键 词：摄像机阵列 标定 三维重建 矩阵分解 逐步优化 I Abstract Abstract With a larger field of view, camera array is widely used in virtual reality, surveillance, image-based rendering and 3D reconstruction. The camera calibration is an indispensable step for recovering 3D infor mation from 2D images and provides the underlying basis for object reconstruction and recognition. The current study on single camera calibration is relatively mature, and can get good results. Therefore, calibration of camera array based on the single camera calibration method has important theoretical significance and practical value. In order to calibrate camera arrays, we choose appropriate single camera calibration method, and extend it to the camera array calibration. Each camera is calibrated based on planar-based calibration method, and then, the relative positions between all the cameras are calibrated. Here are the details of several parts mentioned above: 1) Through studying the main methods of camera calibration, we choose planar-based calibration method to calibrate single camera, and the results are good.2) Using the homography matrix between planar and image plane, all the cameras projection matrix and the template parameters are obtained via factorization. Then, the results of factorization are tr ansformed into the same reference coordinate system to get relative position between cameras. 3) We propose a stepwise refinement camera array calibration method. Select a camera as a reference, and then the relative position of other cameras to the reference camera are obtained step by step. Finally, we can get all cameras position in the world coordinate system . The calibration results show that the proposed method can obtain accurate internal and external camera parameters and relative position between cameras. Key Words: camera array, calibration, 3D reconstruction, factorization, stepwise refinement II 目 录 目 录 摘 要 Abstract 目 录 插图目录 表格目录 第一章 绪论1 1.1 引言1 1.2 摄像机阵列简介2 1.3 摄像机阵列标定3 1.4 本文的主要内容和结构4 第二章 摄像机成像模型及标定方法5 2.1 摄像机针孔模型及成像原理5 2.1.1 参考坐标系5 2.1.2 摄像机模型6 2.1.3 坐标变换关系7 2.2 非线性模型9 2.3 摄像机标定方法10 2.3.1 传统标定方法10 2.3.2 自标定方法11 2.3.3 基于主动视觉的标定方法11 2.4 本章小结13 III 目 录 第三章 基于平面标定板的标定方法 15 3.1 标定方法简介15 3.2 基本方程15 3.2.1 单应性矩阵15 3.2.2 摄像机内参数约束16 3.3 标定算法17 3.3.1 角点检测17 3.3.2 单应性矩阵的估计18 3.3.3 摄像机内参数的求解18 3.3.4 摄像机外参数的求解19 3.3.5 畸变系数的求解20 3.3.6 非线性优化20 3.4 实验结果20 3.4.1 仿真实验20 3.4.2 真实图像实验21 3.5 本章小结25 第四章 基于矩阵分解的摄像机阵列标定方法26 4.1 标定方法简介26 4.2 基本方程27 4.3 标定算法28 4.3.1 单应性矩阵变换28 4.3.2 矩阵分解30 4.3.3 引入几何约束求解30 4.3.4 非线性优化31 4.4 实验结果32 4.5 本章小结34 第五章 基于逐步优化的摄像机阵列标定方法36 IV 目 录 5.1 标定方法简介36 5.2 立体视觉摄像机标定37 5.3 标定算法38 5.4 实验结果40 5.5 本章小结43 第六章 总结与展望44 6.1 全文总结44 6.2 对未来研究的展望44 参考文献46 致谢50V 插图目录 插图目录 图 1.1 若干摄像机阵列2 图 2. 1 参考坐标系5 图 2.2 透视投影模型示意图6 图 2 .3 摄像机的镜头畸变9 图 3 .1 用于标定实验的平面模板22 图 3 .2 用于标定实验的一组实际图像22 图 3 .3 角点检测结果23 图 3 .4 摄像机外参数示意图24 图 3.5 重投影误差24 图 4 .1 多摄像机成像示意图27 图 4 .2 模板平面参考点在坐标系中的位置示意图28 图 4.3 相对单应性矩阵29 图 4.4 摄像机阵列拍摄的真实图像32 图 4.5 摄像机阵列标定实验重投影误差34 图 5.1 标定流程图36 图 5 .2 立体视觉中双摄像机几何关系37 图 5 .3 摄像机阵列外参数示意图42 图 5.4 摄像机阵列标定实验重投影误差42VI 表格目录 表格目录 表 3.1 基于平面标定板的标定法仿真实验21 表 3 .2 真实图像实验得到的摄像机参数结果23 表 4 .1 摄像机的内参数实验结果33 表 4 .2 摄像机的外参数实验结果33 表 5 .1 摄像机的内参数实验结果41 表 5 .2 摄像机的外参数实验结果41 VII 绪论 第一章 绪论 1.1 引言 视觉是人类最重要的感觉，人类对外界信息的获取，80%以 上是通过视觉得到的。人类通过视觉感知外界获取信息，对于正常人来说是一件非常简单的事情，然而视觉系统获取信息的过程却是十分复杂的。随着信息时代的到来，计算机的应用越来越广泛，人们希望计算机也和人类一样具有视觉，于是便催生了一门新兴的综合学科计算机视觉。 计算机视觉的研究目标（马颂德 等，1998）是使计算机可以 通过二维图像和图像序列来识别和认知三维世界，并且得到三维世界中物体的位置，形状，运动和姿态等信息。计算机视觉的发展得益于神经科学，心理科学和认知科学对动物视觉系统的研究。但目前的研究对视觉系统原理的认识还非常有限，尤其是对大脑皮层处理视觉信息的过程的研究还是十分肤浅的。大脑的神经网络是极其复杂的，与当前的计算机体系结构有很大的差别，因此计算机视觉无法通过对人类大脑的仿真来实现，而是发展出一套独立的计算理论与算法。这些算法广泛的应用于工业自动化，移动机器人的视觉导航，医学图像分析，遥感图像分析，安防系统，虚拟现实等领域，并且研究者们不断的改进和完善旧算法，提出新算法。 当今计算机视觉领域的基本理论框架是由麻省理工学院的 David Marr 教授在二十世纪八十年代初提出的。Marr 的视觉计算理 论（马尔，1988）立足于计算机科学， 系统的概括 了神经生理 学、心理学 和认知科学 等方面的研 究成果。Marr 建立的视觉计算理论，使计算机视觉研究有了一个比较明确的理论体系 ，并且大大推动了计算机视觉研究的发展。虽然该理论不是十分完善，许多方面还有争议，引发了研究者的质疑和批评，但是到目前为止，该理论在计算机视觉领域仍然占据统治地位。 Marr 的视觉计算理论（贾云得，2000）将视觉看作是一个 信息处理系统，认为对此系统的研究应该分为三个层次：计算理论层次，表示与算法层次，硬件实现层次。Marr 将视觉过程划分为自下而上的三个阶段，第一阶段是对输 入的原始图像进行处理，抽取图像的基本特征如角点、边缘、线条、纹理等，得到基元图；第二阶段是由原始图像和基元图得到场景可见部分的法向、深度、轮廓等组成的 2.5 维图；第三阶段是在某个坐标系下得到物体的三维信息。 从摄像机获取的二维图像信息出发计算场景和物体的三维信息，并由此重建和识别物体是计算机视觉的主要目的之一（张广军，2005） 。而三维世界中物体1 绪论 表面某点的 三维几何位 置与其在图 像中对应点 之间的相互 关系是由摄 像机几何成像的模型决定的，几何模型的参数就是摄像机的参数。通常情况下，这些参数必须经过计算得到，通过实验计算求解这些参数的过程就称为摄像机标定。摄像机标定时三维重建必不可少的步骤，摄像机标定的精度大小直接影响着三维重建的精度。 1.2 摄像机阵列 简介 近年来，随着立体视觉技术和数字成像设备的发展，摄像机阵列系统开始应用于虚拟现实、娱乐和监控等领域。将多个摄像机通过一定的连接方式组成阵列的结构，能够同时采集图像。相比于单目视觉系统，摄像机阵列组成的多目视觉系统能够同时获取场景的信息，具有更大的视场范围，通过完整的场景信息能够对场景进行精确的三维重建。 目前，国外在摄像机阵列方面的研究很多，而且已经应用于娱乐，安全监控等领域。斯坦福大学的 Wilburn 等人使用 96 个 CMOS 图像传感器组成一个摄像机阵列系统（Wilburn et al. 2002） ，使用 FPGA 对摄像机获取的数据进行压缩，然后传送到计算机上进行处理。该系统能够提高成像性能，获得高动态范围和高分辨率的视频，并能对视频合成获得高速视频。 图 1.1 若干摄像机阵列 麻省理工学院的 Yang 等人使用 64 个 OrangeMicro iBot 摄像机组成一个稠密的摄像机阵列系统（Yang et al. 2002） ，并提出一种分布式光场绘制算法，对各摄像机获得的信息进行分布式处理，然后再传输到计算机上，从而减少了带宽的使用，能够实时完成基于图像的绘制。 卡内基梅隆大学的 Zhang 等人使用 48 个 Axis 205 网络摄像机组成一个摄像机阵列系统（Zhang and Chen 2004） ，摄像机安装在一个移动部件上，能够旋转和侧移。该系统使用一个高效的图像绘制算法，能够实时生成新视角的合成图像。并且该系统具有自重构功能，通过算法对摄像机进行旋转和侧移的控制，获得最2 绪论 优的图像绘制结果。目前国内对摄像机阵列的研究较少，国防科技大学的谭树人等使用 CMOS 传感器与 FPGA，DSP 相结合自制摄像机单元（Tan et al. 2007） ，并使用 16 个摄像机组成一个阵列系统。该系统完成了对数据的采集，压缩及同步功能，具有分辨率高，易扩展等优点。 1.3 摄像机阵列 标定 摄像机阵列系统的标定不仅需要对单个摄像头的参数进行标定，还需要标定出各个摄像机之间的相对位置关系。摄像机阵列的标定方法（Cui et al. 2007）主要可以分为两类，一类是基于摄像机自标定，同时对摄像机阵列的所有摄像机的内部参数和外部参数进行标定，另一类通常是先使用一定的方法对单个摄像机进行标定，得到内部参数，然后再对整个系统进行标定得到各个摄像机之间的相对位置关系即外部参数（Wang 2005） 。 近年来，研 究者们提 出了很多 基于矩阵 分解和全 局约束的 多摄像机标 定方法。Ueshiba 和 Tomita 提出了一种基于平面标定模板的分解算法（Ueshiba and Tomita 2003） ，将一块几何信息已知的二维平面标定板放在不同的位置，分别用摄像机阵列采集图像。确定角点和图像投影点之间的对应关系，计算出标定板平面和图像之间的单应性矩阵，得到摄像机的投影矩阵和平面参数矩阵。利用所有摄像机和标定板平面得到的单应性矩阵构造系统的测量矩阵，对该矩阵进行分解得到摄像机阵列的投影矩阵，最后得到各摄像机的参数。Sturm 提出了一种基于多个平面模板的标定方法（Sturm 2000） ，在视场范围重叠很小的情况下也能使用。该方法建立了一个一般模型，首先通过计算得到缺失的数据，使得每个平面模板在所有的摄像机的视场范围内都是可见的，然后通过单应性矩阵分解得到各摄像机的参数和相对位置关系。还有研究者提出其他的方法，使用一维标定物体（Wu et al. 2005）或虚拟标定物体，来代替二维标定模板得到点之间的对应关系，再通过矩阵分解得到标定结果。 上述方法要求标定物体对所有的摄像机同时可见，在实际的应用中存在一定的局限性。在摄像机阵列的标定过程中，每个摄像机的内部参数不会发生变化，因此使用一定的标定算法先标定出每个摄像机的内部参数，然后再利用一些约束条件和坐标变换的方法，计算出各个摄像机之间的相对位置关系。Slusallek 等人使用 SFM 算法得到摄像机对的相互关系（Chen et al. 2000） ，然后使用迭代三角化方法将所有的摄像机标定到一个坐标系下。Ihrke 等人提出一种基于极线约束的方法（Ihrke et al. 2004） ，先估计出摄像机之间的相对位置关系，然后使用图论的方法计算出所有摄像机间的旋转矩阵和位移向量。Cui 等人（Cui et al. 2007）3 绪论 在上述方法的基础上，引入隐式正交约束，从而保证了计算得出的旋转矩阵是正交矩阵，结果更加准确。 1.4 本文的主要 内容和结构 本文在参考国内外已有的摄像机阵列标定算法的基础上，研究分析了标定过程中需要解决的一系列问题，并将算法应用于实际的系统。 本文的结构如下： 第一章是绪论，主要介绍摄像机阵列标定方法的研究背景和意义，国内外的研究现状，论文内容和结构安排。 第二章研究了摄像机的成像模型和各种摄像机标定方法。 第三章使用一种基于平面标定板的标定方法对摄像机进行标定，并给出实验结果。 第四章提出一种基于矩阵分解的摄像机阵列标定方法。 第五章提出一种基于逐步优化的摄像机阵列标定方法。 第六章总结并评价了本文的研究，并对未来的研究方向进行展望。4 摄像机成像模型及标定方法 第二章 摄像机成像模型及标定方法 2.1 摄像机针孔 模型及成像原理 2.1.1 参考坐标系计算机视觉中经常需要对坐标进行变换，涉及到四个参考坐标系（Geyer and Daniilidis 1998） ，如图 2.1 所示。 (Xw图 2.1 参考坐标系 (1)世界坐标系(world coordinate system) 图 2.1 中的 Ow-XwYwZ w 坐标系被称为世界坐标系 ，该坐标系中的坐标值，Yw，Z w)是 客观世界的绝对 坐标。世界坐 标系用来描述 场景中摄像机 和物体的位置，通常可以由用户选定。 (2)摄像机坐标系(camera coordinate system) 图 2.1 中的 O-XYZ 坐标系被称为摄像机坐标系，其中 O 点称为摄像机的光心，X 轴和 Y 轴与成像平面坐标系的坐标轴平行，Z 轴为摄像机的光轴，与成像平面垂直。 5 摄像机成像模型及标定方法 (3)成像平面坐标系(retinal coordinate system) 图 2.1 中的 O1-xy 坐标系被称为成像平面坐标系，其中 O1点是光轴与成像平面的交点，称为主点(principal point)，该点一般位于图像中心处，但由于摄像机制造工艺问题，也会有些偏离，OO1 为摄像机的焦距(focal)。该坐标系中的坐标值(x ，y) 表示图像中的像素点在图像中的物理位置。 (4)图像坐标系(pixel coordinate system) 固定在图像上的以像素为单位的坐标系被称为图像坐标系，通常情况下，其原点位于图像的左上角，u 轴和 v 轴分别平行于成像平面坐标系的 x 轴和 y 轴，对应于行方向和列方向，分别向右和向下为正。图像中像素的坐标(u，v)表示像素在图像的列数和行数。 2.1.2 摄像机模型摄像机采集 得到的图 像上每一 点的亮度 反映了空 间物体表 面某点反射 光的强度，而该点在图像中的位置与物体表面点在三维世界中的位置有关。摄像机成像模型（Baker and Nayar 1998）将三维空间的点与图像平面上的点对应起来，可以用一个从三维空间到二维空间的映射来表示： ( X w , Yw , Zw ) (u, v)透视投影是最常用的成像模型，可以用针孔成像模型来近似表示，如图 2.2所示。针孔成像模型的所有来自于场景的光线均通过一个投影中心，即摄像机的光心，投影到成像平面上。 图 2.2 透视投影模型示意图 其中，(X，Y，Z) 是空间点 P 在摄像机坐标系下的坐标， (x，y)是点 P 在成像平面坐标系下的坐标，光心到成像平面的距离是摄像机的焦距。为了计算方便，假设在摄像 机镜头前方 有一个虚拟 成像平面， 虚拟成像平 面到光心的 距离为焦6 3 2f :R R (2.1) 摄像机成像模型及标定方法 距，与成像平面平行，坐标轴方向相反。 2.1.3 坐标变换关系四个参考坐标系的坐标变换一共涉及到三个过程（Barreto a