硕士学位论文-基于计算机视觉的三维测量技术.pdf

华北电力大学硕士学位论文 1 第一章 基于立体视觉的测量技术综述 1 . 1 概述 自然科学是人类认识世界和改造世界的强有力的武器自然科学的产生与发展都离不开测量元素周期表的发明者门捷列夫说过从开始有测量的时候起才开始有科学新的测量方法标志着科技的进步测试技术的水平是衡量一个国家科学技术水平的重要标志之一 尺寸测量是测量的一个不可或缺的组成部分无论是在制造加工生产领域还是在监测领域都离不开几何量的测量可以说没有几何量的测量就没有加工制造业就没有科技的发展和进步随着科技的发展对几何量测量的要求越来越高在精度方面在十九世纪中叶以前机械制造业中的主要测量工具是钢板刻线尺测量精度为 1 m m 机械式测量器具如游标卡尺和千分尺的出现将测量精度提高到了 0 . 0 1 m m 量块出现以后采用量块作为长度基准大大推动了微差测量法的发展将测量精度提高到了微米级进入二十世纪以后加工精度到 3 0年代达到了 1 u m到 5 0 年代达到了 0 . 1 u m 对测量的要求不仅有精度要求而且要求测量的快速性能够实时的对工艺流程进行监测在许多领域中还要求测量的非接触性等单一的测量工具已经很难满足科技和生产的需要测量的工具由刻度尺千分尺等机械测量器具发展到现在的电动的气动的光学的声学的测量仪等等每种测量工具都有其自身的优点能够满足一定的工业需要在这些测量工具中基于视觉的测量技术虽然起步晚但是由于具有众多优点已经取得了巨大的发展并在测量领域占据了重要地位 在三维测量中传统的接触测量已经越来越难以满足生产的需要各种非接触测量的方法在三维测量中占据了重要地位而基于计算机视觉的非接触测量方法随着计算机技术和视觉检测手段的发展体现出了巨大的优越性已经成为了一种重要的检测手段 1 . 2 计算机视觉的发展 视觉是人类获取信息的一种强有力的手段人类是通过眼睛与大脑来获取处理和理解信息的周围环境中的物体在可见光的照射下在人眼的视网膜上形成图像由感光细胞转化成神经脉冲信号 再经神经纤维传入大脑皮层进行处理和理解视觉不仅指对光信号的感受也包括对视觉信息的获取传输处理存储和理解的全部过程信号处理科学与计算机技术出现以后人们利用摄像机获取景物图像并转换成数字信号用计算机实现对视觉信息处理的全过程从而逐渐形成一门新兴的学科即计算机视觉 1 华北电力大学硕士学位论文 2 现实世界中的物体都是三维的人眼所获得的景物图像都是二维的但是人类的视觉系统能够很容易地从二维图像中感知三维世界获得三维世界的信息计算机视觉的研究目标就是使计算机具有通过一幅或多幅图像认知周围环境信息的能力这种能力不仅包括能够感知环境中物体的几何信息如其形状位置姿态运动等而且能够对他们进行描述存储识别理解 1 2 计算机视觉是一个多学科交叉的新领域涉及到计算机科学人工智能机器人信号处理模式识别控制理论生物医学心理学等多个学科领域其发展得益于神经生理学心理学与认知科学对生物系统的研究需要各学科的研究人员联合起来对人脑的认知过程进行从宏观到微观的深入研究虽然由于人脑的高度复杂性这种跨学科的研究还远远不够深入但从事计算机视觉的研究者们已经发展起来套独立的计算理论和算法从而能对视觉信息或者说对图像进行分析和处理随着跨学科基础研究的不断深入随着计算机性能的快速提高计算机视觉会有更为广阔的应用前景 1 3 1 . 3 计算机立体视觉的研究现状 自然界的物体都是三维的人类通过双眼获得物体的三维立体信息但一般的摄影系统只能将三维物体以二维的形式保存记录下来丢掉了大量的信息计算机立体视觉就是运用计算机技术和光学手段获取一幅或多幅图像重建被摄物体的立体形状获得三维数据 1 2 3 5 立体视觉的开创性工作是从二十世纪六十年代中期开始的美国 m i t的 r o b e r t完成的三维景物分析工作把过去的二维图像分析推广到了三维景物这标志着立体视觉技术的诞生 并在随后的二十年中迅速发展成为一门新的学科 特别是七十年代末 m a r r创立的视觉计算理论对立体视觉的发展产生了巨大影响现己形成从图像获取到最终的景物可视表面重建的完整体系经过二十多年的研究立体视觉在机器人视觉航天测绘军事应用医学诊断及工业检测中的应用越来越广泛研究方法从早期的以统计相关理论为基础的相关匹配发展到具有很强生理学背景的特征匹配从串行到并行从直接依赖于输入信号的低层处理到依赖于特征结构关系和知识的高层次处理性能不断提高其理论正处在不断发展与完善之中 3 5 三维景物感知是计算机视觉的关键技术之一 目前获取距离信息的方法和技术很多每种方法都有其适用范围及优缺点一般来讲常用的三维感知和测距技术方法分为主动a c t i v e 和被动p a s s i v e 两类前者使用专门的光源装置提供目标物体周围的照明后者则由物体周围的光线提供 3 5 ( 1 ) 主动测距方法 1 4 主动测距方法的基本思想是利用特定的人为控制的辐射源光源声源等对景物目标进行照射根据物体表面的反射特性及光学声学特性来获取目标的三维信息其特点是具有较高的测距精度抗干扰能力和实时性具有代表性的方法华北电力大学硕士学位论文 3 有结构光法莫尔阴影法飞行时间法三角测距法和散焦测距法 a . 结构光法光条法 这是一种既利用图像又利用可控制辐射源的测距方法 其基本思想是利用照明中的几何信息提取景物中的几何信息光条法是使用结构光的一种最简单的情况结构光条测距器主要由光条发生器和摄像机组成由光条发生器发射的结构光称为光平面当光平面投射景物时在景物上会出现一系列光条图案所以摄像机获取的景物图像是一系列的光条图像在这些光条里包含了图像所对应景物的几何信息结构光的形式不只光点和条纹还有网格结构光法圆形光条法交叉线法彩色编码条纹法等更精确的结构光测距方法有利用光干涉条纹性质的莫尔干涉条纹法全息激光干涉法以及光衍射效应的测距方法 结构光法的最大优点就是可减少计算复杂性改善测量精度对于平坦的无明显纹理和形状变化的表面区域都可进行精密的测量其缺点是对设备和外界光线要求较高造价昂贵目前主要应用在条件良好的室内 b . 飞行时间法t o f 光速和声速在空气中的传播速度是一定的 由测距器主动发出脉冲到达物体表面后反射回来计算脉冲在测距器与物体表面之间的飞行时间就能得到相应的距离根据发射源的不同脉冲测距可分为超声测距和激光测距因为光速比声速快得多而且激光具有相当高的定位精度因此可以更快更精确地测得距离 飞行时间法直接利用光和声波的传播特性不需要进行灰度图像的获取与分析因此距离的获取不受物体表面性质的影响可快速准确地获取景物表面完整的三维信息但是它需要较复杂的光电设备造价昂贵测量精度与设备的灵敏度有很大关系 ( 2 ) 被动测距技术 1 4 被动测距技术是目前研究最多应用非常广泛的一种距离感知技术它不需要人为地设置辐射源只利用场景在自然光照下的二维图像来重建景物的三维信息具有适应性强实现手段灵活造价低的优点但是这种方法是由低维信号计算高维信号因而解决的困难很大对它的研究涉及视觉心理和生理学数学物理学以及计算机科学等学科的内容是计算机视觉最为活跃的领域之一 1 . 4 基于立体视觉的测量系统 计算机视觉技术应用于三维测量工件的 c a d 模型的设计数控机床及反求工程等多个领域 基于计算机视觉的测量方法是人工智能与测量技术交叉而形成的一种智能测量方法, 该测量方法具有能够实现在线测量系统成本低等优点 当前国际与国内有多种利用计算机视觉进行应用的取得成功的实例 1 天津大学精密仪器实验室叶声华课题组研制的汽车白车身激光视觉检测系统 5 6 就是利用计算机视觉的方法检测车身表面点的信息通过三维视觉算法求取各华北电力大学硕士学位论文 4 关键点的坐标从而完成对车身各关键点主要参数的测量能够在线检测该技术已经开始应用到天津夏利车车身检测中具有很好的实时性和准确性 2 哈尔滨工业大学机器人研究所研制的应用于焊接领域的基于计算机视觉技术的工业机器人也已经应用到工业生产中使焊接流程能够实现自动快速高效精确 3 哈尔滨工业大学和韩国 y u j i n 公司联合开发的自主型足球机器人 是基于视觉技术进行目标跟踪位置分析躲避障碍等通过视觉技术能够快速准确的分析出多种信息 基于计算机视觉原理的三维尺寸测量方法具有诸多优点 并且已经在实际生产中得到广泛应用但是计算机视觉技术并没有完全成熟许多算法在实时性鲁棒性和精度方面难以达到完美结合本文通过对原有的标定方法进行研究和分析提出一种在摄像机小孔模型的基础上通过图像校正的方法进行标定的算法并对原有的分步标定方法进行改进能够有效的提高视觉系统标定过程中的鲁棒性和快速性使测量精度接近考虑径向畸变的非线性模型的精度水平本文提出了一种基于计算机视觉的测量系统的实验平台能其验证了标定方法的有效性 华北电力大学硕士学位论文 5 第二章 计算机视觉中的摄像机标定原理与技术 2 . 1 引言 三维计算机视觉系统能够从摄像机获取的图像信息出发 计算三维物体的位置形状等几何信息并由此识别环境中的物体图像上每一点的亮度反映了空间物体表面某点反射光的强度而该点在图像上的位置则与空间物体表面相应点的几何位置有关这些位置的相互关系 由摄像机成像几何模型所决定 该几何模型的参数称为摄像机参数这些参数必须通过实验计算得到实验与计算的过程称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数124 摄像机标定在以下应用中起着重要的作用 (1)从计算机图像坐标推导空间三维几何信息由摄像机标定所确定的摄像机模型和参数能够提供一种给定目标点的图像坐标并能确定一条含有实际目标点的空间直线利用两幅这样的图像就可由两条直线的交点确定这一目标的空间位置这种信息可以应用于包括工件在线测量机电元件的自动装配机器人标定或轨迹分析等重要应用中78 (2)利用摄像机标定来确定一个移动摄像机安装在手一眼机器人或自动行驶车辆上的空间位置在这类应用中己知目标点的图像坐标和空间坐标利用摄像机外部参数标定技术就可解出摄像机的空间坐标和方向信息35 (3)由己知的物体三维信息导出二维计算机图像坐标在模型驱动modeldriven的机器视觉的检测和装配中关于物体三维空间位置和方向的假设可以利用摄像机模型和参数转化为对其所成图像的一个假设将假设图像和实际拍摄的图像进行匹配比较即可拒绝或确认对物体及其空间位置的假设这就是基于模型驱动的机器视觉的基本方法在这类计算机视觉系统中摄像机参数的标定起着关键的作用78 (4)一般的工业应用如测量长度物体表面分析等 针对以上应用对摄像机标定技术有如下要求1357 (1)自治性不需要操作者太多的参与 (2)精确性在许多应用中都有精度要求如机械零件的检测装配或机器人手臂标定这需要建立精确的理论模型 (3)合理的效率整个摄像机标定过程不应该包括高维非线性搜索 (4)通用性标定技术应适用于不同的应用场合 不同的光学装置以及不同的精度要求 华北电力大学硕士学位论文 6 摄像机标定技术最早应用在摄影测量学中 摄影测量学中所使用的方法是数学解析分析的方法在标定过程中利用数学方法对从数字图像中获得的数据进行处理建立专业测量摄像机和非量测摄像机的联系从而得到摄像机参数所谓的非量测摄像机就是内部参数完全未知部分未知或者原则上不稳定的摄像机 对于计算机视觉研究而言在利用计算机技术实现对三维景物的描述识别和理解这一任务时ccd 摄像机是对物理世界进行三维重建的一种基本测量工具这时摄像机标定被认为是实现三维欧氏空间立体视觉的基本而又关键的一步总体来说其计算方法与摄影测量学中所使用基本相同但是这些问题在计算机视觉中得到了进一步研究因为计算机视觉中的问题与摄影测量学中的问题相比有着显著不同的特点 l计算机视觉系统中使用 ccd 摄像机作为价格低廉的非量测工具摄像机参数未知或者不稳定从而导致成像过程不稳定并且 ccd 摄像机数字化图像分辨率低存在量化误差存在较大的非线性镜头畸变 2计算机视觉中所测量的一般为近景为了使系统小巧两摄像机之间的基线长度不可能很长从而使得系统计算误差较大 3在计算机视觉中进行三维重建需要大量的图像点有时要求实时处理数据并给出结果. 不同的应用背景对摄像机标定技术提出了不同的要求如果系统的任务是物体定位相对于某一参考坐标系的绝对定位精度就特别重要如在自主车辆导航系统中自主式移动机器人必须准确地知道其自身的位置工作空间中障碍物的位置以及障碍物的运动情况才能有效安全地进行导航如果系统的任务是物体识别则物体相对于某一个参考坐标系的绝对定位就显得并不特别重要更重要的是物体特征点间相对位置的精度例如在一个基于 cad 模型的物体识别系统中所研究物体上的特征的相对位置必须有足够高的精度才能进行有效的匹配和识别ccd 摄像机的上述特点和应用问题的要求使得对标定技术精度和实时性等问题的研究显得特别重要同时也导致了研究成果的多样性学术界在最近十多年来进行了广泛的研究对于不同的应用背景基于不同的思路取得了一系列成果对现有各种方法进行总结比较和分类是一项很有意义的工作 总的来看现有的摄像机标定技术大体可以归结为两类传统的摄像机标定方法和摄像机自标定方法传统的摄像机标定方法是在一定的摄像机模型下基于特定的实验条件如形状尺寸己知的标定参照物经过对其进行图像处理利用一系列数学变换和计算万法求取摄像机模型的内部参数和外部参数可以分为基于单帧图像的基本方法和基于单帧己知对应关系的立体视觉方法 5 在某些视觉系统中例如机器人视觉系统主动视觉系统等都需要经常改变摄像机的位置或者调整摄像机光学系统如光圈和焦距在每次调整后都需要做摄像机标定另外在有些情况下在摄像机工作环境中放置一个己知的标定参照物常常是不华北电力大学硕士学位论文 7 现实的例如对在危险场合工作的机器人人不能进入作业现场这时就需要一种不依赖于标定参照物的摄像机标定方法称为摄像机自标定方法 1 9 这是目前摄像机标定研究中的一个重点 摄像机模型是光学成像几何关系的简化最简单的模型是小孔摄像机模型它是摄像机标定研究的基本模型然而当计算精度要求较高或者在近距广角的情形时这种线性模型不能准确地描述摄像机的成像几何关系须引入线性或非线性畸变补偿利用校正后的模型进行三维重建才能得到更高的精度因此成像模型和畸变补偿成为计算机视觉中摄像机标定研究的重点 2 . 2 透视变换和摄像机模型 2 . 2 . 1 小孔摄像机模型 摄像机模型是光学成像几何的简化小孔透视模型是最简单最常用的摄像机模型这是一种理想状态模型它简单实用而不失准确性 8 图 21 小孔摄像机模型 如图2l所示 视点为o 空间点p xw,yw,zw在摄像机坐标系下的坐标为 x,y,z它在摄像机成像平面上的投影点为 p(x,y)它们的透视投影几何关zxfx =zyfy =,应用齐次坐标表示如式2-1所示 =101000000001zyxffyxz 2-1 设图像的象素坐标是u,v,这图像点的像素坐标与以毫米为单位的图像坐标的关系如式2-2所示 华北电力大学硕士学位论文 8 =110000100yxvsusvuyx 2-2 其中sxsy为图像平面单位距离上的像素数(pixels/mm),称为比例系数u0,v0为摄像机光轴与图像平面的交点即计算机帧存图像中心的坐标摄像机坐标系与世界坐标系的转换关系如式2-3所示其中r 和 t 分别为从世界坐标系到摄像机坐标系旋转和平移变换r 是一个 3 3 的正交矩阵t 是 3 1 的平移向量 =1101wwwtzyxtrzyx 2-3 于是我们得到以世界坐标系表示的 p点坐标xwywzw与其投影点 p的坐标u v 的关系如式2-4所示其中,xxsfa=yysfa=m 为 34 矩阵称为投影矩阵m1完全由内部参数决定m2完全由摄像机相对于世界坐标系的方位即外部参数决定 mxxmmzyxtrvauavuzwwwtyx=2100110010000001 2-4 可见如果己知摄像机的内外参数就己知投影矩阵 m对任何空间点 p如果己知其空间三维坐标xw,yw,zw就可以求出其图像坐标点的位置u,v但是反过来如果己知空间某点的图像点的位置u,v即使己知投影矩阵其空间坐标也不是唯一确定的它对应的是空间的一条直线 2 . 2 . 2 摄像机镜头畸变 1 2 3 4 由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作存在有透镜畸变物体点在摄像机成像面上实际成像与理想成像之间存在有光学畸变误差主要的畸变误差分为三类径向畸变偏心畸变和薄棱镜畸变第一类只产生径向位置的偏差后两类则既产生径向偏差又产生切向偏差 1 2 3 4 华北电力大学硕士学位论文 9 图 22 理想图像点和实际图像点 l径向畸变radial distortion 径向畸变主要是由镜头形状引起的 是关于摄像机镜头的主光轴对称的正向畸变称为枕形畸变负向畸变称为桶形畸变其数学模型如式2-5所示 +=+=kk634221yr634221xr(rkrkrkyrkrkrkxdd 2-5 2偏心畸变decentering distortion 偏心畸变主要是由光学系统光心与几何中心不一致造成的 即镜头器件的光学中心不能严格共线这类畸变既含有径向畸变又含有切向畸变切向畸变的数学模型如式2-6所示其中p1p2为切向畸变系数 +=+=kk)3(222)3(22212221ddddydddddxdyxpyxpyxpyxp 2- 6 3薄棱镜畸变 薄棱镜畸变是由于镜头设计缺陷和加工安装误差所造成的 如镜头与摄像机像面有很小的倾角等 这类畸变相当于在光学系统中附加了一个薄棱镜 不仅会引起径向偏差而且会引起切向误差其数学模型如式2-7所示其中s1s2为薄棱镜畸变系数 +=+=kk2221rsrsypxp 2-7 图像平面理想图像点坐标xu,yu为实际图像点坐标xd,yd与畸变误差之和如式2-8所示薄棱镜畸变很小可以忽略 华北电力大学硕士学位论文 10 +=+=ypydyrduxpxdxrduyyxx 2-8 一般情况下在图像边缘处存在较大的畸变误差采用普通 ccd 摄像机捕获大小为 500500 像素的图像时其边缘的畸变大约为 5 个像素6径向畸变关于摄像机镜头的主光轴对称是对边缘处存在较大畸变的一种模型化在工业视觉中一般只需要考虑径向畸变因为引入过多的非线性参数往往不仅不能提高解的精度反而会引起解的不稳定 2 . 3 传统的摄像机标定技术 2 3 4 传统的摄像机标定技术需要一个标定参照物即需要在摄像机前放置一个己知物体在标定过程中利用己知物体上一些点的三维坐标和它们相应的图像点坐标计算摄像机的内外参数 从计算方法的角度上看 传统的摄像机标定方法可分为四类即利用最优化算法的标定方法利用摄像机透视变换矩阵的标定方法进一步考虑畸变补偿的两步法和采用更为合理的摄像机模型的双平面标定方法 按照求解算法的特点分为直接非线性最小化方法闭式求解方法和两步法这也是一种好的划分方法 当前对传统摄像机标定技术的研究集中在如如何有效合理地确定非线性畸变校正模型的参数 2 . 3 . 1 利用透视变换矩阵的摄像机标定技术 2 4 一般来说刻画三维空间坐标系与二维图像坐标系关系的方程是含有摄像机内部参数和外部参数的非线性方程如果忽略摄像机镜头的非线性畸变那么从三维到二维的变换就是线性变换透视变换中的系数为未知数如果给定足够多的点的三维世界坐标及其相应的图像坐标就可以利用线性方法求解透视变换矩阵中的各个元素从而求得摄像机的参数即先求透视变换矩阵然后由求得的透视变换矩阵分解得到摄像机参数 这类标定方法的优点是不需要非线性优化方法求解 从而运算速度快能够实现摄像机参数的实时计算其缺点是 l标定过程中不考虑镜头畸变使得标定精度受到一定影响研究者发现在做三维测量时忽略镜头畸变是不可取的 2线性方程组中未知数的数目大于实际自由度的数目因此线性方程中未知数不是相互独立的在有噪声的情况下解得线性方程中的未知数也许能很好地符合这华北电力大学硕士学位论文 11 一组线性方程但由此分解得到的参数值却未必能与实际情况相符使得精度受到一定限制 sutherland 描述了一种由给定一系列三维点及其相应二维图像点的坐标计算透视变换矩阵的过程ganapathy 给出了一种由透视变换矩阵求解摄像机内部参数和外部参数的方法并对分解过程做了详细的分析 下面讨论透视变换矩阵 m 的求解 将式2-4整理改写成式2-9 =11343332312423222114131211wwwzyxmmmmmmmmmmmmvuz 2-9 其中以xw,yw,zw为空间三维点的世界坐标u,v,1为相应的图像坐标mi,j为透视变换矩阵 m 的无素它包含三个方程整理消去 z后可得到如下两个关于 mi,j的线性方程如式2-10所示 =+=+34333231242322213433323114131211vmmvzmvymvxmzmymxmummuzmuymuxmzmymxmwwwwwwwwwwww 2-10 这两个方程描述了三维世界点xw,yw,zw,1与相应图像点u,v,l之间的关系如果己知三维世界坐标和相应的图像坐标将变换矩阵看作未知数则共有 12 个未知数对于每一个物体点都有如上的两个方程因此取 6 个物体点就可以得到 12个方程从而求得变换矩阵 m 的系数 一般可假设 c341则共有 11 个未知数取六个目标点可得 12 个方程是一个超定方程表示成矩阵方式如式2-11所示其中 u 如式2-12,m 如式2-13k如式2-14 在一般的标定工作中 我们都在标定块上设置有数十个己知点使方程的个数大大超过未知数的个数用最小二乘法求解以降低误差造成的影响 利用转换矩阵求出上述线性方程组的解如式2-15所示 umk= 2-11 665544332211vuvuvuvuvuvuu = 2-12 3332312423222114131211mmmmmmmmmmmm = 2-13 华北电力大学硕士学位论文 12 =666666666666666666555555555555555555444444444444444444333333333333333333222222222222222222111111111111111111100000000110000000011000000001100000000110000000011000000001wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwzvyvxvzyxzuyuxuzyxzvyvxvzyxzuyuxuzyxzvyvxvzyxzuyuxuzyxzvyvxvzyxzuyuxuzyxzvyvxvzyxzuyuxuzyxzvyvxvzyxzuyuxuzyxk 2-14 ukkkmtt1)(= 2-15 在求出变换矩阵 m 后可由公式24求得摄像机的全部参数4 个内部参数及 6 个外部参数将式24式表示成式2-16其中miti13为由式215求得的变换矩阵 m 的第 i 行的前三个元素组成的行向量mi4为 m 矩阵的第 i 行第 4 列元素riti13为旋转矩阵 r 的第 i 行txty和 tz分别为平移向量 t 的三个分量 +=ztzyyttyzxxttxttttrtvtarvratutarurammmmmm3030203013242141341 2-16 综上所述 由六个以上已知空间坐标的标定点以及它们相应的图像坐标可以求出投影变换矩阵 m并可以按照式217求出全部内外参数 在这类方法中有以下三点说明 l投影变换矩阵确定了空间点坐标与图像点坐标的关系在许多应用中如立体视觉等不必再分解求出摄像机内外参数但在某些应用中如运动分析等则须将m 分解求出摄像机内外参数 2在式215中11 个未知数并不是相互独立的而在求解时并未考虑这种变量之间的约束关系因此为提高计算精度最好在求解变换矩阵 m 的时候加一些约束条件如 fauseras 和 toscani附加了约束条件 r 矩阵正交 3 以上方法是利用标定参照物上的己知点来计算变换矩阵的但在图像处理中提取直线比提取点具有更好的鲁棒性因此还有基于直线的标定方法 华北电力大学硕士学位论文 13 =+=+=)()()()()()(0243401434343023423013413223431234322343302031234330103343vmamtumamtmtmvmamrmumamrmmmammmammmrrvravmmmrruraummryyxxzyxyxtttytttx 2-17 2 . 3 . 2 运用非线性优化技术进行摄像机标定 线性模型不能准确地描述成像几何过程 因此引入非线性模型通过非线性优化的方法求解摄像机参数这是摄影测量学中的传统方法 1 这类标定方法的优点是可以假设摄像机的光学成像模型非常复杂 充分考虑成像过程中的各种因素能够得到比较高的标定精度 2 4 但是另一方面由此也带来了它的缺点 l参数比较多计算量大需要解非线性方程组优化程序非常费时无法实时得到标定结果 2需要设置初值开始非线性搜索因此在某种程度上摄像机标定的结果取决于摄像机的初始给定值如果初始值给得不恰当很难得到正确的标定结果 faig 的方法是这类标定技术的一个典型代表 充分考虑摄像机成像过程中的各种因素精心设计了摄像机模型对于每幅图像利用至少 17 个参数来描述其与三维空间的约束关系计算量很大由于引进的参数比较多而且使用了特殊的大型专业镜头而不是普通的 ccd 镜头其所摄取的照片的分辨率比普通 ccd 高四倍以上此在图像投影和三维重建时具有很高的精度sobel 提出的方法中需要优化 18 个参数 2 直接线性变换方法dlt是 abdel-aziz 和 karara 于 1971 年首先提出的它包括两种含义一种是不考虑摄像机的非线性畸变通过直接求解一组线性方程得到摄像机的有关参数属于前一种线性求解的方法另种含义是考虑摄像机的非线性畸变利用非线性优化算法求解直接线性变换方法是对摄影测量学中的传统方法的一种简化华北电力大学硕士学位论文 14 与摄影测量学中的传统方法相比 更符合计算机视觉中应用问题的要求和所使用的 ccd摄像机的特点成为连接摄影测量学和计算机视觉之间的桥梁 4 考虑非线性畸变时直接线性变换方法所使用的模型如式2-20所示 +=+=+23222120131211102322212003020100llzlylxllzlylxvvvllzlylxllzlylxuuuwwwwwwwwwwww 2-20 其中xw,yw,zw是标准参照物上的控制点坐标u,v是其对应的实际图像坐标 2 . 3 . 3 双平面标定方法 1 2 3 1 0 除了传统的小孔摄像机模型外 研究人员一直在寻找合理的摄像机模型使之更有效地表示 ccd 摄像机的成像过程martins 等首先提出了双平面模型 这类方法的优点是利用线性方法求解不需要非线性优化缺点是 l未知数个数比较多至少 24 个大于自由度个数 2图像坐标和实际坐标间的变换是基于实验的这样造成了最终结果的不确定性 图 23 双平面模型 如图 23 所示双平面模型不像小孔模型那样要求所有投射到图像平面上的光线必须经过光心给定图像平面上任意一点则能够计算出两个定标平面上的相应点从而确定投影到图像平面上产生该图像点的光线对每一个标定平面利用一组标定点建立彼此独立的插值公式 线性插值时标定平面上相应点坐标表示成图像点坐标的线性组合可表示成式2-21其中 uu,v,lt是图像点的齐次坐标 cixi,yi,zit是第 i 个标定平面上的相应点ai是一个 33 的回归参数矩阵 华北电力大学硕士学位论文 15 2 , 1,=iuacii 2-21 当己知 nn3个标定点时可以利用最小二乘法求解标定点越多近似结果越精确 对于每一个标定平面至少需要三个标定点当两个标定平面平行于图像平面时两个参数矩阵的未知数数目可以减少到 24 个 要确定所有的参数值当利用线性插值对两个标定平面进行线性近似时对于每一个平面至少应该知道三个标定点当利用二次插值对两个标定平面进行二次近似时对于每个平面至少应该知道六个标定点当利用线性样条插值近似两个标定平面时对于每一个线性样条平面至少需要三个标定点每三个相邻的最近点定义一个插值平面对每一个近似插值平面的求解与线性插值相似 2 . 3 . 4 分步法标定 1 2 3 1 0 利用透视变换矩阵进行摄像机标定 其缺点是没有考虑镜头的非线性畸变精度不高利用非线性优化进行摄像机标定虽然精确设计了摄像机模型但是非线性求解的结果取决于设定的初值如果给定的初值不合适就很难得到正确的结果于是将二者结合起来先利用线性变换方法或者透视变换矩阵求解摄像机参数再以求得的参数作为初始值考虑畸变因素利用非线性优化方法并一步提高标定精度这就是所谓的两步法 1 2 3 1 0 目前普遍采用的两步法是利用成像几何中的某些内在性质和关系先求一部分参数然后利用这些己求得的参数未求解其它参数其中典型的是 tsai 提出的基于 rac 约束radial alignment constraint的两步法第一步利用最小二乘法解超定线性方程组求得外部参数第二步求解内部参数如果摄像机无透镜畸变可由一个超定线性方程解出如果存在径向畸变则通过一个三变量的优化搜索求解 3 1 0 它所求解的内部和外部参数分别为 lf 为等效焦距 2k 为径向畸变系数 3rt分别为三维空间坐标系与摄像机坐标系之间的旋转矩阵和平移向量 如图 24 所示径向排列约束就是矢量 l1和矢量 l2具有相同的方向即方向l1方向l2 华北电力大学硕士学位论文 16 图 24 径向排列约束 tsai的两步法基于以下几点观察 l径向透镜畸变不改变 ll的方向无论有无透镜畸变都不影响以上等式 2等效焦距 f 的大小不影响 ll的方向 3平移向量 t的 z 分量不影响径向排列约束关系 可见径向排列约束条件对于确定三维空间的旋转矩阵 r平移向量的 x 和 y 分量以及内部参数中的 sx是充分的 从而把摄像机标定归结为求解具有五至七个参数的线性方程 这种方法简洁快速准确避免了非线性优化搜索适合于需要快速标定摄像机的场合 tsai的方法只考虑了径向畸变 没有考虑切向畸变 但是能够达到比较可靠的精度 2 . 4 摄像机自标定技术 在某些场合 由于摄像机的焦距要经常调节摄像机的位置也会根据周围的环境而移动因此需要在每次调节后重新对摄像机的内外参数进行标定若每次标定都需要在摄像机前放置标定参照物在许多情况下是很不方便甚至不可能的例如远距离作业的机器人或在危险恶劣环境下作业的机器人等12 近年来一种不需要标定参照物的标定技术受到了很大重视称为摄像机自标定self-calibration技术自标定技术不需要己知参照物仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标定这种思想是由 faugeras 等于1986 年首先提出的目前自标定技术主要有两种基于主动视觉的摄像机自标定方法和利用本质矩阵及基本矩阵的自标定方法3910 摄像机的自标定技术并不需要知道准确的三维度量信息利用从图像序列中得到的约束关系来计算摄像机模型的参数这就使在线地实时地校准摄像机模型参数成为可能但是由此也产生了一些相当棘手的问题首先有些摄像机自标定所得到的解既不是唯一的也不是稳定的由约束关系所得到的解在一般情况下是多解的同时在含华北电力大学硕士学位论文 17 有噪声即使噪声很小的情况下解得的值也与实际值有很大差别因此如何在含有噪声的情况下提高解的稳定性一直是自标定领域的研究人员试图解决的问题其次正如计算机视觉中的许多问题一样摄像机自标定问题的求解可归结为求解一组非线性多项式方程组的问题解决这类问题最常用的方法是各种优化算法然而优化算法本身既不能保证找到全局最优解又不能说明解的性质故此在计算机视觉中对求解非线性问题方法的研究以及利用这种方法来探讨非线性问题的性质也是一个很重要的方面 2 . 4 . 1 基于主动视觉的摄像机自标定技术 主动视觉是指摄像机被固定在一个可以精确控制的平台上 且平台的运动参数可以从计算机中读出基于主动视觉的摄像机自标定方法可分为两类第一类是由马颂德研究员提出的 通过摄像机在三维空间中做平移运动求解 第二类是由 basu du 和 hartley等提出的通过摄像机旋转运动求解内参数39 1基于平移运动的自标定技术 马颂德研究员提出了种基于两组三正交平移运动的线性方法进行手眼标定 如果摄像机做纯平移运动由连接运动前后两幅图像上的对应点得到的向量相交于一点称为 foefocus of expansion foe 与摄像机光心 0 的连线平行于摄像机运动的方向如图 25 所示 e 为 foe 图 25 摄像机平移运动时的几何关系 控制摄像机在三个相互垂直的方向上做平移运动设 eii123为三幅图像上相应的 foe其图像坐标为uivii12 3得到式2-22 3 , 2 , 1,),)( ,)(00=ifdyvvdxuuoetii 2-22 根据正交条件可以得到式2-23 华北电力大学硕士学位论文 18 =+=+=+0)()(0)()(0)()(220302203022203012030122020120201fdyvvvvdxuuuufdyvvvvdxuuuufdyvvvvdxuuuu 2-23 设0132221,)/(,)/(vttdxftdydxt=整理式2-222-23可以得到式2-24 =+=+)()()()()()()()(31213123310313211321332032uuutvvvtvvuuuuuutvvvtvvuuu 2-24 这是关于 u0t3和 t1的线性方程由于三个变量只有两个方程因此需要再一次运动摄像机使它沿另外二个正交方向做三次平移运动又得到两个如上的方程任取其中三个方程或用最小二乘法从这四个线性方程中可以解出 u0t3和 t1从而可知 v0t3t12x/stdfx=12ttsy=于是得到了摄像机的全部内参数 sxsyu0和 v0 综上所述 可以不在摄像机前放标定物只需由机器人或主动视觉控制系统控制摄像机平台做六次平移运动前三次与后三次中各运动方向都互相垂直通过各次运动后图像上相应的 foe 表示这六个运动方向由正交条件可得六个方程将这些方程整理可得四个线性方程从而能够解出摄像机的全部内参数 同理可以由上述方法求得摄像机的外参数和机器人手眼定标参数这是近年来提出的最简单的自标定方法已经证明了通过摄像机平台的四次平移运动其中任意三次均不在同一平面上即可线性求解摄像机的内参数其它一些方法一般都需要并行复杂的非线性方程求解 2基于旋转运动的自标定技术 这是由 basudu 和 hartly 等提出的并在此基础上进一步证明了解的存在条件其基本思路是通过摄像机绕 xy 和 z 轴的旋转分析其标定方程解的特性得到以下结论 a.己知旋转轴时可确定旋转矩阵 b.绕 x 轴旋转不能确定 sxsy和 k 的值但是能确定它们之间的比值 c.绕 y 轴旋转不能确定 sy和 k 的值但是能确定 sy/k 的值 d.绕 z 轴旋转仅 sx不能确定 因此要确定摄像机内参数必须绕不同的轴旋转对于旋转轴未知的情况通过摄像机两次不同轴旋转也能求得内参数矩阵 华北电力大学硕士学位论文 19 2 . 4 . 2 利用本质矩阵和基本矩阵的自标定技术 在立体视觉系统中 一般需要两个摄像机很多情况下需要标定两个摄像机之间的相对位置这可以利用本质矩阵和基本矩阵进行求解本质矩阵的概念是 longuethiggins 教授首先引入的它定义了两幅图像上对应点之间的几何约束关系这个基本的几何约束关系如式2-25 012=emmt 2-25 其中 m1和 m2分别为两幅图像中对应点的齐次坐标etr 称为本质矩阵r 是两摄像机坐标系之间的旋转矩阵t是由平移向量的元素构成的反对称矩阵 两个摄像机坐标之间的平移向量可表示成式2-26 =000 xyxzyzxttttttttttxtytzt 2-26 因为本质矩阵只含有摄像机外部参数信息 即两个摄像机坐标系之间的相对运动关系所以根据本质矩阵能够求得摄像机的外部参数这就是通过点对应求运动的问题1112 基本矩阵 f 是立体视觉与运动视觉中一个很重要的参数 假设摄像机的内部参数为sxsy u0和 v0两个摄像机所成图像中的对应点为 u1u1v11t和 u2u2v21t则式225中的 m1和 m2分别为 m1a1u1和m2a1u2a 可表示成式2-27将 a 代入式225可得 u2tfu1=0其中 fa1ea1是基本矩阵 =1000000vsusayx 2-27 可见 基本矩阵不仅包含了摄像机的外部参数信息而且包含了摄像机的内部参数信息因此在求得基本矩阵后可以进一步求解摄像机的内部参数和外部参数 2 . 4 . 3 利用多幅图像之间的直线对应关系的摄像机自标定方法 hartley 提出了一种张量这个张量在三个视点的景物分析中所起的作用与基本矩阵在两个视点的景物分析中所起的作用相似同时还研究了利用多幅图像中线段的对应关系进行摄像机自标定的方法并提出了利用 n 幅图像中的直线特征进行摄像机标定华北电力大学硕士学位论文 20 和重建的方法讨论了通过三幅图像对投影矩阵进行约束并首次提出以三线伪张量的形式对这种约束并行描述进而实现摄像机的自标定11 还有其它一些摄像机标定方法 也为我们提供了一些关于摄像机标定的新思路如利用灭点性质求解摄像机参数利用正方形性质进行摄像机标定利用弱透视投影及平行透视投影的摄像机标定方法12 2 . 5 本章小结 摄像机标定在三维重建 运动分析以及视觉机器人导航等领域均有着十分重要的应用是计算机视觉应用中的一个重要问题因此如何鲁棒地标定摄像机的内外参数一直是计算机视觉的研究热点本章从摄像机参数模型出发对摄影测量学和计算机视觉中的各种摄像机标定方法进行分类综合详细介绍了这些方法的基本原理和特点对各种方法进行分析比较总结其优缺点并讨论了摄像机标定应用于计算机视觉中的特点以及这一领域的研究方向 总的来看现有的摄像机标定技术大体可以归结为两类传统的摄像机标定方法和摄像机自标定方法作为一般的工业应用传统的标定方法由于其求解简单概念清楚易于理解而被广泛采用摄像机的自标定技术因其不需要标定参照物直接利用从图像序列中得到的约束关系来计算摄像机模型的参数使实时地在线地标定摄像机参数成为可能己成为近年来摄像机标定研究中一个重要的方向尤其是将旋转和平移运动结合起来利用摄像机可任意运动的图像序列分析来确定内外参数是今后的重要研究课题 传统的摄像机标定方法中的研究重点是 寻求更准确更符合人类视觉特点的摄像机模型建立通用的摄像机标定方法力求实用快速简单如何有效合理地确定非线性畸变校正模型中的标定参数摄像机自标定方法中的研究重点是如何解决自标定技术中对噪声敏感的问题如何使自标定算法更加简单实用尽量避免复杂的非线性搜索处理 华北电力大学硕士学位论文 21 第三章 一种基于图像校正的标定方法 3 . 1 引言 当前计算机标定技术研究的一个重点就是寻求提高精度具有快速性建立通用的摄像机标定方法力求实用小孔透视模型是一种理想状态模型但是摄像机光学系统不是理想的小孔透视模型物体点在摄像机图像平面上实际所成的像与理想成像之间存在光学畸变研究表明不考虑镜头畸变的视觉系统不能应用在测量领域中 1 2 2 7 为了提高测量精度必须对理想的小孔成像模型进行修正一般是在原模型关系中引入一个畸变模型来提高原模型的可靠性 3 3 3 4 一般情况下 在图像边缘处存在较大的畸变误差采用普通 c c d 摄像机捕获大小为5 0 0 5 0 0 像素的图像时其边缘的畸变大约为 5 个像素6在工业视觉中一般只需要考虑径向畸变因为引入过多的非线性参数往往不仅不能提高解的精度反而会降低标定的鲁棒性目前考虑镜头畸变的摄像机标定算法大致分为两类一类采用非线性优化的技术引入较多的参数建立控制点的三维坐标及其投影图像点之间的参数方程通过迭代或搜索算法求解摄像机参数这类方法的优点是建立了精确的摄像机成像模型涵盖了多种畸变类型求解精度高但是这类方法模型复杂计算量大并且跌代的初值会影响标定的结果,甚至使非线性搜索不收敛造成结果不稳定另外畸变参数和外部参数的相互影响可能会导致解的发散甚至得到错误结果 本文提出一种图像校正与小孔模型相结合的方法 既兼顾了传统标定方法的计算简单稳定性好又具有比较好的准确性和快速性 畸变是由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作 存在透镜畸变物体点在摄像机成像平面上所成的像与理想成像之间存在有光学畸变通过图像校正技术对畸变的图像进行补偿使其恢复或逼近理想图像就能够按照理像小孔成像对校正后的图像进行建模计算 基于图像校正的标定方法首先求取畸变系数建立畸变模型然后对被标定图像进行校正补偿畸变影响最后利用小孔模型进行标定基于小孔模型的标定方法前面已经进行了讨论本章主要讨论畸变系数的求取和图像校正 3 . 2 基于简化模型的图像校正的原理 目前考虑的摄像机镜头畸变主要有径向畸变切向畸变和薄棱镜畸变其中径向畸变是关于摄像机镜头的主光轴对称边缘处存在较大畸变的一种模型也是对立体视觉影响最大的一种畸变其他两种畸变的影响可以忽略不计近似的作为随机误差 这里只讨论一阶径向畸变模型 华北电力大学硕士学位论文 22 +=+=udduddykryxkrx)1 ()1 (22 3-1 其中 xuyu为理想图像坐标xdyd为实际图像坐标k 为径向畸变系数rd2 xd2 yd2摄像机采得标准网格图像如图31a其中像平面中心坐标可用图像中心代替 图 3-1 中a为摄像机采得实际图像b为经过边缘提取滤波二值化等处理后得到的图像131415161819图像处理是网格交叉点坐标能否精确提取的关键由小孔模型原理可知与摄像机光轴垂直的平面上的直线通过理想小孔模型在像平面上所成图像是严格成一条直线的这样就可以根据图31中各个行和列的交点的行坐标和列坐标的像坐标值利用式31列出方程求畸变系数 k由于存在一定的随机误差可以通过最小二乘法取图像中多组数据进行线性拟合 a原始图像 b.图像处理以后的图像 图 31 校正图像 利用求得的 k能够建立校正模型对实际测量图像进行补偿然后就可以利用上一章讨论过的的基于小孔模型的标定方法进行标定 3 . 3 校正步骤及实验结论 图像校正的方法既可以独立应用于基于小孔模型的标定方法中也可以作为其他标定方法的一个预处理过程图像校正的步骤如下 首先将摄像头校准使其垂直于网格平面拍摄标准网格图像一幅 其次对提取的网格图像进行处理滤波边缘提取及二值化以后可检测出图像 华北电力大学硕士学位论文 23 图 3-2 校正后网格交叉点误差 最后标准网格的各条线是平行的按小孔成像原理其所对应的像平面中的线也是直线可将图像中同一条直线上的交叉点坐标带入式31此摄像机畸变为桶型畸变即可剔除干扰值求得畸变系数由于存在测量误差采用最小二乘法对求得的畸变系数进行优化 利用此方法求得多组解通过最小二乘法求得 k=1.60104利用 k=1.60104作为畸变系数进行校正得到的各个网格点与理想点的误差如图 32 所示通过误差分析可知经过校正后径向畸变在 1 个象素以内达到了补偿径向畸变的目的通过径向畸变模型将摄像机采得的实际图像进行变换就得到近似于小孔成像模型的理想图像再通过标定点利用式23求解可得到标定的各个参数 标定的结果为旋转