（计算数学专业论文）摄像机标定与畸变图像矫正算法的设计与实现.pdf

，_=，d 蠢爹基融少分 、f， 嚣嚣，一口鼍3， n o r t h e a s t e r nu n i v e r s i t y j u l y2 0 0 8 a m e r a g e l1 i一 ，、， 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 学位论文作者签名：物考罟 日 期：刎罗埠1 j 鼍ij 刁 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：扬蔫寻，导师签名：靼佬袭氏 签字日期：d 男年r 1 日 签字日期：叫d 辫7 闩旧 。 q每一 f铲鼍 ： ? i ? t 峨，p毒 东北大学硕士学位论文 摘要 摄像机标定与畸变图像矫正算法的设计与实现 摘要 摄像机标定与畸变图像矫正是摄影测量、视觉检测、计算机视觉等领域的重点研 究课题，而且在测绘、工业控制、导航、军事等领域具有很高的应用价值 摄像机标定是建立三维空间物体与二维图像间的对应关系，从而通过图像恢复空 间点的信息而广角摄像机镜头虽然可以获取大视场的景物视频信息，但是成像后图 像畸变较大，畸变的矫正程度极大地影响着测量系统的精度 图像的形状变形分为两类：线性变形和非线性变形，目前对图像的线性变形的矫 正研究较多，而且矫正效果较好，但图像非线性变形的矫正还是一个未能成功解决的 问题针对该问题，本文提出了非线性畸变矫正的方法首先，分析了图像畸变的原 理；其次，通过畸变模型得到一个二元高阶非线性方程组；最后，利用牛顿迭代法求 解方程组，计算得到对应的无畸变图像上的点，从而很好地实现了畸变图像的矫正 为了解决基于视觉导航的智能车载摄像机外部参数的标定问题，即标定摄像机的 俯仰角、旋转角、倾侧角及摄像机的高度，本文提出了摄像机外部参数的标定方法首 先，由摄像机透视投影原理可知地面上三条平行线在图像上具有相同的消失点和不同 的斜率；其次，根据摄像机的外部参数与消失点和斜率有着内在的联系，建立了以像 素为单位的摄像机外部参数表达式；最后，经过数学推导和坐标变换，完成了车载摄 像机外部参数的标定 应用上述的矫正方法，对畸变很大的广角图像进行了矫正，实验结果表明这种方 法可以快速地实现畸变图像的矫正，而且矫正后的图像很清晰车载摄像机外部参数 标定的理论分析和试验结果表明，相对已有的一些方法，具有原理简单，操作方便， 通用性强，实现方式多样，易集成在车载机器视觉系统中等优点 关键词：摄像机标定：内部参数；外部参数；畸变图像；图像矫i f ；计算机视觉 ， f 1 - ，r 、一 东北大学硕士学位论文 a b s t r a c t d e s i g n a t i o n & i m p l e m e n t a t i o no f c a m e r ac a l i b r a t i o n a n dd i s t o r t i o ni m a g ec o r r e c t i o na l g o r i t h m a b s t r a c t c a m e r ac a l i b r a t i o na n dd i s t o r t i o ni m a g ec o r r e c t i o na r ei m p o r t a n tr e s e a r c ht o p i c si nt h e a r e a so fp h o t o g r a m m e t r y ，v i s u a li n s p e c t i o n ，c o m p u t e rv i s i o n ，i th a v eb e e ng r e a t l ya p p l i e di n t h es u r v e ym a p p i n g ，i n d u s t r i a lc o n t r o l ，n a v i g a t i o n ，m i l i t a r ya n do t h e rf i e l d s t h ep u r p o s eo fc a m e r ac a l i b r a t i o ni st ob u i l dt h er e l a t i o n s h i po ft h r e e - d i m e n s i o n a l o b j e c t sa n dt w o d i m e n s i o n a li m a g e sa n dr e c o v e rt h ei n f o r m a t i o no fs p a c ep o i n t sb yi m a g e w i d e - a n g l ec a m e r al e n sc a ng e tm u c hi n f o r m a t i o ni nl a r g ef i e l do fv i d e of e a t u r e s ，b u ti th a s l a r g ed i s t o r t i o n ，a n dt h ed i s t o r t i o nc o r r e c t i o nd e g r e eg r e a t l ya f f e c tt h ea c c u r a c yo ft h e m e a s u r e m e n ts y s t e m t h es h a p eo fd e f o r m e di m a g ec o r r e c t i o ni sd i v i d e di n t ot w ot y p e s ：l i n e a ra n dn o n l i n e a r d e f o r m a t i o n ，n o wm o r ep e o p l er e s e a r c ht h ec o r r e c t i o no fl i n e a rd e f o r m a t i o na n di t i s s u c c e s s f u l l yr e s o l v e d ，h o w e v e rt h en o n l i n e a rd e f o r m a t i o ni s s t i l la nu n s o l v e dq u e s t i o n t o a d d r e s st h i si s s u e ，am e t h o do fn o n l i n e a rd i s t o r t i o nc o r r e c t i o ni sp u tf o r w a r di nt h i sp a p e r f i r s to fa l l ，t h ep r i n c i p l eo fd i s t o r t i o ni sa n a l y s i s e d t h e nad u a lh i g h - e n dn o n l i n e a r e q u a t i o ni sg e tb yt h ed i s t o r t i o nm o d e l a tl a s t ，t h ee q u a t i o ni ss o l v e db yn e w t o ni t e r a t i v e ， i tc a nc a l c u l a t et h ec o r r e s p o n d i n gi m a g e sw i t h o u td i s t o r t i o no nt h ep o i n t ，a n dt h ei m a g e s a r ec o r r e c t e dw e l l i no r d e rt oc a l i b r a t et h ee x t r i n s i cp a r a m e t e r so ft h ec a m e r ao nt h ei n t e l l i g e n tc a rb a s e d o nt h ev i s u a ln a v i g a t i o n ，am e t h o do fc a l i b r a t ee x t r i n s i cp a r a m e t e r si si n t r o d u c e di nt h i s p a p e r ，t h ee x t r i n s i cp a r a m e t e r si n c l u d ep i t c h ，y a wa n dr o l la n g l ea n dt h eh e i g h t f i r s t a c c o r d i n gt ot h ep r i n c i p l eo ft h ec a m e r al e n sp r o j e c t i o n ，t h r e ep a r a l l e ll i n e so nt h eg r o u n d h a v et h es a m ev a n i s h i n gp o i n ta n dd i f f e r e n t s l o p e si nt h ei m a g e f i r s t ，b e c a u s eo ft h e p r i n c i p l eo fp e r s p e c t i v ep r o je c t i o n ，t h et h r e ep a r a l l e l so nt h eg r o u n dh a v et h es a m e v a n i s h i n gp o i n ta n dd i f f e r e n ts l o p e s t h e nt h ee x p r e s s i o no fe x t r i n s i cp a r a m e t e r sb a s e do n p i x e l si se s t a b l i s h e db yt h er e l a t i o n s h i pb e t w e e no fe x t r i n s i cp a r a m e t e r sa n dv a n i s h i n gp o i n t a n ds l o p e s a tl a s t ，a f t e rm a t h e m a t i c a la n a l y s i sa n dc o o r d i n a t et r a n s f o r m a t i o n ，t h ee x t r i n s i c p a r a m e t e r sc a l i b r a t i o no fav e h i c l e m o u n t e dc a m e r a si sc o m p l e t e d t h eg r e a td i s t o r t i o no ft h ew i d e - a n g l ei m a g ei sc o r r e c t e du s i n gt h ea b o v em e t h o d ，a n d i i i 东北大学硕士学位论文 a b s t r a c t t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa p p r o a c hc a nc o r r e c tt h ed i s t o r t i o ni m a g e sq u i c k l y a n da c c u r a t e l y i th a sb e e ni l l u s t r a t e db yt h et h e o r e t i c a la n a l y s i sa n de x p e r i m e n t st h a t c a m e r ac a l i b r a t i o na n dd i s t o r t i o ni m a g ec o r r e c t i o nh a v es o m ea d v a n t a g e s ，s u c ha sa p r i n c i p l eo fs i m p l e ，e a s yt oo p e r a t e ，h i g hu n i v e r s a l i t y ，t h ew a yt oa c h i e v ed i v e r s i t ya n d i n t e g r a t i o ni nt h ea u t o m o t i v em a c h i n e v i s i o ns y s t e mm e d i u m k e yw o r d s ：c a m e r ac a l i b r a t i o n ； i n t r i n s i cp a r a m e t e r ；e x t r i n s i cp a r a m e t e r ；d i s t o r t i o n i m a g e ；c o r r e c ti m a g e ：c o m p u t e rv i s i o n i v j 它 。 东北大学硕士学位论文 目录 目录 声明i 中文摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 弓i 占1 1 1 1 计算机视觉的概述l 1 1 2 视觉系统成像原理2 1 2 摄像机标定技术的研究背景和现状4 1 2 1 摄像机标定的历史状况4 1 2 2 摄像机标定的发展5 1 2 3 摄像机标定的研究现状5 1 3 本课题的研究意义6 1 4 本文的主要工作7 1 4 1 主要研究内容7 1 4 2 论文的组织结构7 第2 章摄像机内部参数标定原理9 2 1 弓l - g 9 2 2 目的和意义9 2 3 摄像机成像模型9 2 3 1 图像坐标系和图像物理坐标系的建立9 2 3 2 摄像机坐标系与世界坐标系的建立1l 2 3 3 摄像机成像模型11 2 4 传统的摄像机标定方法1 2 2 4 1 利用最优化算法的标定方法1 2 2 4 2 利用透视变换矩阵的摄像机标定方法1 3 2 4 3 两步法l3 2 4 4 双平面标定方法1 4 2 5 线性摄像机标定方法1 4 2 5 1 线性标定的原理l5 v 东北大学硕士学位论文 目录 2 5 2 投影矩阵的计算1 5 2 5 3 摄像机参数的求解1 7 2 6 非线性摄像机标定1 8 2 6 1 非线性畸变模型1 8 2 6 2 摄像机标定程序的步骤和流程图18 2 7 摄像机标定的实验结果1 9 2 8 本章小结2 0 第3 章畸变图像的矫正2 l 3 1 引言2 1 3 2 畸变图像矫正的目的和意义2 1 3 3 畸变图像矫正的方法概述2 l 3 4 畸变模型2 2 3 4 1 摄像机的畸变模型2 2 3 4 2 图像畸变的类型2 3 3 5 非线性摄像机内部参数2 5 3 6 畸变图像的矫正算法2 6 3 6 1 求解非线性方程组2 6 3 6 2 牛顿迭代法2 8 3 6 2 畸变图像的矫正2 9 3 7 实验结果及分析3 0 3 8 本章小结31 第4 章车载摄像机外部参数标定3 3 4 1 引言3 3 4 2 摄像机外部参数标定方法概述3 3 4 3 本文要研究的内容3 4 4 4 单目摄像机外部参数标定3 4 4 4 1 车载摄像机的平台介绍3 4 4 4 2 旋转矩阵3 5 4 4 3 透视投影原理3 7 4 5 摄像机外部参数的标定3 8 4 5 1 计算旋转角3 8 4 5 2 计算俯仰角4 0 v i 艮 ， 东北大学硕士学位论文 目录 4 5 3 计算倾侧角4 1 4 5 4 计算摄像机高度4 l 4 6 摄像机内部参数和外部参数的应用4 l 4 6 1 道路面上二维图像点到三维空间点关系4 l 4 6 2 二维到三维的转化算法4 2 4 6 3 实验结果4 3 4 7 本章小结4 5 第5 章总结和展望4 7 5 1 总结4 7 5 2 展望4 8 参考文献4 9 致谢5 3 v i i 4 东北大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 引言 计算机视觉是一个处于知识前沿的领域，随着计算机技术的发展，计算机图像已 经成为一种经济、灵活的技术手段，并渗透到各个行业它在传统的自动化、图像科 学、医学成像、远程感知和计算机绘图等领域都有重要的应用 1 1 1 计算机视觉的概述 首先解释一下计算机视觉和机器视觉计算机视觉是采用图像处理，模式识别， 人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析图像可以由单个 或多个传感器获取，也可以是单个传感器在不同时刻获取的图像系列分析是对目标 物体的识别，确定目标物体的位置和姿态，对三维景物进行符号描述和解释机器视 觉则偏重于计算机视觉技术的工程化，自动获取和分析特定的图像，以控制相应的行 为具体地说，计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器 视觉则偏重于计算机视觉技术工程化，它为计算机视觉的实现提供传感器模型，系统 构造和实现手段因此可以认为，一个机器视觉系统技术就是一个能够自动获取一幅 或多幅目标物体图像，对所获取图像的各种特征量进行处理，分析和测量，并对测量 结果做出定性分析和定量解释，从而得到有关目标物体的某种认识并做出相应决策的 系统机器视觉系统的功能包括物体定位、特征检测、缺点判断、目标识别、计数和 运动跟踪等 计算机视觉是研究用计算机来模拟人和生物的视觉系统功能的技术学科它是一 门综合性的学科，其中包括计算机科学与工程、信号处理、物理学、应用数学和统计 学、神经生理学和认知科学等计算机视觉的研究目标是使计算机具有利用一幅或多 幅图像认知周围环境信息的能力这种能力使计算机能感知环境中物体的几何信息， 包括形状、位簧、姿态、运动等，而且能对它们进行描述、存储、识别与理解 计算机视觉具有检测信息量大，能够遥测的特点，非常适合用于路径的识别与跟 踪，因此是智能车辆导航研究中的一个重要方向目前，机器视觉在软件和硬件上都有 很大的发展，主要应用于辅助导航系统【l 】、自适应巡航控制系统、自动走停辅助系统、 交通信号识别系统和辅助换道系统 在实际生活中，驾驶员通过视觉可以获得9 0 以上的环境信息，例如交通标志、 - 1 东北大学硕士学位论文 第1 章绪论 交通信号、车道线、道路形状、车辆、道路标记、障碍物等，很显然，可以考虑应用 机器视觉来理解道路环境基于视觉导航【2 】的智能车辆研究最早可追溯到上世纪六十 年代末，由于实时图像处理的计算量非常大，而当时的计算能力十分有限，只有少数 几个研究小组开展这方面研究随着技术的不断发展，目前的计算机硬件水平为实时 图像处理提供了可能一方面，商用计算机的体积不断变小，而性能有了显著的提高， 例如目前的商用笔记本电脑可以满足一般实时图像处理的要求；另一方面， c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像头费用低廉，体积小，此外图像处理算法有柔韧性和 适应能力强等特点，因此视觉导航在智能车辆的导航中有广阔的应用前景 随着计算机视觉技术应用范围的逐渐扩大，应用复杂性的逐渐提高，计算机视觉 同益成为一门内容丰富的综合性学科，它在现代工业、国防、医学、空间技术等领域 有着广泛的应用前景利用成像系统和计算机进一步来实现景物的自动识别，是开发 人工智能的一个最关键的突破口，如果不能实现机器的自动感知和识别周围环境的功 能，机器智能就无从谈起因此计算机视觉技术的成功应用将大大推动人工智能系统 的发展，拓广计算机和各种智能机器的应用领域 1 1 2 视觉系统成像原理 计算机视觉系统是指用计算机来实现对客观三维世界的识别按现在的理解，人 类视觉系统的感受部分是视网膜，它是一个二维采样系统三维物体的可见部分投影 到视网膜上，人们按照投影到视网膜上的二维图像来对该物体进行三维的理解所谓 三维的理解是指对物体的形状、尺寸、深度( 物体到观察点的距离) 、质地和运动特征 的理解计算机视觉希望解决的是完全相同的问题计算机视觉系统的输入装置可以 是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维客观 世界的二维投影如果把三维客观世界n - 维投影看作是一种正变换的话，那么计算 机视觉系统所要做的是从这种二维投影到三维客观世界的逆变换，也就是根据这种二 维投影去重建三维的客观世界从三维客观世界n - 维投影，一维信息从显露成为隐 含，计算机视觉系统的工作就是要把这种隐含的三维信息提取出来，进行理解加工 第一个较为完善的视觉系统框架f 2 j 是m a r r 提出的，他从信息处理的角度综合了图 像处理、心理物理学、神经生物学及临床精神病学的研究成果这一视觉理论的提出， 大大推进了计算机视觉研究的发展m a n 认为视觉是一个信息处理系统，对此系统研 究应分为三个层次：计算理论层次：表示与算法层次：硬件实现层次而且又把视觉 过程划分为三个阶段：第一阶段是将输入的原始图像进行处理，抽取图像中诸如角点、 边缘、纹理、线条、边界等特征，这些特征的集合称为基元图：第二阶段是指在以观 -，- 东北大学硕士学位论文第1 章绪论 测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、 轮廓等，这些信息包含了深度信息，但不是真正的物体三维表示，因此，称为二维半 图；在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识 别三维物体的过程称为视觉的第三阶段研究计算机视觉主要是为了开发能从图像数 据自动构成场景描述的图像理解系统，满足人类生活环境中所提出的各种要求目前 对机器视觉的理解还落后于处理手段的发展，对计算机视觉的基础理论研究尚在探索 和形成中，应加强这一领域基础理论的研究，如不注意基础研究，就会使应用技术研 究成为无源之水，无法形成一门具有坚实理论的学科所以在计算机视觉的研究中， 一方面应加强理论研究，以形成统一的理论框架，这项工作很有挑战性；另一方面应 重视实验与应用工作，促进计算机视觉技术能够得到更广泛、深入地发展 计算机视觉系统是从视觉传感器【2 】如摄像机获取的图像出发，计算三维环境物体 的位置、形状等几何信息，并由此识别环境中的物体，进而做出j 下确反应因此，计 算机视觉的中心任务就是利用计算机实现对三维景物的描述和识别这里所说的描述 是指由三维信息获取二维图像的过程，而识别就是二维图像的三维恢复无论哪一种 任务，首先必须解决的都是三维物体点与二维图像点的对应关系问题这种对应关系 是由摄像机成像几何模型所决定的，而确定这种对应关系的过程，即为摄像机标定具 体地讲，就是通过建立已知物像点的对应关系模型，计算成像系统内外几何及光学参 数，从而获取模型参数的过程由此可知，视觉系统标定是计算机视觉实现的前提， 也是必须首先解决的基本问题 三维信息的获取是计算机视觉与视觉检测研究的基础计算机视觉系统应能从视 觉传感器如摄像机获取的图像出发，通过确定二维像点与三维物点的对应关系，获得 空问环境中三维物体的位置、形状等几何信息，并由此识别环境中的物体一个视觉 系统获取外界环境图像信息的典型过程如图1 1 所示 图1 1 图像生成的过程 f i g 1 1t h ep r o c e s so fi m a g ef o r m a t i o n 来自环境物体表面发出或反射的光线通过成像镜头在c c d 像面成像并转化为电 信号，再由图像帧采集设备( 简称为取帧器，f r a m eg r a b b e r ) 将模拟电信号转化为数字 信号后传输给计算机，输出图像在这一过程中，相对于理想的小孔线性成像，除了 数字信号的传输可以认为基本不受干扰外，摄像机的成像镜头性能、c c d 光敏与电荷 藕合性能、取帧器采样信号的稳定性【3 】和将模拟信号转化为数字信号的量化误差以及 3 东北大学硕士学位论文第1 章绪论 模拟信号在传输过程中受到电磁干扰等都将影响视觉系统的成像，使生成的图像产生 畸变，因此，需要建立摄像机成像几何模型来表达二维像点与三维物点的对应关系 建立摄像机成像几何模型【4 1 并确定模型的参数是计算机视觉关键的一步，前者称 为摄像机建模，后者称为摄像机标定( c a m e r ac a l i b r a t i o n ) 摄像机标定包括辐射标定 与几何标定，前者主要标定颜色、亮度和对比度等辐射学方面的参数，后者主要标定 摄像机位置、焦距和光轴主点等成像几何参数本论文研究的是后者，因此如非特别 说明，本论文中的摄像机标定均指摄像机几何标定 1 2 摄像机标定技术的研究背景和现状 摄像机标定就是建立三维空间物体与二维图像间的对应关系，从而通过图像恢复 空间点的信息，实现两个目的：从计算机图像上点的信息推断景物信息；由已知的三 维空间的信息推导摄像机成像后的图像中信息 1 2 1 摄像机标定的历史状况 摄像机标定技术的研究包括两大方面，即摄像机模型( c a m e r am o d e l ) 与摄像机标 定方法，二者联系紧密，因为往往什么样的模型就决定需要采用什么样的标定方法根 据不同的应用，对摄像机的标定要求也是不同的比如说，对机器导航【2 】，要求能自 动快速地进行标定，而对于度量领域的应用，精度要求是第一位的本文第二章节2 3 将会较详细地介绍摄像机模型 摄像机标定起源于摄影测量( p h o t o g r a m m e t r y ) q b 的镜头矫j 下( l e n sc a l i b r a t i o n ) 对 镜头矫j 下的研究在十九世纪就已出现，二战后镜头矫正成为研究的热点问题，当时采 用多瞄准仪法【4 ( m u l t i c o l l i m a t o rc a l i b r a t i o n ) 或恒星法【5 l ( t h es t e l l a rc a l i b r a t i o nm e t h o d ) 等方法来矫正镜头从1 8 8 9 年到1 9 5 1 年之间，与摄像机镜头畸变矫正有关的文章近 百篇，r r o e l o f s 对此进行了总结并给出了文章的列表二十世纪五十到七十年代是 镜头矫正技术发展的黄金时期，主要原因是：随着二战中飞机的大量使用，航空摄影 与军用地图测绘兴起；立体测绘仪器( s t e r e o s c o p i cp l o t t i n gi n s t r u m e n t s ) 开始出现，以满 足日益出现的三维测量需求，为了获得高精度的测量结果，需要对摄像机镜头进行矫 正在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多 的镜头像差模型，d c b r o w n 等对此作出了较大贡献，推导了近焦距情况下给定位置 处径向畸变的表达式，并证明了近焦距情况下测得镜头两个位置处的径向畸变情况就 可求得任意位置的径向畸变等这些径向与切向像差表达式正是后来各种摄像机标定 非线性模型的基础其中，如何矫j 下镜头并用什么方法补偿镜头像差是研究的重点， 4 东北大学硕士学位论文第1 章绪论 这些研究也对促进各种性能镜头组的研制发挥了巨大作用 1 2 2 摄像机标定的发展 随着c c d 器件的发展，现在c c d 相机和摄像机( v i d e oc a m e r a ) 成为了大众化的 产品在测量领域，原来的照相机( p h o t o g r a p h i cc a m e r a ) 也已经被数码摄像机( d i g i t a l v i d e oc a m e r a ) 所代替应该说这些视觉测量系统的光学镜头与原来用于进行航空摄影 等用途的相机镜头参数相差巨大，如航空摄影镜头可能有几百立方厘米大，而普通 c c d 相机和摄像机镜头直径可能只有几毫米，焦距等也相差悬殊但是，其镜头模型 基本采用了原来摄影测量中建立起来的模型当然，像素与像元等数字化概念的出现 也使标定模型的参数有所增加，有些参数与镜头畸变没有明确的关系，于是在参数的 表达上采用相对于像素大小的数量单位在实际应用中更加方便，比如焦距另外，像 元的倾斜、c c d 阵列的平面度等问题也引起了学者们的关注作为一种改变，摄像机 标定一词出现并逐渐替代了镜头矫正，但还是要特别指出其字面意义上的区别，一般 意义下，摄像机标定仅仅指估计摄像机内部参数同时，摄像机标定研究的重点也发 生了改变，集中到如何建立更合适的图像畸变模型，怎样采用更快更稳定的方法来标 定畸变模型中的畸变系数，以及如何矫正畸变的图像 1 2 3 摄像机标定的研究现状 目前，内部参数固定的摄像机模型( 即不考虑变焦等情况) 已经比较成熟，主要是 根据需要选取不同精度、不同计算量的模型的问题，应该说现在已经不是研究的热 点一般来说，线性模型计算方便，运算速度快，能得到解析解，但很难完整表达镜 头的像差与摄像机复杂的成像过程，而非线性模型能更好地模拟和补偿各种像差，提 高模型的精度，但计算量大，往往需要采用非线性优化，鲁棒性降低 从摄像机标定方法看，传统的摄像机标定一般是利用一个标准参照物与其对应图 像的约束关系来确定摄像机模型的参数，可以应用一幅以上的图像进行标定，方法和 理论都已经比较成熟如果不考虑镜头像差的影响，可以使用线性方法标定，如直接 线性变换法但是由于没有考虑成像畸变因素，标定精度较低 提高标定精度是人们不断追求的目标为了提高计算精度，必须考虑非线性畸 变1 9 6 6 年，b h a l l e r t 发表了他在镜头与摄像机标定方面的研究成果，首次将最d x - 乘法用于对镜头标定多余观察数据的处理，并将其应用在野外立体坐标测量仪上，得 到了高精度的测量结果，所以说他为非线性优化在摄像机标定中的应用丌启了大 门1 9 7 5 年，w f a i g 考虑了摄像机成像过程中的各种因素，建立较为复杂的摄像机 5 - 东北大学硕士学位论文 第1 章绪论 成像模型并用非线性优化来求解非线性优化对提高摄像机标定精度提供了一条很好 的途径，非常适合于采用多参数的非线性畸变模型的标定，在能提供较好初值的情况 下，可以较快地收敛，得到高精度优化结果现在大部分标定程序都采用了非线性优 化，它的缺点是标定的结果依赖摄像机模型参数的初始给定值，而且计算速度慢，不 适于实时的标定 r y t s a i 综合上述方法，于1 9 8 6 年建立了经典的t s a i 摄像机模型，提出了两步 标定法，其中大部分参数采用线性直接求解，少数参数采用迭代方法求解，因而迭代 少，计算速度较快但该模型的畸变模型较简单，不能较好地解决图像畸变问题后 来j w e n g 改进了t s a i 模型的畸变模型【6 j ，使之能适应视场较大和畸变较严重的场 合r e gg w i l l s o n 在1 9 9 4 年利用t s a i 模型，用c 语言编程，分两步对固定焦距摄像 机进行了标定，并将标定程序公开在互联网上，极大地促进了该方法的应用 上世纪八十年代，随着计算机视觉学科的发展，摄像机标定变得异常频繁，这也 有力地促进了其标定技术的研究发展当摄像机正处于工作中，光学参数如焦距、放 大倍数等在工作中会有变化时，往往需要很快作出调整，此时，现场标定( o n t h e - j o b c a l i b r a t i o n ) 的概念被提出来这相当于一种闭环反馈系统，一般是将标定控制点混合 布置在工作区域或其周围，从而能在现场作出标定调整而在有些工作场合，摄像机 参数可能有变化，却又没有标定物时，就需要摄像机能直接面对环境景物作出标定此 时，自标定( s e l fc a l i b r a t i o n ) 的概念也被提出来b r o w n 于1 9 8 9 年指出了这两者的区 别，并详细讨论了成功实现自标定所需要满足的标准或条件 对摄像机标定方法的研究没有尽头，因为现实中总是需要运算更快，精度更高， 使用更灵活方便的标定方法，这意味着在运算瓶颈、方程病态、冗余参数、模型表达 等各个方面都需要更好地解决，这正是摄像机标定技术研究【7 ，8 1 的重要内容和需要继续 提高的地方 1 3 本课题的研究意义 随着c c d 摄像机在成像分辨率、图像采样速率及计算机图像处理速度方面的提 高，除了一般的监控、计算机视觉等领域，c c d 摄像机被越来越广泛地应用于三维立 体测量、视觉检测、运动测量等领域，且测量精度越来越高，在航空航天、军事等重 要部门发挥着越来越重要的作用而要提高测量精度，对摄像机进行高精度标定是最 重要的工作因为摄像机图像分辨率有限，成像的大小也有限，若摄像机成像后图像 畸变较大，则换算为空问距离后将是个不小的误差，这在高精度三维立体测量、视觉 检测、运动测量中是不允许的 6 东北大学硕士学位论文 第1 章绪论 因此，在高精度测量中，对摄像机进行高精度标定的根本目的是找出造成图像畸 变的因素，进而对图像畸变作出矫正，为后续试验处理提供理想的图像，从而提高测 量结果的精度 随着城市化的发展和汽车的普及，交通运输问题同益严重，智能车辆导航的概念 应运而生在智能车辆导航诸多复杂且具有挑战性的任务中，最受重视的是基于视觉 的道路跟踪，在这个过程中通常需要根据摄像机获取的图像信息计算三维空间中物体 的几何信息，并由此重建或识别物体，因而车载摄像机外部参数标定是必不可少的 1 4 本文的主要工作 1 4 1 主要研究内容 视觉是人类感知环境世界，认识外部世界的主要途径计算机视觉的研究目的就 是要赋予计算机以人类的视觉认知功能，使计算机具有通过二维图像认知三维世界的 能力从二维图像恢复三维物体可见表面的几何结构( 称为三维重建) 是人类视觉的主 要目的，即从摄像机获取的图像信息出发计算三维空间物体的几何信息，并由此重建 和识别物体而空间物体表面某点的三维几何位置与其在图像中对应点之间的投影关 系中包含了摄像机的内部和外部参数，计算的过程称为摄像机标定 为了获取大视场的景物视频信息，人们常常使用广角摄像机镜头从而使得物体 点在摄像机图像平面上实际所成的像与理想成像之间存在不同程度的非线性光学畸 变，图像严重失真，所以需要矫正图像 本文基于摄像机的小孔成像原理，由图像上点和空间点的对应投影关系，标定摄 像机的内部参数：对于广角摄像机得到的畸变图像，要想获取真实的信息，则需要首 先把畸变的图像进行矫正；对于智能车辆，对车载摄像机提供了一个简便、可行的方 法标定摄像机的外部参数 1 4 2 论文的组织结构 第一章绪论对本文研究的领域和相关的背景知识进行了概述，包括计算机视觉 的概述，以及摄像机标定的研究内容、发展状况和课题的意义 第二章摄像机内部参数标定原理介绍了摄像机成像的原理，并阐述了二维图像 点和三维空间点的对应关系，应用标定板上的特殊点( 角点) ，通过求解线性方程组， 来分解摄像机的内部参数和外部参数 第三章畸变图像的矫正提出了应用牛顿迭代法对畸变图像进行矫正方法通过 7 ，o 东北大学硕士学位论文 第1 章绪论 分析畸变原因和畸变模型，然后应用牛顿迭代的方法求解非线性方程组，逐步逼近， 达到对有畸变的图像进行矫正的目的 第四章车载摄像机外部参数标定为了解决基于视觉导航的智能车载摄像机外部 参数的标定问题，本文提出了摄像机外部参数的标定方法首先根据摄像机透视投影 原理，知道地面上三条平行线在图像上具有相同的消失点和不同的斜率而摄像机的 外部参数与消失点和斜率有着内在的联系，以此建立了以像素为单位的摄像机外部参 数表达式，经过数学推导和坐标变换，完成了车载摄像机外部参数的标定 第五章总结了本文的主要成果，提出了研究展望 - 8 - 东北大学硕士学位论文 第2 章摄像机内部参数标定原理 第2 章摄像机内部参数标定原理 2 1 引言 三维计算机视觉系统应能从摄像机获得的图像信息出发，计算三维环境的位置、 形状等几何信息，并由此识别环境中的物体图像上每一点的亮度反映了空间物体表 面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有 关这些位置的相应关系，由摄像机成像几何模型所决定，该几何模型的参数确定的 过程称为摄像机标定摄像机模型是光学成像几何关系的简化，最简单的模型是线性 模型，或称为针孔模型，但是对于广角镜头，线性模型不能准确地描述成像关系，此 时就需要对非线性摄像机标定 本章首先介绍了摄像机的成像模型和摄像机标定的原理及过程，最后给出了张正 友标定方法的程序步骤和流程图，并应用标定工具得到了摄像机的内部参数结果 2 2 目的和意义 从计算机图像上点的信息推断景物信息：首先要能够推断出目标点的空间位置给 定图像坐标，通过摄像机标定，能够确定一条通过空间目标点的视线，两条这样的直 线的交点，决定了目标点的实际位置这种标定技术主要应用于工件在线测量、机电 元件的自动装配、机器人标定和轨迹分析