（航空宇航制造工程专业论文）基于平面镜的摄像机标定技术研究.pdf

西北i 业大学硕士论文 摘要 摘要 随着高精度的计算机视觉系统的广泛应用，以及对计算机视觉系统获取三维 景物信息精度要求的逐渐提高，摄像机标定已经成为计算机视觉的基础工作和首 先必须努力解决的重要问题。它是从二维图像获取三维信息必不可少的步骤。 要进行摄像机标定首先要建立摄像机成像模型。本文利用透视投影理论建立 小孔摄像机四参数、五参数和非线性数学模型。 本文提出了一种全新的基于平丽镜的摄像机内参数标定方法。该方法无需其 它任何标定物，利用平面镜的反射性质和消失点、消失线等理论，通过移动摄像 机或平面镜作至少2 次平移运动( 各次平移间应存在旋转运动) 即可线性地标定摄 像机的内参数。在计算镜面法线方向的消失点和镜面方向的消失线基础上，本文 给出了内参数的两种解法，其中解法一是直接利用空叫几何关系推导出标定内参 数的方法，其只能用于求解四参数模型；解法二是计算绝对二次曲线的像，然后 分解出摄像机的内参数，其适用于求解四参数和五参数模型。模拟实验中分别测 试了在两种解法下图像噪声和平移前后镜面的平行性对标定结果的影响。模拟和 真实图像实验表明所提出的方法能快速、方便地对摄像机进行标定，说明了该方 法的有效性。 另外在详细介绍图像中心和比例因子的基础上，提出了_ - - 种预标定这些内参 数的方法。此方法是基于平面镜的基础上通过摄像机绕其光轴作旋转运动来实现 的，摄像机每旋转一次拍摄一幡图像( 至少拍摄4 幅图像) 。由于平面镜的性质， 摄像机有平移时不会影响到光心经平面镜反射后在图像平面上的位置，所以摄像 机绕光轴旋转较容易实现。摄像机光心经平面镜反射后的虚像满足一圆的方程， 在只考虑径向畸交时，一个发生畸变的圆在像素坐标系中仍是一个圆，只是半径 改变而已。这样就可以利用半径相等列方程求解摄像机部分内参数。模拟实验中 分别测试了图像噪声和镜面与光轴夹角误差对标定结果的影响。模拟和真实图像 实验表明所提出的方法具有较高的精度和稳定性。 关键词：计算机视觉摄像机标定，平面镜，消失点，消失线 堕! ! ! ：些盔兰堡堡塞 垒望! ! 坠曼! c a m e r ac a l i b r a t i o nt e c h n i q u eb a s e d o n p l a n a rm i r r o r a b s t r a c t w i t ht h eb r o a da p p l i c a t i o no fh i g h p r e c i s i o nc o m p u t e rv i s i o ns y s t e m sa n dt h e a c q u i s i t i o no f3 df e a t u r e si n f o r m a t i o nr e q u e s t e db yg r a d u a l l yi n c r e a s i n gp r e c i s i o n ， c a m e r ac a l i b r a t i o nh a sb e c o m et h eb a s i cw o r ka n dt h ei m p o r t a n ti s s u e st of i r s tt r yt o r e s o l v e c a m e r ac a l i b r a t i o ni sam a j o rf i e l di nc o m p u t e rv i s i o na n da ni n d i s p e n s a b l e s t e pt oo b t a i n3 dg e o m e t r i ci n f o r m a t i o nf r o m2 di m a g e s c a m e r am o d e lm u s tf i r s tb ee s t a b l i s h e db e f o r ec a m e r ai sc a l i b r a t e d i nt h i sp a p e r ， m a t h e m a t i c a lm o d e l so ff o u rp a r a m e t e r s ，f i v ep a r a m e t e r sa n dn o n - l i n e a ra r e e s t a b l i s h e d0 1 1t h eb a s i so f p r o j e c t i v et h e o r y i nt h i sp a p e r ，an e wm e t h o do fc a m e r ac a l i b r a t i o nf o ri n t r i n s i cp a r a m e t e r si s p r o p o s e d t h em e t h o di sb a s e do nap l a n a rm i r r o ra n dd o e sn o tn e e da n yo t h e r c a l i b r a t i o no b j e c t 1 1 1 ei n t r i n s i cc a m e r ap a r a m e t e r sc a nb el i n e a r l yc a l i b r a t e db yu s i n g t h er e f l e c t i o np r o p e r t yo fp l a n a rm i r r o ra n dt h et h e o r i e ss u c ha sv a n i s h i n gp o i n t sa n d v a n i s h i n gl i n e sa n db yc o n t r o l l i n gt h ec a n 3 e r ao rt h em i r r o rt ou n d e r g on o tl e s st h a n2 t r a n s l a t i o n s 一一t h e r es h o u l db er o t a t i o no fc a m e r ab e t w e e na n y2t r a n s l a t i o n s o nb a s i s o fo b t a i n i n gav a n i s h i n gp o i n to fn o r m a lm i r r o ra n dav a n i s h i n gl i n eo fd i r e c t i o no f m i r r o r ，t w os o l u t i o no fi n t r i n s i cp a r a m e t e r sa r ei n t r o d u c e d ，o n eo fw h i c hi so n l yu s e d t o4p a r a m e t e r sm o d e lo f c a m e r a ，b u tt h eo t h e rc a nb eu s e dt o4o r5 p a r a m e t e r sm o d e l b o t hc o m p u t e rs i m u l a t i o na n dr e a ld a t ah a v eb e e nu s e dt ot e s tt h ep r o p o s e dt e c h n i q u e a n dt h er e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a nq u i c k l ya n dc o n v e n i e n t l yc a l i b r a t e t h ec a m e r aa n di sc o r r e c t ，a n dw o r k a b l e i na d d i t i o n ，am e t h o do fc a l i b r a t i o no fc a m e r ai m a g ec e n t e ra n ds c a l ef a c t o ri s p r o p o s e do nb a s i so fi n t r o d u c i n gt h e s ei n t r i n s i cp a r a m e t e r so fc a m e r ai nd e t a i l t h i s m e t h o di sb a s e do nap l a n a rm i r r o ra n di sr e a l i z e db yr o t a t i n gc a m e r aa r o u n di t s o p t i c a la x i s a c c o r d i n gt ot h en a t u r eo fp l a n em i r r o r ，t h et r a n s l a t i o no fc a m e r aw i l l n o ta f f e c tt h ep o s i t i o no fo p t i c a lc e n t e ri nt h ei m a g e s ，s ot h er o t a t i o no ft h ec a m e r a a r o u n do p t i c a la x i si se a s i e rt oa c h i e v e t h ev i r t u ei m a g e so fo p t i c a lc e n t e ri nt h e i i i 州北j 二业大学硕士论文 a b s t r a c t m i r r o rm a k eu po fac i r c l e w i t ho n l yr a d i a ld i s t o r t i o n s ，ac i r c l er e m a i n sac i r c l ei nt h e p i x e lc o o r d i n a t e ss y s t e m e x p e r i m e n t sw i t hs i m u l a t e dd a t aa sw e l la s w i t hr e a li m a g e s s h o wt h a tt h ep r o p o s e dm e t h o dh a sh i 曲p r e c i s i o na n dg o o ds t a b i l i t y k e y w o r d s ：c a m e r ac a l i b r a t i o n ，p l a n a rm i r r o r ，v a n i s h i n gp o i n t ，v a n i s h i n gl i n e l v 西北 业大学硕士论文 第一章绪论 1 1 计算机视觉概述 第一章绪论 计算机视觉是研究用计算机柬模拟人和生物的视觉系统功能的技术学科。它 是一门综合性的学科，其中包括计算机科学和工程、信号处理、物理学、应用数 学和统计学，神经生理学和认知科学等。计算机视觉的研究目标是使计算机具有 利用一幅或多幅图像认知周围环境信息的能力。这种能力使计算机能感知环境中 物体的几何信息。包括形状、位置、姿态、运动等，而且能对它们进行描述、存 储、汲别与理解。 计算机视觉系统是指用计算机来实现对客观的三维世界的识别。按现在的理 解，人类视觉系统的感受部分是视网膜，它是一个二维采样系统。三维的物体的 可见部分投影到视网膜上，人们按照投影到视网膜上的二维的像来对该物体进行 三维的理解。所谓三维的理解是指对物体的形状、尺寸、离开观察点的距离、质 地和运动特征的理解。计算机视觉希望解决的是完全相同的问题。计算机视觉系 统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入 计算机的就是三维客观世界的二维投影。如果把三维客观世界到二维投影像看 作是一种正变换的话，那么计算机视觉系统所要做的是从这种二维投影像到三维 客观世界的逆变换，也就是根据这种二维投影像去重建三维的客观世界。从三维 客观世界到二维投影像，有一维信息从显露成为隐含，计算机视觉系统的工作就 是要把这种隐含的三维信息提取出来，进行理解加上。 第一个较为完善的视觉系统框架是m a n - 1 5 1 首次提出的，他从信息处理的角度 综合了图像处理、心理物理学、神经生物学及临床精神病学的研究成果。这一视 觉理论的提出，大大推进了计算机视觉研究的发展。m a r r 认为，视觉是个信 息处理系统，对此系统研究应分为三个层次：计算理论层次，表示与算法层次， 硬件实现层次。而且，又把视觉过程划分为三个阶段：第一阶段是将输入的原始 图像进行处理，抽取图像中诸如角点、边缘、纹理、线条、边界等特征，这些特 征的集合称为基元图；第二阶段是指在以观测者为中心的坐标系中，由输入图像 和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度信 息，但不是真正的物体三维表示，因此，称为- 维半图：在以物体为中心的坐标 系中，由输入图像、基元图、二维半图柬恢复、表示和识别三维物体的过程称为 撕j k - t - 业人学硕士论文 第一章绪论 视觉的第三阶段。研究计算机视觉主要是为了开发能从图像数据自动构成场景描 述的图像理解系统，满足人类生活环境中所提出的各种要求。目前对视觉机理的 理解还落后于处理手段的发展，对计算机视觉的基础理论研究尚在探索和形成 中，应加强这一领域基础理论的研究，如不注意基础研究，就会使应用技术研究 成为无源之水，无法形成一门具有唪实理论的学科。所以在计算机视觉的研究中， 一方丽应加强理论研究，以形成统一的理论框架，这项i ：作很有挑战性，另一方 面应重视实验与应用工作，促进计算机视觉技术能够得到更广泛，更深入的发展。 随着计算机视觉技术应用范围的逐渐扩大，应用复杂性的逐渐提高，计算 机视觉e 同益成为一门内容丰富的综合性学科，它在现代工业、国防、医学、空 问技术等领域有着广泛的应用前景。利用成像系统和计算机实现景物的自动识 别，是开发人工智能的一个最关键的突破口，如果不能实现机器的自动感知和识 剐周围环境的功能，机器智能就无从谈起。因此计算机视觉技术的成功应用将大 大推动人工智能系统的发展，拓广计算机和各种智能机器的应用领域。 计算机视觉系统应能从视觉传感器( 如摄像机) ) 获取的图像出发，计算三 维环境物体的位置、形状等几何信息，并由此识别环境中的物体，才能做出币确 反应。因此，计算机视觉的中心任务就是利用计算机实现对三维景物的描述和识 别。这里所说的描述是指由三维信息获取二维图像的过程，而识别就是二维图像 的三维恢复。无论哪一种任务，首先必须解决的都是三维物体点与二维图像点的 对应关系问题。这种对应关系是山摄像机成像几何模型所决定的，而确定这种对 应关系的过程，即为摄像机标定。具体的讲，就是通过建立己知物像点的对应关 系模型，计算成像系统内外几何及光学参数，从而获取模型参数的过程。由此可 知，视觉系统标定是计算机视觉实现的前提也是! 必须首先解决的基本问题。 1 _ 2 摄像机标定的作用和原则 1 2 1 摄像机标定的作用 摄像机标定技术的应用场合不同，作用也会，f i 同恤j ： ( 1 ) 从计算机图像坐标推断景物3 d 信息。 首先是能够推断出目标点的空间位置。给定图像坐标，通过摄像机标定，能 够确定一条通过空间目标点的视线，两条这样的直线的交点，决定了目标点的实 际位置。这种标定技术主要应用于工件在线测量、机电兀件的自动装配、机器人 标定和轨迹分析等。这时，摄像机的内、外参数j 需要次标定。其次是确定移 动摄像机相对于目标世界搬标系的化置和方化。t 要用j ：机器人手恨标定及机器 2 西北【：业入学硕十论文 第一章绪论 人导航。 ( 2 ) 由己知的3 d 信息推导2 d 计算机图像坐标。 在利用计算机视觉进行模型驱动的检测与裟配应用中，如果目标像坐标符合 某种对景物状态的假设时，这种假设可以通过观察而得以证实。也就是将假设图 像和实际拍摄的图像进行匹配比较，可以确认对物体及其空间位置的假设是否正 确。为了达到这一目的，就需要对摄像机的内、外模型参数进行标定，使得对假 设位置的目标能f 确的预测其二维图像坐标。 1 2 2 摄像机标定的原则 为了实现目标的精确而有效的定位，以达到满足实际场合应用的需要，摄像 机标定应满足如下基本原则： ( 1 ) 自主性：标定过程应该无需操作者的介入，如为某些参数设定初始值， 手工选择某些系统参数等。 ( 2 ) 精确性：在工件检测、装配及机器人手眼标定应用中，常常霈要能达到 工作区域几千分之一的精度。摄像机标定应该具有满足这种精度要求的潜力。这 就需要成像过程的理论模型必须精确，应该包含镜头畸变等因素。 ( 3 ) 合理的效率：整个标定过程不应包含过高次的非线性搜索。特别是在机 器人手跟系统中，外部参数需要多次标定，标定方法应尽可能的提高速度。 ( 4 ) 适应性：在较宽范围的精度要求、成像殴备及应用上，标定技术应尽可 能的达到一致。 ( 5 ) 只需普通的成品摄像机：摄影测量领域中的摄像机标定技术一般需要特 殊的专业摄像机和设各。由于其标定较为复杂，使自动化受到局限。而普通成品 摄像机具有通用性强、容易获取、用户界面操作简单等优点。 1 3 标定技术的发展状况 随着高精度的计算机视觉系统在智能机器人、，1 ：业自动化生产、近景摄影测 量和军事颁域的广泛应用，以及对计算机视觉系统获取三维景物信息精度要求的 逐渐提高，摄像机标定已经成为计算机视觉的基础工作和首先必须努力解决的重 要问题。2 0 多年来，许多学者对应用于计算枧视觉的成品摄像机标定方法进行 过研究，并取得了很大成果。 根据应用背景的不同摄像机的标定可分为传统的摄像机标定方法，和摄像机 自标定【1 , 7 1 。传统摄像机标定基本方法是，在一定的摄像机模型下，基于特定的 3 西北1 ：业人学硕士论文 第一章绪论 实验条件如形状、尺寸已知的标定参照物，经过对其图像进行处理，利用一系列 数学变换和计算方法，求取摄像机模型的内部参数和外部参数。传统的摄像机标 定方法有透视变换矩阵方法、非线性优化法、考虑畸变补偿的两步法。 利用透视变换矩阵的标定力法被广泛应用于实际的系统，并取褥了满意的结 果”。g a n a p a t h y l l 2 】首先给出了一个由透视变换矩阵求解摄像机内部参数和外部 参数的方法，并对分解过程作了详细的分析。然而，这种方法没有充分考虑镜头 畸变误差，而且各参数之间不是线性独立的，使得这种方法在噪声存在环境下， 精度会受到限制。 非线性优化法利用三维坐标的一些特征点与相应的图像点的坐标的相互关 系，建立方程，寻找在某些约束条件下的最小值。f a i g 的方法是这类标定技 术的一个典型代表，充分考虑摄像机成像过程中的各种因素( 至少1 7 个参数) ， 精心设计了摄像机模型。s o b e l 提出的方法也属于此类，需要优化1 8 个参数 这一类摄像机标定方法的优点是，可以假设摄像机的光学成像模型非常复杂，包括 成像过程中各种因素。然而由此带束的问题是：1 ) 摄像机标定的结果取决于摄像 机的初始给定值，如果初始值给得不恰当，很难通过优化程序得到正确的标定结 果。2 ) 优化程序较费时。 典型的两步法是t s a i 首先提出的基于径向排列约束( r a c l 的两步法1 1 5 - 1 6 1 ：第 一步利用最小二乘法解超定线性方程组，给出外部参数；步求解内部参数，如果 摄像机无透镜畸变，可山一个超定线性方程解出如果存在径向畸变。则通过一 个三变量的优化搜索求解，t s a i 的方法只考虑了径向畸变，没有考虑切向畸变。 两步法的优点是迭代参数较少，能提供较好的仞始值，求解速度快，精度比较高。 它同时具有线性求解速度快和非线性优化计算准确的优点，是目前较好的种方 法。z h a n g 7 1 提出利用多个平面模板代替传统的摄像机标定块来标定摄像机的算 法也属于两步法。w e n g 】同时考虑了切向畸变，并给m 了相应的算法是对两 步发的重要发展。 自标定方法不需要标定块，仅仅依靠多幅图像别应点之问的关系直接进行标 定。自标定技术适用于，存在经常性调整摄像机的要求，而且难以设置已知的标 定参照物的情况下。由于自标定仅需要图像问的对应点，标定方法灵活性强，潜 在的应用范围广。但是，自标定方法最大的不足是鲁榨性差。这主要是山于自标 定方法不论以何种形式出现，均是基于绝对二次益线或者绝对二次鲢面的方法， 需要直接或间接地求解所谓的k r u p p a 方程。目前，自标定方法主要有直接求解 k r u p p a 方程的白标定，分层逐步标定，基于绝对二次曲面的自标定，p o l l e f e y s 的模约束法，可变内参下的分层逐步标定等。自标定 法的主要应用场所是精度 4 西北【：业人学硕士论文 笙二里笾堡 主要考虑的问题是 要求不高的场合，如通讯，虚拟现实技术等等。在这些场合， 视觉效果而不是绝对精度。 直接求解k r u p p a 方程的方法是利用绝对二次曲线像和极线变换的概念推导 出k r u p p a 方程“”。在给定3 幅图像的情况下，原则上可求解出摄像机的全部 5 个内部参数。 分层逐步标定首先要求对图像序列做摄影重建，在通过绝对二次曲线( 面) 施加约束，定出仿射参数( 即无穷远平面方程) 和摄像机内参数。如h a r t l e y 方 法1 2 4 1 ，p o l l e f e y s 方法【2 5 】等。 绝对二次曲面的概念最早是由t r i g g s l 2 6 弓 入到自标定的研究中柬，利用绝对 二次曲面对应着图像上绝对二次曲线像的对偶，将摄像机内参数的自身约束转移 到对绝对二次曲面的约束上来，这就是基于绝对二次曲面的自标定方法。 p o l l e f e y s l 2 7 1 提出的模约束法则是将仿射标定和欧氏标定分开进行。他发现无 穷远平面在两幅图像间的单应矩阵与一个旋转矩阵在相差一个尺度因子下共轭， 则根据旋转矩阵的性质，此单应矩阵的特征值的模应相等，这就是所谓的模约束。 需要指出的是，这种模约束只是在内参数矩阵恒定的情况下才成立。 上述的自标定法均是针对摄像机内参数恒定的情况，但在某些实际场合，经 常需要改变内参，如缩放焦距等。为解决此问题，学者们提出了可变内参数下自 标定的概念。p o l l e f e y s 等【2 8 j 给出了一种变焦距下的自标定方法，他们采用类似 m o o n s 等1 2 9 1 的方法，首先控制摄像机保持焦距不变做纯平移，从而获得仿射标 定，计算出初始焦距后，再利用模约束在焦距变化时标定；s t u r m l 3 0 】提出了一种 针对可变焦距摄像机的自标定方法，该方法需要预标定，确定出5 个内参数的互 相关模型，从而将焦距变化时的自标定过程简化到只需计算第一个内参数。 h a r t l e y 等【3 1 1 首先利用摄影重建中的“前后性”限制取值范围，用穷举法直接搜 索并计算单应矩阵。 近年来，摄像机主动视觉标定方法受到越来越多的重视。这种方法是“已知 摄像机的某些运动信息”下标定的方法。这些运动信息包括定量信息和定性信息。 定量信息如摄像机朝某一方向平移某一给定量，摄像机的二平移运动正交等。定 性信息如摄像机仅做平移运动或仅做旋转运动等。f a u g e r a s 等口副提出基于主动视 觉自标定技术，通过移动摄像机的运动等标定内参数，使标定问题大为简化。目 前基于主动视觉摄像机自标定方法可分为两类：第一类是通过摄像枫在三维空间 内作平移运动，来求解摄像机的内参数 3 3 - 3 6 j 。另一种方法是最近由b a s u 3 7 1 ，d u 和b r a d y t 3 8 】，h a r t l e y 3 9 1 等所提出的通过摄像机的旋转，来求解内参数的方法，其 算法有一定的局限性。此方法的主要优点是由于标定过程中知道了些摄像机的 5 堕j ! ：! ；些盔堂堡主堡塞 苤二童笪丝 运动信息，所以一般来说，摄像机的模型参数可以线型求解，计算简单、鲁棒性 高。不足在于系统的成本高。 除了基于小孔摄像机模型外，还有其它的摄像机模型，如m a r t i n s 等首先提 出并由马颂德和魏国庆作了大量工作的双平面标定法【4 0 1 。这类方法优点是利用线 性方法求解，不需要非线性优化。缺点是至少2 4 个参数，未知数个数较多。 以上这些方法各具优点，适用于不同的应用领域，但是也应该看到，到目前 为止摄像机标定技术还远未完善，有关标定方法文献的不断出现，也正说明这一 课题依然需要进一步的研究。 1 4 本论文的结构与创新点 本文以计算机视觉中的标定技术为专题，提出了全新的基于平面镜的摄像机 内参数的标定方法，并对其进行了深入的研究。 本论文的工作内容共分为以下六章： 第一章：简要介绍了计算机视觉概况，摄像机标定的作用和原则，并就该学 科领域国内外研究现状和研究方法作了简要概述。 第二章：介绍了特征点提取和匹配，深入研究了利用h o u g h 变换提取图像 直线的方法。 第三章：在分析摄像机标定技术的基本原理的基础上建立了摄像机四参数和 缸参数线性模型和非线性畸变模裂。 第四章：提出了一种全新的基于平面镜摄像机内参数标定方法。在详细介绍 了相关概念和相关理论的基础上，给出了本方法的推导过程。在求得镜面法线方 向消失点和镜面方向消失线的基础上，本文给出了内参数的两种解法，并给出了 相应的算法，进行了相应的模拟和真实实验。其中，解法一只能用于求解四参数 模型，解法二适用于求解西参数和五参数模型。 第五章：在详细介绍图像中心和比例因子的基础上，提出了一种预标定这些 内参数的方法。此方法是基于平面镜的基础上通过摄像机绕其光轴作旋转运动来 实现的。给出了本方法的推导过程、相应的算法和相应的模拟和真实实验。 第六章：总结了本论文研究的主要内容。 本论文的创新点主要有： ( 1 ) 本文提出了一种全新的基于平面镜摄像机内参数标定方法。浚方法无 需任何标定物，利用平面镜的反射性质和消失点、消失线等理论通过移动摄像 机或平面镜作至少2 次平移运动( 各次平移间应存在旋转运动) 可线性地标定摄 6 西北一 业火学硕二t 论文 第一章绪论 像机的内参数。在求得镜面法线方向消失点和镜面方向消失线的基础上，本文给 出了内参数的两种解法。 ( 2 ) 提出了一种预标定摄像机图像中心和比例因子的方法，此方法是基于 平面镜的基础上通过摄像机绕其光轴作旋转运动来实现的。 ( 3 ) 基于射影几何交比不变性原理，提出了利用图像中特征点及其平面镜 虚像的成像点和平面镜法向方向的消失点柬计算相应平面镜上点投影的方法，并 且利用平面镜上点的投影来计算平面镜方向的消失线：当空f n j 点的投影在像平面 上不可见时，提出了利用平面镜法线方向消失点和空i 只j 点在平面镜中虚像的投影 柬计算此空阃投影点的方法。 ( 4 ) 论证了当摄像机或平面镜作纯平移运动时，摄像机中心经平面镜反射 后所成的空间虚像投影到成像平面上的位置不变。论证了平面镜法向方向上的消 失点就是摄像机光学中心经平面镜反射后投影到自身图像平面上的点。论证了可 以用可见镜头中心在像平面上的投影来代替光学中，c 、的投影。 ( 5 ) 通过m a r l a b 编程实现了图像处理、特征直线的提取，摄像机内参数的 标定和部分摄像机内参数的预标定算法。 7 州j 七上业火学硕士论文 第二章图像特征提取、匹配 2 1 引言 第二章图像特征提取、匹配 视觉领域里的一个瓶颈问题是在不同的图像问自动建立起特征点的匹配，许 多重要的视觉理沦与应用，如摄像机自标定、三维重建、监控、运动分析等都是 在假设匹配问题己解决的前提下展开的，因此，如何实现自动匹配对于我们做进 一步的视觉研究具有重要的意义。点和直线是计算机视觉计算中最常用的特征。 一般来说，图像特征抽象层次的提高，将更有利于进行图像处理和分析，而且直 线特征比点特征更容易检测。 在本文第四章中提出的基于平面镜的摄像机标定方法中不需要其它标定物， 原则上是需要特征点的提取和匹配工作，但是由于匹配问题是较难解决的瓶颈问 题，本文中利用打印的五边形作为模板采用提取直线特征，然后利用直线的交点 作为特征点，再利用人工匹配策略来完成标定的真实实验的。 2 2 特征点的提取和匹配 2 2 1 特征点的提取 特征点通常指灰度变化剧烈的点，包括物体轮廓，卜的曲率变化最大点、直线 的交点、单调背景上的孤点等。从图像中提取特征点是匹配的第一步。相对于匹 配问题，点特征提取相对容易，但是对一个基于特征的视觉系统，如果不能提取 出好的特征来匹配，这个视觉系统是无法实际运行的。这里定义一个好的特征点 满足以下两个条件： ( 1 ) 这些特征点有利于跟踪算法去匹配； ( 2 ) 这些特征点对应于真实场景的点。 第一个条件是为了匹配考虑，因为提取特征点的日的是匹配特征点，所以特 征点的提取算法需要考虑匹配过程。第二个条件是考虑到由于二维图像的形成过 程丢失了深度信息，而不同深度的二条边缘可以在图像上投影出一个特征点。 关于特征点的提取一般有两炎方法： 第一类方法首先从图像中提取边缘，再在边缘组成的链上搜寻曲率最大点， 或者将该边缘用多边形来近似拟合，再计算出多边形的各顶点作为特征点。 9 堕! 塑! 些查堂堡丝壅 塑二：童塑堡堑堑塑壑：垩墼 第二类方法是直接法。首先定义某种算子，通过在扶度化图像上寻找该算予 的极值来提取特征点，如h a r r i s 算子。 2 2 2 特征点的匹配 匹配算法就是在两幅图像的匹配基元之间建立对应关系的过程它是立体视 觉系统的关键。实际上，任何计算机视觉系统中都包含一个作为其核心的匹配算 法，因而对于匹配算法的研究是极为重要的。匹配过程是计算机视觉系统的瓶颈 问题。 比较各种匹配算法的角度：( 1 ) 精度；( 2 ) 可靠性；( 3 ) 通用性( 适于不同场景 的能力) ；( 4 ) 预见性；( 5 ) 复杂性( 设备及计算量的代价) 。 匹配算法一般有两种考虑途径：灰度分布的相关性，特征分布的相似性。因 而就有两类算法： 基于灰度的匹配算法。 它是指图像处理中所称的区域相关方法，它是解决对应问题的一个最直观最 简单的方法。在一幅图像中以点为中心选定一个区域( 窗1 5 1 ) ，在另一幅图像 中寻找与该区域相关系数最大的区域，把该找到的区域的中心认为是原来那区域 中心的对应点。这罩所说的图像包括经过某种特殊处理如高斯滤波后的图像。 这种算法计算量大，但可以得到整福图像的视差图。该算法对噪音很敏感， 考虑到计算量，窗口不宜开得过火，因而可能匹配的选择较大，误对应可能性大， 不适于灰度分布均匀的图像，较适于扶度分布很复杂的图像，如自然景物等。采 用该方法的关键在于排除或减轻噪音的影响。通常采用多层次相关对应及多幅图 像的统计平均处理方式来实现。 基于特征的匹配算法。 鉴于灰度区域相关方法的局限性，现在大部分研究集中在这方面。在许多环 境( 如有线条轮廓特征可寻的人工环境) 中，图像的特征足很有规律地分布的，反 映了场景的核心，数量少，处理方便。基于特征的匹配算法特别适用于特殊的比 较简单的环境如室内环境，具有速度快、精度高的特点。但对于自然环境，由于 缺少显著的主导特征，该方法也遇到了很大困难。 基于特征的对应算法，通过建立所选基元的对应关系，旨在获取一个稀疏深 度图，如果需要再经过内插等方法可以得到整幅深度图。这类算法困各自采用 的匹配基元不同而相异。概括而言，该类匹配算法都是建立在匹配基元之间的相 似性度量基础上的。这种相似性度量被称为亲台性，它是以匹配基元的各项参数 信息为依据的局部特征相似程度的度量。这种度量方法与摄像机模型相结合，可 1 n 两北r = 业大学硕士论文 第二章幽像特征提取、匹配 以大大减小匹配时的搜索空间。 由于仅利用亲合性建立匹配是模糊的，可能匹配的空问仍旧很大( 多对一 的) ，因此有必要引入其它约束条件及控制策略束限制搜索空间。减小模糊程度。 匹配算法中常引入的两种约束条件及控制策略是极线约束、连续性约束、分层次 的匹配策略( 即由粗到精策略) 。这种引入约束的方法实际上是将有关环境模型 的知识融于算法之中。这种算法的具体实现，可以采用概率度量、松驰法迭代或 者聚类等模式识别算法来实现。作为最后结果的对应关系，可以利用启发式搜索 方法从己经大大减小了的搜索空间中获得。这部分可望能利用现代人工智能研究 的许多手段如专家系统等研究方法，作为承上启下，建立更高层次描述的先导。 2 3 利用h o u g h 变换法提取图像直线 h o u g h 变换是从图像中识别几何形状的基本方法之一，其主要优点是检测几 何形状的能力较少受到几何形状中问断点和噪声的干扰，而且不需要预先组合或 连接边缘点。 h o u g h 变换应用很广泛，最基本的h o u g h 变换是从灰度图像中检测直线。 利用h o u g h 变换法提取直线是一种变换域提取苴线的方法，它把直线上点的坐 标变换到点直线的系数域，巧妙地利用了共线和直线相交的关系，使直线的提取 问题转化为计数问题。 设已知灰度图像上一条直线，要求出这条直线所在的位置。图像空问x y 中 的直线用法线式表达为 x c o s 0 + y s i n 0 = pp 0 0s 0 7 r ( 2 1 ) 其中p 为直线z 到原点的距离，0 为过原点垂直于直线；的直线与x 轴证方向 的夹角，根据方程式( 2 1 ) ，直线，上不同的点在参数平面p 一0 中被变换为一簇 相交于p 点的正弦曲线。显然，若能确定参数平面中的p 点，就实现了直线检测。 也就是说，图像平面中的直线与参数平面中的点对应，反之亦然，这就是 h o u g h 变换的对偶性原理，如图2 i a 所示。图像平面中的一点与参数平面中的 一条曲线一一对应，而且容易知道，图像平面中的共线点所对应与参数平面中的 曲线相交于一点，如图2 1 b 所示。通常将以p 一0 为参数的平面称为h o u g h 空 间。 依据h o u g h 变换的对偶性原理，在式( 2 1 ) 中，x 和y 表示直线上的点的- x # 坐标值，而p 和0 表示该条直线的参数，当一直线的参数已知，则该条直线 ：点 兰塑l 尘堕生堂! 型塞 塑三童型堡堑堑堡墼：匹墼 的坐标之间的关系即可确定。现在感兴趣的变量是参数p 和p ，并且直线上某点 的坐标为已知，那么此时该点的坐标x 和y 在式( 2 1 ) 中即为常数，而参数p 和p 被看作为变量，以p 和口为变量的式( 2 1 ) 所表示的是h o u g h 空间p 一口中的一条 曲线。如果已知直线上的辨令点。那么这些点对应参数空州p 一移上的一个曲线 簇，且所有曲线都经过参数空间p 一口中的一个点p ，该点的坐标当然反映图像 平面工一y 中该条直线的参数。 图2 一l a h o u g h 变换的对偶性原理 图2 一l bh o u g h 变换的对偶性原理 h o u g h 变换就是使用图像平面到h o u g h 空间的映射而确定参数的方法。 h o u g h 变换的具体实现是利用表决方法，即曲线上的每一点可以表决若干参数组 合，赢得多数表决的参数就是胜者。在这种方法中，常把参数平面设计成一个累 加器阵列，表示离散参数值。依照变换方程，由图像平面中的边缘点数据区计算 h o u g h 空间中的参考点的可能轨迹，并在一个累加器中统计出的参考点数，最后 选出峰值。图像中的每一个点可以表决几个参数，而参数平面( 或累加器阵列) 的峰值就是表征条直线的参数。 其体实现见下列的算法： ( 1 1 适当的量化h o u g h 窄问，即在p 和p 合适的最大值、最小值之间建立一 12 陵k ，_-，。，l，1入 西北f 业大学硕十论文 第二章图像特征提取、匹配 个离散的h o u g h 空间，将p 一日平面量化成许多小网格。 ( 2 ) 假定h o u g h 空间的每一个小网格都是一个累加器，建立各个累加器，并 把累加器初始化为零。 ( 3 ) 对图像平面的每一个点( x ，y ) ，在其所满足的参数方程对应的累加器上 加l 。根据每一个( 工，y ) 点代入口量化值，算出各个p ，所得值( 经量化) 落在某 个小网格内，便使该小网格的计数累加器加1 。 ( 4 ) 统计累加器阵列的局部最大值对应模型的参数。当全部( x ，y ) 点变换后， 对小网格进行检验，有大计数值的小格对应于共线点，其( 臼，p ) 可用作直线的参 数，而小计数值所对应的小格一般反映非共线点，应丢弃不用。 虽然h o u g h 变换有许多优点，但是从h o u g h 变换的缺点是运算量太大，而 且由于不考虑各点问的距离信息，因此容易将不属于直线上的点也连接到直线 上，即产生所谓的过连接现象。为了克服运算量大的缺点，通常可以把图像划分 为小块，对各块图像利用h o u g h 变换提取直线，然后再将各直线连接起来。 图2 2 是利用的方法提取直线的算例。该算例是先用p h o t o s h o p 软件将原始 图片做人工处理后，再利用h o u g h 变换法提取直线特征。注意到有些直线超出 了它的实际位置，这就是所谓的过连接现象。 图2 2 ah o u g h 变换前的原始图像 西北j ：业人学硕士论文 第二章图像特征提取、匹配 图2 2 bh o u g h 变换后的提取到的直线图 1 4 明北j 二业大学硕士论文 第二章摄像机成像儿何模型的建立 3 1 引言 第三章摄像机成像几何模型的建立 在计算机视觉中，摄像机模型解决的是三维场景中的点如何和图像平面上的 点联系起来的问题。图像是视觉信息表示的一种物理形式，要了解图像所携带信 息的内在性质，必须了解三维景物是如何形成二维图像的几何模型，就要用适当 的数学模型表征图像的形成过程。成像几何模型只与三维物体点的空间位置、摄 像机焦距以及物体或摄像机相对运动参数有关，而与二维图像的强度信息无关。 研究建立成像几何模型的目的就是建立真实世界( 物体空间) 和图像( 图像空间) 之 间的坐标关系。 摄像机参数总是相对于某种几何成像模型的，这个模型是对光学成像过程的 简化，比如最常用的小孔模型，它是摄像机定标研究的基本模型。然而很多情况 下这秘线性模型不能准确描述摄像机成像f 殓几何关系，如在近距、广角时的情形， 因此还需要考虑线性或非线性的畸变补偿，才能更合理地看作小孔模型成像过 程。 3 2 透视投影 3 2 1 透镜成像原理 图3 - 1 透镜成像原理 根据物理学中透镜成像理论知： l11 = + 厂 mn 1 5 ( 3 1 ) 西北工业火学硕士论文 第三章摄像机成像) l i i j 模型的建立 其中：厂= o b ，为透镜焦距；m = 0 c ，为像距；h = a o ，为物距。 一般地由于” f ，则有m 。厂，这时可以将透镜成像模型近地用小孔成像 模型代替。 3 2 2 小孔成像原理 当图像平面位于投影中- 0 的后面，这种小孔成像模型称为后投影模型。如果 使图像平面沿着光轴位于投影中心的前面，同时保持图像平面中心的坐标系，这 样可以得到与后投影等价的反演模型，称为酊投影模型( 图3 2 ) 。由投影的几 何关系所确定的有限图像平面大小就是摄像桃的视场。本文只讨论前投影模型。 o 图3 2 小孔成像原理( 前投影模型) 由图3 2 可推出如下关系式： 。：，益 “z v ：r 兰 。 。z ， 3 3 摄像机成像几何线性模型 ( 3 - 2 ) 本论文选用的摄像机模型为小孔透视模型( p i n h o l em o d e l ) 。对于眼睛、摄像 机或其它许多成像设备而占基于小孔摄像机的透视变换模型是最基本的模型。 + - t l 透视模型是一种最常用的理想模型，其物理l - 十f l 当于薄透镜，它的成像关系 是线性的。它不考虑透镜的畸变，在大多数场合，这种模型可以满足精度要求。 3 3 1 坐标系的建立 如图3 - 3 所示，在此模型中，定义了以下四种相互关联的举标系 1 6 西北 业人学硕十论文 第三章摄像机成像儿何模型的建立 ( 1 ) 世界坐标系：图3 3 中，坐标轴x 。，匕，z 。组成三维世界直角坐标系， p 何。匕，z 。) 表示空间物点p 的世界坐标即绝对坐标。 ( 2 ) 摄像机坐标系：图3 3 中，坐标轴x 。e ，z 。组成摄像机空自j 直角坐标系， 坐标原点在0 点( 光学中心) ，z f 轴与光轴重合。j p 伍。，t ，z ) 是空间点p 在摄像 机坐标系中的三维坐标。 ( 3 ) 图像物理坐标系：图3 3 中，坐标轴x ，y 组成图像平面直角坐标系， 坐标原点0 是光轴与图像平面的交点，x ，y 轴分别平行于x 。，r 轴。p ( y ) 是 图像平面上以毫米为单位图像坐标系中的坐标。像平面与摄像机坐标系原点f 光 学中心) 的距离是厂，厂表示摄像机镜头的有效焦距。 ( 4 ) 图像像素坐标系：图3 3 中，坐标轴缸，1 ，组成像素平面直角坐标系， 坐标原点在图像的左上角，“，v 轴平行于x ，匕轴。p ( “，v ) 是图像平面上以像 素为单位像素坐标系中p 点的最终坐标。 o y c 藩毒、。”1 ”。 v ，一皂瀛量 国、 ) i； 3 3 2 齐次坐标表示 图3 - 3 小孔摄像机模型 在欧氏空间中建立坐标系后，便有了点与坐标间的一一对应，但当引入无穷 点以后，无穷远点无坐标。齐次坐标可以刻化无穷远点的坐标。在”维空间中， 建立欧氏坐标后，每一个有限的点的坐标为l ，一，m 。) ，对任意n + 1 个数 x 1 ，石。，x o ，女日果满足： x 。0 ，x a l ：m l 一，立= m 。 工0x 0 ( 3 - 3 ) 则( x l ，一，r 。，x 。) 被叫做这个点的齐次坐标。 牛羁对于齐次坐标，h 一，m j 被称作非齐次坐标。4 i 全为0 的数_ ，x 。组 1 7 碍北一 业大学硕七论文 第三章摄像机成像儿何模型的建立 成的坐