（光学专业论文）双目立体视觉技术在三维测量中的应用研究.pdf

， 匕i . 科技人 学硕 沦义 摘.p ab s t r a c t s u b j e c t t i t l e : tu t o r : au t h o r : o p t i c s t h e a p p l i e d s t u d y o f b i n o c u l a r s t e r e o v i s i o n t e c h n i q u e i n m e a s u r i n g t h r e e d i m e n s i o n p o s i t i o n wu j i a n p r o f e s s o r z h a n g c h a n g m i n g t h e b i n o c u l a r s t e r e o r a n g i n g m e t h o d b a s e d o n t h e p r i n c i p l e o f t r i a n g l e m e a s u r i n g i s a n i m p o rt a n t m e t h o d w h i c h c a n d o t h r e e - d i m e n s i o n ( 3 - d ) m e a s u r e m e n t a n d a c q u i r e t h e i n f o r m a t i o n o f 3 - d s u r f a c e p r o f i l e . wi t h t h e d e v e l o p m e n t o f t h e t e c h n o l o g y o f t h e c o m p u t e r s t e r e o v i s i o n , t h e b i n o c u l a r s t e r e o s e n s o r h a s a p p l i e d i n f i e l d o f i n d u s t r y d e t e c t i o n , o b j e c t i d e n t i fi c a t i o n , r o b o t a u t o m a t i c g u i d a n c e , n a v i g a t i o n e t c . w i t h t h e a p p e a r a n c e o f n e w o p t o - e l e c t r o n i c s c a n n i n g t e c h n i q u e , a u t o m a t i c t e c h n i q u e , h i g h - s p e e d d a t a p r o c e s s i n g t e c h n i q u e a n d m o r e e ff e c t i v e a l g o r i t h m , t h e b i n o c u l a r s t e r e o r a n g i n g m e t h o d h a s n e w h e a d w a y a n d a p p l i c a t i o n t h e c o n t e n t s a r e a r r a n g e d a s f o l l o w i n g . i n c h a p t e r o n e , t h e s t a t e o f t h e a r t a n d f u t u r e t h e d e v e l o p m e n t o f s t e r e o v i s i o n a r e i n t r o d u c e d ; t h e p r i n c i p l e s o f t h e b i n o c u l a r s t e r e o i n 3 - d m e a s u r e m e n t a r e i l l u s t r a t e d i n c h a p t e r t w o ; t h e e x p e r i m e n t , d a t a p r o c e s s i n g a n d t h e a n a ly s i s o f r a n g i n g a c c u r a c y w i t h t h e e ff e c t o f s e v e r a l f a c t o r s a r e p r e s e n t e d i n c h a p t e r 3 ,4 . f i n a l l y , t h e e x i s t i n g p r o b l e m s a n d f u t u r e d e v e l o p m e n t i n s t e r e o v i s i o n a r e d i s c u s s e d . k e y w o r d s : b i n o c u l a r s e n s o r , c c d c a m e r a , c a m e r a c a l i b r a t i o n , a c c u r a c y a n a l y s i s , 电i 气 p 卜 技人 学h 4 ! 沦义第 一.3引，瑞 第一章引言 1 . 1 本课题的背景 ft升 t 机经常需要在夜间或是在视线较差的情况下在陌生的地形或不平整 地面上 紧急降落，地面的障碍物或是起伏范围超过3 0 c m的凹凸地面都会危及直 什吃 机和机组人员的生命安全。因此在着陆的过程中，飞行员需要不断的通过 他旁边或前方的窗子观测地面的情况，同时需要经常调整直升飞 机以 便能选择 更 好的着陆点。在视线较差的情况下，通常需要采用探照灯或夜视装备。而在 这两种情况下，都存在着视野的局限性。同时夜视系统分辨率较低，而探照灯 又在部分地面七 形成阴影造成u于 员对地面状况的错误判断。 对于距离在3 0 - 6 0 米的日 标图像，采用两台 c c d摄像机配合激光单点扫描仪进行观测，通过对足 够多的i 1 标表面点的距离取样，可以进行地形的三维重现。所获得的地形结构 通过个透视图不断khi v 示给飞行员，同时显示直升飞机在其中的空间相对位置。 这种用于直升机降落时的地形检测设备可以为飞行员 提供一种直观方便并且准 确叮靠的方式来观察地面，选择着陆点。 这系统基于立体视觉原理。立体视差测距是利用两台位置相对固定的摄 像机，从不同角度同时获取同一场景的两幅图像，通过计算其中对应点的相对 差值来获取三维场景的距离信息，是进行三维测量的重要方法。由于其近似于 人 眼视觉系统，具有较高的测量精度和速度，并有结构简单，便于使用等优点， 故被) 泛应用于工业检测、 物体识别、工件定位、 机器人自 导引等诸多 领域。 本课题作为机载地形测量系统的前期研究内容，主要从实验和理论角度研 究双目立体视差方法测距精度与 距离分辨率的分析。同时，寻求一种行之有效 的测n p , 算法。 1 . 2 立体视觉研究概况 获取空间三 维场景的距离信息是计算机视觉研究中最基础的内容。目前， 扶取y 1 l 离信息的方法和技术很多，学术思想非常活跃，新技术、新方法不断涌 现。命 体视觉是计算机被动测距方法中最重要的距离感知技术，可以在多种条 件f 灵 活地测v景物的立体信息，其作用是其它计算机视觉方法所不能取代的， 刊它的研究，无沦是从视觉生理的角度还是在vt 应用中都具有十分贡要的意 义 电j 气 科技人f 映 卜 论义第一r引台 ) : 体视觉的1 p g ii 性 i _ 作是从6 0 4 1 代， i i ia l l 始的。 7 0 年代末， d . m a r : 创 - 的视觉训算理沦对、 体视童的发展产 了人影响1 1 ，现已形成了从图像获取 到最终的景物可视表面重建的完整体系，在整个计算机视觉中已占有越来越重 要的地位。立体视觉f i 前己被广泛应用地 于 业检测、物休识别、机器人自导 引、 航天、 航空及军事 等 很多 领域 p 一 ，111 。 在双摄像机系统标定后， 一 个完整的立体视觉测量过程通常可分为图像获 取、特证提取、立体匹配、深度确定及内插等 6个步骤四。图像获取通常有双 摄像机获得。 1 . 3摄 像 机 标 定 t2 - z 7 1 摄像机标定是为了 确定摄像机的位置、属性参数和建立成像模型，以 便确 定空问坐标系中物体点同它在图像平面 i . 像点之间的对应关系。 1 : 体视觉的基本f t 务之 一 是从摄像机获取的图像信息出发计算三维空间中 物体的儿何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位 a i a 其f r 图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这 些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验刁能 得到，这个过程被称为是摄像机定标。摄像机标定需要确定摄像机内部几何和 光 学特性 内部参数)和相对一个世界坐标系的摄像机坐标系的三维位置和方 向 ( 外部参数) 。 可见，摄像机定标在理论上和实践中的重要价值，尤其在许多实际应用场 合摄像机标定技术是很关键的。摄像机标定问题就是计算摄像机的外部参数和 内部参数.摄像机的外部参数表示摄像机的位置和方位相对于一 个世界坐标系 的坐标;内部参数表示摄像机的光学本质特性，包括图像中心坐标、图像尺度 因f 、有效的焦距长 度和透镜的畸变失真系 数.在一般的计算机视觉应用场合， 摄像机的内部参数一 般保持不变，除非在某些变焦距的应用情况下，焦距长度 会发生变化，因此在实际应用情况下，可以事先将摄像机的内部参数标定好， 应用中只标定摄像机的外部参数，这样可以 提高标定的有效性而减少问题的复 杂程度。目前常用的摄像机标定算法不需要特别的实验装置，不必对实验条件 提出过j 几 苛刻的假定，其中大部分的方法都是利用成像几何性质将需要标定的 各个参数分解，然后分别计算常用的摄像机标定方法可以分为以下几类. 1 . 3 . 1 利用最优化算法 这类方法ii , l i i i 3 d i4 k a 的此特征点 扮i i i , ti 的 2 d图像点的相f ,: 关系建l . 起1 以1 1 关的等式方程，然后 i 找在些约束条件 卜 的最小值问题.许多 经典 电广 科技人学硕 沦义第一章引，乌 的标定技术都属于 这类方 法i= h 1这类方 法的鼓人优点就是建lj . 的摄像机模型具 了 i 牧强的通用rl .司以9 x 设摄像机的光学成像模it ,i 作 常燮杂，包括成像过程中 各种因素。其次在提供一些模型的良好估计时，算法具有很高的准确性，且可 以达到良好的收敛性。然而这类方法的最后求解般都是采用递归算法，如果 没有选择好初始值时，很难通过优化程序得到正确的定标结果，甚至结果很可 能小收敛，其次如果考虑到摄像机的畸变因素时，这种算法很叮能得到的最小 解是不稳定的，有可能产生一些假的收敛结果。 1 . 3 . 2 直接线性变换方法( d l t ) 良 接线性变换方法是y 1 . a b d e l - a z i z 和n m. k a r a r a 首先于 1 9 7 1 年提出 的i= o i 。 通过求解线性方程的手段就可以求得摄像机模型的参数，这是直接线性 变换方 法的吸引力之所在。然而这种力 法完全没有考虑摄像机过程中的非线性 畸变问题， 为了提高定标精度非线性最优化算法仍不可避免。 正如n m. k a r a r a 自己所指出的那样，当我们首先提出直接线性变换方法时，我们给出了一组基 本的线性约束方程 用来表示摄像机坐标系汗三 维物体空间坐标系之间的线性变 换关系，没有考虑成像时任何的非线性补偿问题并将相应的参数引入约束方程 r i然而到后来，直接线性变换方法改进扩充到能包括这些非线性因素，并使 用i k 线性的手段求解时，直接线性变换方法这个术语却没有改变。直接线性变 换仃 法具有两种含义、 种含义是直接通过求解一组线性方程得到摄像机的有关 参 数;另 t 种含义是求解的过程不排除使用非线性优化算法。 1 . 3 . 3 利用透视变换矩阵方法 从摄影测量学中的传统方法可以看出，描述三维空间坐标系与二维图像坐 标系关系的方程一般说 来是摄像机内部参数和外部参数的非线性方程。如果忽 略摄像机镜头的非线性畸变并且把透视变换矩阵中的元素作为未知数，给定一 组 _ 维控制点和对应的图像点，就可以利用线性方法求解透视变换矩阵中的各 个元素。 严格来说，基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法 没有木质的区别，而月 透视变换矩阵与ft 接线性变换矩阵之间只相差一个比 例 因 户 摧十 两者都可以计算摄像机的内部参数和外部参数。 这类定标方法的优点是不需利用最优化方法来求解摄像机的参数t 从而运 算迷l x 快，能够实现摄像机参数的实时的计 算。缺点是: 1 ) 定标过程中不1; 虑摄像机镜头的 卜 线性畸变， 定标精度受到影响; 2 ) 线性方程中木知参数的个数人1 几 要求解的独立的摄像机模型参数的个 电r 科技人学映 1 沦文第一暇.j ! . 数.线卜 )程， 卜 术知数不足相1 1. 独、，! _ 的这种过分参数化的缺点是，在图像含有 噪f的情况 卜 ，解得线性方程 . 的术知数也许能很好的符合这一组线性方程。 虽然由此分解得到的参数值却未必与 实际情况很好地符合，但是利用透视变换 知阵的摄像机定标方 法被) l 泛应用于 实际的系 统，片 取得了 满意的结果1 0 1 1 . 3 . 4 综合算法 这类方法是将最优化算法和直接线性变换方法两类方 法综合起来的方法。 它包括 一 个直接求解需标定参数的大多数参数的方法和采用递归方法求解其余 的少部分参数的方法两部分。这类方法的优点在于求解大部分的参数是非递归 的，而递归求解的部分由于参数的数量较少.故递归的代价是很小的。因此计 算速度较快。缺点在于该方法没有完全解决畸变问题，且定标测定距离很短， 刊数 据精度要求过高 由i _ 没有充分考虑标定点提供的全部信息，故求解的结 果不是最优的。 1 . 4 特征提取 忆 体图像获取的力式很多，主要取决于 应用的场合和目的。特征提取是为 了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理论可运用 于 图像特征的提取，从而导致了立体视觉研究中匹配特征的多样性。目前， 常 用的匹配特征主要有点状特征、线状特征和区域特征等。一 般来讲，大尺度特 征含有较丰富的图像信息，在图像中的数目 较少，易于得到快速的匹配，但它 们的定位精度差，特征提取与 描述困难。而小尺度特征数目 较多，其所含信息 较少，因而在匹配时需要较强的约束准则和匹配策略，以克服歧义匹配和提高 运算效率。良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有 效解决歧义匹配的能力。 1 . 5 立体匹配 立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影 为二 维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸 多 因素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机 特性等，都被综合成单一 的图像中的灰度值。因此， 要准确地对包含了如此之 多 不利因素的图像进行无歧义的匹配，显 然是十分困难的。对于任何 种立体 匹配方法，其有效性有赖于 3个问 题的解决，即: 选择正 确的匹配特征，寻找 v i f d 问的本质1 .4 性及建./ _ 能 卜 确匹配所选特征的稳定算法。7 . 体匹配的研究都 址i i-1 y , f 这 : i i a在 1 作，并l u: il 了人4 ( ka特色的匹配方法田川。f l i 由 i 几 办 丰 见 匹配涉及的问2 11 人多，至今仍未得到很交 - 的解决，特别是在复杂场l i c 中， 电1 : 科技人 学硕 论文 ; a 一章引八 如问提高r z 法的去 歧义匹配和抗 扰能力.降低实现的复杂程度和计算 。卜 ，都 需要进行吏深入的探索和研究 1 . 6 深度确定及内插 己知立体成像模型和匹配视差后，三 维距离的恢复是很容易的。影响距离 测吸 枯度的因素上要fl摄像机标定误袱、数宇a . 化效应、特征检测与匹配定位 精度等。 一 般来讲，y l i. 离的测量 精度与 匹配定位精度成正比，与摄像机基线长 度成反比。增大基线长 度可改善距离测量精度，但同时会增大图像间的差异， 增加匹配的困难。因此，要设计一个精确的立视系统，必须综合考虑各方面的 囚 素 ， 保il 各 个 环节 都 4 有 较 高 的 精 度。 k p . b e h r o o z i i和k p . b lo s te in ” 等 对 确定空间位置坐标点时的误差来源，以及图像量化效应对立体测量精度的影响 迸行了i t 细的分析， j y . g e m则对序列图像中的噪声影响提出了 模型估计 和唯 性结果的论证ia o i 立体视觉的最终目的是为了恢复景物可视表面的完整信息，目前，无论是 哪种匹配方法都不可能恢复出所有图像点的视差。对于一个完整的立视系统来 讲，都必须进行最终的表面内 插重建。在内 插过程中， 最重要的问 题就是如何 有效地保护景物面的不连续信息we l . g r i m s o n根据物体的表面物理性质和 景物成像特性，提出了内插重建所必须满足的表面相容性原理，并建立了正则 化重 建算法 11 4 1. d . t e r e o p u l o s 基于g r i m s o n的重建原 理，提出了由 粗到细的多 通道重建技术，以改善重建精度和加速收敛过程i l h . ma i t r e 等根据空间景物 的结构特点，提出了 一 种基于模型的内插重建算法 2 i ，其原理是将图像分割成 不同的结构区域，采用次 人二 次曲面对分割区域进行最佳拟合，从而重建出不 同区域的三维距离。此方 法较好地保护了景物的不连续信息， 适合于人工景物 的处理。 以上6个步骤构成了立 体视觉的完整体系，其中立体匹配是最重要也是最 困难的部分。其存在的主要问题是，对存在特殊结构的景物，如平坦、缺乏纹 理细节、周期性的重复特征等易产生假匹配:对方向平行于核线的特征匹 配 出现歧义。为了 解决这些问题，降低双目 匹配的难度，自1 9 8 6 年以 来出 现了三 目 立体视觉系统，即采用 3个摄像机同时摄取空间景物，通过利用第三目 图像 提供的信息来消除匹配的歧义性。m. w a t a n a l e 14 1 1等采用相互垂直的三目 视点， 较好地解决了与 核线平行特征的匹配歧义性。y . o h t a提出的共线结构 二 目视 觉系 统，可 有效地jq免 遮i ll 问 d 1 0 . n . a y a c h e 5 1 等提出了 a t f 边缘的 二 日 机器 人视 觉系统，e . g u e w i t z l0 0 的文暇 详细地分析了止l l 立体视觉的性能。 生 止 i x 1. i = ro ;止 iq i匕一i - f引 1 . 7 本课题的 任务 本课题采用基于 毛 角测量原理的立体视差方法，利用双 c c d摄像机作为图 像传感器，进行 二 维坐标测量，来研究双目众休视觉系统的测量范围、测rt精 度及测距分辨率，对维测q进行 一 此探索 全文共分五章，各章上要内容如卜 第 一 章概述了本课题研究的国内外动态及本课题研究的上要内容。 第 _ 章介绍双目立 体视觉系统的测量原理。 第章讨沦实验及数据处理。 第四价 t . 分析了测量精度 第五章总结本课题研究成果及目今后的工作方向。 . 匕广 科技 人学w l 沦义 ,a - 衍 测量原理及方 法 第二章测量原理及方法 2 . 1 摄像机模型 现代摄像机一艺已使得高分辨率低牛 线性失真的摄像机可用相当低廉的价 格从市场买到。借助 j 它，飞 速发展的计算机视觉正f 1 益广泛应用于科学技术、 国防建设、医药卫生和国民经济的各个领域。在计算机视觉、工业检测中，往 毛 需要对景物进行定y : 分析、空间二 维视觉信测量或对物体完成精确定位的处 理这此内容都涉及到摄像机标定与 几 维空间重 建等问题。在本章里主要讨论 基于 摄像机线性针孔模型、双目规觉传感器 测量原理及测量方法1 1 4 一 ， 7 1 2 . 1 . 1 计算机图 像坐标系、图像坐标系 摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用 模块转换板变换成数字图像每bp i 数字图像在计算机内为 m x n数组， m 行 n 列的图像中的每个j l ; 索 ( 称为像素， p ix e l ) 的数值即是图像点的亮度 ( 或者 称为灰度) 甲v甲y 图2 . 1 图像坐标系 在图像卜 定义计算机图像坐标系a u v ,计 算机图像坐标系的原点定义在左 匕 角， u 轴、 v 轴，如图2 . 1 所示。每 一 个 像素的坐标( u , v ) 分别是该 像素在数 组中的列数与行数， 所以( u , v ) 足以像素为单位的坐标。山于( u , v ) 只表示像素 位于 数组中的列数与 行数，并没有用物理单 位表示出该像素在图像中的位置。 v l l(l1 , it!a建立 以 物理单 位 ( 常1 t 1 -米m m ) 表 / 1 : 的图 像坐标系0 , x y o i 坐 标 系 以图 像内 某 一 点0 . 为 原点， x 轴与y 轴分别u 与v 轴日孔 ( u , v ) 表 示以 像素 为i( i 位的计 算机图 像坐标系 的 坐标，( x . y ) 表示以 毫米为单 位的图 像坐标系0 u v 电r 川支 人 学倾卜 论义 语_ 衡 侧童原理及方法 的 坐 标。 价图 像坐标系o u v 坐标系 中，0 , 原点 定义 在 摄 像机光 轴与 图 像的交 点， 该交点 般位于 图像中心处，但是山于 摄像机制作的原因，也会有些偏离，若 在 图 像坐 标系o u i ， 中 的 坐 标为( u, v ) , i tt个像素 在x 轴与y 轴方向上 的 物 理 尺寸 为k , , k , ，则图 像中仟意 一 个 像素在两个 坐标系卜 的关系 用齐次坐标j 矩阵 形式表小为 ( 2 . 1 . 1 ) 十十|j xyl 厂.lesesesesesesl 门lesesesesesesesesesesj ov01 配 l几 01/0 儿几 仃ocu 广lesesl.1卫月esl 一一 ，lesesesesesesesesesj 口vi 厂lesesesesesesesesl 逆关系日 丁 写成 二 :l k,v. k,( 2 . 1 .2 ) 俐旧 0儿几 冈国口 2 . 1 . 2 摄像机坐标系与世界坐标系 摄像机成像i l 何关系可由图2 .2表q : 。定义 摄像机坐标系。 ay , z . , 0 点是 摄像 机光 心， x 轴与义轴分别与 图 像 坐 标系中 的x 轴与y 轴平行， z 轴为 摄 像机 的光 轴，且z , 轴与图 像平面 垂直。光 轴与图像平面的 交点，即为图像的原点。 ， 。 在摄像机坐标系0 ,. x , y , z中， 0 0 称为 摄像机焦距。 图2 . 2 摄像机坐标系与世界坐标系 在 实际 应用中， 往往 选择世界 坐 标系0 . x w y w z ， 作为 基准 坐标系 来 描述摄像 机的 位置，并 用它描述物空间中 任何 物体的 位置， 它由x w 、 y w , z * 轴组成。 摄 像 机坐 标系0 , x , y , z与 世界 坐标系0 w x .y w - 的关 系可 以 用旋 转 矩阵r与乎 移向 1, t: t 来 描述。因 此， 空问某 点p在世界 坐标系与 摄像机坐标系o . x . yz . 下的 齐 次坐标分别是( x w , y , . ， _ ,. ) 与( x , , y， : , 1 ) ，于 是存在如下 关系: 匕川 以; iiv i 论 泛 第 _ .5 测i via 理反方法 (213) xw沁.与| ftl!j几ji刁es1l m 泪侧 - 门lesesesesesesesesj 戈叉1矿工 reseseseseseseseslr 其中，r为3 x 3 i f : 交单位矩阵: t = t 知卜 i 为 三维平移向 量; m. 是4 x 4 2 . 1 . 3 针孔透视变换模型 如果不考虑透镜的畸变，空间任何点 p在图像上的成像位置可以用理想 的 针孔 透视 变 换模型 来 近 似表示 ， 即 任何 点p 在图 像上 的 投影 位置p ， 为光 心。 与p点的连线o p与图像平面的交点，这种关系也称为中心摄影或者透视投影。 山矛 1 孽 透镜成像的几何关系。 知 ( 2 . 1 .4 ) 其 ，( x , y ) 为p点的图像坐标 ( x , , y , . : ) 为空间点p在 摄像 机坐 标系 0 x , y , s卜 的坐标。 用齐 次坐标与 矩阵表4 f- 述投影关系: 戈y.气下占 r|月|l才f lesesesesesesesesesesj nno 0 0 ( 2 . 1 . 5 ) f0o 广leslesllesl 一- ，lesesesesesesesesesj xyz resesesesesesesesesesl 艺 我 们将 ( 2 . 1 . 1 ) 式 和代入( 2 . 1 .5 ) 式， 得 到以 世 界 坐 标系o x w y . z ， 的p点 坐 标与 其 投影点p 的坐标( u , v ) 的关系: 礼yw孔1 rll.esesleseseseseses.esl tn rn 尸.lesesesesl . lesesesesesesesesesesj 000 0 0 f00 uovol 01/0 走 u.00 厂.illesesesesesesl - 门leswe.ij uvi 厂.lesesesesesesesesl c z mm = m x w ( 2 . 1 .6 ) 一工 ，lesesesesesesesesesesl，j x凡2片工 reseseseseseslll.lfl 门11111.j r0 干.l ，lesesesesesesl.1.1书 000 “v01 0仪。 a八un reseseseseseseseseses l- 1 g t ， a= i l k , , a 一 / km 为 3 x 4矩阵，称之为投影矩阵;m完全山 电r 科技人学倾 i : 论文第 ， 争 侧量原理从方法 a , , a , , u , v 。 决 定 ， 山 于 a a y , u , v ， 只与 摄 像 机内 部 结 构有 关， 称这 些参 数 为 摄像 机内 部 参数;m 只与 摄像 机相对于世 界 坐标系o w x . y . z ， 的方 位决定， 称为 摄像机外部参数。摄像机的标定就是确定摄像机的内部、 外部参数。 山 ( 2 . 1 .6 ) 式可知，如果已 经知 道摄像机的内部、 外部 参数， 就知 道了 投影矩 阵m， 对 任 何空 间 点p ， 如 果已 经知 道 它的 坐 标x = ( x . , y w , z , ) , 就 可以 求出 它的图 像点p 的位w. ( u , v ) ， 这是因为 在已 知m与x时， ( 2 . 1 .6 ) 式给出了三 个方 程， 在三个方 程中 消去z 。 可可以 求出( u , v ) 。 反 过来， 如果已 知空间 某点p的图 像点p位置( u , v ) ， 即使已 知摄像机内部、 外部 参数， x也是 不能 唯一 确定 的。 事 实上，在( 2 . 1 . 6 ) 式中，m 是3 x 4不可 逆矩阵，当已知m 与 时，由 ( 2 . 1 .6 ) 式给 出的 几 个方 程中消去z ， 只可 得 到关于x 八 : . 的两个 线性方程，由 这两 个线 性方 程组成的 方程组即为 射线的方程，也 就是说 ， 投影点为p的 所有点均在该 射 线上， 其 物理意义可由图2 .2 看出 ，当己 知图 像点p时，由 针孔模型， 任何 位于 射线上的空间点的图像都是p 点，因 此，该 空间点是不能唯一确定的。 2 . 2 针孔透视变换模型摄像机标定 2 . 2 . 1 摄像机标定重要性 摄像机标定的重要作用主要表现以下几个方面: ( 1 ) 从计算机图像导出三维信息。由摄像机标定的摄像机模型和参数能够提供 种给定目 标点的图像坐标，并能确定条条含有实际目 标点的空间直线。利用 两幅这样的图 像就可两条直线的交点确定这一目 标的空间 位置。 这种信息可以 应 用于包括在线检测、 机电元件的自 动装配、 机器人标定或者轨迹分析等重要领域 中。 ( 2 ) 利用摄像机标定来确定一个移动机器人或自 动行驶车辆上的空间位置。在 这类应用中，已知目 标点的图像坐标和空间坐标， 利用摄像机外部参数标定技术 就可解出摄像机的空间坐标和方向信息。 ( 3 ) 由己 知的物体三维信息导出二维计算机图像坐标。在模型驱动的 机器视觉 的检测和装配应用中，关于物体三维空间 位置、方向的假设可以利用摄像机模型 和参数转化为对其所成图像的一个假设。 将假设图 像和实际拍摄的图 像进行匹配 比 较即可拒绝或确认对物体及其空间位w.的 假设， 这就是基于模型驱动的机器视 觉的基本方法。 2 . 2 . 2 没有考虑约束条件的标定 摄像机标定 一 般都需要一个放在摄像机前的特制的标定参照物( r e f e r e n c e o b j e c t ，如2 . 3 图 所示) ， 摄像 机获取该 物体的图 像， 并由 此计 算 摄像机的内m i , 电 .于 h 4人 学硕 1论又 第 _ 爷 测过原理及方法 外部参数， 标定参 照物的梅 个 特征点相对1- 肚 界坐标系o x . y z 。 的位置在制 作 时应精 确测定，世 界 坐标系q . x . y . = , 也可 以 选为 参考 物的 物体 坐标系 。 在得 到这il k 标定点数据后，可以进一 步求解出摄像机的内部、外部参数。 图2 . 3 标定参考物模型 片先介绍由参照物图像求投影矩阵m 的算法。将 ( 2 . 1 . 6 )式写成 ( 2 . 2 . 1 ) 几入礼1 广leslll. 闷24m 码朋功 j”n ml脚脚 咬竹犯 功脚阴 1，1，j 从阴脚 产lesesesesesesesesesl -l ，.1.卫es.esesj uvi 尸lwe.lesesl 夕 其 中，( x . ， y 。 ， 点的图像坐标: , i ) 为空间第个i 点的 坐标;( u , , v 1 ) 为第 为 投影m的第i 行/ 列元素。式 ( 2 .2 . 1 ) 包含三个方程: z u= m i i x . , + m i 2 y . + m 1 3 2 . , + m 1. z v= m 2 1 x . , + m 2 2 y . , + m 2 3 2 . , + m 2 . ( 2 . 2 .2 ) z =用 : x., + m 3 3 y . , +m 3 3 z -+ m 3 4 将式 ( 2 .2 落 )中的第式，第二 式除第三式分别消去后，可以得到如下两 个 关上 m ， 的 线 性方 程: x 、 ,、 m i i + 夕 . , m 1 2 + z . , m 1 1 + m 1. x . , m 2 1 + y . , m 2 2 + 2 . , m 2+ 从 : 。 一 “ , x r , m 3 1 一 v , x . , m 3 1 一 n , y . , m 3 2 一 u , z . , m 3 3 =u m 3 4 一v , y . , m3 2 一v , z r , m 3 3 =0 , m3 . ( 2 .2 . 3 ) i 式表林 ，如果标定块 仁 有 n个已知点并且已经知道它们的空fil l 坐标 ( x. y , ， : 。 ) ( i = 1 . . . . , n ) 与 它 们的 图 像点 坐 标( u . v , ) ( 1 = 1 , . . . , n ) ， 则 我 们 有个 m矩阵儿素的线性方程组，f 面用矩阵形式写出 这些方程: , l 1 科技尺p l y : 论文 第-带 测量原理从方法 ，lesesesesesesesesesesj .r 盯 ，1州 y ,.,0 z “,0 0 0 0 0 气y w l 0 w l 一 n t x w l 一 v l x w l 一n l y w , 一 v , y 一 n l 孔l 一 v , 孔. y . . z . 110 0 0 0 0一g x 二 : ， y .11一1，!一.一 一 v x 子 口、 咧 j夕 ， ， 二 : x冲ox目。 尸lesesl.esllesesesesesesl ttlm ,jvl m , ( 2 .2 . 4 ) u , m 3 4 气m. i i i ( 2 . 1 .6 )式u ) 以知道，m ) , 阵乘以任意不为零的常数并不影响 ( x , . ti . , . - . , ) 与 ( n , v ) 的关 系 ， 因 此， 在( 2 .2 .4 ) 式中可 以 任意 指定m- t ， 从 而得到关于m矩阵其他n素的2 n 个线性方程， 这些未知元素的个数为 1 1 个， 记为i l 维向量，将 ( 2 .2 . 4 )式简写成 k m = u，(2 .2 .5 ) 其中，k为 ( 2 . 2 .4 ) 式左边2 n x 1 1 矩阵; m为未知的维向量;u为 ( 2 . 2 . 4 ) 式 右边的2 n 维向量; k , u为已知向 量。当2 01 1 时，可用最小二乘法求出上述 线性方程的解为 m= ( k k ) 一 ， k u ( 2 .2 .6 ) m向 量m- 1 构成了 所求解m矩阵。山上 可见，由空间6 个以 上己 知点与 它们的图像点坐标，可以 求出m矩阵。在 一 般的定标工作中， 都使标定模块上 有数 i 个已知点，使方程的个数人大超过未知数的个数，从而用最小 三 乘法求 解以降低误差造成的影响。 求出 m 知阵后，如果需要求解摄像机的内部、外部参数，可由 ( 2 . 1 .6 )式 衣j l ( l 1 天系算出摄像机的全部内部、 外部 参数。 不过， 所求得的m矩阵与( 2 . 1 . 6 ) 为听 表 q 的 知阵m相片 个 常数因子m虽 然 指定m ,4 = 1 井 不 影响 投影关系， 但腿在分解 m 知阵时必须考虑。 将 ( 2 . i . 6 ) 式 m 矩阵与 摄像机内部、外部参 电 f科技人声 映 _ 论又 弟测员凉理及方法 数的关系 子 成 ( 2 . 2 . 7 ) 门川川川川门 t叭1叭!几口 几.一!j n八曰0 0 1 1 anuc 气气吩 mmm 厂1.lesl 川 it l l , m : 为由 式 ( 2 .2 .6 ) 求得的m )i c 14 的第i 行的前 三个元素组成的 行向量; m ,4 ( = 1 - 3 ) 为 m 矩阵第 i 行第四列元素;对( i= 1 - 3 ) 为旋转矩阵r的第 i ; t , , t t 一 分 别 为 平 移 向 4 t. t 的 气 个 分 量 且i 弓 ， rr 3 之 间 有 如 下 约 束 关 系 : s 11 r ; 为，” 小尚， ” 小尚 = 0 , r 2 =0 ( 2 .2 .8 ) =0 lrltrl r _ r 3 = 0 , =0 ,r ; r r r 3 r 3 = 0 trzt几1 卜 1 1 式 ( 2 2 7)可以得到 a , r , + 气几 l t a r 2 + v 0 r 3 t r . a j , + u , t : a , t 、 + y( 2 . 2 . 9 ) 气气么 r.lr.，山t砚j mmm reseseseseseses.1esesesesl 4 j 阴 比 较上 式可 以 知 道，m 34 m 3 = r 3 ，由r , 是正 交 单 位矩阵的 第三 行，i r 3 1= 1 , 因 此， 可以 从 求出1 3 m l = 1 a再由 以 下 式子 可以 求 得r 3 , u 0 , v 0 , a x , a v : 1 3 4 m 3 = r 3 u= ( a v n =f 截 + 。 r , ) r , 十 % r ,r ) r , m ;a m t m , m ;, m t m 3 ti丁， rr a= m 么 im , 、 m , a= m ;a im , x m , ( 2 . 2 . 1 0 ) ( 2 . 2 . 1 1 ) ( 2 . 2 . 1 2 ) ( 2 . 2 . 1 3 ) ( 2 .2 . 1 4 ) 其中x 表示向量运算符号 。由以上 求出的参数可以 进一步求出以下参数: r , = m ( m 一,m 3 )( 2 .2 . 1 5 ) r , 二 五( m , 一 v )( 2 . 2 . 1 6 ) t二m 礴( 2 . 2 . 1 7 ) 电j几 科1 支 人 学6 0 1 卜 论文 讯 _ 嵘 测灸原1 l$ 反方法 r ,=m- - ( m i; 一 i 1 )( 2 . 2 . 1 8 ) r = ( 二一 : )( 2 .2 . 1 9 ) a 6 1, 日 沂 述，山空间6 个以上 的已知点及它们的图像点坐标，可 求出m矩阵， h li t 按照 ( 2 . 2 . 1 0 )至 ( 2 . 2 . l y ) 式的次序求出全部内外、 外部参数。 由公式 ( 2 . 1. 6 )可知， m矩阵由4个 摄像 机内部参数及r与t 所确定。由 i l 文单 位矩阵r矩阵满足约束关系( ( 2 .2 . 8 ) 式) ，则r与t 的独立变量数为6 ，因 此，m知阵由1 0 个独 r - 变量所确定，但是m矩阵为3 x 4 矩阵.有1 2 个参数， 山j 飞 在求 m 矩阵时可以指定 m 矩阵中的 个元素为任意不为零的常数，因此 m矩阵简化为1 1 个参数 ( 见公 式( 2 .2 .6 ) 中的向 量) ， 可见这1 1 个参数并非互 相 独、 ， 存在着变量之间的约束关系，但是我们在用式( 2 .2 .6 ) 所表示的线性方 法 求解这些参数时，并没有考虑这些变量之间的约束条件( ( 2 . 2 . 8 ) 式) ，因此，当 有 数据误差的情况 卜 ，计算结果是有误差的，而巨 误差在各个参数之间的分配也 没有按它们之间的约束条 件( ( 2 . 2 . 8 ) 式) 考虑。 2 . 2 . 3 考虑约束条件的标定 考虑r矩阵的if . 交约束条件( 2 .2 . 8 ) ， 将式展开比较后容易得到: i a t r , i a , r , .jl.“ 下湘琳护 mmm 其 中m , = i m i i m m ,3m = = 。 : ，m 22 m23 r ， m 3 = ( 2 .2 . 2 0 ) m 32 m 33 ma+1 设 x 9 = (m t f _ t y1 m l m 3 / 1 911 - 11(m 则有: t m2 m3g= a + a+ u ; + v : ( 2 221 ) 显 然x ， 的f r o b e n i u s 范 数与 坐 标 变 换 矩 阵 无 关 ， 仅与 摄 像 机内 部 参 数 有关 ， 因 此 可 设 卜 j i = c . ( ，为 由 式 ( 2 .2 .2 0 ) 决 定 的 常 数 ) 作 为m矩 阵 最 小 二 乘 约 束 条 件 。 再 由 令 x ， 二 ( m 14 , m ia , m 31 ) o 即, d i l l ( 2 . 2 .4 )式得到矩阵方程: . 匕r 川支 人 学硕 论义 第- - -侧过凉理从方法 s x , + q x , = 0 式中s 为2 n x 9 矩阵，q为2 n x 3 矩阵。 根据最小 飞 乘准则知道，要求解满足i f 交约束条件的 ( 2 . 2 . 2 2 ) m 矩阵，即足要在 ii x j 1 = ， 条 i1下 ， 求 :i111s x , + q x 1 12 取 ; * 小 值 时 的 x u x , 法公式得: 根据拉格朗 卜 1 乘 h = 11 s x + q x , ii + x , ( ii x , ii 一 ) ( 2 - 2 . 2 3) h