（模式识别与智能系统专业论文）提高双目视觉位姿测量精度的研究.pdf

摘要 摘要 双目视觉位姿测量利用c c d 摄像机获取场景图像，通过分析图像并结合 摄影几何原理，获得目标在空间中的位置和姿态信息，是机器视觉、摄影测量 学等学科融合得到的理论。视觉位姿测量在工业生产、航天、生物医学、机器 人学等领域都有着十分重要的应用价值。 在某些应用场合，对位姿测量的精度要求比较高。本文以提高基于特定标 记物的双目视觉位姿测量系统的测量精度为目标，研究内容如下： 设计了一种棋盘格标记物，将两物体间的位姿测量转化为两标记物间的位 姿测量，使得匹配特征点的检测变得简单；采用h a r r i s 角点检测和f 0 r s t i l e r 算 子结合的方法提取亚像素角点，提出了基于摄影不变量的标记物特征点自动定 位的方法：为了进一步提高特征点的定位精度，提出了以共线和共线四点交比 不变的约束来校正标记物上特征点的位置；介绍了根据标记物相对与左摄像机 的位姿，计算两标记物间的位姿的方法；介绍了基于0 p e n c v 机器视觉库实现 的双目视觉系统标定方法；最后，对影响系统测量精度的因素进行了总结，分 析系统的测量精度，然后通过实验验证了系统的测量精度。 本文介绍了基于特定标记物的双目视觉位姿测量系统，该系统可以自动定 位标记物特征点，具有测量速度快、精度高、鲁棒性高等特点。 分析 关键词：双目视觉，机器视觉，摄影不变量，位姿测量，测量精度，误差 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工 作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包 含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对 本研究所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即： 学校有权按有关规定向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 保密的学位论文在解密后也遵守此规定。 作者签名：挫圭纽 年月日 第一章绪论 第一章绪论 1 1 课题的背景和意义 随着机器人技术的发展，快速精确地确定两个目标( 如机器人，机械手， 飞船) 间的相互位置关系，从而实现它们的协调合作显得愈来愈重要。例如，工 业领域的机器人装配过程中，机器人要抓取零件，就必须能测出零件相对于机 器人的位置和姿态，并把有效数据提供给机器人的控制部分以便机器人准确地 抓取工件；医疗领域的手术导航和手术机器人，导航系统和机器人系统也要时 刻知道手术器械的空间位置和姿态，以便显示手术器械位置和姿态并且控制手 术机器人。在这些应用领域中，都需要自动、准确、实时地测量目标的位置和 姿态，并且测量系统必须有很高的鲁棒性。 位姿测量( p o s i t i o n & p o s ee s t i m a t i o n ) 是机器人导航、操作和装配以及其他 领域例如摄影测量学、目标跟踪识别中的一个重要问题。位姿测量【h a r a l i c k ， 1 9 8 9 】实际是测定两个空间坐标系之间的三个相对位移量( t r a i l s l a t i o n ) ，和三 个相对旋转量( r o t a t i o n ) ，因此又可称为六维位姿测量系统。其中“位 指的 是位置( p o s i “o n ) ，表示两个空间坐标系之间的位移关系，“姿 指的是姿态 ( p o s e ) ，表示两个空间坐标系之问的旋转关系。 根据测量中使用的传感器装置又可以分为两类，即主动的和被动的。所谓 主动的，是指装置自己能发射能量，然后通过感知反射回来的能量而获得需要 的信息。常见的这类装置是利用激光、雷达或者超声测距获得距离图像。主动 测距方法应用范围非常广泛，且测距精度高、抗干扰性能强和实时性强等优点。 被动的是指本身不发射能量，靠被动的接收从物体表面反射回来的能量获取信 息。被动测距适合受限制的环境和需要保密的场合。最常见的是c c d ( c h a 唱e c o u p l e dd e v i c e ) 摄像机。 目前使用在机器人领域进行位姿测量的传感器装置大多采用c c d 摄像 机，称为立体视觉位姿测量方法。根据使用c c d 摄像机的数目，视觉位姿测 量方法可以分为单目( m o n o c u l a r ) 视觉、双目( b i n o c u l a r ) 视觉 e g n a l ，2 0 0 0 】和 多目( m u l t o c u l 砌视觉 r a f a c lg a r c i a ，2 0 0 2 】。立体视觉使得计算机具有从二维 图像认知三维环境信息的能力，可以获得物体的几何信息，包括立体形状、位 置、姿态、运动等。由于视觉位姿测量具有一定的环境适应性，定位精度较高， 不存在误差累加问题，可以满足局部环境或条件的精确定位要求。因此视觉位 姿测量不仅在科研、工业、医疗、服务娱乐等领域具有十分重要的应用价值， 在军事、空间开发、水下、科学探索等方面也具有广泛的应用前景。 多年来，很多国内外学者对立体视觉测量做了大量研究，大多数工作集中 第一章绪论 在视觉测量系统数学模型、系统标定方法上。随着机器人技术的进一步发展， 实际中对机器人的要求在响应速度、鲁棒性、精确度上也不断提高，而立体视 觉位姿测量系统通常是机器人性能验证或者控制信号的提供者，因此，进一步 提高立体视觉位姿测量系统精度的研究具有非常重要的意义。 1 2 国内外研究现状 1 2 1立体视觉位姿测量发展历史 基于视觉进行目标位置姿态测量，主要涉及两门经典学科：摄影测量学和 计算机视觉。摄影测量学( n h o t o g r a m m e t 巧) 是一门有2 0 0 多年发展历史的学 科，已经具备了很成熟的体系和方法。1 9 世纪中叶，摄影测量学问世，经过 模拟摄影测量、解析摄影测量阶段，现在到达数字摄影测量学阶段【李德仁， 2 0 0 0 】。 立体视觉的开创性工作是从6 0 年代开始的。美国m i t 的r 0 b e n 【1 9 6 5 】通 过计算机程序从数字图像中提取出诸如立方体、锲形体、棱柱体等多面体的三 维结构，并对物体形状和物体的空间关系进行描述，开创了以理解三维场景为 目的的三维机器视觉的研究。到了7 0 年代，已经出现了一些视觉应用系统 f g - u z z m a i l1 9 6 9 ，m a c k 、o m i1 9 7 3 】。7 0 年代中期，麻省理工学院( m i t ) 人工 智能( m ) 实验室正式开设“机器视觉”课程，吸引了许多知名学者参与机器 视觉理论、算法、系统设计的研究。1 9 7 7 年，m a r r 提出了不同于“积木世界” 分析方法的计算视觉( c o m p u t a t i o n a lv i s i o n ) 理论，该理论对计算机视觉的发 展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重建的完整 体系。机器视觉的全球性研究热潮是从2 0 实际8 0 年代开始的，到了8 0 年代 中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如， 基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架 等。立体视觉经过4 0 多年的研究，己经有了很大的发展，如今，立体视觉在 机器人、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广，研究 方法从早期的统计相关理论为基础的相关匹配，发展到很强生理学背景的特征 匹配，从串行到并行，从直接依赖于输入信号的低层处理到依赖于特征、结构、 关系和知识的高层次处理，性能不断提高，其理论正在不断发展与完善之中。 近年来，随着多学科的发展，在摄影测量的完备理论和方法体系的基础上， 融合计算机视觉等学科的大量理论、方法和算法，并结合数字图像技术，形成 了摄影测量 ( v i d e o 伊a m m e t d ，) 这一交叉学科。摄影测量既保持了摄影测 量的高精度的特点，同时又深入研究各种复杂的空间几何关系，并利用了大量 的数字图像处理分析的技术成果，考虑各种实验条件和需求，方法和算法丰富 2 第一章绪论 多样，在实时性、图像分辨率、检测精度等方面都较传统摄影测量有优势。本 文研究的双目视觉位姿测量系统就属于摄影测量学领域。 1 2 2 视觉位姿测量及其精度分析的研究现状 一个完整的立体视觉系统通常分为图像获取、相机标定、特征提取、立体 匹配、深度确定及内插等6 部分【b a 脚a r d ，1 9 8 2 】。相机标定过程是在摄像机几 何建模的前提下，利用一组己知的3 d 空间点坐标及其对应的2 d 图像点坐标 求解出摄像机几何模型参数，摄像机的标定精度对双目立体视觉测量精度起着 重要作用；视觉重建过程就是利用标定得到的模型参数和匹配过程得到的对应 2 d 图像点坐标来求解3 d 空间点，是透视成像的逆过程，是一种不确定性问题 的求解，解的可靠性和精度受很多因素的影响。重建的精度与点的测量精度和 点的数目有关。 近几年来人们围绕视觉测量系统的误差模型做了大量的研究工作。在视觉 测量系统中，误差形成的原因大致有两类：一类是由于人工操作形成的误差， 这类误差可以采取反复训练、细心操作等措施消除：另一类是系统结构本身引 起的测量误差，这类误差系统产包括：( 1 ) 光学系统生产生的非线性误差 s l l i n ， 1 9 9 5 1 ，主要包括径向畸变和切向畸变，这类误差可在对摄像机定标的过程中 得到校正；( 2 ) 图像匹配的误差和噪声，这类误差可由亚像素匹配来校正 s j l i n ， 1 9 9 5 】；( 3 ) 由c c d 相机的数字图像空间量化效应所引起的像素定位误差，文 献 l i u ，1 9 9 7 】分析了量化误差对应点匹配的影响，文献【s l l i n ，1 9 9 5 】分析了量化误 差对相机标定的影响。 在相机标定精度方面，文献 t s a i ，1 9 8 7 】提出了的标定精度评估准则，即绝 对3 d 坐标测量法、光线追踪的模糊区域半径法和3 d 尺度测量精度法。文献 【w | e n g ，1 9 9 2 】定义了标准化立体标定误差n s c e ( n o 咖a l i z e ds t e r e oc a l i b r a t i o n e r r o r ) 和针对单个摄像机标定精度的评估方法n c e ( n o m a l i z e dc a l i b r a t i o n e r r o r ) 。 三维测量领域的国内外较新的应用系统如下：东京大学将实时双目立体视 觉和机器人整体姿态信息集成，开发了仿真机器人动态行长导航系统。该系统 将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机 器人周围区域的地图；根据实时建立的地图进行障碍物检测，从而确定机器人 的行走方向 k e io k a d a ，2 0 0 3 】；华盛顿大学与微软合作为火星卫星“探测者”号研 制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米 内的地形进行精确的定位导航。系统采用非线性优化得到两次拍摄图像时摄像 机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进 行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维 3 第一章绪论 坐标 c l a r kfo l s o n ，2 0 0 3 】。浙江大学机械系统完全利用透视成像原理，采用双 目体视方法实现了对多自由度机械装置的动态、精确位姿检测，处理速度快， 尤其适于动态情况。东南大学电子工程系基于双目立体视觉，提出了一种灰度 相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体( 偏转线 圈) 的三维空间坐标进行非接触精密测量。火星8 6 3 计划课题“人体三维尺寸 的非接触测量”，采用“双视点投影光栅三维测量”原理，由双摄像机获取图像 对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸， 还可根据需要获取人体图像上任意一点的三维坐标。该系统已通过中国人民解 放军总后勤部军需部鉴定。可达到的技术指标为：数据采集时间小于5 s 人； 提供身高、胸围、腰围、臀围等围度的测量精度不低于1 o c m 。 1 3 本文研究内容 本文研究了一个基于标记物的双目视觉位姿测量系统的实现方法，包括双 目视觉系统的标定和位姿测量方法。同时为了提高位姿测量系统的测量精度， 研究了目标特征的自动提取和特征点修正问题。最后从理论和实验两个角度分 析并验证了系统的测量精度。主要内容如下： 第一章：介绍双目立体视觉位姿测量系统的研究背景和提高位姿测量精度 的意义，概述了立体视觉系统及其误差分析的研究现状。 第二章：介绍了双目视觉位姿测量的一些基本理论，包括单个摄像机的标 定、双目视觉系统的结构参数标定、双目视觉位姿测量的方法和影响双目视觉 位姿测量精度的一些因素。 第三章：实现了基于特定标记物的位姿测量系统。首先设计了一种棋盘格 图案的标记物，选择h a r r i s 角点检测结果为图像的特征。然后提出了一种基于 共线四点交比不变的摄影不变量来将标记物上的角点从整幅图像角点中区分 出来的算法。介绍了两物体间位姿关系的计算方法，即将物体阆的位姿关系转 换为两标记物间的位姿关系，定义了标记物的坐标系，将两标记物坐标系的旋 转平移关系作为两物体间的位姿关系。 第四章：讨论了如何通过提高特征的定位精度来提高系统测量精度。实现 途径包括提取亚像素角点、根据射影不变量校正标记物上特征点的坐标。然后 从理论角度定性分析了系统测量精度，并设计实验验证理论分析的结果。 4 第二章双目视觉位姿测量基本理论 第二章双目视觉位姿测量基本理论 双目视觉的基本原理是采用两个位置固定的摄像机，同时获取物体的图 像，通过三角测量原理计算图像像素间的位置偏差( 即视差) 来获取物体的三维 信息，这一过程与人类视觉的立体感知过程是类似的。一个完整的立体视觉系 统通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插 等6 个大部分【b a 加a r ds ，甜口，1 9 8 2 】。 2 1 双目视觉系统标定 双目视觉系统的标定首先要分别标定出两摄像机的参数，然后标定出系统 的结构参数，即两摄像机之间的旋转和位移关系。 2 1 1 单摄像机标定 在计算机视觉领域内，摄像机参数标定是指获得摄像机内部空间几何特性 和光学特性( 即摄像机内部参数) 以及摄像机坐标系相对于某一世界坐标系的 三维位置和方向关系( 即外部参数) 近似值的过程。 2 1 1 1图像坐标系、摄像机坐标系、世界坐标系 数字图像在计算机内为m n 数组，m 行n 列的图像中的每一个元素( 称 为象素，p i x e l ) 的数值即图像点的亮度( 或称灰度) 。如图2 。1 所示，在图像 上定义直角坐标系y ，每一象素的坐标( “，1 ，) 分别是该象素在数组中的列数 和行数，( 甜，) 是以象素为单位的图像坐标系坐标。以物理单位( 如毫米) 表 示的图像坐标系以图像内某一点a 为原点，x 轴与】，轴分别与u 、y 轴平行， 如图2 1 所示。 d l ( ，) ，r v ； 图2 1 图像坐标系 原点0 l 定义在摄像机光轴与图像平面的交点，该点一般位于图像中心处， 但由于某些原因，也会有些偏离，若d l 在崛y 坐标系中坐标为( “。，v 。) ，每一 个象素在x 轴与l ，轴方向上的物理尺寸为拟、d y ，则图像中任意一个象素 5 第二章双目视觉位姿测量基本理论 在两个坐标系下的坐标有如下关系： l 面o = lo o 1 面 o1 ( 式2 1 ) 世界坐标系瓦匕乙可以用来描述环境中的任何物体的位置，摄像机坐标 系与世界坐标系之间的关系可以用旋转矩阵r 与平移向量f 来描述，如图2 2 所示，只、f 称为摄像机的外参数。 乙 图2 2 摄像机与世界坐标系之间的关系 假设，空间中的某一点尸在世界坐标系与摄像机坐标系下的齐次坐标分别 为( ，儿，) 与( k ，儿，乙) ，存在如下关系： t y c 乙 1 f r 门 2 p ，j h y 。 z w l ( 式2 2 ) 其中，灭为3 3 正交单位矩阵；f 为三维平移向量；o = ( o ，o ，o ) r 2 1 1 2 摄像机成像模型 针孔相机模型是最简单、理想化的相机模型，光线通过一个无限小的孔将 三维场景映射成一个倒立的图像。为了简化，通常将图像平面置于相机焦点和 物体之间，这样图像就不是倒立的了。这里的三维摄像机坐标映射到二维平面 坐标的变换即透视投影，如图4 3 所示。 6 第二章双目视觉位姿测量基本理论 图2 3 针孔相机模型下的透视投影 ，咒，z c ) 如图4 3 摄像机坐标系的原点d 即投影的中心点。图像平面r i 平行于平面 陇，e ) ，两平面间的距离等于焦距的长度厂。三维空间点尸映射到图像平面 上的点p 。投影的中心点d 映射到图像平面为基准点d ，对应投影直线的三轴 为基准轴，计算机视觉领域中有时称为光轴。 假设( ，儿，乙) 为空间点尸在摄像机坐标系下的坐标，( z ，力为图像点p 的 图像坐标，世界坐标系表示的p 点坐标与其投影点p 的坐标( “，) 的关系 s e = 爹；# 蚕 ；： k y w z w l = m 鸩k = 慨 ( 式2 3 ) 其中，六= 厂趔为u 轴上的尺度因子；兀= 厂d y 为y 轴上的尺度因子； m 为3 3 矩阵，称为投影矩阵；m 为摄像机的内参数矩阵；鸠为摄像机的 外参数矩阵。确定摄像机的内外参数称为摄像机标定。 实际中，由于镜头并不是理想的透视成像，而是带有不同程度的畸变，使 得空间点所成像并不在线性模型所描述的位置( x ，y ) ，而是在受到镜头失真影 响而偏移的实际像平面坐标( x ，y ) 。理论上镜头会同时存在径向畸变和切向畸 变，但一般切向畸变比较小，径向畸变的修正量由距图像中心的径向距离的偶 次幂多项式模型来表示 j x 。= x ( 1 + 向，2 + 七2 ，4 ) + 2 a 砂+ 岛( ，2 + 2 妒) ( 式2 4 ) 【y 。= y ( 1 + 向，2 + 七2 ，4 ) + 届( ，2 + 2 y 2 ) + 2 仍砂 其中，2 = 石2 + j ，2 ，毛和如是径向形变系数，昆和段是切向形变系数。 线性模型中的正、与非线性畸变参数墨、如、a 、见一起构 成了摄像机的非线性模型的内部参数。 2 1 1 3 摄像机标定方法 在摄影测量学和计算机视觉领域，摄像机标定一直是研究的热点，在过去 7 第二章双目视觉位姿测量基本理论 固定好两摄像机后，采集参照物在不同位置下的多对图像。然后分别标定 左右摄像机，得到左右摄像机的内部和外部参数。设获得的理想图像坐标分别 为( 蜀，巧) 和( 墨，r ) 。 双目立体视觉系统中左右摄像机的外部参数分别为局、乃和r ，、z 。对 于任意一点，如它在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐 次坐标分别为丸、而、x ，则 而= 弓+ 刀，= 母+ 霉 ( 式2 5 ) 消去k ，得到x ，= 尺，足一耳+ 霉一墨r 一乃，因此，两个摄像机之间的几何关 系尺、丁可以用一下关系式表示： 又= r ，蜀，丁= f ，一墨蜀_ 1 互 ( 式2 6 ) r 、丁算出后，为了进一步提高精度，采用l e v e n b e 堰m a r q u a r d t 非线性最 小二乘法【m o r e ，1 9 7 7 】对式2 6 进行进一步优化。在标定过程中，左右摄像机均 给出n 幅标定图像，每幅标定图像上有m 格点。通过不断缩小式2 7 的值来获 得其最大似然估计： 嚣 2 ip 2 一声( r ，z ，岛。) l ( 式2 7 ) i = l = l 其中，岛：为右摄像机第f 幅图像上的点乃的真实图像坐标，岛，为左摄像 机第f 幅图像上的点p ，的真实图像坐标，p ( 月，丁，既。) 为点岛l 通过r 、丁矩阵 转换到右摄像机上的图像坐标。l e v e n b 删删u a r d t 法需要r 、z 的初始值， 可以将式2 6 的值作为其初始值。 实际上，在双目视觉系统的常规标定方法中，是由标定靶标对两个摄像机 同时进行摄像机摄像标定，以分别获得两个摄像机的内外参数，从而不仅可以 标定出摄像机的内部参数，还可以同时标定出双目立体视觉系统的结构参数。 2 2 双目视觉位姿测量方法 双目立体视觉是基于视差的，由三角法原理进行三维信息获取。已知两摄 像机之间的位置关系，便可获取两摄像机公共视场内物体的三维尺寸及空间物 体特征点的三维坐标。由两个摄像机组成的空间三维测量传感器的数学模型和 相应的坐标系如图2 5 所示。 1 0 第三章双目视觉位姿测量系统的实现 第三章双目视觉位姿测量系统的实现 该课题要实现的是两个物体的相对位置关系的测量。位姿测量的一个关键 步骤是寻找匹配特征点，这也是最难最耗时一步。当物体表面缺少显著的变化， 表面过于平坦时，物体上的特征点不容易找到；当物体表面细节过多，特征点 的匹配也比较困难，常易发生误匹配，使得测量结果错误，同时检测匹配特征 点的耗时也急剧增加。 该课题中研究了适合在物体某一平面上贴标记物的位姿测量方法，把物体 上特征点的匹配转化为标记物的特征点的匹配，那么匹配特征点的检测将变得 简单，系统的鲁帮性也将随之提高。本章介绍采用人为标记物的方式实现一个 精度较高的视觉位姿测量系统的方法。 3 1 标记物设计 在位姿测量的方法中，载体上的目标是事先定义好的，可以是直接在载体 表面找的，有时候为了克服自然物体的局限性，可以在载体上放上或做一些人 工的标记。这些人为的标记可以提高标记在图像中的信噪比，从而使得测量系 统的精度极大的提高。 该系统中，为了使得系统能快速定位载体以及提高位姿测量的精度，设计 一种常用于摄像机标定的棋盘格图案，如图3 1 所示，整个标记物的大小可以 根据需要进行调整。 图3 1 棋盘格标记物 将两个标记物分别贴于载体l 和载体2 的某一平面上，调整相机的位置， 使得两标记物能同时出现在左右相机的视野中。 3 2 特征选取 特征提取是为了得到用于的匹配的图像特征。目前，常用的匹配特征主要 1 5 第三章双目视觉位姿测量系统的实现 3 3 1 射影几何 3 3 1 。1 射影几何基础 人们熟知的欧式几何可以很好的描述三维空间，但是，在摄像机的成像过 程中，欧式几何不再适用，例如：成像后的长度和角度会改变，原本平行的直 线会相交，如图3 2 。 图3 一平行的道路边缘在所成图像中相交 射影几何模型可以很好的描述摄像机的成像过程，它包括更多种类的变 换，包括透视投影和旋转和平移，因此欧式几何是射影几何的子集。但射影变 换只有更少的形状不变性，即射影变换后，点仍然是点，线仍然是线，线上的 点仍然在线上，交比不变。 在针孔相机成像模型中，图像平面上的点( x ，y ) 表示穿过该点的光线：光 线上的任一三维点映射到同一图像点。假设相机位于原点( 0 ，0 ，0 ) ，齐次坐标 ( ，l 丁) 表示的光线穿过3 d 点( x ，】，丁) 。3 d 点旯( x ，l 丁) = ( 五x ，五】，允丁) 也位 于同一光线上，因此( x ，】，r ) 五( x ，】，丁) 。如果摄像机的图像平面为r = 1 ， 光线通过象素( x ，少) 可以表示为( x ，y ，1 ) o 丁，y r ，r ) ( 丁0 ) 。因此齐次坐标 ，vv 、 ( x ，】，丁) ( r o ) 对应于平面丁= 1 上的非齐次图像点l 鲁，睾l 。类似的，三维 空间坐标点 ( x ，】，z )的齐次 坐标 为 y v 7 ( x ，】，z ，丁) ( 五x ，力】，力z ，灯) ( 鲁，专，睾，1 ) 。一般来说，n 维欧式空间由n + 1 维射影空间来表示【h s m c o x e t e r ，1 9 7 4 】。 欧式平面上的线可以表示为饿+ 砂+ c = 0 ，类似的，射影平面上的线可以 表示为 反x + 6 y + c r = o( 式3 3 ) 假设线上三个点齐次坐标分别为a = ( 墨，k ，巧) 、见= ( t ，艺，疋) 、 见= ( 托，e ，五) ，根据式3 3 有 第三章双目视觉位姿测量系统的实现 可见，其中只有一个值k 是独立的，也就是说，其它五个值都可以根据k 计算得到。 共线的四点有交比不变的性质【m i l l l d yjl ，z i s s e m a na ，1 9 9 2 】，即在射影 变换下，原本共线的四点p 。，p 2 ，p ，和p 。经过射影变换得到仍然共线的四点 a ，岛。，见。和见，且交比相等c 厂( 矗，五；五，五) = c 广( 局，见；扔，只) 。 由于成像过程中的射影变换，物体在不同相机视点下会产生不同的图像， 但是每幅图像中的射影不变量是始终不变的，这使得通过相机识别物体更加简 单。 3 3 2 基于射影不变量的棋盘格特征点定位 3 3 2 1标记物特征点的射影不变量 对整幅图像提取角点后，图像的信息显著的减少，从图像的全部角点中区 分出标记物角点即可识别标记物，从而确定载体的位置。由于视点的变化，使 得棋盘格在欧式空间中具有的几何信息，如长度、角度、平行性，都不再可用。 针孔相机的成像满足射影变换，因此可以使用射影不变量来识别棋盘格标记 物。另外，要指出的是o p e n c v 中的自动定位棋盘格的函数 f i n d c h e s s b o a r d c o m e r s 要求棋盘格的尺寸至少等于4 4 ，因此不适合我们设 计的标记物，在应用场景限制标记物大小的情况下，3 3 棋盘格更加合适， 所以在位姿测量阶段，我们采用本节提出的算法。 标记物共有1 6 个角点，按从左到右编号为口f ( f = 1 ，2 ，1 6 ) ，如图3 4 中黑字所示。这些角点能组成1 0 条4 点共线的直线，如图3 4 中红色线所示， 并对直线进行编号，用红色的字表示。经过射影变换，标记物所成的图像中， 在欧式空间中共线的角点仍然共线，并且共线四点的交比保持不变。例如，角 点q ，口2 ，吼共线且d ( q ，锡；q ，气) = 等= 4 3 。 凸1 4 凸2 3 如果能从整幅图像的角点中区分出1 6 个角点，并且能组成图3 4 中所示 的l o 条四点共线的直线，且每条直线上的四点交比不变，则可以确定标记物 的特征点。 1 9 l 一七 一 一 一西 l i = 、-，、i， ，a n 既 肌 耽 a 见 耽 d d = = 、j 、j 段 n a a 岛 如 见 岛 d d l l l l 、-、 办 岛 a 玖 n a 见 n d 臼 = = 、i，、j 岛 现 见 胁 风 既 a n d d 第三章双目视觉位姿测量系统的实现 1234 、_ i 口： 口，l口l口2 口3 l：口4 翻钆p - sf - 6 图3 4 标记物的特征点 l o 棋盘格上角点口。，q ，q ，口i 。的几何位置特点一致，称为外角点，从外角点 出发，有三条四点共线的直线，比如从角点口l 出发有直线1 、5 、l o ，而角点 吼，q 3 ，口1 6 分别位于直线5 、1 、1 0 的另一端。通过角点，q o ，q 。也有3 条四 点共线的直线，称为内角点。内角点与外角点不同的是在直线上的排列顺序： 每条直线上外角点位于直线的最外端，内角点位于内侧。 3 。3 2 2 算法流程 对于摄像机获取的每幅图像，首先提取整幅图的角点，然后根据标记物角 点的摄影不变量信息区分出标记物角点，即先判断是否有四点共线，然后判断 共线四点的交比是否不变。随着提取的特征数目增大，搜索空间将变大，耗费 的计算量也大。为了减小搜索空间，可以将棋盘格的4 个外角点作为搜索目标， 然后根据外角点确定棋盘格的其它的角点。 需要强调的是，系统实现时，棋盘格标记物外形如图3 5 所示，标记物边 缘离棋盘格有一定距离，且标记物的四角都被剪成了圆角，从而避免了标记物 边缘产生角点干扰算法正确识别外角点。 图3 5 系统中的标记物 根据上节所描述外角点的几何位置特点，可以依次检测整幅图的每个角 点，如果有某个角点与其邻近的9 个角点组成三条直线且该角点位于直线的一 端，每条直线上的四点交比不变，则该角点符合外角点几何位置特点。然后检 2 0 第三章双目视觉位姿测量系统的实现 查每条直线上位于另一端的角点是否也符合外角点几何位置特点。如果是，棋 盘格的位置即可确定，否则继续搜索符合外角点特性的角点。 根据式3 5 ，从所有角点中搜索与当前检测角点共线的所有角点，在算法 实现上要耗费很大的计算量，为了能快速找到与当前检测角点共线的角点，本 文借用极坐标系的概念。 以当前检测角点为极点d ，建立极坐标系，如图3 6 所示，其极轴平行于 图像的x 轴。极坐标系中的点可以表示为p ( ，) ，其中，是该点与极点之间的 距离。u 轴是从极点到该点的射线，f 是从极轴到u 轴的角度值。假设极坐标 中有两个点彳( ， ) 和b ( r 2 ，2 ) ，如果f 】= ，：，则a 和b 与极点共线，并且位于 几点的同一端，如图3 6 ( a ) 所示；如果k 一如i = 万，则a 和b 与几点共线， 并且分别位于极点的两侧，如图3 6 ( b ) 所示。极角f 的取值范围为o r 2 万。 图3 6 极坐标系下的点共线 由于实际相机会有不同程度的畸变，因此理想射影变换下应该共线的点不 再共线，因此两点极角值，f ：近似相等，即可判断为这两点与极点共线且在极 点的同一侧，即满足l ，。一f ：i 咖缈办d 掰1 ，其中砌脚办d 肘l 可取一个较小的角度， 如o 0 5 弧度。需要特别考虑的是，在极轴附近且与极点近似共线的两点，极 角值可能差别很大，例如点彳( ，0 0 2 ) 和召( 巧，6 2 6 ) ，这种情况满足 i l o 0 2 6 2 6 i 一2 万l 崩r 盼矗d 搿1 。总之两点极角值 ，如满足式3 7 即可判定两点共 线。 ( 1 一f 2 l 历形妫d 肼1 ) o r ( 1 f ，l 一，2 卜2 万i 历阳j 厅d 掰1 ) ( 式3 7 ) 在计算共线四点交比时，先确定四点在直线上的排列顺序。设当前检测角 点编号为扔，那么根据其它三个角点与该角点的距离，从小到大依次编为 p 2 ，p 3 ，p 4 ，根据式3 6 ，交比值为d ( p l ，p 2 ；p 3 ，p 4 ) = 警= 4 3 。考虑到图 1 4 2 3 像的畸变，交比值满足i d ( p l ，p 2 ；p 3 ，p 4 ) 一4 3 l 砌p j 办d 膨2 ，即可判断为符合 共线四点交比不变，其中历旭幽d 肼2 可取一个较小值，如0 1 。 综上所述，整个算法流程如下： 1 、用h 枷s 角点检测得到整幅图像的角点，将每个角点在图像平面的坐 标记录在c o m e r s 【c o u n t 】中，c o u n t 是角点总数； 2 1 第三章双目视觉位姿测量系统的实现 2 、依次检查c o m e r s 中的角点，看是否是外角点。设当前检测角点为 c o m e r s 【i 】： ( a ) 求其它角点在以角点c o m e r s i 】为极点的极坐标系中极角值，把角点 编号和极角值存在a n g l e 中。为减少计算量，可以只计算极点为中心的窗口内 的角点，窗口大小以能覆盖棋盘格为准，可以根据棋盘格成像大小预先设定。 ( b ) 将a n g l e 中的角点按极角值从小到大排序，检测出连续三个极角值 近似相等，即满足式3 7 。如果能检测出三组连续三个极角值近似相等的角点， c o m e r s i 】符合外角点特性，转( c ) ，否则转3 。 ( c ) 找出经过c o m e r s i 的三条四点共线直线上距离c o m e r s i 】最远的三个 角点，按( a ) 和( b ) 的方法检测这三个点是否均符合外角点特性，如果符合， 棋盘格外角点即可全部确定，结束搜索外角点并转4 ：否则转3 。 3 、若未检测完所有角点，转2 ，检测下一个角点；若所有角点检测完， 该图中未找到棋盘格角点，算法终止。 4 、根据4 个外角点求出棋盘格其它角点。求出每两个外角点所确定的直 线，共6 条直线，找出到该直线距离最小且在两外角点之间的角点，每条直线 上有2 个这样的角点，从而确定棋盘格上外角点以外的1 2 个角点。 3 3 2 3实验结果 为了验证该方法的可行性，对双目视觉位姿测量系统拍到的多对灰度图像 进行测试，其中标记物的形变程度各不相同，该方法均能较快速、准确地检测 到棋盘格角点。图3 7 给出物体在两个视点下的检测结果，( a ) 为左相机拍得的 图，( b ) 为右相机拍得的图，图像大小为1 2 4 8 十1 0 2 4 。红色大点的圆圈表示找到 的棋盘格外角点，深蓝蓝色小点的圆圈表示棋盘格上根据外角点确定的其它角 点，淡蓝色十字表示角点检测得到的整幅图像的其它角点。 ( a 1 ) 2 2 ( b 1 ) 第三章双目视觉位姿测量系统的实现 ( a 2 ) 图3 7 不同视点下的算法检测结果 ( b 2 ) 算法的运行速度如图3 8 所示，一幅1 2 4 8 牛1 0 2 4 的图像提取角点耗费的时 间大约在2 0 0 2 5 0 m s ，因为角点提取需要遍历整幅图像，所以耗费的时间只 于图像大小有关，与图像总角点无关。从所有角点中搜索出棋盘格外角点时间 约3 0 7 0 m s ，由于算法是按顺序检测所有角点，一旦检测到某个角点及其周围 的角点符合棋盘格角点的几何位置特性，算法就中止，所以耗费的时间与角点 总数有一定的关系，即角点总数越多，耗费的时间可能增加，但又不是严格随 角点总数增加而增加的。 图3 8 运行时间与角点总数的关系 2 3 第三章双目视觉位姿测量系统的实现 3 4 位置和姿态的计算方法 系统在测量两物体相对位姿时，将双目相机固定在三角架上，如图3 9 ( a ) 所示，摄取两物体的图像，图3 9 ( b ) 为双目位姿测量系统的示意图。根据3 3 节中所述的方法获取匹配特征点后，再利用一定的数学模型，确定两个载体间 的相对位置( 三个平移量) 和姿态( 三个旋转量) 的变化。 载 z | 图3 9 ( a ) 双目视觉相机 3 4 1标记物的中心点和方向向量 砂1 w 1 载 像机 w 2 ( b ) 三维位姿测量系统示意图 分析左右摄像机获取的图像，提取标记物的特征点分别得到标记物1 的 1 6 个特征点在左图中的像点尸l 厶( f _ l ，2 ，3 1 6 ) 和右图中的像点 尸l 足( f = 1 ，2 ，3 1 6 ) ，标记物2 的1 6 个特征点在左图中的图像点 尸2 三= 1 ，2 ，3 1 6 ) 和右图中的图像点p 2 一尺足= l ，2 ，3 1 6 ) ，根据式2 1 4 求得 标记物1 和标记物2 的1 6 个特征点在左相机坐标系下的三维坐标分别为 户1 。，尸2 = 1 ，2 ，3 1 6 ) 。 根据式3 8 可以计算得标记物1 和2 的中心点坐标尸1 ，尸2 尸1 = ( p l 。，p lj ，p l ：) =p 1 ，1 6 9 1 2 型6 ( 式3 8 ) 尸2 = ( p 2 ，p 2 y ，p 2 ：) = 尸2 j 1 6 # l ，2 ，3 1 6 根据标记物在左相机坐标系下的三维坐标，可以求得标记物平面的x 轴、 y 轴和z 轴方向向量，定义如图3 1 0 ( a ) 所示， 以标记物l 为例，x 轴方向向量可以根据点p 。，p ：，p ，p 。拟和出的空间直 线方程得到，同理，y 轴方向向量可以根据点p ，p 。，p ，p 。拟和出的空间直线 方程得到，如图3 1 0 ( b ) 所示。p = l ，2 ，8 ) 可以根据式3 9 计算。 2 4 第三鋈| 薹型旦鍪景薹墓羹蚕籀羹西| 墓| 錾 耄霎茇l l 雾p l s 萋p 1 9 蓬p l 雾 4 p 2 “怒1 2 薹p i 6 笺p l 缓篓p i i 誊i 4 p 3 一主p t 3 _ p i l 季p l n 磊p l i 茎| 4 p i t 藻1 4 枣p l i 薹p l n 喜p l 自荟；4 冀溪黉 二二复霭 二鬻 p s 一耄l l 曩p 1 2 i p l 3 i p l 螫i 4 蓉囊蓁冀蠢霾零i 一| | ；i 篓茎一；薹莩j | | 囊：i i 篓 。 | | | | ；囊j | | 囊l 菱鋈i 耋蓁i i 善 蓦| | 薹l 第三章双目视觉位姿测量系统的实现 f 几1 系到左相机坐标系的坐标旋转变换矩阵。五= la ，l 为平移矩阵，表示标记物l k j 见= 坞见+ 疋= 至荔薹 仍+ 篓； c 式3 ，6 ) 见= 坞见+ 疋= l 吃，1 2 y他：l 仍+ l 段，i ( 式3 1 6 ) i 岛，仍y岛：l 仍： r = 心- 1 ( 五一互) = 【t 。t2 t 。】2 代表了两个坐标系间的位置变换关系，而姿 卜。 态变化则包含在r = 恐q 墨= i ，i 。，i 。1 ：l 矩阵中，可以通过下式由尺矩阵求出 l 匕。 吒l眨2 j ，= 一口阳切n 丑 = 绷t a i l 二韭_ 一 ( 式3 1 8 ) c o s y 一os l n ， 口：c t 觚堡21 1 璺兰墨2 竺竺! 兰 ls l n 7 + lc o s y 口、厂即六维位姿测量系统中的三个旋转量，而r 的三个分量t ，、t ：、 t 。分别为三个位移量。即标记物1 依次绕x ，】，z 轴沿逆时针方向的旋转角度 口、，再依次沿x ，】，z 轴方向平移t i 、t 2 、t 3 ，则标记物l 和标记物2 重合。 3 5 双目视觉系统标定的实现方法 目前常用的相机标定工具包有m a t l a b 相机标定工具包和o p e n c v 的相机 标定函数。两个工具包都是通过二维精密靶标，即棋盘格来标定的。棋盘格可 以用普通的激光打印机打印，贴在一个平面模板上，然后摄像机在不同的方位 拍摄棋盘格的图像，摄像机和模板都可以自由的移动，不需要知道运动参数， 最后通过确定图像和模板上的点的匹配关系，计算出图像和模板之间的转换矩 阵，并利用该矩阵线性解出摄像机内参数。该方法不仅简单易行，而且具有较 高的定标精度。 m a t l a b 工具箱无需自己编程即可完成双目视觉系统标定，但是操作麻烦， 2 7 第三章双目视觉位姿测量系统的实现 需要手动点取标记物的特征点，不能满足实时的位姿测量。 o p e n c v 是i n t e l 公司开发的应用与计算机视觉的开放源码函数库，它由一 系列c 函数和少量c + + 类构成，实现了图像处理和计算机视觉方面的很多 通用算法。0 p e n c v 的中文参考手册在h 郇：m v w o p e n c v o r g c 州n d e x p h p 。 o p e n c v 提供了自动定位棋盘格的函数f i n d c h e s s b o a r d c o m e r s ，因此实际位姿 测量系统为了使用方便，采用o p e i l c v 的函数来标定系统。标定流程如图3 1 2 所示，具体步骤如下： n 左图像li 右图像 ， 一， e i 提取角点ji 提取角点l l ，一l 、一 龠令 i 计算左相机fl 计算右相机i l 内外参数il 内外参数l 借算双目视卧 第三章双目视觉位姿测量系统的实现 4 、计算单摄像机内、外参数 c v c a l i b r a t e c 锄e a 2 ( ) 函数根据输入的图像对应点坐标，可以快速得到以 像素为单位的焦距( 六，工) 、图像中心点坐标( ，v o ) 、畸变系数毛，乞，a ，仍以 及外部旋转矩阵尺、平移矢量r 等参数。在计算之前，要准备好三维空间点与 图像平面点之间的对应坐标。图像平面的坐标已经由角点提取部分得到对应 的空间三维坐标以标定靶的左上角为原点建立世界坐标系，x 轴向右，y 轴向 下，z 轴垂直于标定参照物，且z 坐标为o ，如图3 1 3 所示。根据棋盘点的个 数和方格的尺寸就可以得到z _ 0 的三维坐标数据。 图3 1 3 双目视觉系统标定示意图 5 、双目视觉系统结构参数 o p e n c v 中没有计算立体视觉系统两台摄像机之间的结构参数的函数。立 体视觉标定的完成需要根据前面介绍的方法，计算旋转矩阵和平移矢量。在实 际标定过程中，由标定靶对两台摄像机同时进行摄像标定，以分别获得两台摄 像机的内、外参数。从而不仅可以标定出摄像机的内部参数还可以同时标定 出双目视觉系统的结构参数。由单摄像机标定过程可以知道标定靶每变换一 个位置就可以得到一组摄像机外参数：局、z 与尺，、丁，由公式2 6 ，可以 得到一组结构参数r 和丁。标定靶变换多个位置时得到的多组尺和f 会有差别， 为了进一步提高精度，采用l e v e n b e r g m a r q u a r d t 非线性最小二乘法采用统计 的方法进一步优化结果。 3 6 本章小结 本章描述了一种基于标记物的位姿测量系统，标记物图案为3 3 的棋盘 格，用h 解i s 角点检测得到的棋盘格标记物角点为匹配特征。 2 9 第三蓉叹引吼觐匿澄螭鳕弱鞠璀型叮 赵蓄燃獬弧鳓燮鬟瑞搿瞄群袋；筘甾影墼卜勘团囊雨摧渊； 萎霎薹篓型| 鍪耄i 霸i ! 丝基鞫寻睡纷篱襄攀器翼雾鲐需喾嚣舶囊蜥弼i 副薹一 毪硬霎鬈擎暨2 嶷孽莩莩烈雨醋；耳越茎篓魈穗强岈嘲调咂州懈甚毋霎鼬蓁 鞠黏型隰j 囊蓦耋蕊藿妻蚕薹鸨羹枢萌萄癌蒌萋；i 崩嚣霪i 爹鏊爹熏鋈誊i 妻雾襄= 量冀量薹蚕薹：羹曼曼， 鐾喜菱雩奏蓬墅剥妻薹蒜缀差型弓叁型裂霪i 霍霪霪童耋