提高双目视觉位姿测量精度的研究

1、中国科技大学硕士学位论文双目视觉姿态测量准确度提高研究名称：林燕殷铁生学位水平：硕士专业：模式识别和智能系统指导教师：孔斌20080501摘要双目视觉姿态测量是利用c c d相机获取场景图像、分析图像、结合摄影几何原理获取空间中对象位置和姿势信息的理论。视觉姿态测量在工业生产、宇宙、生物医学、机械人类学领域具有非常重要的应用价值。在某些情况下，姿势测量的精度要求更高。本文为了提高基于特定标记的双目视觉姿态测量系统的测量精度，研究内容如下。设计了棋盘格标记，将两个物体之间的姿势测量转换为两个标记之间的姿势测量，从而便于特征点匹配检测。提出了利用h a r i s角点检测和f 0 r s t i

2、l e r算子结合方法提取子像素角点，自动定位照片不变标记特征点的方法：利用共线和共线四点交叉比不变约束进一步提高特征点的位置精度，修改标记物特征点的位置；介绍了根据标记和左侧摄影机的姿势计算两个标记之间姿势的方法。介绍了基于0 p e n c v机视觉库的双目视觉系统标定方法。最后，总结了影响系统测量精度的因素，分析了系统的测量精度，然后通过实验验证了系统的测量精度。本文介绍了基于测量速度快、精度高、鲁棒性高的特定标记的双目视觉姿态测量系统。分析关键词：双目视觉、机器视觉、照片不变、姿态测量、测量准确度、误差中国科技大学学位论文独创性及许可使用声明本人提交的学位论文是本人在老师的指导下作为研

3、究者进行的结果。除了特别注明和表示感谢的地方外，其他人已经发表或写的研究成果不包括在论文中。和我一起工作的同志对本研究所的贡献都在论文中写得很清楚。我授权中国科技大学拥有部分学位论文。也就是说，学校可以按照有关规定，向国家有关部门或机关发送论文副本和电子版，查阅和借阅论文，将学位论文编入相关数据库进行检索，并可以通过复印、缩小或扫描等复印方法存储、编辑学位论文。机密学位论文解密后也遵守该规定。作者签名：挫折奎新年第一章引言第一章引言第一课题的背景和意义随着机器人技术的发展，通过快速准确地掌握两个目标(如机器人、机器人、宇宙飞船)之间的相互位置关系，他们的合作合作变得越来越重要。例如，在工作领域

4、的机器人装配过程中，为了使机器人捕获部件，必须相对于操作者测量部件的位置和姿势，并为机器人的控制部分提供有效数据，以便机器人准确地捕获工件。医疗领域的手术用导航和手术用机器人导航和机器人系统也需要随时知道手术器械的位置和姿势，才能显示手术器械的位置和姿势，从而控制手术用机器人。在这些应用领域中，必须自动、准确、实时地测量目标的位置和姿势，并且测量系统必须牢固。“姿势测量”(p o s i t i o n p o s ee s t i m a t i o n)是机器人导航、操作和装配以及摄影测量、目标跟踪识别等其他领域的重要问题。姿势测量h a r a l i c k，1 9 8 9也称为六维姿

5、势测量系统，因为它实际上测量了两个空间坐标系之间的三个相对位移量(t r a i l s l a t i o n)和三个相对旋转量(r o t a t i o n)。其中位是表示两个空间坐标系之间位移关系的位置(p o s i o n )，姿势是表示两个空间坐标系中旋转关系的姿势(p o s e)。用于测量的传感器设备可分为主动和被动两类。积极性是通过检测设备本身释放出能量，然后反射回来的能量来获取必要的信息。常用的设备是利用激光、雷达或超声波测距来获得距离图像。主动测距方法应用范围很广，测距精度高，抗干扰性能好，实时性好。被动是在不释放能量的情况下，被动地接收从物体表面反射的能量，从而得到信

6、。被动距离测量适用于需要有限环境和机密的情况。最常见的是c c d (c h a是e c o u p l e dd e v i c e)相机。目前在机器人领域进行姿势测量的传感器装置大部分使用了称为立体视觉姿势测量方法的c d照相机。使用c c d相机的视觉姿势测量方法可以分为单眼(m o n o c u l a r)视觉、双眼(b i n o c u l a r)视觉e g n a l，2 0 0 0 0)和多目(m u l t o c u l装配视觉r a f a c lg a r c i a，2 0 2)立体视觉使计算机能够从二维图像中识别三维环境信息，从而获得对象的几何信息，如三维形状

7、、位置、姿势和动作。视觉姿态测量符合本地环境或条件的准确位置要求，没有特定环境适应性、高位置精度、误差累积问题。因此视觉姿态测量不仅在科学研究、产业、医疗、服务娱乐领域具有非常重要的应用价值，而且在军事、宇宙开发、水下和科学探索领域也具有广泛的应用前景。多年来，很多国内外学者对立体视觉测量进行了大量的研究，大部分工作集中在视觉测量系统数学模型、系统校准方法等方面。随着机器人技术的进一步发展，对实际机器人的要求也在响应速度、鲁棒性、精度上不断提高，立体姿态测量系统通常是机器人性能验证或控制信号的提供者，因此进一步提高立体视觉姿态测量系统准确性的研究具有重要意义。1 2基于国内外研究现状1 2 1

8、三维视觉姿态测量发展历史视角的目标位置姿态测量主要涉及摄影测量和计算机视觉两个经典领域。摄影测量(n h o t o g r a m m e t coo)是一门有20多年发展历史的学科，已经具有很成熟的体系和方法。1世纪中叶，摄影测量出现，经过模拟摄影测量、分析摄影测量阶段，现在达到了数字摄影测量阶段李德仁，2 0 0 0 0。立体视觉的划时代工作始于20世纪60年代。美国m i t的r 0 b e n1 9 6 5通过计算机程序从数字图像中提取立方体、锯齿形、棱镜等多面体的三维结构，通过说明物体的形状和物体的空间关系，开始了理解三维场景的三维机器视觉研究。7在0年代，出现了一些视觉应用系统f

9、 g-u z m a i l1 9，m a c k，o m i1 9 7 3。20世纪70年代中期，m i t (m i t)人工智能(m)实验室正式制定了机器视觉过程，使很多著名学者参与了机器视觉理论、算法和系统设计研究。1在97年里，提出了mar“积木世界”分析方法和不同的计算视觉理论，该理论对计算机视觉的发展产生了巨大影响，现在形成了从图像到最终场景视觉表面重建的完美系统。机器视觉的全球研究热潮从2 0实际的8 0年代开始，到20世纪60年代中期，机器视觉迎来了繁荣，新的概念、新的方法和新的理论不断出现。例如，基于感知特性组的对象识别理论框架、主动视觉理论框架、视觉集成理论框架等。经过4

10、年多的研究，大幅度发展的立体视觉在机器人、航空测绘、军事应用、医疗诊断和工业检查中得到越来越广泛的应用，研究方法从基于早期统计相关理论的相关匹配发展到非常强的生理背景的特征匹配，从串行到并行，从直接依赖输入信号的低层处理到依赖特性、结构、关系和知识的高水平处理，其理论继续发展和完善。近年来，随着多个领域的发展，基于摄影测量的完善理论和方法，集成了计算机视觉等学科的大量理论、方法和算法，结合数字图像技术，实现了摄影测量(v i d e o i a m e t d)的跨学科。摄影测量在保持摄影测量高精度特性的同时，深入研究各种复杂的空间几何关系，利用广泛的数字图像处理分析的技术成果，考虑各种实验条

11、件和要求，方法和算法丰富的第二章介绍有所不同，在实时、图像分辨率、检测精度等方面比传统的摄影测量更有优势。本论文研究的双目视觉姿态测量系统属于摄影测量领域。1 2视觉姿态测量和精度分析研究现状完整的立体视觉系统一般分为图像获取、相机校正、特征提取、立体匹配、深度确定和插值6部分b a r d，1 9 8 2。相机补偿过程利用已知的3 d空间点坐标集和相应的2 d图像点坐标解决相机几何模型参数的相机补偿精度对双目立体视觉测量精度具有重要作用。视觉重建是使用校正的模型参数和匹配过程中获得的相应的2 d图像点坐标解决3 d空间点。解决了透视成像的逆过程不确定性问题，解决方案的可靠性和精度受到多种因素

12、的影响。重建的精度与点的测量精度和点数有关。近年来，人们以视觉测量系统的误差模型为中心做了很多研究工作。视觉测量系统中产生误差的原因主要有两个。一个是手动操作引起的错误，这种错误可以通过反复训练或细心操作等方法消除。另一种是系统结构本身推导的测量误差，这种误差系统生产包括(1)光学系统生产生的非线性误差s l l i n，1 9 5 1，主要是半径失真和切线失真，这种误差可以在相机校准过程中修正。(2)可通过子像素匹配校正s j l i n，1 9 5的图像匹配错误和噪声：(3)由c c d相机的数字图像空间量化效果引起的像素位置误差，提供文本l i u，1 9 7量化误差匹配点的影响，文献s

13、 l i n，1 9 5相机校正精度，文献t s a i，1 9 8 7提出了绝对3 d坐标测量方法，光线跟踪的模糊区域半径方法和3 d尺度测量精度方法。文档w | e n g，1 9 2将标准化立体校正错误n s c e (n o咖啡a l i z e ds t e r e oc a l i b r a t i o n e r r o r)和单个相机校正精度的评估方法n c e(n o m a l i z e dc a l b r a t i o n e r o r)三维测量领域的国内外新应用系统如下。东京大学整合了实时双目立体视觉和机器人整体姿态信息，开发了模拟机器人动态行程导航系统。该系

14、统将图像从相机的二维平面坐标系转换为描述身体姿势的世界坐标系，从而绘制机器人周围区域的地图。根据实时确定的地图进行障碍检测，机器人的行走方向k e io k a d a，2 0 0 3 ；华盛顿大学与微软合作，为火星卫星“探测器”号开发了光基地立体视觉系统。这使得“探测器”号能够准确定位火星上即将穿越的数千米以内的地形。系统使用非线性优化在拍摄两次图像时获取相机的相对精确位置，使用稳健的最大似然概率方法与高效的立体搜索输入图像匹配相结合，获得子像素精度的视差，并基于此视差对图像的每个点的三维第3章介绍坐标c l a r kfo l s o n，2 0 3。浙江学院桥机械系统充分利用透视成像的原

15、理，利用双元视觉法实现多自由度机械装置的动态准确的姿态检测，适合处理速度快，特别是动态的情况。东南大学电子工程系基于双目立体视觉，提出了一种可以非接触精密测量三维不规则物体(偏转线圆)三维空间坐标的灰度相关多峰视差绝对值最小化立体匹配新方法。火星8 6 3计划主题“人体3d尺寸的非接触测量”采用“双视点投影光栅三维测量”的原理，通过双相机导入图像对，通过计算机处理图像数据，不仅可以获得服装设计所需的特征尺寸，还可以根据需要从人体图像的任何位置获取三维坐标。这个系统已经通过了中国人民解放军总装备部军需部的确认。可实现的技术指标是数据收集时间小于5 s。身高、胸围、腰围、臀围等周长测量精度不低于1

16、 o c m。1 3本文的研究内容本文研究了基于标记的双目视觉姿态测量系统的实现，包括双目视觉系统的标定和姿态测量方法。同时，为了提高姿态测量系统的测量精度，研究了目标特征的自动提取和特征点修正问题。最后从理论和实验两个角度分析和验证了系统的测量精度。主要内容包括：第一章：介绍双目立体视觉姿态测量系统的研究背景，并总结了提高姿态测量精度的意义、立体视觉系统及误差分析的研究现状。第二章：介绍了双目视觉姿态测量的一些基本理论，包括单摄像机的校正、双目视觉系统结构参数的校正、双目视觉姿态测量方法以及影响双目视觉姿态测量精度的几个因素。第三章：基于特定标记的姿态测量系统的实现。首先设计棋盘格图案的标记，然后选择h a r r i s角点检测结果作为图像的特征。然后，提出了一种基于共线4点交比不变照片不变量的整体图像角点区分标记角点的算法。介绍如何计算两个对象之间的姿势关系：将对象的姿势关系替换为两个标记之间的姿势关系；定义标记的坐标系；介绍两个标记坐标系的旋转变换关系。第4章：介绍了提高特