（测试计量技术及仪器专业论文）物体位姿单目视觉测量系统的研究.pdf

摘要 物体位置与姿态的测量在航空航天、汽车车轮定位等领域都有着重要的应 用价值。单目视觉测量是指仅利用一台视觉传感器采集图像，对物体空间的位姿 测量，该测量系统结构简单、标定步骤少，同时还避免了立体视觉中的视场小、 立体匹配难的不足。本论文是在现有技术基础上，设计专用于物体位姿测量的平 面靶标，开发完成一套单目视觉测量系统，具有结构简单、速度快、稳定性好等 特点。具体展开工作如下： 1 分析单目视觉测量的意义和国内外研究现状，阐述本课题的研究价值； 2 在对视觉检测理论深入研究的基础上，构建出单目视觉检测系统的数学模 型，分析本系统的测量原理； 3 设计一种基于标记圆的新型摄像机标定靶标，并提出一套相关图像处理算 法，实验证明该靶标和图像处理算法稳定、可靠，能够实现摄像机内部参数 的自动标定： 4 在实验室条件下，设计一种红外光源，编写完整的传感器测量软件，建立了 单目视觉检测系统，并进行原理验证和精度测量实验，实验证明该系统稳定 可靠，为实现四轮定位打下了坚实的基础。 5 根据现场实际情况，调整系统整体结构。并进行了大量测量实验，重复性精 度可达8 ”，实验结果表明该系统稳定可靠。 关键词：单目视觉检测物体位姿标定靶标 a b s t r a c t t h eh i g hp r e c i s i o nm e a s u r e m e n tm e t h o do ft h ep o s i t i o na n do r i e n t a t i o no ft h e r e m o t eo b je c t ，i so n eo ft h eh o tp o i n t so fv i s i o ni n s p e c t i o ni nt h ef i e l d so fa e r o s p a c e ， w h e e la l i g n m e n ta n ds oo n m o n o c u l a rv i s i o nm e a s u r e m e n ti so n eo ft h e m e a s u r e m e n tm e t h o d st h a to b t a i nt h ep h y s i c a ld i m e n s i o na n dp o s i t i o na n do r i e n t a t i o n o fo b j e c tb ys i n g l ev i s i o ns e n s o lm o n o c u l a rv i s i o nm e a s u r e m e n th a san u m b e ro f a d v a n t a g e s ，s u c ha ss i m p l ei ns t r u c t u r e ，l e s sc a l i b r a t i o ns t e p s a tt h es a m et i m e ，t h i s m e t h o da l s oa v o i dt h ei n a d e q u a t eo fs t e r e o v i s i o n ，l i k es m a l lf o v ( f i e l do fv i e w ) ，h a r d t om a t c h o nt h eb a s i so fe x i s t e n tt e c h n o l o g i e s ，ab r a n dn e wf l a tt a r g e ti sd e s i g n e dt o m e a s u r et h ep o s i t i o na n do r i e n t a t i o no fo b j e c t t h en e wm o n o c u l a rv i s i o n m e a s u r e m e n ts y s t e mi sd e v e l o p e d , w h i c hh a sm a n yc h a r a c t e r i s t i c s ，s u c ha s s i m p l e s t r u c t u r e ，f a s ts p e e da n dg o o dr e l i a b i l i t y t h em a i nr e s e a r c hw o r ki n t h i st h e s i s i n c l u d e s ： 1 a n a l y z i n gt h ee x i s t e n tm o n o c u l a rv i s i o nm e t h o d sa n dt h e i rf e a t u r e s ，t h ev a l u eo f t h i si s s u ei se x p o u n d e d 【2 】o nt h eb a s i so ft h et h e o r yo fv i s i o ni n s p e c t i o n ，an e wm o n o c u l a rv i s i o nm e t h o di s p r e s e n t e df o rg e t t i n gt h ep o s i t i o na n do r i e n t a t i o no ft a r g e t ； 【3 i no r d e rt or e a l i z ea u t o m a t i cc a m e r ac a l i b r a t i o n ，an e wf e a t u r e - c i r c l e b a s e d c a l i b r a t i o nd r o n ei sd e s i g n e d a n das e to fa l g o r i t h m sf o ri m a g ep r o c e s s i n g ， p r o v e dt ob ee f f i c i e n t ，a r ep r o p o s e da sw e l l ； 4 】u n d e rl a b o r a t o r yc o n d i t i o n ，i n f r a r e ds o u r c ei sd e s i g n e d t h ee n t i r em e a s u r e m e n t s o f t w a r ei sp r o g r a m m e d a n dt h em o n o c u l a rv i s i o nm e a s u r e m e n ts y s t e mi sb u i l t t h ee x p e r i m e n t so fp r i n c i p l ec e r t i f i c a t i o na n dm e a s u r e m e n ta c c u r a c y ，a r e p r e s e n t e dt op r o v et h es t a b i l i t yo ft h i ss y s t e m t h e s ee x p e r i m e n t sl a yas o l i d f o u n d a t i o nf o rw h e e la l i g n m e n ts y s t e m 【5 a tt h es c e n e ，t h es t r u c t u r ei sa d j u s t e dt oa c h i e v es a t i s f a c t o r yr e s u l t t h e e x p e r i m e n t so fr e p e a t a b i l i t ya r ep e r f o r m e d t h er e s u l t ss h o wt h a t ，t h er e p e a t a b i l i t y p r e c i s i o no fa n g l e s i sl e s st h a n8 ”t h e e x p e r i m e n td a t a s h o wt h a t t h i s m e a s u r e m e n ts y s t e mi ss t a b l ea n dr e l i a b l e k e yw o r d s ：m o n o c u l a rv i s i o n ，v i s i o ni n s p e c t i o n ，c a l i b r a t i o nt a r g e t ，p o s i t i o n a n do r i e n t a t i o no fo b j e c t 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进, 7 自d 研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰：弓过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的晚明并表示了谢意。 一虢两1 乡一飙沙7 蝴拶同 学位论文版权使用授权书 本学位论文作者完全了解苤生盘堂有关保留、使用学位论文的规定。 特授权丕鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 陌- 哆 签字同期：唧年j _ 月冲同 导师签 签字r 暇伊夕年期岁移同 绪论 2 1 引言 第一章绪论 视觉检测技术是近二十几年来发展的一门新兴测量技术，采用了大量自动 化、智能化技术，通过计算机识别和控制，测量过程只需很少的人工干预就可完 成。视觉检测技术具有非接触、测量速度快、自动化程度高、精度适中等优点， 非常适合现代先进制造业高度自动化的发展要求。 视觉检测技术是将三维客观世界投射为二维图像，再由二维图像还原三维信 息的一门技术。m a r t 在8 0 年代提出了较为完善的视觉计算理论，他把视觉过程 看作是一个信息处理过程，并把视觉过程主要规定为定量地恢复出所反映场景中 三维物体的形状及其空间位置，这个过程可分为三个阶段：底层视觉( 2 d ) ， 中层视觉( 2 5 d 、3 d ) 和高层视觉( 直接目的) 。虽然随着计算机视觉理论研 究的深入以及人工神经网络的出现，相继出现了许多有代表性的视觉模型，但迄 今为止，高层视觉仍然没有突破性进展。目前工业应用主要集中在底层视觉和中 层视觉上。 视觉检测技术一般由四部分组成：一台或者多台c c d ( 或电荷耦合器件) 组 成的视觉传感器：一个图像采集设备；一台计算机；一个图像分析软件包。工作 过程为由视觉传感器获得测量图像，经图像采集卡传送到计算机，由图像分析软 件包处理测量图像，获得感兴趣的测量参数。 视觉检测技术的核心任务有三部分：图像的获取、图像的处理和分析、输出 或显示。其中图像获取是视觉检测信号的来源，它的精度直接影响到测量的精度； 虽然现有的c c d 器件和图像采集设备己基本能够满足大多数应用场合在采样速 度方面的需求，但随着企业自动化要求的提高，视觉检测的速度瓶颈主要在图像 获取上。因此快速、精确获得图像是视觉检测的基础。 图像的处理和分析是视觉检测的关键。它包括图像分割、特征抽取、图像识 别与理解等内容。经过这些处理后，图像的质量得到相当程度的改善，既改善了 图像的视觉效果，又便于计算机对图像进行分析、处理和识别。图像处理过程使 得对图像中感兴趣数据的获得比较容易，但同时它也是对原始信号的一种“干 扰”，因此最大限度在原始图像中获得测量信息是视觉检测的一个基本原则。测 量结果的输出或显示是视觉检测技术的核心。有效的将测量结果显示给测量员是 。绪论 以利于及时发现问题，特别是对于闭环测量过程可以及时的控制生产测量过程。 单目视觉测量是指仅利用一台视觉传感器采集图像，对物体的几何尺寸及物 体在空间的位置、姿态等的测量 1 】。虽然单目视觉测量与双目视觉测量均具有测 量特征物体位姿的功能，但双目视觉测量设备受到视场范围的限制，测量范围小， 测量距离短。而单目视觉测量系统不受视场范围限制，可以通过更换镜头，在所 需测量范围以及测量距离内测量靶标的空间位姿姿态。此外，单目视觉测量结构 简单、标定步骤少等优点，同时还避免了立体视觉中的视场小、立体匹配难的不 足。因而近年来这方面的研究比较活跃。 本文重点研究的是单目测量靶标位姿。单目无法测出物体的深度信息，因此 无法测出三维物体的姿态，但是如果目标物体是如靶标一类的平面物体，这种目 标物体本身可以认为是没有深度信息的话，即可使用单目摄像机获取物体的相对 位姿。其次，单目视觉系统最大的优势是可以进行大范围，远距离测量。但是远 距离测量最大的困难是摄像机到目标物体的测量距离太远，受环境光的影响很 大，因而本课题的重点即是解决单目测量中遇到的各种问题。 2 2 单目视觉检测系统研究现状以及测量方法 视觉测量技术研究重点是物体的几何尺寸及物体在空间的位置、姿态等的测量。 视觉测量的分类方法有多种，其一是按所用视觉传感器数量可以分为单目视觉测 量、双目视觉( 立体视觉) 测量和三( 多) 目视觉测量等。其中，双目视觉测量和近 景摄影测量的理论基础和主要研究内容是一样的。单目视觉测量是指仅利用一台 数码相机或摄像机拍摄单张像片来进行测量工作。因其仅需一台视觉传感器，所 以该方法的优点是结构简单、相机标定也简单，同时还避免了立体视觉中的视场 小、立体匹配难的不足，因而近年来这方面的研究比较活跃。 随着机器人技术的发展，快速准确地确定两个空间目标间的相互关系，从而 实现它们的协调合作显得愈来愈重要。对于两个空间目标来说，无论是两个目标 都运动，还是一个静止，一个运动，都可以把其中一个作为观察者，另一个作为 目标理论上讲，只要在目标上取3 个以上的点，并分别测出其在目标坐标系和 观察坐标系下的坐标，就可以确定目标坐标系相对于观察坐标系的位姿，即两个 空间目标间的相互关系。视觉方法是确定空间目标位姿的常用方法，该方法首先 在观察者上设置一个或两个摄像机，而在目标上选择一组固定的标志，通过图象 处理技术检出各标志在观察坐标系下的三维坐标，即可得到目标相对于观察坐标 系的位姿。 单目视觉测量系统主要应用于机器人、航空航天以及一些军工事业上的目标 绪论 跟踪。在机器人导航和视觉伺服系统中的应用单目视觉检测系统其目的是要通过 图像定位、图像理解，向机器人运动控制系统反馈目标或自身的状态与位置信息， 使其具有在复杂、变化的环境中自适应的能力。例如机械手在一定范围内抓取和 移动工件，摄像机利用动态图像识别与跟踪算法，跟踪被移动工件，始终保持其 处于视野的正中位置。 在四川i 省与重庆市的高速公路上，使用的汽车智能辅助操作系统是智能交通 系统的重要组成部分，也是目前国际上的热点问题基于计算机视觉技术的车道 保持，即视觉导航是辅助操作系统的核心问题之一。一种基于单目视觉的公路分 道线二维重建算法和距离测量算法，其基本思想是根据分道线灰度与几何特征建 立约束方程，进而跟踪提取分道线，并用二维模型重建，在此基础上，首先获得 车道保持的必要道路参数，然后在二维重建的基础上，进一步实现了基于分道线 几何约束的单目测距算法。 哈尔滨工业大学对基于单目视觉的目标位姿测量算法进行了理论和实际研 究【2 j 。利用投影仪、c c d 摄像机、图像采集卡及p c 机组成了一个半物理仿真实验 系统，为视觉伺服控制系统以及空间交会对接的理论研究和模拟实验创造了环 境。在此基础上，着重研究了利用单目相机对目标进行位置及姿态测量的方法。 针对人为生成的目标及特征光标，利用坐标变换和几何关系推导了一种简便的解 析算法用以测量目标的三维位置和姿态。在均匀光照和一般室内背景条件下，完 成了模拟空间交会对接时的目标飞行器位置姿态测量实验。 合肥工业大学主要研究空间机器人单目手眼视觉测量方法，实现三维目标物 体位置和姿态地实时测量【3 】o 研究内容主要有：标定光标和合作光标的设计；图像 采集装置设计以及一些常用的图像处理技术；摄像机参数的标定，包括线性标定 方法和非线性标定方法；手眼标定确定了机器手爪与摄像机的位姿关系；研究了 一种基于三次坐标变换的三维物体位姿测量封闭解法，并对方法进行了优化。最 后搭建了一个基于图像采集卡，p c 机和直线导轨的手眼视觉实验系统，进行了 算法的仿真验证，并在安徽大学自动化系的m o t o m a n 机械臂系统上进行了验证。 从单目视觉的研究现状可以看出，单目视觉的应用领域很广泛。测量方法也 很多，主要有以下几种【4 j ： 1 几何相似法测量 单目视觉几何相似法测量是对应于被测对象的几何参数在同一平面内的情 况，此时被测物面与摄像系统光轴垂直，并与像平面平行。根据透视投影模型， 物体与其图像满足相似关系，只要从图像上提取所需参数，乘上实际放大倍数， 就得到物体的实际几何参数。几何相似法测量只是二维测量，主要有二维几何位 置、形状、变形测量、位移和速度的测量等。 2 结构光法测量 用激光作光源产生点、线、面各种结构光，用c c d 摄像机来接收，通过一定 算法来获取结构光所携带的被测物体的3 d 信息。以半导体激光器作光源，使其 产生的光束照射被测表面，经表面散射( 或反射) 后，用面阵c c d 摄像机接收，光 点在c c d 像平面上的位置将反映出表面在法线方向上的变化，即点结构光测量原 理。半导体激光器产生的激光经柱面镜变成线结构光，投射到被测区域形成一激 光带，用面阵c c d 摄像机接收散射光，从而获得表面被照区域的截面形状或轮廓， 即线结构光测量原理。让线结构光扫描被测表面，就可获得被测表面的3 d 数据。 让半导体激光器发出的激光扩束后照射到光栅上，便产生多个光平面，投射到被 测表面上形成多条亮带，用c c d 摄像机接收，便可获得被测表面的3 d 信息。 3 几何光学法测量 相机光学镜头是薄透镜，对薄透镜来说，已知焦距和像距即可求得物距。因 此，几何光学法测量可分为聚焦法和离焦法。在焦距是可调的情况下，使被测点 处于聚焦位置，然后根据透镜成像公式可求得被测点相对于相机的距离，以达到 测量目的。这种方法称之为聚焦法，它要求焦距可连续变化，因此硬件复杂且昂 贵、处理速度慢，相机偏离聚焦位置会带来测量误差，寻求精确的聚焦位置是关 键所在。离焦法不要求相机相对于被测点处于聚焦位置，而是根据标定出的离焦 模型计算被测点相对于相机的距离。它避免了寻求精确的聚焦位置而降低测量效 率的问题，但离焦模型的准确标定是该方法的主要难点。 4 辅助测量棒法测量 借助一根带有三个以上已知标志点的辅助测量棒( 以下简称测棒) ，用单台相 机获取单张像片就可进行空间点三维坐标测量。测棒上标志点和测头在测棒坐标 系中的坐标可预先标定好，即坐标是已知的。测量时，手持测棒用测头接触待测 点，将测棒坐标系当作辅助控制坐标系，则测棒上标志点即为控制点，如果有三 个以上测棒标志点( 控制点) ，利用单像空间后方交会就可解算出像片的外方位元 素( 像片内方位元素需事先标定好) ，从而求得测棒坐标系与测量坐标系的转换关 系。又因为测棒的测头在测棒坐标系中的坐标是已知的，则通过坐标转换即可得 到测头( 所接触的待测点) 在测量坐标系中的坐标。 5 激光辅助测距法测量 单张像片不能进行三维测量是由于影像中只含有被测点的二维信息，而缺少 被测点至镜头中心的距离信息。测距仪是最常用的距离测量手段，据此我们提出 将手持激光测距仪和相机集成在一起，相机拍摄的单张像片获取被测点的二维信 息、测距仪测距得到距离信息，最后统一解算得到待测点的三维坐标。 4 2 3 本课题研究的主要内容 绪论 整个单目视觉测量系统是一个较为复杂的系统，本课题完成的是该系统的软 件设计与制作、系统结构设计以及整机的现场调试，这是整个测量系统的基础和 关键所在。本测量系统有关技术指标如下： 表l 一1 测量系统技术指标 工作距离测量范围测量分辨力测量精度 2 2 0 0 2 0 m m6 0 0 m m 4 0 0 m m15 工作距离测量范围 测量分辨力测量精度 4 5 0 0 5 0 0 m m6 0 0 m m 4 0 0 m m 1 5 本文研究的主要内容： 1 分析单目视觉测量的意义和国内外研究现状，阐述本课题的研究价值； 2 在对视觉检测理论深入研究的基础上，构建出单目视觉检测系统的数学模 型，分析本系统的测量原理； 3 设计一种基于标记圆的新型摄像机标定靶标，并提出一套相关图像处理算 法，实验证明该靶标和图像处理算法稳定、可靠，能够实现摄像机内部参数 的自动标定； 4 在实验室条件下，设计一种红外光源，编写完整的传感器测量软件，建立了 单目视觉检测系统，并进行原理验证和精度测量实验，实验证明该系统稳定 可靠，为实现四轮定位打下了坚实的基础。 5 根据现场实际情况，调整系统整体结构。并进行了大量测量实验，重复性精 度可达8 ”，实验结果表明该系统稳定可靠。 单目视觉测量原理 第二章单目视觉测量原理 视觉传感器是视觉检测系统的核心单元，直接获取被测物体的信息，并进行 预处理，然后把信号传送给数据处理单元和图形分析系统。视觉传感器按摄像机 数目分为单目视觉传感器、双目视觉传感器和多目视觉传感器。不同传感器有不 同的数学模型，决定着测量域内各点与摄像机图像中各点的位置关系，该数学模 型的参数称为传感器参数，这些参数必须经过特定的标定( 校准) 过程来确定， 该过程称为传感器标定。 经过摄像机标定和传感器标定后，视觉传感器就具有了测量空间点三维坐标 的功能。视觉传感器是视觉检测系统的信号获得单元和三维坐标转化单元，它的 测量精度直接决定着系统测量的精度，而视觉传感器的测量精度则取决于摄像机 标定精度和传感器标定精度。 单目视觉测量是目前3 d 测量领域中运用的较为成熟的一项技术。单目视觉 测量与双目视觉测量均具有测量特征物体位姿的功能，但双目视觉测量设备受到 视场范围的限制，测量范围小，测量距离短。而单目视觉测量系统不受视场范围 限制，可以通过更换镜头，在所需测量范围以及测量距离内测量靶标的空间位姿 姿态。 本章叙述了系统结构组成，建立了单目视觉传感器的测量模型。 2 1 摄像机标定原理 摄像机是视觉传感器的测量信息获得机构，摄像机标定技术则是使摄像机具 有获得空间坐标的功能。随着近几十年来视觉检测技术的发展，摄像机标定技术 被应用到近景测量中。在三维计算机视觉领域内的摄像机标定，就是指确定摄像 机内部几何和光学特性( 内部参数) 和相对于一个世界坐标系的摄像机坐标的三 维位置和方向( 外部参数) 的方法。 目前摄像机标定问题研究的比较成熟，传统的摄像机标定方法大致可以分为 线性的和非线性的。利用非线性最优化技术标定摄像机可以考虑各种因素假设， 对任何复杂的摄像机成像模型都能达到很高精度，但若标定参数初始值估计不 当，则无法通过优化程序得到正确标定结果，且优化运算非常费时，无法实时得 到标定结果；线性透视变换矩阵的摄像机标定法，不需运用最优化方法求解摄像 机参数，从而运算速度快，可实现摄像机参数的实时计算，但是由于标定过程中 不考虑镜头的非线性畸变，参数标定精度不高，且过分参数化，使得求解参数与 6 单目视觉测量原理 实际情况不能很好地吻合；进一步考虑补偿的两步法先利用直接线性变换方法或 者透视变换矩阵方法求解摄像机参数的初始值，再考虑透镜畸变因素，利用最优 化方法进一步提高标定精度。实验表明，对于广角镜头应考虑其径向畸变、切向 畸变及薄棱镜畸变等，而对于一般的镜头，径向畸变已能足够描述非线性畸变， 引入过多的畸变参数往往不仅不能提高精度，反而引起解的不稳定。基于上述分 析，针对本次实际采用的镜头为一般的日本a v e n i rc c t vl e n s ，采用了t s a i 的r a c 5 两步法摄像机标定技术。 2 1 1 摄像机透视变换模型 图2 1 是c c d 摄像机透视变换模型，在这个模型中有四个坐标系：物空间坐 标系o , ，r w y w z w ，摄像机坐标系o e x e y e z c ，像平面坐标系啪巧和计算机图像坐标系 o u v 。空间一点p 经摄像机成像后其像面坐标和摄像机坐标的关系为： x 1fy l i i 一万 q 。1 d 式中，伪摄像机成像镜头的有效焦距，即摄像机坐标系原点到像面的距离。p 点 在物空间坐标系d 、】函帕乙。冲的坐标p ( h ，蜘，细) 和在摄像机坐标系o c x c y c z 。中的坐 标p ，y c ，z c ) 的关系为 蒌 = r 圣 十丁 ( 2 1 - 2 ) 式中，尺= 匿薹薹 为旋转矩阵；丁2 乏 为平移矢量，r 和丁决定了摄像 机相对于物空间坐标系的方向和位置。 xei：=xd(1磊+klrya(1 协m ， 【e = + 墨，2 ) 式中，七t 为摄像机镜头的径向畸变系数；，= x ；+ 巧 实际像点坐标p d ，蚝) 和计算机图像坐标p ( 力的关系为 7 单目视觉测量原理 心剐，巴白叫0 ) ( 2 - 1 4 ) i 圪= d y ( y v o ) 式中，( 2 0 ，) 是成像中心在计算机图像坐标系中的坐标；d 播d d y 分别为c c d 感光面在x 和y 方向上的光敏单元的中心距；炙是x 方向上的不确定图像比例因 子。 由以上各式可以得出空间坐标p ( x 。，y 。，z 。) 和计算机图像坐标p ( u ，d 的关 系： x ，= s - ；1 d ， 一d o ) ( 1 + 尼l ，2 ) z = d ，( 1 ，一1 ，o ) ( 1 + 后l 厂2 ) ，玉兰! 垒兰! 垒三! 垒一y 1 + r1 ，+4 一 ， (215r ) 7 石w + 少w + r 9 2 1 ，+ t z 、p 厂垒兰= 竺兰! 堡三= 垒一， j r 7 x 。+ r s y ，+ z 。+ f ： 。 公式( 5 ) 是c c d 摄像机的透视成像模型，它建立了空间点的三维坐标 p ( x 。，y 。，z 。) 和其像点在计算机坐标系中的二维坐标p ( ”，v ) 之间的关系【”。 图2 - 1 摄像机透视变换模型 单目视觉测最原理 2 1 2 标定方法 摄像机的标定问题可以归结为：已知一些点的三维世界坐标和它的计算机图 像坐标，求解摄像机的内部参数和外部参数。 旋转矩阵r 和平移矩阵r 为摄像机的外部参数，反映了三维世界坐标系到 摄像机坐标系的转换关系。 摄像机的内部参数表征了摄像机本身的一些性质，它包括如下5 个参数： 有效焦距，或像平面到投影中心的距离； 岛一阶透镜径向畸变系数； s ，由于扫描或抽样采集时延误差而引起的不确定水平方向比例因子； 甜d ，y d 一像面中心。 坐标变换过程如图2 2 所示。 三维世界坐标( 墨y ，蜥，z 矽) i摄像机坐标系坐标( 恐，圪，z c ) ， 计算机帧存图像坐标( 叻，场) 图2 2 世界坐标到计算机坐标变换示意图 ( x u 。y v ) ( 局，场) r a c 是t s a i 在1 9 8 7 年提出的标定摄像机参数的方法，也叫两步法。第一步， 利用径向准直约束条件( 如图2 一1 ) ，即无论径向畸变如何，向量虿虿和向量霹 的方向相同： 9 单目视觉测量原理 q 弓皿= 0 ( 2 1 - 6 ) 即： b 。匕y w 匕z w 匕匕一x w x d 一少。彳d z 。x dj = x d ，* ( 2 - 1 7 ) 【工= k 1 是巧1 r 2 s ，巧1 r 3 s ，巧1 t q 巧1 r 4 巧1 r 5 巧1 r 6 j 采集标定靶标上的每一个特征点，都可以得到相对应的一对坐标( z 。) 和( 玑y ) ，联合方程( 2 1 4 ) 和方程( 2 - l - 7 ) ，并结合正交矩阵约束条件，用最d , - 乘 法求解，得到r 和丁的分量，1 r 9 、巧以及最的解：第二步，把所得参数代入( 2 1 5 ) 式，采用迭代法可求出其他参数的最终精确解。 根据获取特征点的不同，r a c 法分为共面标定和非共面标定，其中非共面标 定的精度比较高，经常被采用。它要求采集靶标在摄像机光轴的垂直方向上的几 个不同位置的图像。所以实验经常采取的方法是，让靶标在一个固定导轨上每移 动z 采集一次图像，可以得到若干非共面的特征标定点。对这些点建立合适的 空间坐标系，就可以得到每个特征点在空间坐标系的坐标) 和在计算机 图像坐标系中的坐标们，最后应用r a c 法进行求解。 2 2 单目视觉测量模型 由于靶标上的标记圆均在同一平面上，那么利用靶标的拓扑位置关系，可以获取 一系列控制点咒o ) 一( 乃) ，根据式( 2 1 5 ) 推出数学模型6 。8 1 如下： x d = s x 正0 一) l = 瓯( 1 ，一) x u = x d ( 1 + 七( y ；+ 巧) ) ( ( h t 一托t ( 乏2 r 8 娑fr 答5 鬈婴r s “) ( f i y _ t t ) ) ( 2 圳( ( 厂，一叉乙：) ( l 一) 一( 以一厂。吒) 。( 。，一艺。：) ) 、。1 。7 ” ( ( 叉乙r 7 一f ) ( 艺r 8 一f r 5 ) 一( 爿乙- r s f ，2 ) ( l r 7 一f ，4 ) ) ( ( 厂t ，一e t ：) ( 五乙- r 7 一f r 1 ) 一( 艺r 7 一厂) ( f t ，一x u t x ) ) 。” ( ( x 。巧一r 1 ) ( l r s f r 5 ) 一( x 。r 8 一f 吃) ( 艺r 7 一f ，4 ) ) 将( 2 1 8 ) 式展开，并且将获取的刀组控制点对数据带入，构造2 n 维非线形方 程组，可以得出： f x i x i1 7y 弘j r g 嚣t 譬f f 2 x i1 4 r - f 铭r 2 ft y 胞小9 ， 【= 匕。+ 瓦+ ：一y f 一 由于获得的控制点对数目较多，通常n 1 2 ，而待计算的参数共有1 2 个，通过解超 定方程组( 2 1 9 ) 即可确定坐标转换矩阵r 和坐标平移矩阵乃 1 0 单目视觉测量原理 考虑正交约束关系： r 肚匕纠 ， 卜l t t ：j l = ( 2 + 彳+ 芎一1 ) = 0 c ：= ( 弩+ 孑+ 寺一1 ) = 0 32 ( 寺+ 膏+ 芬一1 ) = o ( 2 1 1 0 ) 4 = ( 吒+ 吩+ ) = 0 耳5 = ( 吃+ r 4 厂6 + 厂7 吩) = 0 6 = ( 厂2 + r 6 + 嵋) = 0 由( 2 1 9 ) 和( 2 1 1 0 ) 分别构造最优目标函数如下： rn i i 俾) 2 善( 露+ 露) ( 2 1 旧r ) = 码+ 磁+ 码 由于目标函龇( r ) 比目标函糊l ( r ) 的收敛速度明显要快，将约束目标函数 如( r ) 乘上罚因子m 构成无约束最优目标函数： ，( r ) = i i ( r ) + m 1 2 ( r ) 罚因子朋越大，求解出的r 的正交性越好，但朋越大，解方程的迭代次数也越多， 因此肘通常在1 0 0 0 0 0 0 8 0 0 0 0 0 0 ，利用最小二乘的广义逆法计算，求解出坐标变 换旋转矩阵用铂平移矩阵z t 9 1 。 2 3 单目视觉测量靶标位姿原理 阱阱 协2 ， 测量位姿2 可以得到靶标位姿2 与摄像机坐标的坐标变换关系式： 单目视觉测量原理 式： 巧 即蚓+ 。 图2 3 单目测量物体位姿原理图 根据( 2 1 8 ) ( 2 1 9 ) ，可以算出靶标位姿1 与靶标位姿2 坐标的坐标关系 阱阱 ( 2 1 1 4 ) 其中r = 泛2 - 1 r j ，t = r i 7 ( 乃t 2 ) ，根据月，矾口可估算安装支架的相对姿裂1 0 1 2 1 。 靶标图形设计及图象处理技术 第三章靶标图形设计及图象处理技术 靶标的设计是计算机视觉和图像测试技术的关键技术，决定了系统的测量精 度和简易度。立体靶标制作复杂、成本高，因而普遍采用平面靶标组建的虚拟空 间靶标，则平面靶标的设计也成为这个领域研究的热点技术。平面靶标的设计关 键在于摄像机采集的平面图像上特征点的位置关系和实际特征点位置关系的对 应，经常被称为拓扑对应问题。 在摄像机的t s a i 标定模型中，靶标一般是正对传感器，所以使用靶标的间距 倍数原则，即可确定拓扑对应。这种靶标在相对摄像机倾斜角度较大时，因投影 变换使像面上的间距产生了变化，采用间距倍数原则容易产生错误的拓扑关系。 而平面靶标在实际使用过程中，经常会碰到靶面不正对传感器的情况，例如双目 摄像机系统地标定，两个摄像机要同时看到靶面，所以肯定会产生靶标不能对正 其中的某个摄像机；在z h a n g 的不确定视角摄像机标定方法，要求靶标在传感器 测量视场内任意摆放若干不同角度的位置；另外，在用平面靶标进行姿态测量时， 靶面的放置也随物体的变动随机变化。所以很有必要设计一套在任意摆放位置都 能准确确定拓扑对应关系的靶标。即设计具有方向性的圆形平面靶标，并设计一 套图像处理算法和拓扑对应规则，实现任意摆放靶标也能准确提取特征点的拓扑 对应关系 3 1 靶标图象处理相关算法 在摄像机内部参数标定中，我们设计了基于中央标记圆的新型平面圆孔靶 标，利用圆孔的圆心作为标定模型的特征点，这些特征点在标定模型中是作为已 知量参加标定的。因而，如何快速、精确的确定靶标圆孔中心在计算机图像坐标 系下的坐标以及如何完成圆孔中心的空间自动定位就成为摄像机内部参数标定 中的关键技术。为此，本节将着重讨论系统标定中的图像处理技术。图像处理是 靶标图像被采集到计算机后，计算机对靶标图像的识别过程。通过图像处理，可 以获得相关的数据信息。 需要指出的是，图像特征点位置提取精度在很大程度上决定了测量系统的精 度，为此，对于标定图像的采集，一般要求提供尽可能好的标定环境，以便可以 获得质量较好的标定图像。圆孔中心的精确定位包括以下几个环节：图像预处理、 阈值分割、轮廓跟踪、椭圆拟合、标记圆搜索、中心空间自动定位等。 靶h 、吲形醋汁址蚓客处群拉术 3 1 1 剪影法 n ： 见觉榆测系统中，被测物体绎肚c c d 摄像机镜头成像n 摄像机像平上 再粹过阐像采集卡埘原始模拟| 錾1 像进 r 离敞化j 口成计算机a j 以处理的数 | 芒| 像， 供存祚帧存体中。祚术系统中褂到的数7 冬| 像为7 6 8 5 7 6 8 驮度i 讣隙。 当靶标所处耳、境比较复杂，j e 其是背景d 。h l 光的照射f 会很明显。此我们 采丌】剪影泌去除背景的干扰。蜘l | 冬i3 - j ，靶标所处研、境比较复杂，j c 其背景中诎 照亮部分的扶度值和靶标中圆形特征点的扶度值几乎柑等，采用闺值分割的方式 币能将背景士除。凼此先在l r 外光源关闭的情况下拍摄一惝靶标| 冬| 像立 錾| 3 - 2 ， 再打开红外光源拍摄一幅靶标蚓像。山于靶标上j 糸肯红外反射材料，比较两幅h 剐靶标神| 冬 片上呈现的状态不同浦两幅罔的扶度值午爿娃之后，柑同部分被减去， 即背景被减去，留下的为照亮的靶标。这种预处理方式便十剐像的后期处理m 】。 图3 - 2 红外光源关闭下的靶标图片 靶标图形设计及图象处理技术 3 1 2 阈值分割 图3 - 3 采用剪影法后的靶标图片 把图像信息从背景中提取出来，通常的方法是阈值分割法 t h r e s hr 设输入图像为f ( x y j 输出图像为g r 川，则 如功= bf 他( x , y 小) 2 t t h r 枷e s h 即设定一个闽值 0 - 1 ) 阈值一般可写成如下形式： t h r e s h = t h r e s h ( x ，) ，f ( x ，y ) ， ( t ，) j ( 3 - 2 ) 其中，( y ) 为像素点( 五y ) 处的灰度值，h ( x ，y ) 代表该点邻域的某种局部性质。 根据上式可将阈值选取方法分成三类： l 基于像素灰度值的阈值：阈值仅根据f ( x ，y ) 来选取，所得到的阅值仅与图像 中各像素的本身性质( 灰度值) 有关； 2 基于区域性质的阈值：闽值是根据f ( x ，y ) 和h ( x ，y ) 来选取的，所得到的闽值 与区域性质( 区域内各像素的灰度值、相邻像素灰度值的关系等) 有关： 3 基于坐标位置的阈值。除根据，( z ，) 和 ( j ，y ) 来选取湃值外，阈值还与( j ，) 有关，即所得的闽值是与像素空间坐标有关的，所咀又成自适应阈值。 圆形平面靶标经c c d 摄像机、图像采集卡采集到计算机中，虽经过透视变换 发生畸变，但由于照明条件较好，图像中圆孔区域灰度值仍呈中心对称分布，因 此阐值取定的小范围变化引起的边缘径向偏差并不会影响圆孔中心的定位精度。 图3 - 4 为一幅靶标图像的灰度直方图，直方图中有两个明显的峰值，分别代 表目标( 靶标中透光圆孔) 和背景( 黑色不透光底板) 并且目标和背景两个峰值距 离很远。为此我们采用双峰法进行阈值选取，具体实现过程如下： 靶标图彤醴；p 止斟象处理技术 图3 4 灰度直方图 1 直方图统计 求出每一个灰度值i ( i = 0 2 5 5 ) 对应的像素数n l 。 2 峰值搜索 灰度值i 从0 到2 5 5 搜索，找到直方图中的第一个峰值( n i 极大值1 m 1 ； 灰度值i 从2 5 5 到0 搜索直方图中的第二个峰值( n i 次极大值) m n ，满足条件 l m x - m n l d i s t ： d i s t 为预设好的双峰间的最小距离实验中我们取d i s t = 8 0 。 3 确定阈值办，础：坐! ! 妄坐生 图3 - 5 为阈值分割后的靶标二值化图像。 图3 - 5 阈值分割后的靶标图像 靶标图形设计及图象处理技术 3 1 3 轮廓跟踪及图像边缘点的获取 阈值分割后我们得到了靶标的二值图像，要获得图像上椭圆( 圆经透视畸变 后图像为椭圆) 的中心坐标，就必须获得每一个椭圆的边缘坐标数据。所谓边缘 即为二值化图像中0 1 的跳变处。然而，0 1 跳变同样可能在靶标的边缘处或 者其他地方出现。因而要想获得椭圆边缘点数据，必须分两步：1 ) 检测图像上的 所有轮廓边缘；2 ) 剔除非椭圆边缘。 1 轮廓跟踪法边缘搜索 单一轮廓跟踪的基本方法是：先根据某些严格的“探测准则”找出目标物体轮 廓上的起始像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标轮廓 上的其它像素。下面介绍两种二值图像轮廓跟踪的算法。 起始像素探测准则：按照从左到右，从上到下的顺序搜索，找到的第一个目 标点( 靶标图像中的白点) 作为起始点，记为a 。 跟踪准则一：沿起始像素a 的右、右下、下、左下四个邻点找下一个边界 点，如未找到则目标轮廓为一孤立像素点，否则，将该边界点记为b ，从b 开始 找起，按右、右下、下、左下、左、左上、上、右上的顺序找相邻点中的边界点 c ，如果c 点就是a 点，则表明已经转了一圈，结束搜索，否则从c 点继续找， 直到找到a 为止。边界点判定准则：当前点的上下左右都不是白点则当前点即 为边界点。这种算法要对边界像素周围的八个点进行判断，计算量很大，运算速 度慢。 跟踪准则二：从起始像素点a 开始，定义初始的搜索方向向右；如果右方 的点是白色，则为边界点，否则搜索方向顺时针旋转4 5 度，继续搜索，直到找 到下一个边界点。此时，将搜索方向逆时针旋转9 0 度，继续用同样的方法搜索 下一个边界点直到回到起始点a 为止。 以上介绍了单一轮廓的搜索算法，下面介绍如何搜索靶标图像中的所有跳变 轮廓。设图像像素值为厂( f ；_ ，) ，其中f 、分别为图像列坐标和行坐标；设边缘 索引号为c o u n t ，初值设为o 。采用上述跟踪准则二，从图像左上角开始，到图 像右下角结束，对全图像扫描跟踪一遍，跟踪过程中，将轮廓数据存储到预先设 定好的数据结构中，包括边缘点像素坐标，及该轮廓包含的边缘点数，具体算法 流程如图3 - 6 所示。 轮廓跟踪后，获得图像全部轮廓数据，包括椭圆轮廓和非椭圆轮廓。靶标边 缘也被作为轮廓边缘保留了下来，下一步的工作就是把目标椭圆轮廓识别出来。 1 7 靶标图形设计及图象处理技术 图3 - 6 轮廓跟踪流程图 1 8 靶标图形设计及图象处理技术 2 目标椭圆识别算法 靶标为圆孔阵列，其中位于靶标中央标记圆半径较大，其余圆孔的半径都相 等，所有圆孔的中心距相等。虽然经过透视变换，圆变为椭圆，但椭圆之间仍然 有很好的相似性。根据靶标的先验知识，我们设计了两步法识别椭圆目标【1 4 】【1 5 1 。 ( 1 ) 第一步：轮廓初步识别和标记圆搜索 设某条轮廓的边缘点坐标数组a = ( x i , y ，) i f z ，所) ，h u m 为它的边缘点个 数，则它所包含的区域面积为： s ：委窆h 圹碱一。i ( 3 - 3 ) 厶- l 轮廓边缘上任意两点p 舡f ) 瓢乃) 之间的距离为： d i s p “= 厄j 芦五j y ( 3 - 4 ) 从边缘点中搜寻最左端点p 0 、最右端点p l 、最上端, f t , p 2 、最下端点p 3 ，它们两 两之间的距离却u 中的最大值的一半即为该轮廓的外接圆半径尺： r = m a x d i s p i j l 2 ，i j2 0 ，1 ，2 ，3 ( 3 5 ) 前述轮廓跟踪得到的边缘数据中可能混有靶标边缘轮廓，也可能有由于光照 等环境因素造成的杂散点，为此我们必须充分利用靶标的先验知识来进行轮廓初 步识别【1 3 】【1 4 1