（计算机应用技术专业论文）三维视觉轨迹跟踪与动态碰撞检测算法的研究.pdf

上海大学硕士学位论文 三维视频轨迹跟踪与 动态碰撞检测算法的研究 摘要 本文的主要研究目的是实现一个基于机器视觉的机器人手臂动作跟踪系统， 该系统能够完成对机器人手臂动作轨迹的跟踪、预测，并且能够实现碰撞检测 和碰撞预警的功能。 本文首先介绍了一种基于双目视觉的摄像机模型，该模型不仅考虑了摄像机 的外部姿态参数，还考虑到摄像机的有效焦距、畸变等内部参数，论文中绘出 了这些参数的标定方法。考虑到检测精度和检测速度的要求，我们采用在机器 人本体上安置特征点的方法来实现对机器人手臂动作的跟踪。因为可以将机器 人看作是一系列刚体的集合，而通过识别特征点的方法将很容易建立起机器人 的骨架模型，并分析出机器人的工作状态，经过多种方案的尝试和总结，我们 决定采用一组邻近的色点，作为一个特征点。这种方法利用了色点特定的颜色 信息和相互位置关系，有效地提高了特征点识别的正确率，并且能够计算出特 征点所在平面的空间姿态。然后，根据捕获的一系列空间特征点，结合已有的 三维机器人模型，建立起机器人骨架模型；通过对动态机器人骨架模型的分析， 实现了机器人手臂动作的跟踪、预测以及碰撞检测、碰撞预测的功能。 为了实现动态环境下的碰撞检测技术，本文在先前工作成果的基础上，对基 于多面体剖分的并行碰撞检测算法作了进一步的改进，提出了基于包围盒树的 复合式动态碰撞检测算法。我们采用了多面体结构代表机器人及被操作对象的 模型，而在真实的机器人工作环境中，不仅机器人及被操作对象的数目巨大、 模型结构复杂，而且它们的相对位星关系时刻改变，这使得原有的算法在速度 上、功能上都不能满足动态环境的要求。本文详细介绍了如何实现动态环境下 的碰撞检测算法。首先，将多面体剖分算法与包围盒算法相结合，将物体剖分 为一系列简单多面体，同时根据剖分的过程建立具有多层结构的包围盒树。然 后，根据物体间的相对位置、相对速度等信息建立起碰撞检测的优先级队列。 这样，两物体间地碰撞检测问题就转化为两棵包围盒树间的一个搜索问题。我 们使用自上而下和自下而上的两种搜索方法完成了搜索过程。实验表明该方法 不仅傈罄了原算法速度快、精度高、低误判等优点，它还建立了多重碰撞检测 优先级，有效地提高了检测效率，另外，它还能提供碰撞位置、碰撞程度等额 外信息，很好地满足了动态碰撞检测的需求。 最后，本文就下一步如何继续开展研究工作，增强系统功能作了必要的说明。 关键字：机器视觉、特征点、轨迹跟踪、碰撞检测、多面体剖分、包围盒 上海太学硕士学位论文 r e s e a r c ho f3 dv i s u a l t r a c k i n g a n d d y n a m i c c o l l i s i o nd e t e c t i o n a l g o r i t h m a b s t r a c t t h eg o a lo ft h i sr e s e a r c hi st o d e v e l o p am o t i o nt r a c k i n g s y s t e mb a s e do n r o b o t v i s i o nt e c h n o l o g yf o ra ni n d u s t r i a lr o b o t t h ea b i l i t yt ot r a c ka n de s t i m a t et h e m o t i o no far o b o t sa l t ui s p r o v i d e di n t h i s s y s t e m ，a n dt h e f u n c t i o no fc o l l i s i o n d e t e c t i o na n d p r e s e n t i m e n ti sa l s oa c h i e v e d a tf i r s t ，ac a m e r am o d e lb a s e do ns t r e o v i s i o ni si n t r o d u c e d i nt h ec a m e r a ，n o t o n l yt h ee x t r i n s i cp a r a m e t e r so f t h ec a m e r ab u ta l s ot h ei n t r i n s i cp a r a m e t e r s ，s u c ha s ， t h ee f f e c t i v ef o c a ll e n g t h ，a n dd i s t o r t i o np a r a m e t e r s ，e t c m u s tb ec o n s i d e r e d i no r d e r t os a t i s f yt h em e a s u r er e q u i r e m e n to fp r e c i s i o na n ds p e e d ，w ed e c i d et ou s es o m e s p e c i a lm a r k e r s ，w h i c ha r es e to nt h er o b o tb o d y i na d v a n c e ，t ot r a c kt h em o t i o no f t h er o b o t sa r l n b e c a u s et h er o b o tc a nb et r e a t e da sa na g g r e g a t i o nw h i c hc o n s i s t so f s e v e r a lr i g i db o d i e s ，b ym e a n so fs p e c i a lm a r k e r s ，w ec a ne a s i l yc r e a t et h er o b o t s s k e l e t o nm o d e la n da n a l y s et h ew o r k i n gs t a t eo ft h er o b o t a f t e rt r y i n gd i f f e r e n t m e t h o d s ，w ef i n a l l y u s e4c o l o r f u lp o i n t s ，w h i c ha r ec l o s et oe a c ho t h e r , a so n e s p e c i a lm a r k e r , b e c a u s et h ep o i n t sh a v e t h e i rp a r t i c u l a rc o l o r sa n dr e l a t i v ep o s i t i o n s ， t h ec o r r e c t n e s so fr e c o g n i t i o nc a nb ee f f e c t i v e l ye n h a n c e d ，a n dt h ea t t i t u d eo ft h e o b j e c ta l s oc a nb ec o m p u t e d t h e n ，a c c o r d i n g t oas e r i e so f s p e c i a lm a r k e r sc a p t u r e d i n3 ds p a c e ，t h er o b o ts k e l e t o nm o d e lc a nb ec r e a t e d a f t e ra n a l y s i n gt h ed y n a m i c s k e l e t o n m o d e l ，t h e m o t i o n t r a c k i n g ，t h e f u n c t i o no fc o l l i s i o nd e t e c t i o na n d p r e s e n t i m e n ti si m p l e m e n t e d i no u rs y s t e m i no r d e rt oi m p l e m e n tc o l l i s i o nd e t e c t i o ni nad y n a m i ce n v i r o n m e n t ，w ei m p r o v e t h ep a r a l l e lc o l l i s i o nd e t e c t i o na l g o r i t h mb a s e do np o l y h e d r o n d e c o m p o s i t i o n ，w h i c h i ss t u d i e di np r e v i o u sw o r k ，a n dt h e nw e p r o p o s eac o m p o u n da l g o r i t h mf o rd y n a m i c c o l l i s i o nd e t e c t i o n ，w h i c hc o m b i n e st h ei d e ao fb o u n d a r yb o xt r e e ，p o l y h e d r o n d e c o m p o s i t i o n ，p a r a l l e lp r o c e s s w e u s ep o l y h e d r o n st o r e p r e s e n t t h em o d e l so f o p e r a t i o no b j e c t sa n d r o b o t sp a r t s ，a n dt h e n ，i nar e a lw o r k i n ge n v i r o n m e n t ，t h e r ea r e a g r e a t n u m b e ro fo p e r a t i o no b j e c t sa n dr o b o t s p a r t s ，w h o s e m o d e l sa r e q u i t e c o m p l e x ，a n d w h a t sm o r e ，t h e s eo b j e c t sa r em o v i n gt o w a r de a c ho t h e r a t a n y m o m e n t a l lo ft h e s em a k et h eo l da l g o r i t h mu n a b l et o m e e tt h er e q u i r e m e n to f d y n a m i c c o l l i s i o nd e t e c t i o n t h i s p a p e ri n t r o d u c e s i nd e t a i lt h e a l g o r i t h m o f i m p l e m e n t i n gt h ed y n a m i cc o l l i s i o nd e t e c t i o n f i r s t ，b yc o m b i n i n gt h ep o l y h e d r o n v 上海夫擘硕士学位论文 d e c o m p o s i t i o na l g o r i t h ma n dt h eb o u n d a r yb o xa l g o r i t h m ，w ed i v i d et h eo b j e c ti n t oa s e r i e so fs i m p l e p o l y h e d r o n s ；m e a n w h i l e ，ab o u n d a r yb o x t r e ew i t hm u l t i l e v e l s t r u c t r u ei ss e tu p t h e n ，a c c o r d i n gt ot h ed i f f e r e n tr e l a t i v ed i s t a n c ea n dr e l a t i v es p e e d a m o n g t h eo p e r a t i o no b j e c t s ，w ec r e a t eap r i o r i t yq u e u et os o r tt h eo b j e c t sw a i t i n gf o r c o l l i s i o nd e t e c t i o n i nt h i sw a y , ac o l l i s i o nd e t e c t i o np r o b l e mi st r a n s f o r m e di n t oa s e a r c hp r o b l e mb e t w e e nt w ob o u n d a r yb o xt r e e s w eu s et w os e a r c hm e t h o d st o f i n i s ht h ec o l l i s i o nd e t e c t i o np r o c e d u r e ，f r o mt o pt ob o t t o m m e t h o da n d f r o m b o t t o mt ot o p ”m e t h o d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h en e wa l g o r i t h mn o t o n l yk e e pt h ec h a r a c t e r i s t i c so f t h eo r i g i n a la l g o r i t h m ，p r e c i s e ，q u i c k ，l e s sm i s t a k e ， b u ta l s os e tu ps e v e r a lm u l t i - p r i o r i t ys t r a t e g i e s ，e f f e c t i v e l ye n h a n c i n gt h ee f f i c i e n c yo f c o l l i s i o nd e t e c t i o n i na d d i t i o n ，t h ea l g o r i t h mc a np r o v i d es o m ee x t r ai n f o r m a t i o n ， s u c ha s ，r e l a t i v ed i s t a n c e ，c o l l i s i o np o s i t i o n ，c o l l i s i o ne x t e n t ，e t c ，a l lo fw h i c h e x c e l l e n t l y m e e tt h er e q u i r e m e n to fd y n a m i cc o l l i s i o nd e t e c t i o n f i n a l l y , t h es t e p s ，w h i c hc a nb et a k e nt oi m p r o v e t h ep e r f o r m a n c eo ft h es y s t e m i nf u r t h e rs t u d y , a r ea l s oc o n c e m e da n de x p l a i n e da tt h ee n do f t h i sp a p e r k e y w o r d s ： r o b o tv i s i o n ，s p e c i a lm a r k e r , m o t i o nt r a c k i n g ，c o l l i s i o nd e t e c t i o n ，b o u n d a r yb o x 上海太学硕士学位论文 第一章前言 1 。1 课题来源和研究背景 当今枕器入应灞范囤已缀涉及至i 各个领域，特别适合于多品静、炎批量的柔 性生产，它对保证产品质爨，提高生产率，改旃劳动条件起着十分麓要的作用。 随着机器人技术的不断提高和日益复杂化，机器人早从当初的柔性上下料装置发 展成为可编程的高度柔性加工单元，己是当今先进制造技术重要缀成部分。不论 飙器人凌墼产线中起于 么终蠲，宅总是雩# 为系缀孛耱一员瑟存在。 未来燕信怠静时代，傣惑豹核心是逶蕊，爨络遴信是“信息离潦公路”躲重 要组成部分。研究与开发蕊予i n t e r a c t 的智能机器控制器符合信息时代要求。基 于网络的机器人与般机器入相比，它在靠人类翻身不能到达的各种危险和特殊 场合具有独到的作用。在网络环境中运行的机器人，不仅要满足实时性和可靠性 静要求，还要其有定宣烹决策能力，确保麓够强远距离、长延踺瓣蓐 = 壤下，对 突发事件律窭及时有效静躐旋。为筵，漂题缓予2 0 0 1 年1 0 莠囱枣零霉豢审请并确 立了“旗于i n t e r n e t 的智能枕器控制器的研究与开发”这一科研项嬲。 从系统的观点出发，机器人控制器要具有人类的智能决策能力，首先要具有 感知周围环境的能力。机器人视觉、听觉、触擞及多传感器的融合技术正目益成 为机器人控制领域的研究热点。基予计算枫视觉技术的机器人本体渤作分捉是远 程稷器入餐戆凌蒙系统一个鬟要戆分辑菝摇寒潦，穰器大运嚣过程中瓣动 乍较迹 与机器入运行的安全寄密切联系，如何保证远穗梳器入在工作过稷中蠡动选辑最 佳路径与机器人控制器的智能控制策略有直接的联系。通过视觉传感器能够自动 检测并分析机器人运行状态吼及机器人与被操作对象之间的关系，为上层的智能 决策系统提供分析依据，从褥实现机器人手臂动作轨迹的跟踪、预测以及碰撞检 i 翼l | 窝磁攘鬏警懿功能。 ，1 2 国内外研究情况 l 、机器人视觉的应用方面 国外对于基予鄹络豹远程援嚣a 豹研究起步较翠，已取褥了一攮铰成功兹经 验。 第个i n t e r n e t 机器人建由美国南加州大学歼发的“m e r c u r yp r o j e c t ”。这个 机器人的机械手可以将压缩夺气吹进埋了文物的沙土中，从而找到文物。机械手 第1 页 土洛太擘硕士学位论文 ”- _ - _ 一 上配备裔个摄象机，w e b 用户可在远程看到蜜时的二维图像，并操作祝械手在 这块沙殿中任意发掘文物。在这个例子中视频传感器的作用仅是给操作者( 人) 提供了反馈信息，而并没有绘机器人的控制系统提供反馈信息。因简遮一代早期 的远獠移t 器人的智能控制攒令实际是由远程攥俘喾( 人) 给出的，阈丽不可避免 遗会凌予瓣络嚣造藏“爱疯迟镱”，控潮耪瘦麓簿霜题。 英溺科学家最新在2 0 0 1 年研秘密一释完龛囊主、赢疫智能纯鹃农业祝器入 s l u 瞄o t 。它每天可以自主地捕获近1 0 0 只农业密搬“鼻涕虫”。它使用个能发 出红外光的图像传感器确定彝涕虫的位置，并使用一只带有三个指头的碳纤维臂 将鼻涕墩抓起并放到一个容器当中。这里的红外图像传感器为智能“簪眼”协调 系统掇镞了重要懿反镶售惑。 f i d o 是美国宇筑届正夜研制抟一释商澄稳芷控割豹突星揉溅窜。它秘蘑车 上的计算机视觉和自主控制技术进行导航。它配备有多台彩色摄簸机、立体全息 相机、激光测距仪等设备，以便完成地形分析和蕻它科学探测任务。为了克服超 长的太镦无线电时延，它必须具有地形分析、黩主导航、路径规划嚣智能决策系 绞右缝鑫燕逡应傍各毒孛突发事馋。 图1 1m e r c u r yp r o j e c t 的控制界面 圈1 2s l u g b o t 农救机器人 第2 菱 上海大学硕士学位论文 图1 3f i i ) o 火星探涮车 目前我国各研究机构对智能机器人控制技术的研究正积极的展开，并且已取 得了一些鼓舞人，心的成果。如，哈尔滨工业大学研制的管内移动机器人，它以管 内移动载体为依托，配置相应的执行装置和传感器来完成管内的检测、探伤、喷 涂、焊接等各种特定的作业。1 9 9 5 年中科院沈阳自动化研究所研制的中国第一 部六千米水下无手臂机器人深海试验获成功，使中国在这一领域跃居世界先进行 列。目前他们正在研制的是具有爬坡能力以及有手臂的六千米水下机器人，这要 比他们原先研制成功的只具有深海观测功能的六千米水下机器人耍先进得多。 2 、机器人视觉的理论方面 为了实现远程智能机器人控制技术，我们必须对机器人的视觉系统进行研 究。只有机器人具有了感知周围环境的能力，才能实现机器人自主、或部分自主 的智能控制。 在智能机器人视觉系统中最重要技术之一就是三维图像重建技术，也就是如 何帮助机器人认识真实三维世界的技术。在这方面，理论上有两个学派：三维重 建派和目的主义学派。 三维重建派的思想非常类似于人类认识三维世界的过程，即从点、线、面开 始在人脑中进行智能分析，重建三维图像，然而对机器人来说，由于场景的复杂 性、多变性以及人工智能的研究仍处于初级阶段，机器人要准确地、稳定地恢复 三维场景仍十分困难。许多工作围绕此展开，但迄今为止还没有种真正成功的 实用系统问世。 8 0 年代末9 0 年代初出现了面向行为、面向应用的目的主义学派。目的主义 学派，提出主动视觉、定性视觉概念，认为视觉都是有目的的，主动使目的更加 明确。简单的说，目的主义学派希望在特定的环境下，利用特定的设备，完成特 定的任务。目前，在许多领域投入实际使用的机器人都配备了三维彩色摄象机、 第3 页 上洛太学硕士学位论文 激光测距仪、红外线传感器，声纳探测器等设备，它们结合这些复杂的传感器， 在特定的环境下完成特定的任务。但是，获取场景数据的主动传感技术存在功能 单一、噪声影响大等问题，导致它对使用场合及对象的限定。 1 3 研究目的 要运用机器视觉技术实现运动目标分析，很重要的一点是对机器人本体运动 状态的分析。我们所要做的第一步工作是实现一个能实时对机器人手臂动作进行 跟踪和分析的系统，分析的结果能提供机器人手臂的空间位置、运动的方向、速 度和加速度，以及动作的轨迹和轨迹预测等基本信息。进一步，我们要结合机器 人建模和碰撞检测技术，对这些机器人工作的状态信息有效地组织和管理，为上 层的机器人智能决策系统提供依据，实现碰撞预警、路径规划、自主学习等功能。 第4 页 上海大学硕士学位论文 第二章机器人视觉系统结构和原理 这一章中我们首先介绍了机器人视觉体系的软、硬件系统结构，然后介绍了 机器视觉的基本原理阻及实验中的p t 5 0 0 机器人本体模型 1 。1 课题的软、硬件系统结构 机嚣 一 机罂 w a n 绉一? 慧簟 图2 。1 系统硬件结构图 基于机器视觉的远程机器人系统一般由智能控制系统、机器人控制器和远 程监控系统等三个部分组成。出于对系统安全性和稳定性的考虑，我们将机器人 智能控制系统和机器人控制器分为两个独立的子系统，这两个子系统通过高速以 太网相连。而远程监控系统一般远离机器人工作现场，通过广域网与机器人工作 现场相连。课题所采用的硬件系统结构如图2 1 ，相应的软件系统结构图如图 2 2 。 1 智能控制系统 智能控制系统的决策依据来源有两方面：方面，智能控制系统接受来自远 程监控端的控制指令；另一方面，智能控制系统同时接受来自工作现场的视频传 感器提供的视频信息，以及机器人控制器提供的机器人工作状态信息。通过对这 两方面信息的综合和权衡，智能控制系统运用运动分析、运动预测、碰撞检测、 路径规划等子系统对机器人控制作出智能决策。作为大延时、远距离环境下的机 器人控制系统，很重要的一点是对变化的环境要能够有良好的适应性，也即机器 入必须对周围的环境有感知的能力，这就使得机器视觉成为智能机器人控制技术 第5 页 上海大学硕士学位论文 中的一项重要研究内容。最后，智能控制系统也为远程监控系统提供机器人三维 姿态信息、各种预警信息以及实时监控图像。 ! 机器人 印 i 读耿指、【 ：圃 i基本指令l 审 囱 图2 2 系统软件结构图 2 机器人控制器 机器人控制器运行于一台p e n t i u mi i i 工业控制微机( i p c ) 上。在该i p c 上 安装了位置控制卡，其输出直接与机器人伺服电机驱动器相连，由其直接驱动机器 人本体上的伺服电机来完成相应的动作。机器人控制器上提供了人机交换界面。 能够方便地对机器人进行示教编程，对机器人进行操作，建立和编辑机器人指令 程序、设置机器人运行参数、动态反馈机器人的状态等多种功能。机器人指令由 解释器解释执行，可将指令序列送到位置卡驱动模块，控制机器人本体完成相应 动作，也可送至仿真执行器产生相应的实时机器人关节状态信息。这些关节状态 信息将通过高速以太网送至智能控制系统，为智能控制系统提供决策依据。 3 远程监控系统 远程监控系统中很重要的一部份是图形仿真子系统。由于要实时显示三维机 器人动画，需要有很强的图形处理能力和较快的运算速度，我们采用了带有图形 加速功能的a g p 显示卡的奔腾i i i 代微机作为硬件平台。一方面，它能够接收来 自远端智能控制系统反馈的机器人实时状态，通过三维图形仿真的方式实时显示 出来，提供给用户一个直观的机器人运行状态信息，随时监视机器人的运动状态。 另一方面，它接受来自用户的操作指令，并传递给远方的智能控制系统。由于远 程监控系统和机器人工作现场可能距离很远，延时不可避免，因而远程监控系统 第6 页 上限大学硕士学位论文 必须结合网络的即时状态，对已接收的机器人状态信息以及待发送的控制信息作 出适当提前调整。 我们使用的机器人本体采用日本d a i n i c h i k i k o 公司的p a r t t i m e5 0 0 型 机器人本体。p t 一5 0 0 机器人是五自由度r p p r r 型机器人，用直流伺服驱动， 重复定位精度为0 2 r a m 。p t 一5 0 0 机器人简图和技术指标见图2 3 所示。 6 hfi i 最大动作范围最大动作遽 一& o x 扯。 腕x 轴f p 、 4 0 0 毫米5 0 0 毫米肋 0 轴x 2 _ ，、 b z 轴f n4 0 0 毫米5 0 0 毫米励 ：。凸 【x 轴 鲁5b 轴r r 、2 0 0 度7 5 度渺 l1i l 手0 轴r r 、l g o 度 7 5 度，秒 l - i ip 部y 轴f r 、2 1 0 度7 5 度雁p ： v 轴 i 图2 3p t 5 0 0 机器人倚图和技术指标 2 2 机器人视觉系统软件模块 机器人视觉系统软件结构如图2 4 所示，主要包括：视频轨迹跟踪子系统、 运动分析子系统和仿真监控子系统。视频轨迹跟踪子系统通过视频传感器实时跟 踪机器人的工作状态。运动分析子系统根据机器人的实时工作状态实现运动预 测、碰撞检测、碰撞预警等功能，并将分析结果提供给上层的智能决策系统。仿 真与监控子系统的主要功能是建立机器人三维模型，并以三维图形的形式为远程 操作者提供机器人运动状态信息。 第7 页 上海大学硕士学位论文 一撇回回国- 圄 下面我们主要介绍一下视频轨迹跟踪子系统的主要软件模块： 1 视频捕获模块 从视频设备实时捕获图像。我们使用了w i n d o w s 上的v i d e of o rw i n d o w s 开 发包实现视频捕获。它是w i n d o w s 上一种较为通用的视频捕获方法，可以通过 对若干w i n d o w sa p i 函数的调用简单快速地实现视频捕获。它以位图格式提供 捕获的每帧图像，因而可以很方便地对每一帧图像进行处理。 2 摄像机标定 首先需要定义一个摄像机模型，通过该摄像机模型可以在空间点和投影点之 间建立投影变换关系，实现世界坐标系和摄像机图像坐标系之间坐标变换。只有 摄像机的内部、外部参数( 例如：焦距、畸变参数、方位等) 确定之后，才可能 完成这种坐标变换。摄像机标定就是通过一组已知坐标的控制点来确定摄象机的 内部、外部参数的过程。 3 图像预处理 因为工作现场的光照条件和背景干扰是不确定的，因此必须对图像进行灰度 均衡、图像平滑、分辨率增强等操作以改善图像质量，提高图像的有效分辨率， 为进一步的图像识别作好准备。 4二维特征点的识别与跟踪 为了保证对机器人手臂动作跟踪的速度和精度，我们使用了特征点的方法实 现对机器人手臂动作的跟踪。首先，我们在机器人手臂关节上安置了若干的特征 点；接着，通过对捕获图像进行分割和模式识别，能够计算出代表机器人关节位 置的特征点二维坐标；将这一系列二维特征点与动态机器人骨架模型相结合，实 现了特征点的跟踪。该方法能够对背景干扰、特征点暂时丢失等情况作出良好的 第8 页 上海大学硕士学位论文 适应。 5 双目匹配立体视觉 对左右图像中的特征点间进行匹配，并根据立体视觉原理计算出二维特征点 代表的三维空间点坐标。在系统实际实现时，我们主要采用了外极线约束、唯 性约束和相容性约束等来保证快速、准确地建立匹配关系。 6 三维骨架模型 将三维空间点坐标与仿真系统提供机器人本体模型相结合，建立动态的机器 人骨架模型。三维骨架模型一方面为运动分析子系统提供了计算依据，另一方面 也为二维特征点跟踪提供反馈信息。 第9 页 上海大学硕士学位论文 第三章视频轨迹跟踪系统的设计与实现 3 。1 摄像机模型 在大部分应用环境中可以用理想的针孔模型来近似实际摄象机。针孔模型的 几何关系就是透视投影。 3 1 1 针孔模型和透视投影 在针孔摄象机中，三维空间中一个点的图象是从这点发出的并经过针孔的光 线与摄象机后平面的交点。这样就在后平面的底片上产生了图象。对理想针孔来 说，从点发出的光线是理想的直线。所以，空闯点的图象本身是一个点，这就消 除了聚焦的必要性。针孔即摄象机的光学中心。虽然在此我们作了针孔摄象机的 假设，但这个模型对大多数通用透镜来说也相当适合。图3 1 中所示即为一个针 孔摄像机模型。这时空间点p 被透镜聚焦在图象平面中成象。由于从p 点发出 并落在透镜上的光线被聚焦在图象上，所以得到亮得多的图象。对固定焦距摄象 机来说，摄象机模型是固定的。焦距相应于透镜的聚焦长度。在可变焦距摄象机 中，透镜可以在摄像机的主光轴上移动，以便对不同远近的空间点都能准确聚焦。 由于光学中一l i , 的位置改变了，焦距也相应改变了。 图3 1 针孔摄像机模型 在对摄像机作进一步介绍以前，我们先定义若干坐标系 第1 0 页 标系 上海大学硕士学位论文 1 世界坐标系。图中p ( x 。，y 。，z w ) 是世界坐标系中物体上的一点，其坐标就 是用世界坐标系表示的。 2 摄像机坐标系。这是一个为了方便对空间坐标进行透视变换而设立的坐标 系，它以摄像机的光学中心( 焦心) 为原点，图中o ( x 。，y 。，z 。) 即是其原 点。其z 轴与摄像机的主光轴重合。它与世界坐标系的原点以及各坐标 轴并不重叠，但是我们可以通过建立一个旋转变换矩阵r 和一个平移变 换矩阵t 来实现它们之间的变换。 3 成像平面坐标系。这是个二维坐标系，位于摄像机的焦平面，其坐标轴 与摄像机坐标系的x y 轴平行。成像平面中有一点，v o ) ，它是摄像机的主 光轴与成像平面的交点。在正常情况下，( u o ，v o ) 应该就是成像平面的中心， 但是由于机械上的误差不可避免，( u o ，v o ) 可能偏离中心点。 我们从研究摄象机几何关系 的侧视图开始，先只研究投影的 x 轴上分量，如图3 2 。通过相似 三角形我们不难计算出： x ：一篮( 3 - 1 1 z c 同样我们可得出： y ：一监( 3 2 ) p 弋 y c z c f y 图3 , 2 投影坐标的计算 c z = 一( 3 3 ) 其中，( x ，y ，z ) 是投影点p 在摄像机坐标系中的坐标，( x e ，y 。，z ，) 是空间点p 在摄像机坐标系中的坐标，f 为镜头的焦距。通常我们已知的是p 点的世界坐标 系中的坐标，因此为了计算投影点p 的坐标，我们需要对p 点进行坐标变换。 要在世界坐标系和摄像机坐标系之间进行变换，则需要知道它们之间的相对位 置。 综上所述，我们可以知道，只要确定了两个坐标系的相对位罱以及焦距f 等 一些参数，一个空间点对应在成像平面上的坐标就不难算出了。 3 1 。2 摄像机的内外参数和畸变补偿模型 所谓摄像机的内外参数，就是为了在空间点和投影点之间建立投影变换关系 而必须知道的一系列参数。这些参数中与摄像机的内部光学部件相关的叫内部参 第1 1 页 上海太学硕士学位论文 数，而与摄像机的外部空间位置相关的叫外部参数。 我们引入了6 个摄像机外部参数( x d ，y o ，z o ，a ，b ，y ) 和5 个摄像机内部参数 ( f , u o ，v 0 ，k 。，瞄，其中( x o ，y o ，z o ) 是摄像机光学中心点在世界坐标系的坐标，( a ，8 ， y ) 是摄像机坐标系相对于世界坐标系各轴的旋转角度，通过( x o ，y o ，z o ) 和( n ， b ，y ) 可以分别构成世界坐标系到摄像机坐标系的平移矩阵和旋转矩阵；f 是摄 像机光学中心点到成像平面的距离，( u 。，v 。) 是摄像机光学主轴与成像平面的交 点，( u 。v 。) 在正常情况下应该是成像平面的中心点，但也有可能因为制造工艺中 产生的误差偏移中心点；( k 。，k 。) 是为了解决镜头成像失真的补偿系数。 在前文中我们假定我们的镜头满足理想的中心投影模型，也就是针孔摄像机 模型，但实际上真实的镜头并不是这样的。 首先，在摄像机的5 个内部参数中有一个参数f ( 像距) ，在前文中我们称之 为“焦距”，但这不是一个准确的称法。焦距是一个镜头所固有的参数，而f 只有 当光源在无限远处时才可能等于焦距。像距f 是随物距变化的。但是当物距在一 定的相对较小范围内变化时，我们可以计算出一个像距f 的近似值。 另外，任何一个镜头都会或多、或少不可避免地产生一些图像的畸变，这些 畸变一般很小，只有几个象素，肉眼无法察觉，但是如果这副图像是用于光学测 量的，这将导致很大误差。因此我们必须对这些畸变进行补偿。 一般，一个摄像机的镜头具有两种 典型的畸变：径向畸变和离心畸变。径 向畸变会导致图像的扭曲，比如说，空 间中的一个直线投影到成像平面后成 为了一个曲线。如图33 是两种典型的 畸变( 枕形畸变和桶形畸变) 。离心畸 变是指图像的中心点偏离了摄像机镜 头的主光轴，这同样也会导致坐标变换 时的误差。在大多数情况下，径向畸变 枕形畸变桶形畸变 图3 3 两种典型的畸变 和离心畸变都具有旋转对称性。并且般可以用多项式建立畸变补偿模型。 设( x ，y ) 为一个投影点的原始坐标( 受到畸变影响的坐标) ，( u 0 ，v o ) 是图像是摄 像机光学主轴与成像平面的交点，( 踟，函) 是针对径向畸变的补偿，( 订，虿) 是校正了 离心畸变的坐标，( u ，v ) 是校正了径向畸变的正确坐标。则有： ：础叫。和r ：一?( 3 4 ) l v 。y v 01 0 2 v d ” 对畸变的补偿通常采用偶次多项式，以便满足旋状对称性。在这里，我们采 用了最高4 次的多项式。 第1 2 页 上海大学硕士学位论文 4 0 。三! ? ，7 ：+ ? z r 。4 7 r 2 = 舀2 + 铲2 ( 3 - 5 ) 【函= 歹( 女l r 2 + 2 r 4 ) 其中r 2 投影点到图像中心点的距离。 通过上文所述不难发现只有建立了适当的畸变补偿模型并且确定了摄像机 的内外参数后，才能在空间点和投影点之间实现正确的投影变换。 3 1 3 变换矩阵的建立 要在空间点和投影点之间建立变换矩阵包含两个步骤：世界坐标系和摄像机 坐标系之间的坐标变换和摄像机内部镜头的光学投影变换。 首先我们考虑世界坐标系和摄像机坐标系之间的坐标变换。因为世界坐标系 和摄像机坐标系的各坐标轴以及原点都不重合，所以它们之间的坐标变换包括旋 转变换和平移变换。一个三维向量的旋转变换实际上可以分解为3 个变换：绕x 轴的旋转、绕y 轴的旋转和绕z 轴的旋转。设( x w ，y w ，z w ) 是世界坐标系中的一 个点，则( x c ，y c ，z c ) 是该点变换到摄像机坐标系中的坐标值。不难得出： 阻，y c ，z c 】- ( 胤，y w , z w 一丁) 只( 3 6 ) 其中， ，= kz o 】 ，p ，y ) 为绕x 轴、y 轴、z 轴的旋转角，r 构成了一个旋转变换矩阵，t 构 成了一个平移交换矩阵。空间点( x w ，z w ) 经过平移和旋转之后就得到了 ( 施，y c ，孔) 。 接着，我们考虑如何实现摄像机模型中的投影变换。通过31 1 中的投影坐 标计算方法。不难得出： 第1 3 页 们l甜 等。 m o ijiiin 疗 疗 m 0 哪。哪 矿ijoj韭 。兰 h c 口 口o m 幽m 以 上洛大学硕士学位论文 舵 “= ， 。舅( 3 - 7 ) ”瓦 “= j “。+ 玎( r 2 + k 2 r 4 ) f 3 8 ) 【v = y - v o + f ( k i r 2 + 如r 4 ) 。 其中，( “，v ) 是经过畸变补偿的正确坐标，( 工，y ) 是图像传感器捕获的原始坐 标。这里我们采用了4 阶畸变补偿模型。 确定了1 1 个外部和内部参数之后，就可以在投影点和空间点之间实现坐标 变换。我们应用外极线约束以及立体视觉匹配算法，可以找出左右图像中相应的 两个成像点( x 1 ，y 1 ) 5 f 1 1 ( x 2 ，y 2 ) ，将这两个点代入式( 3 - 7 ) 进一步通过联立式( 3 - 6 ) 和式 ( 3 5 ) ，可以求得空间点( x 。，y w ，z w ) 的坐标。由于代入方法不同，可产生不同的 ( x 。，y 。，z 。) 值，这是因为通过左右两个摄像机坐标系计算出的特征点在世界坐标 系中不一定完全重合，我们取其平均值作为最终结果。 3 1 4 摄像机标定 摄象机标定的目的是确定摄象机的图象坐标系与物理空间中的三维世界坐 标系之间的对应关系。只有当摄象机被恰当地标定以后，才能根据图象平面中的 二维坐标推论对应物体在物理空间中的实际位置，或反之。为了确定上述对应关 系需要知道摄象机的光学和几何参数( 内部参数) 以及摄象机相对外部世界坐标 系的位置和方向( 外部参数) 。摄象机标定过程就是根据一组已知其参考坐标系 坐标和图象坐标系坐标的控制点来确定摄象机的内部和外部参数。有时若已知内 部参数，那么只需确定其外部参数。 一般对摄像机的标定分两种情况： 1 已知场景：我们可以在场景中设定一组己知世界坐标系坐标的标志点， 同时我们可以在捕获的图像中得到对应各个点的图像坐标。将这些坐标 对代入变换公式，就可以确定出内部参数、外部参数的值了。这种方法 适用于摄像机位置固定，并且可以提供一组特定标志点的情况。 2 未知场景：这种情况下场景是“未知”的，这就需要从不同位置、不同 角度获得多幅二维图像。对于这些不同的位置获得的图像，摄像机的内 部参数保持不便。将这些不同的二维图像中的投影点与物理空间中的标 志点建立对应，同样也能确定内部、外部参数。 在本系统中，摄像机和被监控的机器人位嚣都相对固定，并且有两部摄像机 可以从两个不同角度捕获图像，所以我们采用了第一种方法。如图3 , 4 所示，我 们在一个平面上设置了9 个己知坐标的特征点，通过两个摄像机从两个角度捕获 第1 4 页 上海大学硕士学位论文 这9 个特征点。标定的过程如下。 将式( 3 4 ) ( 3 5 ) ( 3 - 6 ) ( 3 - 8 ) 代入式( 3 - 7 ) 可得 屹口 屹岛 图3 4 摄像机的标定 cxu。，c1+k-r2+k：r4，=，：妻；ii耋糍。， ic y u 。，c 一十k 。r 2 + k ：r 4 ，= ，：i j j ；：! ；糍。 业：a t t x w + a t2 y w + a 1 3 z w + x o r 3 1 0 ) y v 0口2 i x 。+ 口2 2 y w + a 2 3 z 。+ r o 、 令y o o ，式( 3 1 0 ) 可变为： 一x - - u 0 ：缝攀磐烘( 3 1 1 )y v ob s z 。+ 6 6 圪+ b t z 。+ 1 。 经过整理和移项可得： a b = 一x( 3 一1 2 ) 其 中 ， a = 6 ，b 6b 7b s “ob 6 b t u o “。b l b 26 3b 4b l v 。b 2 v o 岛v o 钆v 。】 b = 工瓦x 毛线一五：一匕一乙一1 一y x 一y k y z , 。一y 。k z 1 ，1 所以我们只要将大于等于1 5 组( x ，y , x 。，y 。，z 。) 的值代入( 3 1 2 ) ，就可获得一组 线性方程组，解之可得参数的b ib ：，b 3 ，b 。，b s ，b 6 ，b 7 ，“。，v 0 值。 容易证明旋转矩阵r 具有正交性，利用其正交性可得： 第1 5 页 上海大学硕士学位论文 j + d ：+ 口之= 1 口3 l = 口1 2 以2 3 一d l3 口2 2 r 3 1 3 ) a 3 22 口i3 口2 l a i l a 2 3 口”= 口1 1 口2 2 一口1 2 d 2 1 因此，k = 砰+ 霹+ 碍 d 。d 。：，：d 。的值也可由方程组( 3 1 3 ) 和式( 3 一1 2 ) 求得。下面我们继续 求解k i ，k 2 ，f , nz o 。由式( 3 9 ) n 得： ”c l + k 。r 2 + k y h 案谢糍 【d 。d 。：口，：口。】和x 的值已