（检测技术与自动化装置专业论文）基于tms320dm642evm的手眼视觉系统研制.pdf

基于t m s 3 2 0 d m 6 4 2 e v m 的手眼视觉系统研制 摘要 手眼视觉用于提供目标物体的图像信息和测量物体的位置和姿态，对于空 间机器人捕获物体非常重要。本文在比较各种手眼视觉系统特点的基础上，采 用d s p 评估板一一t m s 3 2 0 d m 6 4 2 ，研制了一套手眼视觉系统。利用这一系统， 我们成功地实现了图像的采集、摄像机的标定和目标物体位姿的溯量。 本文首先介绍了系统的硬件组成，包括图像采集模块、d s p 处理模块和图 像显示模块。然后给出了系统的软件组成，包括监控模块、初始化模块、图像 采集和显示模块、摄像机标定模块和物体位姿测量模块。最后搭建了由 t m s 3 2 0 d m 6 4 2 、摄像机、p c 和直线导轨所组成的实验系统，并进行了手眼视 觉实验，包括图像采集、处理和显示，摄像机标定以及物体的位姿测量。实验 结果表明，该系统能够满足位姿测量的要求。 关键词：手眼视觉，图像处理，摄像机标定，位姿测量，数字信号处理器 d e v e i o p m e n to fh a n d - e y ev i s i o ns y s t e mb a s e do t m s 3 2 0 d m 6 4 2 a b s t r a c t t h eh a n d e y ev i s i o ni su s e dt op r o v i d et h ei m a g ei n f b r m a t i o no fo b je c ta n d m e a s u r et h ep o s i t i o na n do r i e n t a t i o no fo b je c t ，w h i c hi sv e r yi m p o r t a n tf o rt h e s p a c er o b o tt oc a p t u r et h eo b o e c t s a f t e rt h ef 色a t u r e so fa l lk i n d so fh a n d e y ev i s i o n s y s t e ma r ec o m p a r e d ，ah a n d - e y ev i s i o ns y s t e mi sd e v e l o p e dw i t had s pe v a l u a t i o n m o d u l e t m s 32 0 d m 6 4 2i n t h i s p a p e r u t i l i z i n gt h i ss y s t e m ，w es u c c e e di n c a p t u r i n gi m a g e s ，c a l i b r a t i n gt h ec a m e r aa n dm e a s u r i n gt h ep o s i t i o na n do r i e n t a t i o n o fo b j e c t s f i r s t l y ，t h eh a r d w a r eo ft h es y s t e mi s i n t r o d u c e di nt h i s p a p e r i ti n c l u d e sa n i m a g ec a p t u r em o d u l e ，ad s pp r o c e s s i n gm o d u l ea n da ni m a g ed i s p l a ym o d u l e s e c o n d l y t h es o f t w a r eo ft h es y s t e mi sp r e s e n t 1 ti n c l u d e sam o n i t o rm o d u l e ，a n i n i t i a l i z a t i o nm o d u l e ，a n i m a g ea c q u i s i t i o n a n dd i s p l a y m o d u l e ， ac a m e r a c a l i b r a t i o nm o d u l e ，a n dap o s i t i o na n do r i e n t a t i o nm e a s u r e m e n tm o d u l e f i n a i ly ，a n e x p e r i m e n t a ls y s t e mc o n s i s t i n go fat m s 3 2 0 d m 6 4 2 ，ac c dc a m e r a ，ap ca n da b e e l i n eg u i d ei ss e tu pt om a k et h eh a n d e y ev i s i o ne x p e r i m e n t si n c l u d i n gt h e i m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n ga n dd i s p l a y ，c a m e r ac a l i b r a t i o n ，a dp o s i t i o n a n do “e n t a t i o nm e a s u r e m e n t t h ee x p e r i m e n t a lr c s u l t ss h o wt h a tt h es y s t e mc a n m e e tt h er e q u i r e m e n to ft h ep o s m o na n do r i e n t a t i o nm e a s u r e m e n t k e yw o r d s ：h a n d e y ev i s i o n ，i m a g ep r o c e s s i n g ，c a m e r ac a l i b r a t i o n ，p o s i t i o na n d o “e n t a t i o nm e a s u r e m e n t d s p 2 插图清单 图l l 基于p c 的手眼视觉系统 图1 2 基于d s p s 的手眼视觉系统， 图1 3 实时智能视觉传感器r i v s 图2 1 摄像机成像线性模型 图2 2 物体坐标系相对于摄像机坐标系的相对交换过程 图3 1 系统硬件框图 图3 2m t v - 2 3 x l ll 3 ”黑自高解析c c d 摄像机 图3 3e v m 板系统框图 图3 4 视频口结构框图 图3 5 视频采集口配置 图3 6 视频显示口f i f o 图4 一l 系统软件框图 图4 2 主监控程序流程图 图4 3 初始化模块框图 图4 4 视频采集和显示驱动程序结构框图 图4 5 视频采集参数， 图4 6 标定光标 图4 7 亮度信号在s d r a m 中的摆放格式 图4 8 象素标记算法 图4 9 摄像机标定流程 图4 1 0 位姿测量软件流程 图5 1 直线导轨实验系统 图5 2 圆形点平面标靶 图5 3 标定实验步骤 图5 4 标定图像 图5 5 二值化前采集的图像 图5 6 二值化后的图像一 图5 7 位姿测量实验步骤 6 。2 8 3 0 3 0 3 2 3 3 3 5 3 8 3 9 4 0 4 1 4 3 一4 4 4 8 m他”m博伸加玛m拍 表格清单 表3 - lm t v 一2 3 x 11 黑白c c d 摄像机技术指标 表5 一l1 6 个光标点的物体坐标和相应图像坐标 表5 2 移动5 0 m m 的标定实验结果 表5 3 移动4 0 m m 的标定实验结果， 表5 4 根据平移量估计标定精度的结果 表5 5 由标定结果恢复的图像坐标与特征提取的图像坐标的比较 表5 6 直线导轨系统物体位姿测量实验结果( 1 ) 表5 7 直线导轨系统物体位姿测量实验结果( 2 ) 表5 8 直线导轨系统物体位姿测量实验结果( 3 ) 钉拍拍钉们的的如 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知。除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得盒垦王、业盔堂 或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签字：触 签字日期：。， 年7 月2 日 学位论文版权使用授权书 本学位论文作者完全了解佥目b 兰些太堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权盒 魍王些盍堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：械 签字日期：必年7 月2 日 工作单位：奇烛讯 $ 输准罹么司 通讯地址：净玮尊鸥圾翰8 砰罨f 叫l 包 聊娩存 签字日期：口辟 电话；鼢 6 2 。妒 邮编：加如， 双霉 7 月猸 致谢 非常感谢我的导师徐科军教授在研究生期间内对我的指导、关心和帮助， 感谢徐老师给我提供丰富的实践机会和良好的实验条件。在徐老师的悉心指导 下我顺利地完成了研究生的课题研究和论文撰写。徐老师严谨的治学态度、以 身作则的工作作风、虚怀若谷的学者风范是我终生的榜样。 感谢国家高技术航天领域空间机器人工程研究中心的梁斌主任、李成副教 授以及师兄徐文福，他们在我的课题研究期间给予了关心和支持，还对课题研 究提供了很好的意见和建议。 感谢实验室博士生师兄盛磊在进入课题前后对我的指导和帮助，使我受益 匪浅，学到了很多新东西。 感谢师姐黄云志、王肖芬和师兄倪伟在这两年来给我各方面的关心、帮助 和照顾。还有硕士生赵锐、吴婷、张瀚、任好、赵明、陈智渊，我们一起讨论、 学习，度过了快乐的时光。 感谢我的父母和家人，以及所有关心支持我的同学和朋友，他们的理解、 关心和帮助使我能安心地学习、顺利地完成研究生期间的学业! 作者：袁波 2 0 0 5 年6 月2 1 日 第一章概述 11 手眼视觉系统的作用和意义 在未来的空间探索中，空间机器人是非常重要的工具。空间机器人在太空 作业的时候，进行的一项重要的任务就是对目标物体的捕获。这就需要机器人 能够识别目标物体、得到目标物体和机器人手爪之间的距离和位置姿态信息， 然后把这些信息反馈给机器人运动控制系统，运动控制系统进而对目标物体实 施捕获行动。这些信息是利用套机器人手眼视觉系统柬获取。因此，手眼系 统的研制就成为空间机器人研究和设计中的一项关键技术【l “j 。 机器人手眼视觉系统作为机器人的“眼睛”，它判断目标物的位置，从二维 图像中恢复物体的三维信息，进而产牛j 辛制信息。具体说主要包括图像的采集 和处理、摄像机参数的标定、j 维物体位姿测量等内容。手眼视觉系统参与完 成机器人的功能白测和在线标定，为机器人提供目标物体的实时图像信息及实 时物体位姿信息。目前很多国家都积极投入到机器人手眼视觉系统的研究和研 制的工作中。在这方面，欧美和日本一些发达国家起步较早。他们不仅在理论 方法r 达到比较领先的水平，而且在实际系统研制和试验方面也是处于世界领 先水平。例如德国在1 9 9 4 年发射升空的r o t e x 空间机器人以及日本1 9 9 7 年 发射的e t s v i i 工程试验卫星上面就有机器人于眼视觉系统，并且很好得完成 了一些例如目标物体测量和捕获的任务。而我国在方面起步较晚，而月研究的 内容主要集中在一些理论方法上面，具体上程实验系统研究较少。因此机器 人手眼视觉系统的研制就成为目前的一个紧迫任务。我们就是在这种情况之下 搭建了一个手眼视觉系统，并且在系统上面实现一些手眼视觉的算法并且做了 一些实验。 i 2 手限视觉系统的国内外研究现状 手眼视觉系统通常是由图像采集系统、图像和视觉处理系统、数据传输系 统三部分组成。其中核心的圈像和视觉处理系统通常有基于p c 机、通用d s p s 和特殊用途集成电路a s i c 这么三种。三种系统各有特点，p c 机处理速度很快， 而且有着功能强大的操作系统的支持各种应用软件也非常多。但缺点是价格 高，体积庞大，功耗太大；a s i c s ( 特定用途集成电路) 尽管解次了价格、体积、 功耗的问题，但是它缺少进行各种处理算法的灵活性：而d s p 系统就较好的平 衡了价格、体积、功耗和灵活性。首先数字信号处理器最显著的特点就是高速 处理能力，目前处理速度最高的d s p 芯片的处理能力高达每秒1 0 次浮点运算， 另外片内有硬件乘法器、移位器、多个总线、d m a 控制器等，现在的新型d s p 另外片内有硬件乘法器、移位器、多个总线、d m a 控制器等，现在的新型d s p 第一章概述 1 1 手眼视觉系统的作用和意义 在未来的空间探索中，空间机器人是非常重要的工具。空间机器人在太空 作业的列候，进行的一项重要的任务就是对目标物体的捕获。这就需要机器人 能够识别目标物体、得到目标物体和机器人手爪之间的距离和位置姿态信息， 然后把这些信息反馈给机器人运动控制系统，运动控制系统进而对目标物体实 施捕获行动。这些信息是利用一套机器人手眼视觉系统来获取。因此，手眼系 统的研制就成为空间机器人研究和设计中的一项关键技术【1 “1 。 机器人手眼视觉系统作为机器人的“眼睛”，它判断目标物的位置，从二维 图像中恢复物体的三维信息，进而产生控制信息。具体说主要包括图像的采集 和处理、摄像机参数的标定、三维物体位姿测量等内容。手眼视觉系统参与完 成机器人的功能白测和在线标定，为机器人提供目标物体的实时图像信息及实 时物体位姿信息。目前很多国家都积极投入到机器人手眼视觉系统的研究和研 制的工作中。在这方面，欧美和日本一些发达国家起步较早。他们不仅在理论 方法上达到比较领先的水平，而且在实际系统研制和试验方面也是处于世界领 先水平。例如德国在1 9 9 4 年发射升空的r o t e x 空间机器人以及日本1 9 9 7 年 发射的e t s v i i 工程试验卫星上面就有机器人手眼视觉系统，并且很好得完成 了一些例如目标物体测量和捕获的任务。而我国在方面起步较晚，而且研究的 内容主要集中在一些理论方法上面，具体工程实验系统研究较少。因此，机器 人手眼视觉系统的研制就成为目前的一个紧迫任务。我们就是在这种情况之下 搭建了一个手眼视觉系统，并且在系统上面实现一些手眼视觉的算法并且做了 一些实验。 1 2 手眼视觉系统的国内外研究现状 手眼视觉系统通常是由图像采集系统、图像和视觉处理系统、数据传输系 统三部分组成。其中核心的图像和视觉处理系统通常有基于p c 机、通用d s p s 和特殊用途集成电路a s i c 这么三种。三种系统各有特点，p c 机处理速度很快， 而且有着功能强大的操作系统的支持，各种应用软件也非常多。但缺点是价格 高，体积庞大，功耗太大；a s l c s ( 特定用途集成电路) 尽管解决了价格、体积、 功耗的问题，但是它缺少进行各种处理算法的灵活性；而d s p 系统就较好的平 衡了价格、体积、功耗和灵活性。首先数字信号处理器最显著的特点就是高速 处理能力，目前处理速度最高的d s p 芯片的处理能力高达每秒1 g 次浮点运算， 另外片内有硬件乘法器、移位器、多个总线、d m a 控制器等，现在的新型d s p 甚至在片内集成1 2 c 控制内核，方便对外围视频信号采集器件的控制。并设计 了很多专门用于数字信号处理的指令，这些设计都大大的提高了运算速度。使 用d s p 芯片实现图像和手眼视觉系统是最有前途的方法，当然在手眼视觉系统 中得到了广泛的应用。 1 2 ，1 基于p c 的机器人手眼视党系统 一般典型的机器人手眼视觉系统如图卜l 所示。 图卜1 基于p c 的手眼视觉系统 系统主要包括了c c d 摄像机、 集卡插在p c 机主板的p c i 插槽上 连。 图像采集卡以及p c 机三部分组成。图像采 c c d 则是通过视频电缆线和图像采集卡相 计算机是图像和视觉处理的核心，它控制着图像输入( 图像采集卡) 和输出 没备( 显示器) 。得到原始图像以后就要是对它们进行处理，以期得到我们需要 的图像。当然最后是利用p c 机强大的软、硬件资源和高速的处理能力对图像 进行处理，最终能从这些二维图像中恢复物体的三维信息。 从上面的系统中可以看出：p c 机强大的资源优势是其它系统所不能比拟 的。但是高功耗也是该系统一大弊病，另外系统体积过于庞大，这两方面就造 成这种系统不太适合工业现场或者航空航天应用。因此多用于首演视觉系统初 期的算法研究和仿真阶段。 1 2 2 基于a s i c 的手眼视觉系统 我们都知道，庞大的数据计算是制约系统实时性的最主要的原因，但是随 着v l s i 技术的迅速发展，一些复杂的数字信号处理算法也可以在单片芯片上 实现。这就使得以a s i c 为核心的手眼视觉系统能够实现l “。通常根据任务的 不同，一个典型的视觉系统过程可以划分成以下几步：图像采集、边缘检测、 特征提取和模式识别、位姿测量。在设计整个视觉系统的时候，芯片的设计是 最重要的环节。通常情况下，采集到的图像大小是固定的，而且为了能够实现 实时处理，视觉处理的每一个阶段都有严格的时间限制。这一点对于a s i c 的 设计来说非常重要，因为它会影响到整个芯片的设计方法。在具体设计的时候 一旦算法选定，就会固化在a s i c 中。 从上面的介绍中不难看出：利用a s i c 实现手眼视觉系统能够得到很高的 处理速度，而且由于算法固化，因此系统比较稳定。但是设计成本高、开发时 间长、算法不灵活的缺点。因此，在实际的手眼视觉系统设计中中应用很少。 1 2 3 基于d s p s 的手眼视觉系统 d s p s 从一出现就以其低成本、高速的运算处理能力、丰富灵活的系统设计 在实时数字信号处理领域得到了广泛的应用。当然，在手眼视觉中也是一样。 根据应用场合的不同和实际目的的不同，手眼视觉系统会在结构组成上有所不 同，但是大体结构如图1 2 。 图卜2 基于d s p s 的手眼视觉系统 系统主要包括图像采集、d s p 处理系统两大部分组成。具体包括了c c d 摄像机、视频解码器、d s p s 、f p g a 等等。其中c c d 和视频解码器专门用于图 像采集，可编程的解码器芯片可以实现需要的大小和格式的数据采集。f p g a 则是为了产生一些必要的视频行、场同步信号和其它的一些控制信号。也样可 以充分利用d s p s 高速处理的优势，让d s p s 集中精力进行图像和视觉运算。视 频解码器加显示器系统主要用于初期的系统调试，在系统调试结束以后去除。 d s p s 是图像和视觉处理的核心，在得到采集到的图像以后就开始对图像进行处 理，进而由图像信息获取物体的三维信息。 下面介绍一下美国v a n d e r b i l t 大学研制的一个基于d s p s 的机器人手眼视觉 系统【6 】，如图1 3 所示。 图卜3 实时智能视觉传感器r i v s h 这篇文章提出了一种新型、低功耗的机器人视觉系统的设计和实现。系统 主要是由图像采集板v f g 和一块a d 公司的d s p 软件评估板e z l a b 组成。 其中v f g 实现的功能包括图像采集、格式化转化以及图像暂存。e z l a b 则主 要用于对图像数据进行处理，为用户提供需要的信息，另外它还为整个系统提 供一些控制信号。系统也是通过通用并口线和p c 相连，目的也是为了在显示 器上显示，方便用户观察和调试。 系统使用的d s p s 是a d 公司的a d s p 一2 1 0 2 03 2 位浮点型数字信号处理器， 处理能力是6 6 m f l o p s 。实验表明系统的跟踪算法运行一次大约需要8 毫秒， 实时性很高。 整套系统很好地体现了基于d s p s 的手眼视觉系统的特点，那就是低功耗、 低成本。通用d s p s 上编写调试程序方便灵活。 1 3 课题的主要研究内容 本课题的主要内容包括搭建基于d s p s 的手眼视觉系统，在系统上实现图 像采集、验证摄像机参数标定和三维空间物体的位姿测量方法。具体内容安排 如下： 第一章：概述，介绍了手眼视觉系统的作用和意义，手眼视觉测量系统的 国内外研究现状。 第二章：位姿测量方法，介绍了在手眼视觉系统上实现的位姿测量方法的 原理，包括一种摄像机线性标定方法和一种基于三次坐标变换的线性求解目标 物体位姿的方法。 第三章：系统的硬件组成，介绍了整个手眼视觉系统的硬件结构和系统内 主要部件。 第四章：系统的软件研制，介绍了系统的软件实现。鉴于d s p s 系统对实时 性要求较高，因此在软件编写时，我们在满足精度要求的情况之下采用了线性 标定和线性求解物体位姿的方法，以期减少程序的运行时间。 第五章：实验，包括在直线导轨系统上所做的一些标定和位姿测量实验， 并做了一些验证实验。 最后是论文的总结和展望，对本论文所做的工作进行全面总结，并在此基 础上，对今后的进一步工作进行了展望。 第二章摄像机标定和物体位姿测量方法 2 1 摄像机标定 机器人手眼视觉系统在进行实时位姿测量的时候事先需要用到摄像机的一 些参数。而这些参数值是事先不知道、部分未知或者原则上不稳定的，于是需 要对摄像机的参数进行标定。标定过程是从摄像机获取的图像信息出发计算三 维空间中物体的几何信息，并由此重建和识别物体，而空问物体表面某点的三维 几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定 的，这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实 验与计算刊能得到，这个过程也就是摄像机标定【”。 标定分为内部参数标定和外部参数标定 8 1 。内部参数指的是摄像机成像的 基本参数，如主点f 图像中心) 、焦距、径向镜头畸变、偏轴镜头畸变和其他系 统误差参数。外部参数指的是摄像机在空问坐标系中的方位角和位置。内外参 数标定的结合可以建立目标物体的3 d 坐标和2 d 图像坐标的关系，这种关系是 进行目标物体位姿测量所需要的，因此必须进行摄像机标定。 摄像机的参数标定总是相对于某种几何成像模型的，这个模型是对光学成 像过程的简化，最常见的针孔模型，它是摄像机标定研究的基本模型。这种模 型是一种理想模型，物体在摄像机中成像是一种线性关系。然而在很多情况下， 这种线性模型不能准确的摄像机成像的几何关系，因此还需要考虑线性或者非 线性的畸变补偿后，才能更加合理地看作针孔成像模型。 本章研究的标定主要研究是单目摄像机的参数标定，分成两步。第一步利 用线性变换方法【弘】或者透视变换矩阵方法求解摄像机参数，第二步把求得的 参数为初值，考虑畸变因素，利用非线性关系得到线性标定得不出的径向畸变 系数。 2 1 1 线性标定方法 摄像杌成像的线性模型如图2 一i 所示，它表明了空间任意一点p 在世界坐 标系中的坐标和在摄像机坐标系中的坐标之间的关系。 这两个坐标系之间的关系可以用旋转矩阵r 与平移向量t 来描述。因此， 空间中某一点p 在世界坐标系与摄像机坐标系下的齐次坐标如果分别是 r 。= 伍。，匕，z 。，1 厂与r 。= ( x 。，z ，互，1 ) 7 ，于是存在如下关系： r c _ 降7 r w ：邶。 ( 2 1 ) k 2 l o r1 j r w 。m r w 6 式中，r 为一个3 3 的正交矩阵，f 是一个三维的列向量，o = ( o ，o ，o ) 7 ，m 为4 4 矩阵。 y c 图2 1 摄像机成像线性模型 在图像坐标系中u = ( “，v ) 表示以像素为单位的图像坐标系的坐标， x = g ，j ，) 为以毫米为单位的图像坐标系的坐标，每一个象素在x 轴与y 轴方向 上的物理尺寸为d x 和d y 。 由摄像机针孔模型的几何比例关系可得到如下关系 z 。x _ l 否；i u 汜z ， 于是，可以的到得到p 点的世界坐标与其投影点p 的图像坐标的关系： 硼= r 茹： m 鸠巧= 厩 s ， 进一步可以写为 z c i u i - mx i ( 2 4 ) 式中，x - _ 。，k ，z 。1 ) 为空间第i 点的坐标；u i _ 如。，v ，1 ) 为第i 点的图像坐 标：珊i 为投影矩阵m 的第i 行j 列元素。 式( 2 4 ) 中消去z 。后，可得到2 个关于，z 。的线性方程： x 训m 1 1 + k m l 2 + z 。，研1 3 + m 1 4 一“，z w 州3 l 一”j k 肌3 2 一“f z 。，m ”= ”l j 1 3 4 x m m 2 l + k m 2 2 + z w r ，”2 3 + 脚2 4 一v l x 训m ，1 一v ，k ，竹3 2 一v ，z w 聊3 3 = v ，卅3 4 ( 2 5 ) 7 式( 2 5 ) 表明，如果标定块上有n 个已知点，并己知它们的世界坐标 f 。，匕，z 。，) 与对应的图像坐标( “，v 。) ，则我们有2 n 个关于m 矩阵元素的线性 方程，将方程组简写成： k m = u ( 2 6 ) 其中，k 为一个2 n 1 1 的系数矩阵，m 为未知的1 1 维向量，u 为2 n 维 常数向量，k ，u 均已知，当2 n 1 1 时，我们可以用最小二乘法求出上述线性 方程组的解为： m = ( k 7 k ) 1 k 7 u( 2 7 ) m 向量与m ，。= l 构成了所求解的m 矩阵，由上可见，由空间6 个或6 个 以上己知点与它们的图像点坐标，我们就可以求出m 矩阵。在一般的标定中， 我们都使标定块上有数十个已知点，使方程的个数大大超过未知数的个数，从 而用最小二乘法求解以降低误差造成的影响。 m 向量与加，。= 1 构成了所求解的m 矩阵，我们将式( 2 3 ) 中的m 矩阵与 摄像机内外参数的关系写成： ( 2 8 ) 其中，搬j ( i = 1 3 ) 为由式( 2 6 ) 求得的m 矩阵的第i 行的前三个元素 组成的行向量，玳，。( i = l 3 ) 为m 矩阵第i 行第四列的元素，r ( i - 1 3 ) 为 旋转矩阵r 的第i 行，f ，f ，f ：分别为平移向量f 的三个分量。 比较上式两边可知，肌。鸭= ，3 ，由于_ 是正交单位矩阵的第三行，吲= 1 ， 因此，删 可以从悱1 中求岫一2 南。进而可以求出摄像机的其它1 。 个内、外部参数r 3 、“o 、v o 、，、，、小，2 、t 、l 、疋a 2 1 2 求径向畸变系数k 在考虑到一阶径向畸变时，图像坐标系中空间点的实际图像坐标( 如，y 。) 与 理想图像坐标( 工。，儿) 之间的变换如下： f 吒= ( 1 + 脒d 2 ) k 【y 。= ( 1 + 盂r d 2 ) y 。 ( 2 9 ) 0 t r 彳0 0 p。，。，。l 们l 训叫 o q o 吒o o p。，：l = j 4 4 啊， r ，r 2 r 3 m m 蜥 ，l 4 m 其中，月。2 = 硝2 + 此2 ，k 为径向畸变系数。 计算机图像( 帧存) 坐标到实际图像平武坐标的变换 z d = j ( “一“o ) s ， ( 2 l 0 ) 其中，s ，s 。分别为相机感光阵列元素的列间距和行间距。s 是水平比例 因子。由于c c d 阵列每行的光敏元件数与图像处理板帧缓冲器每行的象素数 v a 不同，因而产生了一个水平比例因子j ，它是。与。比值。 得到r 矩阵和平移向量r 后，任意标定点( x 。，l ，z 。) 所对应的图像坐标 ( x 。，y 。，z 。) 即可求得。再由式( 2 2 ) 和( 2 一) 得： 生：粤：生擘掣扳， ( 2 1 1 ) 一= 一 ll ， zc j 生：丝：堡丛生堡进 ( 2 1 2 ) z ： j 此时，旋转矩阵r ，平移向量t 和，v 。的优化值均已求出，将这些值代入 式( 2 1 1 1 ) 和( 2 1 2 ) ，t 初值设为o ，或者取吲 l 的数。解此非线性方程组， 就得到。 2 2 物体位姿测量算法 设彬= ( x ，r ，z ，) 为光标点的物体坐标，k 。= ( x ，。，f ，z ) 为该点在相机 坐标系中的坐标，( x ，y ) 表示该点在图像坐标系中的坐标。根据摄像机针孔模型 及透视变换原理可得到彬。= 形，m 表示摄像机坐标系与物体坐标系间的相对 坐标变换。我们将m 矩阵做如下分解： m = s 。c 丁( 2 1 3 ) 因此求解m 矩阵就转换为分别求解矩阵f 。，c ，7 三个阶段l ”】。 ( 1 ) 对物体坐标系进行变换，使得四个目标点p o ，p l ，p 2 ，p 3 的位置在新坐 标系a 中为p o 为新坐标系口的原点，p l 在新坐标系口的x 轴的正轴上，p 2 位于 新坐标系x y 平面的第一区间，这个变换用t 表示，称新坐标系口为标准坐标 系。 9 ( 2 ) 对相机坐标系进行变换，使得p o 像点位于图像平面坐标原点，p j 像点 位于图像平面x 轴的正轴，此变换用s 表示，称新相机坐标系为理想坐标系， 所获得的图像为理想图像。此时的相机坐标系焦点位置不变，它正视标准坐标 系a 的原点，且图像平面的x 轴与a 坐标系的x 轴在同一平面上。 ( 3 ) 将标准坐标系a 与理想坐标系间的相对变换用矩阵c 表示，求出c 。 最后求取摄像机坐标系与物体坐标系问的相对变换矩阵m = s - 1 c 丁。 设彬表示物体坐标，彬。表示标准坐标，形一理想位置坐标，彬。表示原来 的摄像机坐标，上述变换过程用图2 2 来表示： 图2 2 物体坐标系相对于摄像机坐标系的相对变换过程 m 矩阵表示的是物体坐标系相对于相机坐标系的位姿变换关系，它的旋转 子矩阵应满足正交性。而m 矩阵的求解是依赖于目标特征点坐标及其对应的图 像坐标，由于在实际取值过程中存在误差，易导致m 矩阵不满足正交性，因此 还要在式( 2 13 ) 的基础上对m 矩阵的旋转子矩阵进行优化。用r 表示m 矩阵 的旋转予矩阵。 因为彬。= m 形，而 w = 卅1聊2 聊4m 5 肌7m b 0o 州3m 1 0 m 6，2 1 i 珊9 卅1 2 o1 ( 2 f4 ) 整理后可以简写为： d = 吼e ( 2 l5 ) 所要进行的优化过程为 l 陋。e d 0 = m i n ( 2 1 6 ) 其中，e = 陋，e ：b 日】( e 。= ( z ，r ，z ，) 7 ) ，d = 【d d 2 皿d 4 】，约 束条件是胄。是正交旋转矩阵。 1 0 2 3 本章小结 本章主要介绍了在基于d s p s 的机器人手眼视觉系统上实现的摄像机标定 方法。前面线性标定是根据摄像机的针孔模型，列出表示图像坐标和三维坐标 之间转化关系的线性方程组，从中先求出综合矩阵m ，然后从其中分解出各个 内外参数。线性标定的原理简单，只需要通过求解线性方程组以及一些数学运 算就可以得到结果。不用多次迭代，效率比较高。基于机器人对实时操作要求 较高的特点，我们尽量避免采用计算时间长的非线性迭代算法，这是我们采用 这种方法的初衷。另外，标定点数达到一定数量的时候可以比较好地弥补线性 标定方法精度不高的弊病。 另外，在实时位姿测量的时候我们使用的也是一种线性测量的方法。利用 4 个共面光标点( 其中任意三点不共线) 的物体坐标和它们对应的一幅图像坐 标来求解光标点与相机的相对位姿关系。这种方法只是把m 矩阵分解为三个矩 阵求解，在求解过程中不涉及非线性迭代，因此实时性较好，方法精度较高， 能满足视觉测量要求。 第三章系统的硬件组成 为了实现图像采集、摄像机参数标定、目标物体位姿测量，我们组装了 一套基于d s p s 的图像采集、摄像机参数标定和位姿测量系统。该系统主要由 数据采集模块、d s p 处理模块和显示模块组成。数据采集模块主要包括c c d 摄像机、解码器。d s p 处理模块是t m s 3 2 0 d m 6 4 2d s p s 。显示模块主要由视频 编码器和t v 监视器组成。显示模块的功能只是在初期系统软件功能调试时作 为数据采集和显示效果使用，在软件设计调试完毕以后可以从系统中去除。由 于视频系统的复杂性，为了减少开发周期、降低系统硬件设计难度和提高系统 的稳定性，我们组装了了以t i ( 德州仪器) 公司软件评估板 t m s 3 2 0 d m 6 4 2 e v m 【”o7 】为核心的手眼视觉系统。由于e v m 板基本包含了上 述的三个功能模块，所以，我们再添加c c d 摄像机、t v 和视频传输线就组成 了整个系统。 3 1 硬件框图 系统硬件框图如图3 1 所示。 图3 一l 系统硬件框图 系统的核心器件是t m s 3 2 0 d m 6 4 2e v m 板。两路视频信号输入，在实际 的单目手眼视觉系统中只使用了一路信号；输入的模拟视频信号经过视频解码 器转化为数字信号。解码器和t m s 3 2 0 d m 6 4 2d s p s 的视频口v p o 相连，进行 视频信号采集，采集到的图像数据存放在e v m 板上外扩的3 2 ms d r a m 中， 外扩的f l a s h 存放d s p s 上电引导程序；在系统的设计和调试阶段，利用d s p s 的视频端口v p 2 作为视频显示输出端口，用于监示采集和处理后的视频图像， 程序调试成功后可以去除这部分。 此外，系统中还包括电源管理部分。t m s 3 2 0 d m 6 4 2d s p s 的核心供电电压 是1 4 v ，e v m 板外部输入电压是+ 5 v ，所以通过电压调节器t p s 5 4 3 1 0 p w p 把5 v 转换成1 4 v ：f p g a 的供电电压是1 8 v ，通过电压转换芯片 t p s 7 6 7 0 lo p w p 把5 v 转换成】- 8 v 。 e v m 板上j t a g 口和仿真器x d s 5 1 0 p p 】相连，然后连接到p c 机并口。 利用t i 自带的d s p 软件开发环境c c s t u d i o ，对软件算法进行编写、调试。最 后调试编译好的代码可以通过这个仿真口烧写到d s p s 的f l a s h 中。 3 ，2 镜头和c c d 摄像机 本系统对提供视觉图像求解目标姿态参数的精度要求较高，图像质量也直 接影响到特征提取、定位的精度，因此使用c c d 芯片的模拟黑白摄像机，镜头 为定焦的。选用敏通公司的m t v 2 3 x 1 1 h c 黑白c c d 短机身型摄像机。如图 3 2 所示，腔式摄像机镜头选配标准c s 接口镜头，由北京大恒公司提供。具体 技术指标见表3 1 。 圈3 2 m t v 一2 3 x 1 1l 3 黑白高解析c c d 摄像机 表3 1m t v 一2 3 x l l 黑白c c d 摄像机技术指标 型号：m t v - 2 3 x 1 1 h c 电视系统； c c i r c c d 总像素： 7 9 8 ( 水平) x5 8 4 ( 垂直) 扫描系统：6 2 5 扫描线，5 0 像素秒 同步系统：内同步 最低照度： 0 0 8l u xo f f l 2 水平清晰度：6 0 0 线 信噪比： 5 2 d b ( 最小) 6 0 d b ( 最大) ( 自动增益控制关闭) 自动光圈：自动电子快门视频直流驱动 自动电子快门： 1 5 0 l ，1 0 0 ，0 0 0 秒连续 视讯输出： 复合式影像信号输出1 o vp pa t7 5 0 h m 增益控制：自动增益控制 背光补偿功能：n 0 o f f 可切换 数字放大2 ( 倍) n o o f f 可切换 功能： 工作环境温度： 2 0 。c 到5 0 0 c 工作环境湿度：8 5 r h 以下 电源： d c l2 v 1 5 0 m a 。 尺寸：5 0 5 m m ( 宽) x5 0 5 m m f 高】x6 6 m m ( 长) 3 3e v m 板 以前利用d s p s 做图像或者视觉处理等需要巨大运算量时由于d s p 处理能 力的限制，大多采用多片d s p s 并行工作的方式。这样一来，不仅体积较大， 而且给系统的软硬件设计到来很大的麻烦。随着t i 公司专门用于图像处理和 d s p 器件t m s 3 2 0 c 6 x 系列的出现，以其强大的数据处理能力、极高的运算速 度、极低的功耗、图像处理的灵活性和种类齐全的片种，使得它在图像处理领 域的应用日益广泛。 2 0 0 3 年7 月，t i 发布了t m s 3 2 0 d m 6 4 2e v m 。这是一款具有极高性价比 的视频和图像开发平台，它非常适用于需要立即开发应用的用户以及那些用于 器件评估、软件调试的用户。它的核心器件是t m s 3 2 0 d m 6 4 2 数字多媒体处理 器件( d i g i t a l m e d i ap r o c e s s o r ) 1 9 2 0 1 。同以往的d s p s 相比，具有更加强大的运算 能力。 d s p 芯片的主要特点为： 采用了高性能静态c m o s 技术，使得核心供电电压降为1 4 v ，减少了 控制器的功耗。4 8 0 0 m i p s 的执行速度使得指令周期缩短为0 2 1 n s ，从而大大提 高了器件的实时能力。 片内有6 4 个3 2 位的通用寄存器和8 个独立的功能单元。 片内2 级c a c h e 的结构，其中第一级程序和数据c a c h e 各为1 2 8 k b ，第 二级c a c h e 存储器大小2 m b ，它是程序和数据共享。用户可以根据需要自己分 配。 片内有3 个视频口外设，可以和通用视频编、解码器无缝连接。 片内集成1 2 c 总线模块，方便d s p 控制一些局部外围器件( 比如a d c s ， d a c s 等1 。 1 4 内部有e d m a 控制器，最多支持6 4 路e d m a 通道，从而使得在c p u 不干预的情况之下，实现数据在第二级c a c h e 存储器控制器和外围设备之间传 输。 t m s 3 2 0 d m 6 4 2d s p s 在整个手眼视觉系统内部作为运算单元是系统的核 心。它负责对采集到的图像数据进行处理运算，手眼视觉中的标定和测量算法 都是利用它来实现的。 3 2 1 主要功能部件 t m s 3 2 0 d m 6 4 2e v m 板的资源非常丰富，一些主要的板上器件包括 ( 1 ) t it m s 3 2 0 d m 6 4 2d s p s ( 2 ) 标准p c l 插槽 ( 3 ) 3 个视频口，板上有两个视频解码器和一个视频编码器 f 4 、3 2 m 字节的同步s d r a m ：4 m 字节的f l a s h ( 5 ) 利用f p g a 实现的屏幕显示( o s d ) ( 6 ) a i c 立体声多媒体数字信号编解码器( c o d e c ) ( 7 ) 以太网接口 ( 8 1j t a g 仿真口和板上的外部仿真器相连 ( 9 18 个发光二极管 ( 1 0 ) 板上扩展接口，允许用户扩展片外器件 f l l l 双工通用异步收发报机 n 2 1 + 5 v 的电压源 其结构框图如下图3 - 3 所示： 图3 3e v m 板系统框图 3 2 2 板上器件功能概述 3 2 2 1 外部存储器扩展接口 e v m 板上d s p s 是通过6 4 位宽的e m i f 或者是通过三个8 1 6 位的视频口 和板上的外围设备相连。板上的s d r a m 、f l a s h 、f p g a 等都是连接到这些总 线上的。6 4 位的e m i f 总线也连接到扩展接口，方便用户添加片内外设。d s p s 的扩展存储空间分为4 块，t m s 3 2 0 d m 6 4 2e v m 板使用了c e o 、c e l 和c e 3 三块存储空间。其中c e 0 空间连接到6 4 位的s d r a m 总线上它的大小是3 2 m b ， 物理地址位于0 x 8 0 0 0 0 0 0 0 0 x 9 0 0 0 0 0 0 0 。c e l 空间用作8 位f l a s h 、u a r t 以 及f p g a 异步存储器寄存器，其中f l a s h 的大小是4 m b 。物理地址位于 o x 9 0 0 0 0 0 0 0 0 x 9 0 0 7 f f f f 。c e 3 空间用作f p g a 同步存储器寄存器和扩展接口。 由于是对实时视频信号进行处理，而且由于采集到的图像数据量巨大， d s p s 片内存储器空间不够，所以需要对图像数据进行暂存，这就要用到s d r a m 存储图像。在我们的系统中采用的是一种3 帧图像轮流处理的方式，具体说就 是在解码器采集最近的一幅图像的时候，d s p s 对上一次采集到的图像数据进行 处理，而已经处