（检测技术与自动化装置专业论文）基于双目手眼视觉的位姿测量方法的研究.pdf

基于双目手眼视觉的位姿测量方法的研究 摘 要 手眼视觉测量是空间机器人捕获操作中最关键的部分。在机械臂远离、接 近、抓取和操作目标物体的过程中，手眼视觉分别从不同的范围和不同的阶段 为控制系统提供位姿信息。本文从空间机器人捕获子星的应用背景出发，研究 了基于双目手眼视觉的位姿测量方法。 本文首先介绍了手眼视觉测量中所用到的图像采集和处理技术；然后对相 机标定方法进行了比较深入的研究，包括线性标定和非线性标定，并对其中的 非线性标定方法进行了一些改进；接着对双目位姿测量，即三维重构进行了研 究，其中包括点和直线的重构；并提出了一种对非合作目标位姿测量的初步解 决思路。 最后，我们在d s p 实验室和安大自动化系进行了一系列的实验，包括图像 的采集和处理，线性和非线性标定以及位姿测量。实验结果表明了本文所研究 的方法是正确有效的。 关键词：手眼视觉，图像处理，相机标定，位姿测量，三维重构。 r e s e a r c ho nm e a s u r e m e n tm e t h o do fp o s i t i o na n do r i e n t a t i o n b a s e do nd o u b l eh a n d - e y ev i s i o n a bs t r a c t t h eh a n d e y ev 1s l o ni su s e dt om e a s u r et h ep o s i t i o na n do r i e n t a t i o no fo b je c t ， a n dp r o v i d et h ei m p o r t a n ti n f o r m a t i o nw i t ht h em a n i p u l a t i o no ft h es p a c er o b o t ，f o r e x a m p l e c a p t u r i n gt h et a r g e to b j e c t s t h e r e f o r ei ti ss i g n i f i c a n tt os t u d yt h ev i s i o n m e a s u r e m e n tm e t h o db a s e dond o u b l eh a n d e y ec a m e r a s f i r s t l y ，t h ea c q u i r i n ge q u i p m e n ta n dp r o c e s s i n gt e c h n i q u e so fi m a g ea r e i n t r o d u c e da n da d o p t e di nt h i st h e s i s s e c o n d l y ，t h ec a m e r ac a l i b r a t i o nm e t h o d sa r e s t u d i e d ，i n c l u d i n gl i n e a r c a l i b r a t i o na n dn o n l i n e a rc a l i b r a t i o n t h em e t h o do f n o n l i n e a rc a l i b r a t i o ni si m p r o v e d t h i r d l y ，t h em e a s u r e m e n tm e t h o do fp o s e ，i e t h e r e c o n s t r u c t i o no ft h e3 do b j e c t i s r e s e a r c h e d i n v o l v i n gp o i n ta n dl i n e r e c o n s t r u c t i o n s f i n a l l y ，a ni d e ai sp u tf o r w a r dt os o l v et h em e a s u r e m e n tp r o b l e m o ft h ep o s i t i o na n do r i e n t a t i o nu n d e rnog u i d i n gm a r k e r s as e r i e so fe x p e r i m e n t sa r em a d ei nourl a b o r a t o r ya n dt h ed e p a r t m e n to f a u t o m a t i o na ta n h u iu n i v e r s i t y ，c o n s i s t i n gi m a g ea c q u i s i t i o na n dp r o c e s s i n g ，l i n e a r a n dn o n l i n e a rc a l i b r a t i o n s ，a n dp o s em e a s u r e m e n t t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tt h ei l l e t h o d ss t u d j e dj nt h et h e s i sa r ec o r r e c ta n de f f e c t i v e k e yw o r d s ：h a n d e y ev i s i o n ，i m a g ep r o c e s s i o n ，c a m e r ac a l i b r a t i o n ，p o s i t i o na n d o r i e n t a t i o nm e a s u r e m e n t ，3 dr e c o n s t r u c t i o n ，g u i d i n gm a r k e r 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学 硕士学位论文质量要求。 答辩委员会签名：( 工作单位、职称) 主席：马尹拗戈学叔姣 导师： 苏 辄工犬芬寺炙 佥吧。也磁数理 仑e ，、9 之言t 易) 条授 铷愕舒巴3 欠 伥铍殇 、p 易p 员委 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得盒胆王些太堂或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位做储姆象磅签字眦擒hj 日 学位论文版权使用授权书 本学位论文作者完全了解金目b 兰些盔主有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金 壁王些盍堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名：曼力专导师签名： 签字日期：毋年 月 日 签字日期： 鬻磐瑟编乞工作单位：上f 劢奎：商l ! 名e 偶卵毛 通讯地址： 1 电话： 邮编： 写日2 致谢 感谢我的导师徐科军教授在研究生期间内对我的指导、关心和帮助，感谢 徐老师给我提供丰富的实践机会和良好的实验条件。在徐老师的悉心指导下我 顺利地完成了研究生的课题研究和论文撰写。徐老师严谨的治学态度、以身作 则的工作作风、虚怀若谷的学者风范是我终生的榜样。 感谢国家高技术航天领域空间机器人工程研究中心的梁斌主任、李成副教 授以及师兄徐文福，他们在我的课题研究期间给予了关心和支持，还对课题研 究提供了很好的意见和建议。 感驸安徽大学自动化系的马修水副教授在实验阶段给予我们的热情帮助和 指导，促进了课题的进展。 感谢本实验室己经毕业的师姐李巧利在进入课题前对我的指导和帮助，使 我受益匪浅，学到了很多新东西。由于前期所做的工作属于数据融合方面，与 本课题的联系不大，因此没有写进论文。 感谢师姐黄云志和师兄倪伟在这两年来给我各方面的关心、帮助和照顾。 还有，感谢博士师兄盛磊、师姐王肖芬，硕士生赵锐、袁波、张瀚、任好、赵 明、陈智渊，我们一起讨沦、学习，度过了快乐的时光。 感谢我的父母和家人，以及所有关心支持我的同学和朋友，他们的理解、 关心和帮助使我能安心地学习、顺利地完成研究生期间的学业! 作者：吴婷 2 0 0 5 年1 月1 8 | = | 1 1 目的和意义 第一章绪论 空间技术的研究与开发始于上世纪5 0 年代，5 0 多年来其技术进步之快和 应用范围之广，使得空间技术的重要地位己被世界各国广泛重视。为了进行系 统详尽的空间技术研究，建立以航天器为核心的航天系统必不可少。并且随着 航天技术的发展，人类在太空中的活动也越来越多。未来将有大量的空间生产、 空间加工、空间装配、空间设备的维护修理工作要做。但是，由于空间操作环 境的特殊性和不确定性，以及载人航天技术的限制，太空中仍然需要由机器人 来代替人进行一系列的作业。因此空间机器人是宇宙开发过程中必不可少的： 具，它集人工智能、智能控制、信息处理、图像处理、模式识别、检测和转换 等专业技术为一体，跨计算机、自动控制、模式识别、智能控制等多学科，成 为当前机器人研究的热点之一i l j 。 机器人的手眼视觉系统是其中重要的关键技术，它包括图像的采集、处理 和理解，相机参数的标定，三维物体位姿测量等内容。在空间机器人系统中， 卫星空间交会对接和机器人在轨操作等单元都用到视觉处理。手眼视觉系统参 与完成机器人的功能自测和在线标定，为机器人提供目标物体的实时图像信息 及实时的空问位姿信息，所以以c c d 相机为核心的手眼视觉处理系统己成为机 器人导航定位技术的研究“热点”。很多国家都投入了大量的人力和资金进行研 究和开发机器人视觉系统，有些起步比较早的国家，如美国、西欧和日本，不 但理论和研究方法达到相当的水平，而且已经进入了实践阶段。相比较而言， 我们起步比较晚，各方面才刚刚开始。但正是由于这是门在世界上比较新的 课题，其理论方法和实践都处于探索阶段，没有形成固定的模式，所以也给我 们提供了迎头赶上的机会。我们可以通过研究提出自己的方法，一旦这种系统 能投入到实践中，必将为我国节省人力物力、减少材料消耗，并在许多特殊领 域发挥其特有的作用。 使用视觉的最大优点是它无需接触物体，便于自然、有效地解决问题，在 机器人动作之前进行规划，并在动作过程中不断反馈信息。它适合于对环境变 化有适应性要求的作业。空间机器人要在太空执行一系列的作业，如漂浮物体 的捕获，电器接插件的插拔，子星的抓取等等，其中的视觉伺服系统需要利用 手眼视觉来进行定位，测量目标物体的位置和姿态，从而对其进行精确的操作。 目标般分为两种：合作目标和非合作目标。对于合作目标，在特征光标 打开、两个星可以交流的情况下，由于目标物提供了多点光标，且光标与抓拿 单元的位罱是固定已知的，因此逼近过程中可依靠此特征光标来定位，测出特 征光标的位置，则可求出抓拿单元的位置和姿态。这个利用单目手眼视觉就可 以实现。但由于光标设计比较困难，且成本很高，因而希望能够在目标物上不 具有特征光标或特征关表关闭的情况下，利用手眼视觉实现对其位置和姿态的 测量。如果仅仅依赖单个相机是难以得到这种非合作目标的位姿信息的，这电 是目前国内外在空间机器人手眼视觉测量方面的一个难点，因此提出利用双目 视觉测量的思路来解决这个问题。 1 2 国外空间机器人视觉系统研究概况 1 2 1 日本工程实验卫星e t s - v e t s v i i 是日本宇宙开发事业团( n a s d a ) 于1 9 9 7 年月2 8 号发射的工 程实验卫星，主要进行空间交会对接( r e n d e z v o u sd o c k i n g ，缩写为r v d ) 和空 间机器人在轨操作服务( 缩写为r b t ) 等空间实验，e t s v i i 卫星示意图如图卜1 所示1 2 - 3 1 。e t s v i i 由跟踪星( c h a s e r ) 和目标星( t a r g e t ) 组成，它与地面控制 站之间的通讯由一个地球同步数据中转卫星完成。e t s v l i 靠星载变轨发动机 进入5 5 0 k m 的圆轨道，然后目标星与跟踪星分离。卫星总重量3 o t ，其中跟踪 星为2 5 t ，目标星0 5 t 。 图1 1e t s v ij 卫星不意幽 在r b t 试验过程中，视觉系统具有非常重要的作用，也是空间机器人技术 中的难点之。r b t 系统由机器人手臂、末端效应器、计算机、目标板、在轨 置换单元等组成，如图1 2 所示。r 3 t 系统主要完成各种在线标定，目标物体 的相对距离、姿态和速度测量以及机械臂的各种在线操作等实验。所有实验都 是通过机器人手眼视觉单元来完成的。 r b t 视觉系统中共有2 组( 4 台) c c d 摄相机= 一组是安装于手臂末端的手 眼相机，另一组是安装于手臂第一连接处的全局监控相机。每一组相机中都有 两台相机，一主一次，可用于立体视觉成像。任务板的特写图像由手眼相机采 集，被送到板上的计算机进行图像处理，用于基于视觉的机器人控制。机器手 臂( a d v a n c e dr o b o th a n d ，缩写为a r h ) 的全局图像由监控相机采集。摄相机 均为黑白的，分辨率为6 6 8 * 4 8 0 。所有的视频图像被压缩成j p e g 格式，发送到 地面控制站1 4 - 5 1 。 在r b t 系统中，视觉图像处理主要用到手眼相机和全局监视相机，特别是 手眼相机，它在机器手臂的在线标定和机器手爪抓取实验中占有举足轻重的地 位。 手眼相机安装在末端效应器上，用以测量目标相对于相机的位姿以及进行三维 物体的识别。手眼相机拍摄的光标图像转化为黑自图像，通过提取黑白图像中 圆形光标的尺寸和中心，就可以测出摄相机和光标的相对位置和姿态。从3 点 光标可以测出相对位置和姿态的6 个参数：从2 点光标则可以测出除偏转信息 外的5 个参数。采用了航天级3 2 位处理器“h 3 2 ”进行测量，时钟频率2 0 m h z ， 测量速度为2 i i z 。 、 图卜2 e t s v i i 卫星r b t 系统不意图 r b t 系统中有2 台全局监控相机，安装在机器人手臂的第一个关节上。每 个摄相机是黑白c c d 、6 6 8 * 4 8 5 像素和固定的焦距。拍摄的图像经过视频图像处 理器( v id e od a t ap r o c e s s o r ) 压缩成j p e g 格式，由中转卫星( d a t ar e l a y s a t e l l i t e ) ，以5 帧s 的速度下传到地面控制站。视频图像每2 5 0 m s 采集和传 送1 次。 1 2 2 其他国家空间机器人手眼视觉系统 德国研制的r o t e x 机器人，如图卜3 所示，是一个具有6 自由度，工作空 间为1 5 m 3 ，在舱内服务的机器人。1 9 9 3 年4 月在哥伦比亚号航天飞机上进行 了空间机器人多项实验：宇航员遥操作进行在轨实验，通过预测仿真图像系统 进行地面系统遥操作，基于传感器的离线编程。在这些操作模式下，机器人成 功完成了插拔连接器插头、机械装配和捕捉浮游物体等实验。这个项目在相机 标定方面整合了一些工具，包括光标测量算法、非线性参数估计和误差分析等。 在物体姿态估计方面提出了一种新算法：在没有2 d 与3 d 对应关系的先验知识 情况下，将3 d 模型与一幅或一系列2 d 图像对应起来。这种i t e r a t i v ec l o s e s t 口o i n t 算法不需要重构清楚的3 d 模型，适用于6 自由度。 加拿大为国际空间站提供一个移动服务系统( m o b i l es e r v ic i n gs y s t e m ， 缩写为m s s ) 及其有关地面设备。移动服务系统包括空间站遥控机械臂系统 ( s p a e es t a r i o f i sm a n i p u l a t o fs y s t e m ，缩写为s s r m s ) 和专用机械手( s p e c i a p u r p o s ed e x t c f o u sm a n i p u l a t o f ，缩写为s p d m ) 两部分，如图卜4 所示。s s r m s 可用于空间站的装配与服务、轨道器的对接与分离、有效载荷操作以及协助出 舱活动等，在国际空间站的装配和维护中将发挥关键作用。s s r m s 装配了4 个 t v 摄相机，可以提供远景图像和近景镜头，并且装备了一个先进的视觉处理系 统，可以追踪目标和感受到各种压力和力矩，来确保抓取目标的平稳的移动。2 套相机安装在杆臂上，一套安装在肘连接处的两边，另一套安装在末端效应器 上。s p d m 是一个双臂机器人，每个臂长2 m ，有7 个自由度，能承担目前由舱外 活动航天员完成的许多维修和装配任务1 6 j o 图1 - 3 德国r o t e x 机器人 1 3 课题来源和研究内容 图1 4 加拿大s s r m s 系统 本课题研究背景来源于国家航天8 6 3 计划，目的是研究利用空间机器人上 的双目手眼视觉测量三维目标物体的位置和姿态。本文主要进行了如下几个方 面的工作： ( 1 ) 视觉测量中的图像采集和处理，详细介绍了图像预处理和图像分割常 用的一些算法： ( 2 ) 双目摄像机的内外参数标定，包括摄像机模型的建立，单个摄像机的 标定，两个摄像机之间相对位置的标定，以及线性和非线性标定算法的研究； ( 3 ) 三维物体的位姿测量，即利用双目立体视觉重构空间中的点，直线和 平面； ( 4 ) 对非合作目标位姿测量的研究，主要是提出一种双目视觉测量非合作 目标的思路。 第二章视觉测量中的图像采集和处理 在视觉测量中，由充当机器人“眼睛”的摄像机对目标物体成像，获取到 的物体二维图像信息经图像采集卡输入到计算机中，再由计算机进行处理和目 标物体识别，来确定物体的位置和方向等信息。因此，图像采集和处理是机器 人视觉测量过程的第一步，也是非常重要的一个环节1 7 j 。 图像处理技术包括很多方面，可主要分为以下几个部分：图像的采集和存 储、预处理、图像分割、特征提取、图像识别、模型匹配、图像分析和理解， 以及图像压缩等。本章主要介绍了视觉测量中所用到的一些图像处理技术：图 像的预处理，图像分割以及边缘检测。 2 1 图像预处理 一般情况下，摄像机获取的图像( 即原始图像) 由于受到种种条件限制和 随即干扰，往往不能在视觉系统中直接使用，必须在视觉的早期阶段对原始图 像进行灰度校正、噪声过滤等图像预处理。对于机器人视觉系统来说，所用的 图像预处理方法并不考虑图像降质原因，只将图像中感兴趣的特征有选择地突 出，衰减其不需要地特征，故预处理后的输出图像并不需要去逼近原图像。在 预处理中，输入和输出的都是图像，只是经预处理后，输出的图像的质量得到 一定程度的改善，可达到改善图像的视觉效果或者更便于计算机( 机器人) 对 图像分析、处理、理解和识别等处理的目的。图像预处理一般包括二值化、图 像平滑和图像锐化 8 1 。 2 1 1 图像二值化 由摄像机获取到的图像是灰度图像，灰度图像就是只有强度信息，而没有 颜色信息的图像，存储灰度图像只需要一个数据矩阵，矩阵的每个元素表示对 应位置象素的灰度值。灰度图像的数据类型可以是d o u b l e 类型，这时值域为 0 ， 1 ；也可以是u n i t 8 类型，值域为 0 ，2 5 5 。 二值图像可以通过适当的分割灰度图像得到。如果物体的灰度值落在某一 区闻内，并且背景的灰度值在这一区间之外，则可以通过阈值运算得到物体的 二值图像，即把区间内的点置成l ，区间外的点置成0 。对于二值视觉，分割利 闽值化是同义的。阈值化可以通过软件来实现，也可以通过硬件直接完成。 设一幅灰度图像i i ，j 中物体的灰度分布区间 t l ，t 2 内，经过阈值运算后 的图像为二值图像b i ，j ，即 别，= 鄹嚣力鳗 如果物体灰度值分布在几个不相邻区间内时，闽值化方案可表示为 聊，= f 果嚣酣 其中，z 是组成物体部分灰度值的集合。 2 12 图像平滑 ( 2 1 ) ( 2 2 ) 平滑技术用于平滑图像中的噪声。平滑噪声可以在空间域中进行，基本方 法是求象素灰度的平均值或中值。为了既平滑噪声又保护图像信号，也有一些 改进的技术，比如在频域中运用低通滤波技术。 实际获得的图像一般都因受到某种干扰而含有噪声。引起噪声的原因有敏感元 器件的内部噪声、照相底片上感光材料的颗粒、传输通道的干扰及量化噪声等。 噪声产生的原因决定了噪声的分布特性及它和图像信号的关系。m a t l a b 图像处 理工具箱提供了多种去除图像噪声的方法，共有下列三种：线性滤波，中值滤 波和自适应滤波【9 1 ，本文所运用的主要是线性滤波和中值滤波。 ( 1 ) 线性滤波 线性滤波使用连续窗函数内象素加权和来实现滤波，在图像的任何位置上 可以进行相同的运算而不考虑图像位置或空间的变化。下面介绍线性滤波的一 种方法一一领域平均法。 领域平均法是一种线性滤波技术，在空间域中平滑噪声。对于给定的图像 f ( i ，j ) 中的每个像点( i n ，n ) ，取其邻域s 。设s 含有m 个象素，取其平均值 作为处理后所得图像像点( 1 ，n ) 处的灰度。用一象素邻域内各象素灰度平均值 来代替该象素原来的灰度，即是领域平均技术。 领域s 的形状和大小根据图像特点确定。一般取的形状是正方形、矩形和 十字形等，s 的形状和大小可以在全图处理过程中保持不变，也可根据图像的 局部统计特性而变化，点( m ，n ) 一般位于s 的中点。如s 为3 * 3 的领域，点( m ， n ) 位于s 的中心，则： 夕( m ，”) = ：，( m + f ，n + ) ( 2 3 ) 7 ，= 一i - _ i 假设噪声r l 是加性噪声，在空间各点互不相关，且期望为0 ，方差为o - 2 ， g 是未受污染的图像，含有噪声的图像f 经过领域平均后为 一 11 夕( m ，n ) 2 面i 己肌棚2 击鲥棚+ 击砸 ( 2 4 ) 由上式可知，经领域平均后，噪声的均值不变，方差一= 二d 2 ，即噪声 方差变小，说明噪声强度减弱了，即抑止了噪声。 同时，领域平均法也平滑了图像信号，特别是可能使图像目标区域的边界 变得模糊。对图像进行领域平均处理相当于图像信号通过一低通滤波器。 ( 2 ) 中值滤波 中值滤波是抑制噪声的非线性处理方法。对于给定的n 个数值 伽。a 。一，口， ，将它们按大小顺序排列。当n 为奇数时，位于中间位置的那个数 值称为这r 1 个数值中值。当n 为偶数时，位于中间位置的两个数值的平均值称 为这n 个数值的中值，记作m e d a ，疗，口， 。中值滤波就是这样的一个变换， 图像中滤波后某像素的输出等于该像素领域中的各像素狄度的中值。 领域的大小决定在多少个数值中求中值，窗口的形状决定在什么样的几何 空间中取元素计算中值。对二维图像，窗口a 的形状可以是矩形、圆形及十字 形等，它的中心一般位于被处理点上。窗口大小及形状有时对滤波效果影响很 大。 中值滤波的方法运算简单，易于实现，而且能较好地保护边界。在一定条 件下，可以克服线性滤波器( 如均值滤波等) 所带来的图像细节模糊，而且对滤 除脉冲干扰即图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计 特性，也给计算带了不少方便。但有时会失掉图像中的细线和小块的目标区域。 213 图像锐化 锐化技术用于加强图像中的目标边界和图像细节。锐化技术可以在空间域 中进行，常用的方法是对图像进行微分处理，也可以在频域中运用高通滤波技 术。 图像模糊是常见的图像降质问题。在图像摄取、传输及处理过程中有许多 因素可以使图像变模糊。如光的衍射、聚焦不良、景物和取像装置的相对运动 都会使图像变模糊，电子系统高频性能不好也会损失高频分量，而使图像不清 晰。在对图像进行数字化时，实际取样点总是有一定的面积，所得的样本是这 个具有一定面积的区域的亮度平均值，若取样点正好在边界上，则使样本值降 低，从而使数字图像的边界变得不清楚。 大量研究表明，各种图像变模糊的物理过程的数学模型一般含有求和、平 均或积分运算，根据这一共同点，可以在空涮域中运用微分运算来增强图像， 也可在频域中用加强信号高频分量的方法增强图像。 因为需要锐化的边界可能是任意走向的，因此需要锐化算子是无方向的， 即无论边界是什么走向，只要幅度相同，算子的输出就相同。下面介绍一种无 方向算子一一梯度模算子。 a ， 由数学分析可知，可微函数f ( x ，y ) 的方向导数兰表示其在某一方向a 上 的变化率，且： 罢：荽c o s t ；z + 孚s i n 口：g ( c 。s z i + s i n a j ) ( 2 5 ) 这里，g。篆f+孚-，称为f(x，y)的梯度，显然当口=tan。|望ay望axdoy o x i 时， 出 方向导数取最大值，这个最大值等于梯度的模i g l = ( 罢) 2 + ( 瓦a f ) 2 r 2 。 对一幅图像施加梯度模算予，可以增强灰度变化的幅度，因此我们可以采 用梯度模算子作为图像的锐化算子。而且梯度模算子具有方向同性和位移不变 性。 对于离散函数f ( i ，j ) ，也可以采用相似的概念，只是利用差分来代替微 分。在x 和y 的一阶差分的定义为： 托舻壁口f ( i - 1 ，皇 ( 2 6 ) a 。f ( i ，j ) = 厂( f ，、，) 一厂( f ，j 一1 ) 因此离散函数梯度模的定义为：i g i = 【，f ( i ，) 2 + ，f ( i ) 2 r 。 2 2 图像分割 一幅图像可能包含若干个物体，而每一个物体又可能包含对应于物体不同 部位的若干个区域，为了精确解释一幅图像，首先要把一幅图像划分对应于不 同物体或物体不同部位的区域。 图像划分有两种方法：一种是基于区域的方法，即区域分割；另一种是基 于边缘检测的轮廓方法。在基于区域的方法中，把所有对应于一个物体的象素 组合在一起，并进行标记，以表示他们属于一个区域，这一处理过程称为分割。 在某一评判标准下，把象素分配给某一区域，就可以把这些象素同图像其余部 分分开。图像分割中两个最基本的原则是数值相似性和空间接近性。如果两个 象素具有相似的强度特性，或它们之间十分靠近，则可以把它们分配到同一区 域。在简单情况下，可以通过闽值法和连通成分标记法来进行图像分割，对于 复杂的图像，可以使用更高级的方法实现图像分割。 分割也可以通过求取区域边界上的象素来进行，即边缘检测。这些象素点 ( 也称为边缘) 可以通过搜寻近邻象素的方法来得到。由于边缘象素是在区域 边界上，在边界两边的区域具有不同的灰度值，这样，区域的边界可以通过测 量邻近象素差值来求取。 2 2 1 区域分割 闽值分割是一种最常见的直接检测区域的区域分割方法。利用闽值方法来 分割灰度图像时都是基于一定的图像模型的，也就是说，要对图像进行一定的 假设，一般都假设图像由具有单峰灰度分布的目标和背景组成，目标或背景内 部的相邻像素间的灰度值是高度相关的，但是在目标和背景交界处的像素在灰 度值上有很大的差别。 已知一幅图像象素集i 和一个一致性谓词p ( ) ，求图像i 表示成n 个区 域r 集合的一种划分： u r ，= i ( 2 7 ) i = 1 一致性谓词和图像划分具有如下特性，即任何区域满足如下谓词 p ( r ，) = t r u e ( 2 8 ) 任何两个相邻区域不能合并成单一区域，必满足谓词 p ( r ，u r ) = f a l s e ( 2 9 ) 一致性谓词p ( ) 定义了在区域r 。上的所有点与区域模型的相似程度。 把一幅图像转换成二值图像是图像分割的最简单形式。用于求取二值图像 的闽值算法可以推广到求取多值图像。 对于只有两个灰度值的图像( 二进制图像) ，闽值分割步骤如下：首先对灰 度值分布在g 。和g 。之间的图像指定一个灰度阈值t ( g r o i n 6 个标定点时，- i n 带约束条件的非线性最优化方法减小函数f 的值 来求( r 。，r 2 , r ，r 4 , r ，r 6 ，r ，) 的解。 e = 芝：( ( x 州r l + l ，r 2 + z 。，+ f ，) ( v ，一y o ) j y 一( 工。，r 4 + l ，+ z 。，r 6 + f ，) ( “，- - i d 。) s 。s ) 2 ( 3 3 1 ) 约束条件是式( 3 2 7 ) 。 非线性最优化中的初始值确定方法是：设相机是无畸变的理想针孔模型， 即畸变系数k 为零。这样就可以利用四面体姿态估计方法得到r 和t 的初值1 7 1 。 ( 2 ) 四面体姿态估计方法确定( r ，胄：，马，r 。，r ，r 。，f 。，f ，) 的初始值。 相机标定包括两个部分，一是内部参数的标定，一是外部参数的标定。内 部参数是指摄像机内部的几何和光学特性，而外部参数是摄像机坐标系的三维 位置和方向与世界坐标系之间的相对关系。这里的r 和t 就是外部参数，因此 我们可以利用不考虑畸变的四面体姿态估计方法，获得r 和t 的相应初值，即 外部参数的初值【1 8 ”i 。 设有四个共面不共线的目标点鼻，最，只，只，并已知它们的三维物体坐 标为( x l z 。) ，即点只和只之问的距离已知，用上。表示，目标点与相 机模型的关系如图3 - 4 所示。 邮最b 的面积s ：，= 昙厶： 其中，0 = 么只鼻 。目：堡璺二刍 2 厶2 上1 3 ( 3 3 2 ) ( 3 3 3 ) 则咖臼= 厕= 篮塑篆掣。， 所以 a ，= s = ( 上；：+ 茸，+ 置，) 2 2 ( l i ：+ f ，+ e ，) 】2 4 a 2 = s 1 2 4 = ( 上1 2 2 + 三2 4 + 上；4 ) 5 2 ( 日2 + 三4 4 + e 4 ) 】i 4 a ，= s 。，。= 【( 三五+ 五k + e 。) 2 2 ( 焉+ 上4 4 + e 。) 2 4 a 。= s 2 3 4 = ( 丘3 + 三；4 + 骂4 ) 2 2 ( e 3 + e 4 + e 4 ) 】2 4 ( 3 3 5 ) 四面体的体积计算如下： v 。= v ( o 。，鼻，p ，b ) = a it h 3 v 2 = v ( o 。，鼻，最，只) = a 2 h 3 叱= 矿( q ，只，b ，只) = a 3 h 3 v 。= v ( o 。，r ，只，只) = a 。r h 3 ( 3 3 6 ) 其中，h 是从相机坐标系原点d c 到四个目标点所在平面的垂直距离。 图3 - 4 目标点与相机关系模型 p 3 由于q 到图像平面的距离为厂，所以像点c 在相机坐标系的坐标为 ( x d ty 。，) 。设由相机坐标原点指向像点的向量表示为0 c c ，幽q 指向点p 的 向量表示为p “，这两个向量的方向是相同的，其单位向量可以表示为： n ，= ( n ，”。，”：，) = ( x m ，y m ，厂) 。m ， ( 3 3 7 ) 其中，m ，= ( x j + y ：+ 厂2 ) 2 ，所以，向量。= d ，一，d i 是从0 ( 到p 的距离。 由向量点乘和叉乘的性质，四面体的体积还可以表示如下： h = f 鼻o - ( 只0 掣) l 6 = 。d ：d ，i x 。( y 。，- y d ：) + y 。( x 。：一x d 3 ) + y 。：x 。，一x , 1 2 y 。，i ( 6 m m ：m ，) 同理可求v 2 ，v 3 ，v 4 。 ( 3 3 8 ) 从而可以求出h ，得 h = f a l d 2 d 3 b l1 ( 2 m 1 m 2 m 3 a 1 ) h = f d l d 2 d 4 8 2 ( 2 m i m 2 m 4 a 2 ) h = f a , d 3 d 4 马( 2 m 1 m 3 m 4 a 3 ) h = f d 4 d 2 d 3 8 41 ( 2 m 4 m 2 m 3 a 4 ) ( 3 3 9 ) 其中， b f = l x d l ( y d 3 一y d 2 ) + y d l ( x d 2 一x d 3 ) + y d 2 x d 3 一x a 2 y “3 b 2 = x t y d 4 一y d l l + y m q n x d 4 ) + y 4 2 x d 4 一x d 2 y d 4 b 3 = l x d l ( y d 4 一y d 3 ) 十y d l ( 工j 3 一x d 4 ) + y d 3 x d 4 一x d 3 y d 4 b 4 = l x d 2 ( y “4 一y d 3 ) + y j z ( x d 3 一x d 4 ) + y d 3 x d 4 一x d 3 y d 4 i ( 3 4 0 ) 妒鲁。鲁鲁qq 鲁q 也= 等等等一两m 3 吐 小百b i 酉a 4 等q = c ，m m 4 刊， ( 3 若能求出d ，则可以求出只，只，只，只在相机坐标系中的坐标。 因为三j = ( x 。一x 。) 2 + ( y 。一y 。) 2 + ( z 一z ) 2 ( 3 4 2 ) 其中，b = 一= 等。 y ，强2 鼍饵， ， z 产托：_ t2 音自f c x 。一x c = c 参吒一盖d 1 ) 2 = 哮c 。甏妒瓦x d i 引2 = d 1 2 ( x 扩x 自c u 丫m j 同理可求( - y 。，) 2 ，( z 。一z c i ) 2 ，所以 三；= 铂( 一x , o c 。) 2 + ( y 。一y d q ) 2 + ，2 ( 1 一c ) 2 m ? 因为p 1 ，p 2 ，p 3 ，p 4 四个点不重合， 所以 上；= ( x 曲一x a j c ) 2 + ( y 析一y 硝c f ) 2 + f 2 ( 1 一c o ) 2 0 从而求得 ( 3 4 3 ) ( 3 4 4 ) ( 3 4 5 ) ( 3 4 6 ) d 1 = l 1 2 m 1 “( x 一x d 2 c 1 2 ) 2 + ( y d i y d 2 c 1 2 ) 2 + f 2 ( 1 一c 1 2 ) 2 ) 2 ( 3 4 7 ) 将d 代入式( 3 4 1 ) 可求得d 2d ，d 。，从而求出只，b ，只，只在相机坐标系中 的坐标( x 。，y 。，z 。) ( f - 1 4 ) 。 此时，四个目标点的物体坐标( x 。，y 。，z 。，) 和相机坐标系中的坐标 ( x 。y 。，z 。) 已知，由式( 3 1 ) 列出方程组 。ll lz 。i 1 000 x 。 o00 0 w 2 匕2z 1 0000000 0x 。4l 4z “1 2 8 ( 3 4 8 ) k 儿乙k 儿乙 风肼煦疋凡b。m乃b心风 o o l o o 0 乙0 o 0 匕o o o k o o 0 o 0 0 ，0 o o 瓦o o o 巧o o 但是，由于四个目标点在同一个平面上，因而它们在z 轴上的坐标是相同 弱，著令z = 0 ，剐系数矩薄夔获为9 ，若令z 为任意一个不为0 戆数，嬲系数 矩阵的秩为1 0 ，这两种情况下系数矩阵均不满袄，因而求褥的参数解麓不正确 的。因此，我们先不求与z 坐标所对应的r ，r 6 , r ，在得到r 矩阵的另外几个 参数后，根据r 矩阵的正交性质来求这三个参数。上述方攫组变为： 0000 0 0x 。匕。1 r l r 2 瓦 r 4 r 5 r 7 r 8 霉 秀出正交隧叉乘性质褥， r 3 = r 4 霆8 一r 5t 霞7 ，r 6 r 2 ，r 7 一r i r 8 ，r 9 = r l 震s 一露2 - r 4 ( 3 ) 求解图像平面中心甜。，v o ，和f ： 得到r 矩阵和平移向量r 后，任意标定点( x ，匕，z 。) ( x cy 。，z 。) & # 爵求缮。秀塞式( 3 2 窝( 3 。3 ) 缮： tx 。x ：+ k ( x ：+ y ：) x ： z 。厂， 墨；丝：篓兰! 鳗立婆 z 。ff ( 3 ，4 9 ) ( 3 5 0 ) 所对应的图像坐标 ( 3 5 1 ) ( 3 。墓2 ) 设k 一0 ，f 二的初能来自第一步所求结果，v 。的初值设为帧缓冲器的中心。 解此非线性方程，得到实际的“。，v 。，和t ：。 ( 4 ) 袋释凌头戆燹系数k 帮毙秘嚣予s i 毙辩，旋转矩阵露，平移向量t 和，y 0 的优化值均融求出，将这些值代 入式( 3 5 1 ) 和( 3 5 2 ) ，s 初值来自式( 3 3 0 ) ，k 初值设为0 ，或者取l k i 1 的 数。解武菲线性方程缀，缮到傀纯嚣懿k 霸s 。 由于谯求解尺矩阵的参数时，代入的s 是非精确值。因此将( 4 ) 中得到的 o 0 k g i 。o k e 0 0 o 0 o 1 o o o o；!i ，k 0 ， k o o 矗