（机械电子工程专业论文）基于嵌入式多目标跟踪器的全方位视觉导航系统.pdf

l i l ll l lul l ll ll lllilli y 1 7 4 9 9 5 1 t h e s i ss u b m i t t e dt ot i a n ji nu n i v e r s i t yo ft e c h n o l o g yf o r t h em a s t e r sd e g r e e om n i v i s i onn a v i g a t i on s y s t e m b a s e do n e m b e d d e d m u l t i - o b j e c t st r a c k e r b y h u a z h uf u s u p e r v i s o r z u o l i a n gc a o j a n u a r y2 0 1 0 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得天洼理工大堂 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 穸，t fi 、 学位论文作者签名：彳苓譬争粒签字日期：, 2 0 l o 年3月g 日 学位论文版权使用授权书 本学位论文作者完全了解 墨盗堡兰盘堂有关保留、使用学位论文 的规定。特授权叁洼墨兰太鲎 可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：彳椿粒 导师签名： 礴f 良 签字日期：2 0 lo 年3 月多日签字日期：2 p l0 年3 月吕日 摘要 自动导航技术是移动机器人应用中的关键技术，而基于视觉信息的机器人导航技术 具有直观、信息量大、采样速度快、设置简单等特点，成为导航应用中的理想解决方案。 本文以室内移动机器人导航技术为背景，采用鱼眼镜头构建全方位视觉系统，设计了一 种基于d s p 架构的嵌入式多目标跟踪器，实现对序列点阵航标的识别，跟踪。并用此嵌 入式跟踪器为核心设计了一套机器人导航系统，实现在室内结构环境中的移动机器人自 主导航。论文的主要研究工作如下： 一、采用鱼眼镜头构建全方位视觉系统，并对此视觉系统进行数学建模和参数标定。 设计了一种适合于工程应用的基于鱼眼镜头的视觉系统模型，将视觉系统分成镜头坐标 系和成像坐标系两个模型坐标系，确定其各坐标系关系，并根据此模型提出五个主要模 型参数，并给出相应的标定方法。准确的视觉系统模型和标定是图像处理和视觉导航的 基础和前提。 二、对粒子滤波算法进行改进，设计一种新的多目标跟踪算法。我们以粒子滤波器 作为一种概率跟踪算法的框架，并设计了一种新的跟踪算法，嵌入特征匹配的粒子滤波 ( f e a t u r em a t c h i n ge m b e d d e dp a r t i c l ef i l t e r ，f m e p f ) ，这种算法结合了粒子滤波算 法和特征匹配算法的优势，实现了多目标的视频跟踪，具有较高的准确性和鲁棒性。 三、为了满足多目标跟踪的实时性，我们设计了一种交叉运行技术，成功地将粒子 滤波跟踪算法移植到d s p 平台，并进行相应的优化，从而开发了一种嵌入式多目标跟踪 器。相对于传统的x 8 6 计算机结构，嵌入式硬件图像处理器具有体积小、功耗低且集成 度高的优点，尤其适合于机器人导航和车载移动应用。 四、以嵌入式多目标跟踪器为基础，实现了移动机器人在结构化环境中的循迹导航。 循迹导航是一种刚性导航方式，利用双色序列航标构建机器人周围的三维环境并生成目 标路径，嵌入式跟踪器对航标进行实时跟踪，同时计算出机器人的空间位置，并根据位 置信息进行导航策略设定，从而实现移动机器人的循迹导航。 五、开发一种基于示教再现方式的移动机器人导航策略。示教再现导航作为一种柔 性导航模式，具有更高的使用价值和科研价值。将嵌入式多目标跟踪器竖直安装在机器 人顶部，结合序列双色点阵航标，构建导航环境。首先对机器人进行路径示教，嵌入式 跟踪器实时跟踪航标，根据航标跟踪信息生成示教数据库。再现导航时，在示教数据库 中匹配相应的示教坐标信息，配合车体当前坐标，进行导航控制策略的设定，从而实现 移动机器人的示教再现导航。 关键词：全方位视觉粒子滤波器目标跟踪d s p 机器人导航 a b s t r a c t r o b o t i cn a v i g a t i o ni sak e yp r o b l e mi nt h er o b o t i cs y s t e m a ni d e a ls o l u t i o nt ot h e n a v i g a t i o np r o b l e mh a sb e e ns e e na s v i s i o nn a v i g a t i o n w h i c hh a st h ea d v a n t a g e so fl a r g e i n f o r m a t i o n , f a s ts a m p l i n ga n ds i m p l es e r i n g i nt h i sp a p e r , a ne m b e d d e dm u l t i o b j e c t s t r a c k e rb a s e do no m n i - d i r e c t i o n a lv i s i o ns y s t e mw a sp r o v i d e dt oi m p l e m e n t r e c o g n i t i o na n d t r a c k i n gf o r t h es e q u e n t i a lb e a c o n sa r r a yl a n d m a r k s an a v i g a t i o ns y s t e mu s i n gt h ee m b e d d e d t r a c k e ri sa l s op r o v i d e dt oa c h i e v et h er o b o t i ca u t o m a t i cn a v i g a t i o ni nt h ei n d o o rs t r u c t u r e d e n v i r o n m e n t t h em a i nr e s e a r c hw o r ki nt h i sp a p e ri sa sf o l l o w ： 1 m o d e la n dc a l i b r a t et h eo m n i v i s i o ns y s t e mw h i c hh a sb e e nb u i l tb yt h ef i s h e y el e n s t h eo m n i - v i s i o nb a s e do nf i s h e y el e n s ，u s e df o r e n g i n e e r i n ga p p l i c a t i o n s ，i n c l u d e st w o c o o r d i n a t e s ：t h el e n sc o o r d i n a t e sa n dt h ei m a g ec o o r d i n a t e s t h em e t h o df o rt h ec a l i b r a t i o no f t h ef i v em a i np a r a m e t e r so ft h em o d e li sa l s op r o v i d e d t h em o d e l i n ga n dc a l i b r a t i o no ft h e o m n i - v i s i o ns y s t e mi st h eb a s i ca n dp r e r e q u i s i t ef o rv i s i o nn a v i g a t i o n 2 d e s i g nan e wm e t h o df o rm u l t i p l et a r g e t st r a c k i n gb a s e do np a r t i c l ef i l t e r w e e m p l o y e dp a r t i c l ef i l t e ra st h ep r o b a b i l i s t i cf r a m e w o r ka n dd e s i g n e dan e wa l g o r i t h m ，t h e f e a t u r em a t c h i n ge m b e d d e dp a r t i c l ef i l t e r ( f m e p f ) ，t oi n t e g r a t ea d v a n t a g e so fp a r t i c l e f i l t e ra n df e a t u r em a t c h i n g , f o r t r a c k i n gm u l t i p l et a r g e t sa c c u r a t e l ya n dr o b u s t l y 3 i no r d e rt ot r a c k i n gm u l t i o b j e c t si nr e a l - t i m ew i t h o u td e l a yo rl o s so ft h ei m a g ed a t a , t h et r a c k i n ga l g o r i t h mw a st r a n s p l a n t e di n t od s p s y s t e mu s i n gt h ea l t e m a t ei m p l e m e n t a t i o n t e c h n o l o g ya n do p t i m i z e ，a sa ne m b e d d e dm u l t i o b j e c t st r a c k e r c o m p a r e dt h ec o l t l m o nc p u b a s e do nx 8 6s t r u c t u r e ，t h ee m b e d d e dt r a c k e rh a ss m a l l e rv o l u m e ，l o w e rp o w e ra n dh i g h e r i n t e g r a t i o n ，w h i c hc o u l de f f i c i e n t l yo f f e rr o b o t i cn a v i g a t i o na n dv e h i c l e - m o u n t e ds y s t e m 4 b a s e do ne m b e d d e dm u l t i o b j e c t st r a c k e r , an a v i g a t i o ns y s t e mw a sb u i l tf o rr o b o t i c t r a c k i n gn a v i g a t i o nf o ri n d o o rs t r u c t u r e de n v i r o n m e n t t h et r a c k i n gn a v i g a t i o n , a sar i g i d n a v i g a t i o n ，g u i d e st h er o b o tu s i n gt h es e q u e n t i a ll a n d m a r k sa r r a yi nt h ee n v i r o n m e n t t h e n a v i g a t i o ns y s t e ml o c a l i z e dt h es p a c ec o o r d i n a t e so ft h er o b o t i ca c c o r d i n gt ot h el a n d m a r k s t r a c k i n gb ye m b e d d e dt r a c k e r , a n ds e tt h eg u i d i n gp a t hf o rr o b o t i ct r a c k i n gn a v i g a t i o n 5 d e s i g n e dat e a c h i n g - p l a y b a c kn a v i g a t o rf o rr o b o t i cn a v i g a t i o n t e a c h i n g p l a y b a c k n a v i g a t i o na saf l e x i b l en a v i g a t i o nm o d eh a sm o r er e s e a r c hv a l u ea n dp r a c t i c a lv a l u e f i r s t ， t h en a v i g a t i o np a t hw a st e a c h e da n dat e a c h i n g - p l a y b a c kd a t a b a s e ( t p d ) w a sb u i l t a c c o r d i n gt h el a n d m a r k si n f o r m a t i o nt r a c k e db ye m b e d d e dt r a c k e r a sp l a y b a c k ，t h en a v i g a t o r m a t c h e dt h el a n d m a r kc o o r d i n a t e si nt h et p d ，a n ds e tt h eg u i d i n g p a t ha c c o r d i n gt h ep o s i t i o n o ft h er o b o tf o rr o b o t i ct e a c h i n g p l a y b a c kn a v i g a t i o n k e yw o r d s ：o m n i v i s i o n ，p a r t i c l ef i l t e r , o b j e c tt r a c k i n g ，d s p , r o b o t i cn a v i g a t i o n 目录 第一章绪论1 1 1 论文的研究意义l 1 2 全方位视觉概况1 1 3 视频跟踪概述3 1 4 嵌入式d s p 芯片概述4 1 5 移动机器人导航概述4 1 6 课题的来源及章节安排5 第二章鱼眼镜头的数学建模与标定6 2 1 鱼眼镜头成像原理6 2 2 鱼眼镜头数学建模8 2 2 1 鱼眼镜头成像系统数学模型9 2 2 2 简化的鱼眼镜头数学模型1 0 2 2 3 镜头模型中的模型参数1 l 2 3 鱼眼镜头模型参数标定1 2 2 3 4 成像面中心点标定1 2 2 3 5 顶切面到折射光心距离的标定1 3 2 3 6 相机与成像面的平面扭角标定方法1 4 2 3 7 径向畸变系数和像元纵横比的标定1 5 2 4 本章小结1 7 第三章嵌入特征匹配的粒子滤波跟踪算法1 8 3 1p a r t i c l ef i l t e r 跟踪算法1 8 3 1 1b a y e s i a n 滤波原理1 8 3 1 2m o n t ec a r l o 仿真方法1 9 3 1 3 序列重要性采样2 0 3 1 4p a r t i c l ef i l t e r 算法的主要问题2 2 3 2 嵌入特征匹配的粒子滤波算法2 3 3 3 跟踪算法实验与分析2 4 第四章基于d s p 的嵌入式多目标跟踪器设计2 6 4 1d m 6 4 2 7 处理器介绍2 6 4 2 嵌入式跟踪器的硬件架构2 7 4 3 嵌入式跟踪器的软件流程及优化2 8 4 4 嵌入式跟踪器的实验与分析3 1 4 5 本章小结3 2 第五章基于鱼眼镜头的车体定位方法和航标设计3 3 5 1 鱼眼镜头等距投影定理3 3 5 2 车体直角航标定位3 4 5 3 车体双点式航标定位3 5 5 4 车体定位实验结果3 8 5 4 1 直角航标定位实验3 8 5 4 2 双点式航标定位实验3 9 5 4 3 定位实验对比分析4 l 5 5 序列双色点阵式航标的设定4 1 第六章移动机器人循迹导航系统4 4 6 3 移动机器人的循迹导航策略4 4 6 3 1 循迹导航控制变量4 4 6 3 2 车体p i d 控制系统4 5 6 4 循迹导航系统构架4 6 6 5 循迹导航系统实验与分析4 8 第七章移动机器人的示教再现导航系统5 3 7 1 示教再现数据库设计5 3 7 2 示教再现导航系统构架5 4 7 3 示教再现导航系统实验与分析5 5 第八章总结与展望5 9 8 1 工作总结5 9 8 2 未来工作展望5 9 参考文献6 0 发表论文和科研情况说明6 3 致谢6 4 第一章绪论 1 1 论文的研究意义 第一章绪论 机器人自主导航技术是移动机器人应用中的核心技术。而视觉导航由于其信息量 大，采样直接，准确性高等特点，称为导航技术的首选。而全方位视觉能够一次获取整 个半球域的全部景物信息，非常有利于移动机器人跟踪和导航的要求。基于全方位视觉 的移动机器人导航在安防监控、辅助驾驶、现场监测、车载巡检、飞行器制导及空间机 器人等许多方面都有直接或潜在的应用前景。 嵌入式多目标跟踪器作为本课题的核心技术之一为视觉导航提供了一种有效的解 决方案。嵌入式多目标跟踪器以改进的粒子滤波跟踪算法为基础，实现对序列点阵式航 标的实时高效跟踪，同时配合以嵌入式d s p 硬件平台，具有实用性强、经济、体积小、 易扩展、功耗低等优点适合于车载导航应用。 本论文主要基于科技部中芬国际科技合作项目“移动机器人和自引导车的全方位视 觉导航技术”( 项目编号2 0 0 6 d f a l 2 4 1 0 ) 和国家“8 6 3 ”计划项目“基于全方位视觉的移 动车动态目标探测与导航 ( 项目编号2 0 0 7 a a 0 4 2 2 2 9 ) 课题。 1 2 全方位视觉概况 全方位视觉对于以视觉为基础的机器人导航系统具有极大优势，全方位视觉顾名思 义就是可以直接采集多个角度的图像信息，通过一定的图像处理，可以获得1 8 0 度整个 半球域视场的全部场景信息【1 】【2 1 。这种超大广角视野的全方位观测可以弥补普通相机的 视觉死角，非常适合于移动机器人的视觉导航。一般来说全方位视觉可以通过以下四种 技术获取： 1 “摇拍 扫描技术。 在光学系统凝视视角不大的条件下，通过机电结构和伺服控制使光轴在一定范围内 做规律旋转扫面，以增大视场角，这是工程上最多采用的扩充视角的方法。由于“摇拍” 需要一定的时间，所以会存在信息采集的实时性。图1 1 为加拿大研制的机载转塔摄像 系统w e s c a m 。 第一章绪论 图1 1 加拿大w e s c a m 机载转塔摄像系统 2 多镜头视角拼接技术。 为保证信息获取的实时性，多镜头拼接也是全方位视觉的常用办法。如图1 2 为加 拿大p o i n tg r e y 公司的l a d y b u g 全景视觉，它是采用6 个普通镜头采集图像，经过拼接 得到3 6 0 。的全景图像。但是，数学分析和实践都表明，这种体制只适用于扩展平面角， 要用工程方法拼接成一个覆盖全空域的立体角是不实际的。 _ _ * h_ 一h 图1 - 2l a d y b u g 全景视觉 3 反射式全方位视觉。 从各种实用性能来说，镜头超广角技术是最有应用前景的实用技术。反射式全方位 视觉由反光镜和单相机组成，通过反光镜的光学反射，从而采集整个半球面图像信息， 如图1 3 所示。 第一章绪论 图1 3 典型的反射式全方位视觉及其成像 4 鱼眼式全方位视觉。 鱼眼镜头是仿照鱼类在近水面位置时可以感知水面之上近1 8 0 度空域视场的原理而 设计的。它通过“帽形”透镜而实现，相比与反射式镜头结构更为紧凑，更适合于机器 人导航，安防监控等领域，图l - 4 为典型的鱼眼镜头和其成像。在本课题中，我们就采 用鱼眼镜头来构架全方位视觉系统并进行深入研究。 1 3 视频跟踪概述 图1 - 4 鱼眼式全方位视觉 运动视觉涵盖对视频图像序列进行分析和处理。运动分析与估计是数字视频处理的 基本内容，也是视频处理研究的难点和热点。运动分析与估计广泛应用于计算机视觉、 目标跟踪、工业监控和视频压缩等场合。例如：移动监控中对场景机动目标的监测，地 面和空中的交通管制，对高速机动目标的检测、测量、跟踪和识别，工业自动化检测和 制造控制的机器视觉，心脏跳动、血液流动等动态医学图像的研究，等等【4 j 。 运动估计主要是研究空间中的物体运动情况。为了观察物体的运动，人们将摄像机 第一章绪论 放置在三维空间的某一位置上，对运动物体进行观测，所拍摄到的一系列图像称为时间 序列图像或者运动图像1 5 儿引。 视频跟踪的算法多种多样且发展更新很快。为在物理条件下对目标( 包括陆标和机 动目标) 进行精确建模，一种新的非线性动态系统分析工具粒子滤波器( p a r t i c l e f i l t e r ) 算法，也称为序列蒙特卡罗方法j 下受到广泛关注【7 引。本课题在粒子滤波跟踪算 法的基础上，融入局部特征匹配，提出一种新的跟踪方法，解决在移动背景下对目标的 识别和跟踪，并提高跟踪算法的实时性和鲁棒性。 1 4 嵌入式d s p 芯片概述 数字信号处理器( d i g i t a ls i g n a lp r o c e s s o r , 简称d s p ) 以其特有的灵活性、准确性、 稳定性、可重复性、体积小、功耗小，尤其是可编程性和易于实现自适应处理等特点， 近年来有了巨大发展【9 】【1 0 l 。d s p 是一种具有特殊结构的微处理器。d s p 芯片的内部采用 的是程序和数据分开哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特 殊的d s p 指令，可以用来快速地实现各种数字信号处理算法。d s p 一般具有如下的一 些主要特剧1 1 1 ： 1 在一个指令周期内，可完成一次乘法和一次加法。 2 程序和数据空间分开，可以同时访问指令和数据。 3 片内具有快速r a m ，通常可通过独立的数据总线，在两块芯片中同时访问。 4 具有低开销或无开销的循环及跳转的硬件支持。 5 快速的中断处理和硬件i o 接口支持。 6 具有在单周期内操作的多个硬件地址产生器。 7 可以并行执行多个操作。 8 支持流水线操作，使取指、译码、取操作数和执行等操作可以重叠执行。 鉴于以上的特点，d s p 的应用范围也在逐渐的加大。近年来，d s p 已经在信号处理、 通信、雷达等许多领域得到广泛的应用。目前世界上较为著名的d s p 公司生产厂家主 要有t i 公司、a d 公司、a t & t 公司、m o t o r o l a 公司、n e c 公司等，现在中国市场上比 较流行的是t i 、a d 和m o t o r o l a 公司的产品。本课题使用的是美国t i 公司最新发布的 d m 6 4 3 7 芯片，此芯片在数字图像处理领域和流媒体应用领域得到了广泛应用。 1 5 移动机器人导航概述 自主导航技术是移动机器人研究的核心问题。移动机器人的定位导航问题主要是由 l e o n a r dj j 和d u n a n t w h y t eh f 提出的三个问题：( 1 ) “我现在何处? ”( 2 ) “我要往何 处? ( 3 ) 要如何到该处去? 组成的【1 2 】。i n n ，其所要解决的问题主要有：1 对机 器人在空间中的位置和方向的精确定位；2 对所获得信息的分析及坏境模型的建立( 即 第一章绪论 环境感知及建模) ；3 规划出机器人安全移动的路径( 即运动规划和目标确定) 。根据定位 导航方式的不同，导航方式可分为：基于环境信息的地图模型匹配导航；基于各种路标 的导航以及基于其他各种传感器的导航等。前者需要对环境信息进行地图建模，然后进 行匹配，在实时性和准确性上，仍然无法做到广泛的工业应用。而后者由于其设置简单， 信息量大，是一种广泛应用的导航方式【b 】【1 4 】【1 5 j 。 本课题中使用基于双色序列航标点阵的定位与导航方式，即在结构环境下，配合特 定航标的识别以实现导航，其具有设置简单、直观、信息量大、采样速度快的特点，非 常适合于广泛的工业应用。 1 6 课题的来源及章节安排 本课题是基于科技部中芬国际科技合作项目“移动机器人和自引导车的全方位视觉 导航技术 ( 项目编号2 0 0 6 d f a l 2 4 1 0 ) 和国家“8 6 3 计划项目“基于全方位视觉的移动 车动态目标探测与导航 ( 项目编号2 0 0 7 a a 0 4 2 2 2 9 ) 课题。本文采用鱼眼镜头构架全方 位视觉系统，以基于改进的粒子滤波跟踪算法为基础，设计了一种嵌入式的多目标跟踪 器，并以此嵌入式跟踪器为核心，配合序列点阵式航标完成移动机器人的自主导航系统 的开发，并成功实现循迹和示教再现两种导航方式。 本文共分八章，每章具体内容如下： 第一章，简要说明本课题的研究内容和意义，对全方位视觉、视频跟踪技术、嵌入 式d s p 技术、和移动机器人导航技术进行简要介绍。 第二章，研究基于鱼眼镜头构建全方位视觉系统，设计一种适合于工程应用的鱼眼 镜头数学模型，并给出相关参数的标定方法。 第三章，对粒子滤波跟踪算法进行详细介绍，分析其优缺点。同时，结合区域特征 匹配算法，设计一种改进的粒子滤波算法，嵌入特征匹配的粒子滤波( f e a t u r em a t c h i n g e m b e d d e dp a r t i c l ef i l t e r , f m e p f ) ，这种算法结合了粒子滤波算法和特征匹配算法的优 势，实现了多目标的视频跟踪，具有较高的准确性和鲁棒性。 第四章，对嵌入式d s p 硬件平台进行研究，通过移植跟踪算法，研制出一种嵌入 式的多目标跟踪器。 第五章，分析现有的全方位视觉的定位方式，并针对本课题提出了一种双色序列点 阵式航标。 第六章和第七章，结合嵌入式多目标跟踪器和序列点阵式航标，设计移动机器人导 航系统，分别实现了循迹导航和示教再现导航两种导航模式，并结合系统实验进行详细 的性能分析和说明。 第八章，全文总结以及未来工作展望。 第二二章鱼眼镜头的数学建模与标定 第二章鱼眼镜头的数学建模与标定 本文采用鱼眼式全景镜头构建全方位视觉图像采集系统。鱼眼镜头的典型视场角一 般为1 8 0 度，因此其成像理论不同于普通的光学镜头。鱼眼镜头人为地引入大量“桶形 畸变来实现超大广角的采集，捕获的图像具有非常严重的畸变，主要原因是鱼眼镜头的 真正成像面不是平面，而是近似于球状的曲面，因此，鱼眼镜头全方位视觉系统的标定 有别于常规成像系统的标定。本章主要讨论一种新的鱼眼镜头数学模型，并在此模型基 础上，给出各种模型参数，以及其标定方法。 2 1 鱼眼镜头成像原理 众所周知，水下鱼类在贴近水面时，能“凝视”感知水面之上近乎1 8 0 度角空域的 景物【3 1 ，故通常认为其具有接近1 8 0 。的仰视视角，如图2 1 所示。 厂 、 入入 一爱? 澍 弋帅伯 图2 1 鱼眼能看剑的视野范围 有介于此，人们借助特殊的光学系统把鱼眼这种视觉功能通过工程方法来实现，并 用在不限于有水至空气的介质界面场合，于是出现了“鱼眼镜头”。 基于鱼眼镜头的仿生原理，2 0 世纪6 0 年代后，由于光学自动设计技术的应用，鱼眼 镜头发展迅速，出现了不少像质优良的光学结构。如图2 2 所示为同本f u j i n o n 公舌 推出 的1 8 5 。视场角的型号为f e l 8 5 c 0 4 6 h a 1 的鱼眼镜头与其获取的图像，此鱼眼镜头焦距 1 4 r a m ，光圈范围f 1 4 f 1 6 。 第二章鱼眼镜头的数学建模与标定 图2 2f u j i n o n 鱼眼镜头f e l 8 5 c 0 4 6 h a 1 及采集图像 为了实现鱼眼镜头对超大视场角信息的实时采集，在工程上，采用了对物空间实行 “变形压缩 的方法。从光学上说，这种压缩可通过引入大量“桶形 畸变来实现。从 数学上说，就是选择恰当的理想成像公式。鱼眼镜头的成像模型多种多样，常用的成像 公式有【3 】： i y o = 2 f t a n ( 0 , 2 )( 2 - 1 ) l蜘y o = 和( 2 2 ) “= 2 f s i n ( t o 2 )( 2 - 3 ) 【y o = 2 f s i n ( c a )( 2 - 4 ) 普通镜头所用的高斯光学理想成像公式为： 功 (25)o t a n = ， 功 u 一) j 鱼眼镜头的成像公式与其相比，它们的外形有相仿之处，且各自都能提供相应的“桶 形”畸变量，但畸变的大小各不相同。图2 3 显示了其中的差别： 图2 - 3 鱼眼镜头各种成像公式曲线 图中曲线( 1 ) ( 4 ) 依次表示公式( 2 一1 ) 公式( 2 4 ) 的关系，曲线( 5 ) 表示高斯光学成 像关系式( 2 5 ) ；在同一c o 处，它们与曲线( 5 ) 的差值就决定了各自所能引入的“桶形” 第二章鱼眼镜头的数学建模与标定 畸变量大小。 值得说明，因为光学系统产生的畸变大小完全由主光线的行径决定，故畸变只造成 图像的形变，并不影响图像的清晰度。从数学上说，尽管有明显的变形，但从“物”空 间到“像空间，二者之间仍然存在着一一对应的“映射”关系。同时只要选定了所用 的公式，这种映射关系便被唯一的确定，而且是可逆的。 最为常用的成像公式是“等距投影”成像公式，即公式y 7 细。其所表达的思想 是，相同的视场角在像面上对应着相等的径向距离，故称之为“等距投影 ( e q u i d i s t a n c ep r o j e c t i o n ) 公式。“等距投影”成像所提供的畸变量可以人为调节，能 产生足够的“桶形 畸变是对鱼眼镜头最重要的设计要求。 等距投影成像使像高与视场角为简单的正比关系，这使我们可以很方便地从图像提 取物空间目标的角坐标及其随时间变化的动态信息。而且，由于正比关系避免了复杂的 反演计算，是目标信息的提取具有很好的实时性。因此由于这种应用方面的特殊优势， 使等距投影成为最受重视的成像思想。至今为止，采用等距投影思想设计的鱼眼镜头为 数最多，尤其是在科技和工程领域使用者。在本文中，我们也将采用符合“等距投影” 成像公式设计的鱼眼镜头来建立全方位视觉系统 2 2 鱼眼镜头数学建模 标准的鱼眼镜头是一种短焦距超广角光学设备，其光学结构复杂，由多层镜片组构 成，一般这种镜头的前镜片直径很短且呈抛物状向镜头前部凸出，主体分三部分构成： 鱼眼镜头、多层图像反射系统、c c d 成像，如图2 _ 4 所示，光线进入镜头后经过多次折 射后在后置的c c d 上成像。 图2 - 4 鱼眼镜头的光学没计结构 在实际工程应用中，需要将鱼眼镜头的多层光学设计结构进行虚拟的简化和建模， 通常将多层镜片的鱼眼镜头物理模型简化成一个半球形折射镜头模型，并标定参数，使 其更方便于实际的工程应用【1 6 】。 整个简化建模过程分为三大步骤，第一步、建立基于等距投影原理的鱼眼镜头成像 第二章鱼眼镜头的数学建模与标定 系统数学模型；第二步、确立鱼眼镜头成像系统的数学模型中各坐标系关系，并建立简 化的数学模型；第三步、提出关于数学模型中需要标定的五大模型参数。下面将详细介 绍各个步骤。 2 2 1 鱼眼镜头成像系统数学模型 根据鱼眼镜头成像原理，建立相应的数学模型，并建立系统光轴和模型中的四个坐 标系：世界坐标系、鱼眼镜头坐标系、摄像机坐标系、成像平面坐标系。如图2 5 所示： 世界坐标系阢 鱼眼镜头坐标系k 艺刁 耱机坐标系f ，螂秽 成像平瞬坐标系伪彬 图2 5 鱼眼镜头成像系统数学模型 第一：建立世界坐标系( x 。，e ，乙，) 。世界坐标系也称全局坐标系。它是客观世界的 绝对坐标，是由用户任意定义的三维空间坐标参照系。假设空间中的一点p ，建立尸点 所在空间坐标系为世界坐标系，便于数学模型的建立以及公式的推导。 第二：建立系统光轴d f q a 。将多层镜片的鱼眼镜头物理模型简化成一个半球形折 射镜头模型，同时建立理论折射光心0 ，所有入射光线( 除与光轴重合的入射光线外) 都会穿过折射光心发生折射，与光轴重合的入射光线不发生折射。设与光轴重合的入射 光线与相机镜头接口平面的交点为0 与成像平面的交点为q ，a 即为成像面中心点 ( ，) ，设定a q q 为系统光轴； 第二章鱼眼镜头的数学建模与标定 第三：建立鱼眼镜头坐标系( x ，l r ，z ) 。以0 l q q 为z 轴建立鱼眼镜头坐标系 ( x ，】，z ) ，原点为0 ，。此坐标系是将多层镜片的鱼眼镜头物理模型简化成一个半球形折 射镜头模型。 ， 第三：建立摄相机坐标系( x , y ，z ) 。以d ld 2 q 为z 轴建立相机坐标系( x ，y ，z ) ，原点 为d 2 ，此坐标系用来描述相机位置。 第四：建立成像平面坐标系( “，1 ，) ：以成像平面c c d 为坐标平面建立的平面直角坐 标系，此坐标系为二维坐标系，原点设为成像面右上角。由于成像平面坐标与生成的 图像坐标为一一对应关系，所以实际应用中也采用图像坐标系中的图像坐标( 单位为像 素) 来代替成像平面坐标系中的坐标。由于实际相机的c c d 像元并非理想的正方形， 而是长方形，所以此坐标系存在的一个像元纵横比例因子f 。 以上四个层次的坐标系 世界坐标系( k ，匕，乙) 、鱼眼镜头坐标系( x ，】，z ) 、摄像 机坐标系( x ，) ，z ) 、成像平面坐标系( “，y ) ) 之间的关系如图2 - 5 所示。 2 2 2 简化的鱼眼镜头数学模型 此步骤将在鱼眼镜头成像系统数学模型的基础上确立各坐标系之间的关系，并将其 简化成一个由两个坐标系组成的简化数学模型，如图2 - 6 所示： 图2 - 6 鱼眼镜头的简化数学模型 第一：建立图像映射关系：设p 是世界坐标系中一点；z 。为尸点到投影面的空问 高度；尺是p 到理论折射光心q 的水平距离；为p 点相对理论折射光心d i 的入射角( 仰 角) ：0 是尸点在摄像机坐标系中的方位角；p n ，为p 在成像面上的像点；r 为成像点 离图像中心点q 的距离( 径向距离) ；0 为像点在图像物理坐标系中的方位角；f 为理论 第二章鱼眼镜头的数学建模与标定 折射光心d t 到成像平面坐标系的垂直距离。 第二：简化世界坐标系( k ，k ，z ，) 与鱼眼镜头坐标系( x ，l ，z ) ：在默认情况下，鱼 眼镜头垂直放置，可以设定世界坐标系( 以，瓦，z ，) 与鱼眼镜头坐标系( x ，l ，z ) 重合，这 样将世界坐标系简化，只保留鱼眼镜头坐标系( x ，l z ) 。 第三：简化相机坐标系( x ，y ，z ) 和成像平面坐标系( “，v ) ：在实际模型中，相机坐标 系( x ，) ，z 1 和成像平面坐标系( “，v ) 处于同一平面中，相机坐标系原点d ，和成像面中心点 af ，) 重合，相机坐标系的叫轴和成像平面u v 轴在同一平面重合，这样可以用成像 平面坐标系的u v 轴代替相机坐标系中的叫轴，但往往由于工业制作精度的原因，相机 坐标系与成像面坐标系会存在一个平面扭角y ，此系数可以标定。同时在成像过程中， 成像平面和鱼眼镜头坐标系平面的距离为固定值厂，即鱼眼镜头焦距，所以可以将相机 坐标系的z 轴简化。至此，相机坐标系( x , y ，z ) 可以完全被替代，从而被简化。 最终简化后的系统模型只包括鱼眼镜头坐标系( x ，】，z ) 和成像平面坐标系( “，) 两 个坐标系，如图2 6 所示。 2 2 3 镜头模型中的模型参数 根据鱼眼镜头简化的系统模型推导出五个在鱼眼镜头标定中的主要参数：成像面中 心点a ( ，v n ) ，鱼眼镜头顶切面到理论折射光心平面的距离l ；鱼眼镜头径向畸变系数 k ；像元纵横比例因子f ；相机坐标系与成像面坐标系的平面扭角，。 其中，成像面中心点a ( ，) ，为第- n 量参数，是标定过程的核心参数，它直接 反应系统光轴在成像平面中的坐标位置，对于其他参数标定或者鱼眼镜头的实际应用具 有相当重要的作用。 鱼眼镜头顶切面到理论折射光心平面的距离，此参数为模型中简化的半球形折射 镜头参数，此参数作为其他后续参数标定所必须的重要的变量之一，所以单独提出，作 为一个参数，但在鱼眼镜头的实际应用中可以不涉及。 鱼眼镜头径向畸变系数k ，鱼眼镜头特有的另一重要参数，此参数直接体现鱼眼镜 头的成像公式，是鱼眼镜头成像规律计算和图象畸变矫j 下的必要参数。 像元纵横比例因子i ，是由于相机的c c d 感光芯片制作工艺原因，普通的c c d 感 光像元是长方形，所以存在一个像元横纵比例，此参数是图像精确复原应用的重要参数 之一。但对于感光像元为标准正方形的c m o s 感光芯片来说，此参数可以不涉及。 相机坐标系与成像面坐标系的平面扭角y ，是由于相机的感光芯片贴片制作工艺的 原因，虽然可以保证感光芯片和相机接口平面的一致，但两个平面坐标轴之间会出现一 个细微的平面扭转角度y ，在用相机做视觉高精度测量定位等工作时，需要标定此参数， 并进行角度补偿，但如果此参数足够小，在某些应用领域可以忽略不计。此参数与镜头 无关，可在普通镜头下完成标定。 第二章鱼眼镜头的数学建模与标定 2 3 鱼眼镜头模型参数标定 上一节提出了，鱼眼镜头简化的数学模型和其中五个重要参数，下面将详细介绍这 五个参数的标定方法。本文中将以f u j i n o n 鱼眼镜头f e l 8 5 c 0 4 6 h a 一1 和w a t e c 一2 2 1 s 模拟 相机建立全方位视觉成像系统为例，介绍鱼眼镜头模型参数的标定。 2 3 4 成像面中心点标定 首先建立如图2 7 所示标定系统，通过观察遮光板以及c c d 成像调整各组件，使激 光器、小孔、鱼眼镜头处于同一直线( 即鱼眼镜头成像的系统光轴所在直线) 。 图2 7 鱼眼镜头像面中心点标定环境 图2 8 激光束c c d 成像效果 童嘞鳓雹珊线经幺戳筮篮纪驻黝缓貔缓猫磁纽缓缎绂缢戮缓施翻i 蠡蕊 呻恤蚋州i f 印蛳岫抽睁 - o 譬口0 霞鼠即窜口蟊口 图2 - 8 为调整结束后c c d 中的成像效果。用程序对图像进行亮度统计，获得亮度处 理阈值信息，如图2 - 9 所示，再利用公式： “。= 万1i 缶= n “，= 万1i 缶= n q ( 2 - 6 ) “。2 万缶“，2 万缶q 计算鱼眼镜头的成像面中心点0 3 ( u 0v o ) ，其中( “。，v o ) 为鱼眼镜头的像面中心点， 第二章鱼眼镜头的数学建模与标定 为亮点像素个数，( ”，v ) 是亮点坐标。经过多次重复实验，得到本视觉采集系统的像面 中心的像素坐标位置为( 3 8 1 ，2 9 0 ) 。 2 3 5 顶切面到折射光心距离的标定 鱼眼镜头顶