（信号与信息处理专业论文）全方位视觉移动机器人目标跟踪算法研究.pdf

t h e s i ss u b m i t t e dt ot i a n ji nu n i v e r s i t yo f t e c h n o l o g y f o r t h em a s t e r sd e g r e e r e s e a r c ho no b j e c t - t r a c k i n g a l g o r i t h m f o ro m n i d i r e c t i o n a lv i s i o n o fa na g v b y y h a nw e i s u p e r v i s o r s u nj i e d e c e m b e r2 0 0 9 ； l i小j i 下，fll0fk_f，e，譬、0劣y00 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和 取得的研究成果，除了文中特j 引j , d n 以标注和致谢之处外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得 叁逮堡兰太 生或其他教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 二e 思0 ， 6q 学位论文作者签名： 学位论文版权使用授权书 本学位论文作者完全了解天津理工大学有关保留、使用学位论 文的规定。特授权天津理工大学可以将学位论文的全部或部分内容 编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、 汇编，以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复 本和电子文件。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 签字 啪：垆 导师签名：动，砭 签字日期：勿广潮么i 摘要 全方位视觉( o m n i d i r e c t i o n a lv i s i o n ) 是近几年被重点关注的视觉感知技术，该 技术通过鱼眼镜头捕获一帧广角图像来获得三维空间中全部景物的图像信息( 其中方位 角可达3 6 0 。，天顶角可达1 8 0 。) 。这种“全方位图像”的获取对系统结构和处理程序 要求不高，能够很好地满足机器视觉应用的实用性要求。这种具有超大广角视野的全方 位观测具有采集信息量大和观察范围广等特点，广泛应用在安防监控、管道探测、辅助 驾驶、现场监测、车载巡检、飞行器制导及空问机器人等方面。尤其在移动机器人与自 引导车导航和运动目标跟踪中，实时的全场景检测技术具有更重要的意义。 本文主要研究机器人自引导车在航标环境中对包括航标在内的目标的识别和跟踪， 进而实现自引导车的自主定位和导航。在采用鱼眼镜头的机器人全方位视觉导航系统 中，实现目标跟踪是导航的前提条件，而目标跟踪的主要任务就是把运动的被跟踪目标 从连续的视频图像中准确快速地提取出来。但是由于在现实环境中，存在着大量的干扰 因素，使得这一工作变得非常困难。特别是在现实环境中，不可避免的存在一些特殊情 况，比如：被跟踪的目标移动出导航系统的视野后再现；被跟踪的目标被其他物体遮挡 后再现；自引导车在行进过程中受到剧烈颠簸；被跟踪目标运动剧烈且极无规律等等。 以上种种情况都会造成目标跟踪的失败，特别在光照变化的情况下这种现象更为严重， 会对自引导车的导航造成严重的影响。 本文在充分分析了各种跟踪和滤波算法( 女h m e a ns h i f t 算法、c a m s h i f t 算法、粒子 滤波算法以及卡尔曼滤波算法) 的基础上，根据当前的实验环境和研究项目要求，结合 卡尔曼滤波对现有的c a m s h i f t 算法做出了改进，提出了一种组合跟踪算法。在该算法中， 卡尔曼滤波被用来预测和校正被跟踪目标的位置，改进型c a m s h i f t 跟踪算法被用来根据 目标的彩色信息特征搜索和跟踪目标。该算法可以解决在背景复杂且光照可变情况下的 目标跟踪问题，同时能够解决目标运动状态剧烈变化及目标丢失后再现等情况下的目标 跟踪问题。该算法具有较好的精确度、鲁棒性、抗干扰性，同时能够满足系统对视频图 像处理的实时性要求。 关键词：全方位视觉机器人自引导车目标跟踪c a m s h i f t 算法卡尔曼滤波 a b s t r a c t a sak i n do fv i s u a l i z a t i o nt e c h n o l o g y , o m n i d i r e c t i o n a lv i s i o nh a sa r o u s e dw i d ec o n c e r n i nr e c e n ty e a r s i tm e a n st h a ta ne n t i r eh e m i s p h e r i c a lo fv i e wi ss e e ns i m u l t a n e o u s l y w i t ht h e f i s h e y el e n s ，t h ew h o l et h r e e d i m e n s i o ni n f o r m a t i o no fv i e wi sc a p t u r e di no n ef r a m eo f p i c t u r e ，w h i c hi n c l u d e sa3 6 0 0a z i m u t hf i e l do fv i e ww i t ha18 0 。z e n i t h t h ep r o c e s sf o r c a p t u r i n g t h e p i c u t u r eo fo m n i d i r e c t i o n a l v i s i o nc o u l df u l f i l lt h en e e do fr e a l t i m e p e r f o r m a n c ef o rm a c h i n ev i s i o ns y s t e mv e r yw e l l b u tt h ed e m a n df o rt h es y s t e ms t r u c t u r e a n dp r o g r a mi sn o th i g h t h eo m i d i r e c t i o n a lo b s e r v a t i o nw i t hs u p e rw i d ef i e l do fv i e w , w h i c h i sc h a r a c t e r i z e db yi t sl a r g ei n f o r m a t i o nc o l l e c t i o na n dw i d er a n g eo fo b s e r v a t i o n ，i sw i d e l y a p p l i e dt ot h ef o l l o ws i t u a t i o n s ：s e c u r i t ys u r v e i l l a n c e ，p i p e l i n ei n s p e c t i o n ，d r i v e ra s s i s t a n t ， f i e l dm o n i t o r i n g , a e r o c r a f tg u i d a n c e ，s p a c er o b o ta n ds oo n e s p e c i a l l y , t h er e a l t i m e p a n o r a m i ct e c h n o l o g yi s o fm o m e n t o u ss i g n i f i c a n c ef o rt h em o v i n go b j e c t t r a c k i n ga n d n a v i g a t i o no ft h er o b o ta n da u t o n o m o u sg r o u n dv e h i c l e s ( a g v ) i nt h et h e s i s ，t h er e s e a r c hm a i n l yc o n c e r n st h ea l g o r i t h m sa n dm e t h o d sf o rd e t e c t i n ga n d t r a c k i n gt h eo b j e c t si n c l u d i n gt h en a v i g a t i o nm a r ku n d e r t h ea r t i f i c i a lt a r g e t se n v i r o n m e n t b y t h e s ea l g o r i t h m s ，t h es e l f - l o c a l i z a t i o na n dn a v i g a t i o no fm o b i l er o b o t sa r ei m p l e m e n t e dw e l l i nt h eo m n i d i r e c t i o n a lv i s i o n - b a s e dn a v i g a t i o ns y s t e mo fa g v , t h eo b j e c t t r a c k i n gi st h e p r e c o n d i t i o no fn a v i g a t i o n ，a n dt h em a i nw o r ko fo b j e c t - t r a c k i n gi st og e tt h ei n f o r m a t i o no f m o v i n go b j e c tf r o mt h ec o n t i n o u sv i d e oi m a g e sp r e c i s e l ya n dq u i c k l y h o w e v e r , b e c a u s eo f t h ee n v i r o n m e n t a ld i s t u r b a n c e s ，t h ep r o c e s si sv e r yc o m p l e x t h e r e r es o m e s p e c i a ls i t u a t i o n s ， i nw h i c ht h e s y s t e m c a n n o td e t e c ta n dt r a c kt h eo b j e c t f o re x a m p l e ，o nac o m p l e x b a c k g r o u n d ，t h eo b j e c ta p p e a r sa g a i na f t e rb e i n gs h e l t e r e dc o m p l e t e l yo rm o v i n go u to ft h e f i e l do fv i e w ；a g vw a l l o p sd o w ns e r i o u s l y ；t h eo b j e c tm o v e sv i o l e n t l ya n di r r e g u l a r l y f u r t h e rm o r e ，i t sf a rm o r ed if f i c u l tt od e a lw i t ht h ei s s u eo fo b j e c t t r a c k i n go nac o m p l e x b a c k g r o u n dw i t hc h a n g e a b l ei l l u m i n a t i o n w i t ht h es u f f i c e n ta n a l y s i so ft h ea l g o r i t h m so ft r a c k i n ga n df i l t e r ( f o re x a m p l e ，m e a n s h i f t ，c a m s h i f f ，p a r t i c l ef i l t e ra n dk a l m a nf i r e r ) ，ac o m b i n e do b j e c t - t r a c k i n ga l g o r i t h mi s p r e s e n t e da c c o r d i n gt ot h ee x p e r i m e n te n v i r o n m e n ta n dt h er e s e a r c h i tc o m b i n e sk a l m a n f i l t e ra l g o r i t h mw i t ht h em o d i f i e dc a m s h i f ta l g o r i t h m ，t ow h i c hh a sb e e nm a d es o m e m o d i f i c a t i o n sb yu s k a l m a nf i l t e ri sa p p l i e dt op r e d i c t i n ga n dc o r r e c t i n gt h et a r g e tp o s i t i o n ， w h i l et h em o d i f i e dc a m s h i f ta l g o r i t h mi sa p p l i e dt od e t e c t i n ga n dt r a c k i n gt h eo b j e c tb yi t s c o l o ri n f o r m a t i o n s ot h en a v i g a t i o ns y s t e mw i t ht h ea l g o r i t h mc a nb ei m m u n ef r o mt h e i n t e r f e r e n c e ，a n di ts o l v e st h eo b j e c t t r a c k i n go nav e r yc o m p l e xb a c k g r o u n dw i t hu n s t e a d y i l l u m i n a t i o n ，w h e nt h eo b je c ta p p e a r sa g a i na f t e rb e i n gl o s t i nt h ef i e l do fv i e wo ri tm o v e s i r r e g u l a r l y w i t hv a r i a b l ea c c e l e r a t i o n t h e n a v i g a t i o ns y s t e mw i t ht h ec o m b i n e d o b j e c t t r a c k i n ga l g o r i t h m i sc h a r a t e r i z e d b y b e t t e r a c c u r a c 5r o b u s t n e s s ，i n t e r f e r e n c e i m m u n i t ya n dr e a l t i m ep e r f o r m a n c e k e y w o r d s ：o m n i d i r e c t i o n a lv i s i o n ，a g v , 0 b j e c t t r a c k i n g ，c a m s h i f i ，k a l m a nf i l t e r 目录 第一章绪论1 1 1 机器视觉技术发展概述l 1 1 1 机器视觉的定义与分类1 1 1 2 机器视觉的应用范畴及优点1 1 1 3 机器视觉系统的主要构成和采集过程2 1 1 4 机器视觉的发展状况3 1 2 全方位视觉概述3 1 2 1 全方位视觉的定义和优缺点3 1 2 2 全方位视觉系统4 1 2 3 全方位视觉的发展与研究状况6 1 3 鱼眼镜头图像采集系统8 1 3 1 鱼眼镜头光学系统简介8 1 3 2 鱼眼镜头的图像畸变校正1 0 1 3 3 鱼眼镜头的标定1 2 1 4 本文选题来源及主要研究内容1 3 第二章典型目标跟踪算法1 4 2 1 常用目标足 踪算法简述1 4 2 2m e a n s h i f t 算法1 5 2 2 1m e a n s h i f t 算法原理1 5 2 2 2m e a n s h i f t 算法的应用研究1 8 2 3c a m s h i f t 算法2 1 2 3 1c a m s h i f t 算法原理2 1 2 3 2c a m s h i f t 算法的应用研究2 3 2 4 本章小结2 5 第三章图像信息滤波算法2 7 3 1 滤波算法概述2 7 3 2 粒子滤波算法2 8 3 2 1 粒子滤波理论2 8 3 2 2 粒子滤波算法的应用研究3 l 3 3 卡尔曼滤波3 2 3 3 1 卡尔曼滤波理论3 2 3 3 2 卡尔曼滤波的应用3 4 3 4 本章小结3 6 第四章全方位视觉a g v 的典型跟踪算法3 8 4 1 全视觉搜索的改进型c a m s h i f t 算法3 8 4 2 基于卡尔曼滤波与改进型c a m s h i f t 算法的组合跟踪算法4 1 4 3 组合跟踪算法对复杂背景下目标跟踪的处理4 3 4 4 组合跟踪算法对目标遮挡的处理4 5 4 5 组合跟踪算法对目标再现的处理4 6 第五章全方位视觉a g v 定位与导航算法4 8 5 1 全方位视觉a g v 4 8 5 1 1a g v 硬件系统4 8 5 1 2a g v 软件系统4 9 5 2a g v 采用改进型c a m s h i f t 算法的跟踪实验4 9 5 3a g v 采用组合跟踪算法的跟踪实验5 2 第六章总结与展望5 6 6 1 工作总结5 6 6 2 未来展望5 7 参考文献5 8 发表论文和科研情况说明6 2 致谢6 3 第一章绪论 第一章绪论 人工视觉系统是一种被人们广泛关注和研究的拟人机器视觉系统，通过它可以采集 到大量的图像信息，就像人的眼睛获取外界信息一样。由于人所感知的外界信息主要是 通过视觉得到的，所以视觉系统作为一种图像传感系统，具有强大的图像获取和图像处 理的功能，因此成为人们获取外界环境信息的重要科技手段n m 刳。人类通过视觉获取图 像信息是一种本能，通过研究人类视觉本能的原理来设计出具备较高精确度和鲁棒性的 全方位机器人导航系统是本论文的主要内容。本文要完成的主要任务是：在机器人全方 位视觉导航系统中处理鱼眼镜头图像，通过获取周围空间的信息实现对被跟踪目标的精 确跟踪和定位，从而实现移动机器人的导航。 1 1 机器视觉技术发展概述 1 1 1 机器视觉的定义与分类 作为基于人类视觉科学的新技术，光学装置与非接触式传感器是机器视觉的重要硬 件。机器视觉可以通过这些硬件高速获取并处理外界环境的图像信息，并将处理的结果 传输到机器人的控制系统中，实现机器人的各种运动。该技术的核心内容是对视觉图像 进行实时高速处理，通过所得数据来检测控制机器人。机器视觉的软硬件系统实现是机 器视觉系统研究的基本内容。 由于划分标准不同，机器视觉有多种分类方法。我们可以依据视觉系统的光学特性， 将其分为如下两类： 1 ) 采用c m o s 或c c d 传感器的可见光机器视觉系统。 2 ) 采用红外光、x 光以及超声波等传感器的非可见光机器视觉系统。 依据应用领域的不同，机器视觉又可以分为如下两类： 1 ) 工业机器视觉系统。 2 ) 图像图像系统。 现代机器视觉系统，一般拥有较好的实时性，可以满足系统对大量图像信息的高速 采集和处理的实时性要求。所以，机器视觉系统广泛适用于车辆监控、现场监视、机器 人导航等诸多领域。 1 1 2 机器视觉的应用范畴及优点 机器视觉的主要研究范畴包括物体枪测、图像特征检测、轮廓表达、三维视觉、颜 色视觉、主动视觉、运动分析、基于特征的分割、距离图像分析、自标定系统、立体物 体识别及定位、形状模型及表达、由单幅图像信息重建三维形状等心制。随着人类对视觉 第一章绪论 机理认识的不断深入以及计算机技术的迅速发展，利用计算机技术的机器视觉成为科学 技术发展的必然趋势。 机器视觉系统具有精度高、性价比高、连续性好、灵活性强、标准统一等优点： 精度高：高级的机器视觉系统可以测量大量目标，这种测量通过计算机可以在不用 触碰目标的条件下完成，因此这种系统可以保护目标，提高测量的精确度。 性价比高：目前，由于计算机等电子设备突发猛进的发展，其设备的造价成本大幅 下降，为构造性能强大、功能完善的机器视觉系统提供了有利的条件。 连续性好：机器视觉系统可以在无人操作的情况下工作，同时可以把多个系统设计 成单独运行的模式，因此能够大大减轻工作人员的劳动负担。 灵活性强：机器视觉系统能够获取或测量种类繁多的信息。它可以通过人为地修改 和升级计算机软件来适应新的需求和应用。 标准统一：机器视觉系统的生产商，对自己的产品统一了标准，这使得基于视觉图 像处理技术的机器视觉有更广泛的应用空间。 1 1 3 机器视觉系统的主要构成和采集过程 机器视觉系统往往由如下的系统组成： 1 ) 监视系统：监视器等； 2 ) 警报系统：警报设备及控制单元； 3 ) 光学系统：光圈、镜头等； 4 ) 通讯与i o 系统：通讯设备或i o 设备； 5 ) 采集系统：d c 、c m o s 等； 6 ) 图像测控系统：图像采集、图像处理等； 7 ) 传感系统：传感器以及传感控制器等； 8 ) 图像处理系统：图像采集卡等； 9 ) 执行机构：机械手及控制单元； 1 0 ) 光源系统：光源以光源控制器等； 1 1 ) 有特殊功能的机器视觉系统设备。 尽管机器视觉系统的种类繁多，但是它的基本的工作过程大体一致。过程如下所 示畸1 ： 1 ) 图像采集 光电系统通过光电转换器件将光学成像系统的图像转换为电学量，进而转换为数字 图像信息传入计算机存储器。 2 ) 图像处理 系统处理器运用不同的算法来强化有用的图像信息，并且滤除或减弱干扰信息。 3 ) 特性提取 特性提取是系统识别并量化图像的关键特性，是控制程序进行后续处理的初始化数 据。 4 ) 判决和控制 第一章绪论 系统的控制程序根据收到的数据做出对系统的判决和控制。 1 1 4 机器视觉的发展状况 机器视觉起源于2 0 世纪5 0 年代，它是从统计模式识别领域发展起来的，当时机器 视觉的核心思想是二维图像的分析和谚 别。在6 0 年代，r o b e r t s 在机器视觉中引入了大 量计算机算法，对基于三维场景的机器视觉技术进行了大量的研究工作。r o b e r t s 对积 木世界的贡献使得机器视觉的研究进入了新的阶段，为基于三维场景的机器视觉技术奠 定了早期的理论和实验基础。当时，一些对积木世界的深入研究得到重视，并由此建立 了各种数据结构和相关的推理规则，该领域的研究范围也相当的广阔：既包括边缘、角 点等特征提取，也包括线条、曲面等几何要素分析，同时图像明暗、运动和成像几何等 方面也得到了研究和重视。 7 0 年代中期，h o m 教授在麻省理工学院的人工智能实验室正式讲授“机器视觉 课程。知名学者d a v i dm a r r 教授在麻省理工学院的人工智能实验室参与机器视觉的研究 过程中，于1 9 7 7 年提出了一种新型机器视觉理论。8 0 年代，该理论逐步发展，成为机 器视觉的一个非常重要的理论。 2 0 世纪8 0 年代，对机器视觉的全球性研究热潮开始兴起。到了8 0 年代中期，以基 于视觉集成理论框架和主动视觉理论框架为代表的机器视觉获得了蓬勃的发展。科技工 作者不断提出大量新的方法和理论，为机器视觉的发展奠定了坚实的基础。 现在，针对机器视觉的研究仍然十分活跃，这突出的表现在很多会议论文集都发表 了机器视觉领域的最新成果。 国内机器视觉的发展经历了下列几个阶段，具体地来讲：2 0 世纪8 0 年代是国内机 器视觉的起始时期；该研究在2 0 世纪9 0 年代步入发展时期，近年来，该技术发展迅速。 中国日益提高的国际地位使我国逐步成为机器视觉领域的最具活力和研发潜力的地区 之一。目前，中国加快了工业机器自动化的发展步伐，已经引进了大量的先进生产线， 同时带来了与之配套的具有国际领先水平的机器视觉系统和技术。这一切注定要加大中 国在机器视觉领域的研究投入力度，为该技术的发展提供了有利的物质条件。 1 2 全方位视觉概述 1 2 1 全方位视觉的定义和优缺点 全方位视觉( o m n i d i r e c t i o n a lv i s i o n ) ，又称全景视觉或全视觉，通过捕获一帧广角图 像来获得三维空间中全部景物的图像信息( 其中方位角可达3 6 0 。，天顶角可达1 8 0 。) ， 是近几年被广泛关注、热门研究的视觉感知技术。由于其视域开阔的特点，对于民用、 军事和宇航空间等领域中依赖视觉信息做出决策的各行业都具有非常重要的意义| 6 川。 该技术具有采集信息量大和观察方位广等特点，被广泛地应用于视频临控等领域，是有 较高研究价值的视觉感知技术之一。 目前计算机视觉技术采用的图像采集设备主要有常规镜头、普通广角相机等，但是 第一章绪论 在获取场景信息时存在着种种不利于机器人导航的缺陷。比如： 常规镜头：它的视场角比较小，捕获视场信息有限，而且容易在机器人导航过程中 丢失跟踪目标。特别是在海底探测、火星探测、登月探测等诸多需要大视场的情况下， 计算机视觉需要获取三维环境中的全部视觉信息，由此可见基于常规镜头的视觉系统是 无法满足上述要求的。 普通广角相机：该设备广泛应用于机器人技术中，包括定位、导航和目标跟踪等。 普通相机的投影通常为针孔模型。虽然普通相机有图像失真小且易于识别目标图像的特 点，但是普通相机有限的视觉范围依然无法满足大视场的图像采集。比如说，普通相机 的成像视场局限于4 0 0 - 5 0 0 之间，通过加装广角镜头后视场只是略有提高，为6 0 0 1 3 0 0 ，所以对于具有3 6 0 0 3 6 0 0 视场的三维立体空间，普通相机的视觉感知系统无法一 次采集到周围环境的全部图像信息。 全方位视觉的主要优点为： 1 ) 信息量巨大 全方位镜头一次可以捕获三维空间中全部的图像信息。通过全方位视觉设备所获得 图像，使得3 6 0 。的场景的图像尽收眼底，极大提高了机器人视觉系统的观测范围。 2 ) 系统成本低 全方位视觉系统只用一个摄像机就可以完成传统方法中几个摄像机组合系统完成 的采集工作，因此系统的实现成本较低。 3 ) 便于观察 在监视过程中，通过全方位视觉图像处理软体，可以采集并展示全景图像。 尽管这种技术具有以上优点，但全方位视觉镜头所采集的图像存在着包括畸变在内 的种种缺点。全方位视觉的主要缺陷是： 1 ) 图像畸变严重 全方位视觉图像存在畸变现象，所以这些扭曲的图像不利于观察，需要对其进行畸 变校正处理，才能获得人们通常感知的正常图像。 2 )图像细节的损失 一方面，因为大视野的图像往往具有更多的信息，就会使得图像失去一定量的细节 信息。另一方面，当全方位视觉图像通过校正消除畸变，也会失去一定量的信息。所以 全方位视觉图像在应用时，对图像采集的分辨率要求很高。 3 ) 成像密度不均匀 环境中的信息在全方位视觉系统上成像时，成像密度的差别会很大。双曲面全方位 视觉系统中，在双曲面离心率是1 2 5 的情况下，空间中靠近下方近5 0 的图像信息在 全方位视觉图像中只占全部图像信息的2 0 。其他曲率的双曲面镜头也许会有更加严 重的不均匀性聃1 。 1 2 2 全方位视觉系统 前人经过大量的研究，提出了旋转成像、拼接式镜头成像、折反射成像和鱼眼镜头 成像等一系列增加视场的方法儿9 。经这些方法组建出相应的全方位视觉系统，并在工 第一章绪 论 程和科研领域得到较为广泛地应用。 基于旋转成像的全方位视觉系统：通过围绕其光轴旋转，相机在每个角度采集多幅 图像，然后通过拼接或者重采样这些图像获取全景图像( 系统如图卜l 所示) 。由于相机 在旋转过程中无法克服采集图像时问的拖延以及在计算机合成全景图所耗费的大量时 间，无法应用于对实时性要求很高的机器人导航系统。 图卜1 旋转式的全方位镜头们 基于拼接式镜头成像的全方位视觉系统：该系统是由多个面向不同方位的镜头组合 而成的，通过同时摄像获取图像( 系统如图1 - 2 所示) ，用计算机拼接图像获得全方位 图像。但是由于在技术上无法重合各个摄像镜头的光学中心，该成像系统是无法满足单 视点约束的要求的。该成像系统实时性较差，同时成本也很高。 图1 - 2 拼接式的全方位视觉镜头1 3 基于折反射成像的全方位视觉系统：该系统由面向摄像机的反光镜和摄像机组合而 成( 系统见图1 3 ) ，摄像机的图像采集通过反光镜对水平一周的场景反射来实现n4 | 。该系 统采集的图像视野范围比较大。反光镜面可以分为圆锥面、半球面、抛物面或双曲面， 由于在实际中，我们要求具有单一视点约束的全方位图像，所以具有双曲镜面的反光镜 第一章绪论 备受研究人员的青睐。 墨 图1 3 反射式的全方位视觉镜头系统与采集图像哺 基于鱼眼镜头成像的全方位视觉系统：由生物学和光学可知，水中的鱼类在贴近水 面时，能看到水面上近乎半球空域的景物，科研人员通过模仿鱼类这种仰视功能设计出 鱼眼镜头n5 l 。鱼眼镜头是一种具有短焦距、大景深的超广角镜头，它的焦距一般在6 到 1 6 m m 之间，视角一般不低于1 8 0 0 。鱼眼镜头能够实现在较近距离获取大范围的图像信 息，其实物如图1 - 4 所示。 图卜4n i k o nf c e 8 鱼眼镜头与采集图像 1 2 3 全方位视觉的发展与研究状况 全方位视觉技术已经有一百多年的发展历史。早在1 9 世纪中叶，j o s e p hp u c h b e r g e r 提出了通过旋转式相机来采集全方位视觉图像的观点n6 j 。在上世纪6 0 年代末7 0 年代初， 人们开始着手研究全景视觉环境感知系统。d o n a l d w r e e s 在1 9 7 0 年的美国宾夕法尼亚 大学开发了一套采用双曲面反射镜的成像系统，该系统成像效果很好，被军方采用且作 为塔楼的监视系统。 上世纪9 0 年代，在移动机器人导航和跟踪等方面的全方位视觉研究得到很好的发 展。1 9 9 0 年k a w a t o 和y a 西在同本东京大学率先开发了用于移动机器人导航系统的双曲 反射镜面全方位视觉系统旧1 。1 9 9 3 年，y a m a z a w a 等也用一个双曲面镜设计了一个新型 的全方位视觉系统“。1 9 9 7 年，b a k e r 等人采用理想的抛物线镜面和正交投影透镜研 发出一个全方位视觉传感器( o m n i d i r e c t i o n a lv i s i o ns y s t e m ，o d v s ) 。 第一章绪论 1 9 9 7 年，由美国卡内基梅隆大学机器人研究院设计制造的全方位视觉机器人流 浪者( n o m a dr o b o t ) ，成功横越了阿塔卡马沙漠，同时美国国家航空航天局阿莫斯研究 中心的科研人员通过卫星收集到流浪者机器人在行进过程中采集的全视觉图像。该系统 及其采集图像如图1 5 所示。 图1 - 5 “流浪者”号机器人车体与米集图像 1 9 9 9 年，t o m a ss v o b o d a 发现了在全方位设备平动情况下，空间的点在c c d 上成 像时的规律，并借此研究出获取全方位设备运动参数的一些方法n 叫啪1 。3 年后，他给出 了新的研究成果：全方位视觉几何、自运动规律以及两个十分重要的约束关系比。 对于解决全方位图像转换成全景和透视图的问题，k y a m a z a w a 提出了一种解决该 问题的理论，即将单张全方位图像转换成全景和透视图的几何对应关系n 刀晗刳。g l u l l o s a n d l n i 等人提出了一种采用硬件来实现的获取全景图的办法心引。 我国在全方位视觉技术方面的研究不多。北京理工大学的贾云得教授的研究主要是 面向全方向摄像机的设计和机器人的定位与导航等方面瞳钔。在美国t a n n a n t 公司资助 下，本课题申请人曹作良教授留美期间设计并制作出一台自动清扫机器人，该机器人配 备了当时先进的全方位视觉导航系统。曹教授为此申请了美国国家专n ( u s 5 1 5 5 6 8 4 ) 。 归国后在国家8 6 3 课题资助下，曹教授又自主研究制造了一台机器人自引导车t u t - i ， 如图1 6 所示堙5 1 。 现在，全方位视觉已经广泛地应用于各个方面，比如视频监控、视频会议和机器人 导航等等，在科学研究和生产应用领域发挥着越来越重要的作用。 第一章绪论 图1 - 6 全方位视觉自引导车t u t i 1 3 鱼眼镜头图像采集系统 1 3 1 鱼眼镜头光学系统简介 鱼眼镜头是一种超广角的短焦距镜头，它类似于鱼眼的结构，且模仿了鱼眼的仰视 功能，具有1 8 0 。左右的视角。鱼眼镜头的焦距一般介于6 到1 6 毫米之间，由于视角大 而产生了很大的桶形弯曲畸变，主要表现在：图像周边的景物均被扭曲，图像中心部分 的畸变比外周要小，可以近似地保持原有形状。鱼眼镜头图像的边缘存在着桶形畸变， 而且视角越大，畸变越严重。比如1 2 0 。的鱼眼镜头采集的图像畸变要比9 0 。的镜头采 集的更加严重，同时图像的范围也有了很大的扩展；特别是采用1 8 0 。的鱼眼镜头就可 以获取周围1 8 0 。范围内的所有三维空间信息，同时图像的畸变情况也是最严重的。 鱼眼镜头的视角大，可以容纳更多的场景，它能够满足狭小空间的图像采集需求， 可以非常简单地实现3 6 0 。环视效果，其效果和简易程度远远要比几个小视角采集后的 接片更具有优势。目前，鱼眼镜头一般有圆形鱼眼镜头( c i r c u l a ri m a g ef i s h e y e ) 和 全幅鱼眼镜头( f u l lf r a m ef i s h e y e ) 两种类型啪1 。 鱼眼镜头的早期产品主要是圆形鱼眼，这用鱼眼镜头的视角一般都大于1 8 0 。，其 采集的图像大体都是圆形的。这种镜头的核心部分是弯曲度极大的超大前组镜片，成本 极高，现在此类产品基本已经停产。 全幅鱼眼镜头也称为对角线鱼眼镜头，该镜头没有遮幅现象，视场内的景物集中于 鱼眼图像中心。全幅鱼眼镜头的视角一般介于1 0 0 。到1 8 0 。间，符合了大视角摄取全 方位图像的要求。同时此类镜头生产成本低，无镜头遮挡，逐步成为鱼眼镜头家族中的 主流产品。除了一些特殊要求的场合外，全幅鱼眼镜头逐步替代了圆形鱼眼镜头的传统 地位。 由于鱼眼镜头具有小巧、耐用等特点，因此它是一种构建全方位视觉系统的理想方 法。采用基于鱼眼镜头的全方位视觉的目标跟踪系统，能够采集环境半球域丰见场的全部 图像信息。图像信息的完整性有力地保证了图像特征提取的稳定，为机器人白引导车a g v 第一章绪 论 导航系统的目标跟踪提供了保障，进而大大地提高了a g v 导航系统在定位和导航过程中 的鲁棒性、准确性和实时性。 全幅鱼眼镜头，即对角线鱼眼镜头，没有遮幅现象，从视觉上看图像的几何图形集 中于鱼眼图像中心。全幅龟眼镜头，视角一般介于1 0 0 。到1 8 0 。之间，甚至有的版本 的视角可以达到1 8 0 。，符合了大视角摄取全方位图像的要求。同时此类镜头生产成本 低，无镜头遮挡，日益成为鱼眼镜头家族中的主流产品。除了一些具有特殊要求的场合， 全幅鱼眼镜头逐步替代了圆形鱼眼镜头的传统地位。 由于鱼眼镜头具有小巧、耐用等特点，因此它是一种构建全方位视觉系统的理想方 法。采用基于鱼眼镜头的全方位视觉的目标跟踪系统，能够采集环境半球域视场的全部 图像信息，并且不丢失图像信息，有力地保证了图像特征的稳定。所有这些都为机器人 自引导车a g v 导航系统的目标跟踪提供了保障，进而大大地提高了a g v 导航系统在定位 和导航过程中的鲁棒性、准确性和实时性。 本项目采用的是富士能f e l 8 5 c 0 4 6 h a - 1 超广角鱼眼镜头，其相关参数如下幢7 1 ： 焦距( m m ) ：1 4 后焦距( 咖) ：9 7 最d 、物距( m ) ：0 1 光圈范围：f 1 4 f 1 6 变焦：手动 聚焦：固定 视角： 1 8 5 。 接口：c 接口 实现1 8 5 度的超广角 出镜光瞳( 嗍) ：- 8 3 0 根据项目中a g v 导航的要求，实现全方位视觉系统的相机应具备c c d 感光器件、面 阵、大分辨率、彩色等条件，因此我们采用了工业用w a t e c 一2 2 1 sc c d 摄像机作为全方 位视觉系统的专用摄像机。 w a t e c - 2 2 1 s 为彩色高分辨率高速模拟摄像机。其参数如下所示乜引： 制式：p a l ； c c d 尺寸：1 2 英寸； 有效像素( k ) ：p 4 4 0 k ； 解晰度：y c 4 8 0 l i n e s ( 4 5 0l i n e s ) ； 最低照度( l u x ) ：0 1 l u xf 1 2 ( a g ch i g h ) ： 镜头接口方式：c s 安装； 工作电压：d c + 1 2 v 1 0 ； 像素：1 3 0 万： 3 0 帧每秒。 图卜7 为w a t e c - 2 2 1 s 实物图。 第一章绪论 ( a ) 相十能f e l 8 5 c 0 4 6 h a - 1 鱼眼镜头 ( c ) 全方位视觉系统 图1 - 7 采用富士能f e l 8 5 c 0 4 6 h a - 1 鱼眼镜头和相机w a t e c - 2 2 1 s 构建的全方位视觉系统 1 3 2 鱼眼镜头的图像畸变校正 鱼眼镜头有多种图像变形模型：对数极线模型、五阶多项式卷绕变换模型和球面模 型等啪1 。同时鱼眼镜头成像还包含有以下变形： a 偏心变形( 即d e c e n t e r i n gd i s t o r t i o n ) 这种变形是因为装配误差引起的，它由切向变形分量与径向变形分量两方面组成。 它的数学模型如下凹儿驯： 挣邓“3 纩+ v 2 ，) + ，2 p 2 u ，v 、+ o ( u ，嗍 ( i - 1 ) 【万谢= 2 p l u v + p 2 ( 3 u 2 + 1 ，2 ) + 研( “，v ) 4 】 7 b 径向变形( 即r a d i a ld i s t o r t i o n ) 这种变形主要是由光学镜头径向曲率的不一致而引起的。它的数学模型如下心蝴口们 协2 蟹“：w 一黔v 、) ，5 3 0 - 2 ) l 以= 尼1 1 ，( “2 + y 2 ) + d ( 甜，v ) 5 】 c 薄棱镜变形( 即t h i np r i s md i s t o r t i o n ) 第一章绪论 薄棱镜变形是由成像敏感阵列制造误差与光学镜头制造误差造成的，其数学模型如 下【剐 3 0 1 j = 置( “2 + 1 ，2 ) + d ( “，v ) 4 】 i = s 2 ( “2 + 1 ，2 ) + 研( “，) 4 】 ( 1 - 3 ) 基于以上种种变形，现在有多种方法能够实现对鱼眼图像的校j 下口卜3 们。针对鱼眼镜头 的校正设计有三种方法，即等立体角投影、等距投影和正交投影n 朝5 l 。 鱼眼镜头的一般类型为： r t = 厂( 国) ( 1 - 4 ) 其中，表示鱼眼中心点与空间中某一个点在鱼眼中的投影点之间的距离，是该点 的入射角，如