（检测技术与自动化装置专业论文）基于全方位视觉的图像跟踪算法研究.pdf

摘要随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人类的视觉功能成为目前计算机领域中最热门的课题之一。然而，传统的视觉跟踪技术因受到镜头视场角的限制，出现实时性差、观测物易丢失等缺点，导致观测系统具有较大盲区，难以应用在要求有大范围观测区域的场合。因此，具有极大视角的全方位视觉跟踪技术的研究具有重要的现实意义及实用价值。本文分别从实际应用和理论研究两个层面对全方位视觉的图像跟踪系统进行了彻底的剖析。在实际系统构建层面，结合鱼眼镜头的结构紧凑、体积小、不易损坏等优点和传统全方位视觉系统存在的图像扭曲、图像细节的损失、成像密度不均匀等缺点，本文提出新型鱼眼镜头全方位视觉系统，并设计了新型航标模式拓扑结构。鱼眼镜头的概念是由m a x w e l l 首先提出来的。由于鱼眼镜头具有一次性获取三维半球空间中信息的特点，因此其应用在全方位视觉的目标识别和跟踪方面具有很大的优势。在理论研究层面，本文提出了球形透视投影法的图像几何畸变矫j 下算法和改进型m e a ns h i f t 的全方位视觉目标跟踪算法，改进型m e a ns h i f t 算法在复杂背景的序列图像中，能够实现快速计算和有效跟踪。因此，该系统不仅具有视角大的特点，而且能有效地解决采集图像质量差、目标被遮挡、目标丢失、实时性差等问题。最后，通过在移动机器人上的应用，该全方位视觉的图像跟踪系统在目标的识别和跟踪上得到了很好的验证，能够满足要求。关键词：全方位视觉图像跟踪目标识别m e a ns h i f t 算法a b s t r a c tw i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，t h ea b i l i t yo fc o m p u t i n gh a sb e e ni m p r o v e dg r e a t l y , a n dt h er e a l i z a t i o no fh u m a nv i s u a lf u n c t i o nb yu s i n gc o m p u t e rh a sb e c o m eo n eo ft h em o s tp o p u l a rt o p i c si nt h ec o m p u t e rf i e l d h o w e v e r , t h et r a d i t i o n a lv i s i o nt r a c k i n gt e c h n o l o g yi sr e s t r i c t e dw i t h i nt h el e n sv i e w ，a n di th a sm a n yd e f e c t s ，s u c ha sb a dr e a l - t i m ea n dt a r g e tl o s i n ga n ds oo n t h e r e f o r e ，t h eo b s e r v a t i o ns y s t e mh a st h ef e a t u r eo fl a r g eb l i n ds p o t ，a n di ti sd i f f i c u l tt ob eu s e di nt h eo c c a s i o nr e q u i r e dl a r g e s c a l eo b s e r v a t i o n s o ，t h er e s e a r c ho fo m n i d i r e c t i o n a lv i s i o n ( o m n i v i s i o n ) t r a c k i n gt e c h n o l o g yi sv e r yn e c e s s a r y t h ep a p e ra n a l y z e st h eo m n i - v i s i o ns y s t e mp a r t i c u l a r l yf r o mp r a c t i c a la p p l i c a t i o n sa n dt h e o r e t i c a ls t u d y i nt h ea s p e c to fp r a c t i c a la p p l i c a t i o n s ，t h ep a p e rp u t sf o r w a r dan e wt y p eo fo m n i - v i s i o ns y s t e mw i t hf i s h e y el e n sc o m b i n e st h em e r i to ff i s h e y el e n sa n dt h es h o r t a g eo ft h et r a d i t i o n a lo m n i - v i s i o ns y s t e m ，a n dd e s i g n san e wn o v e lb e a c o nm o d e l t h ef i s h e y el e n sh a st h ef e a t u r eo fc o m p a c ts t r u c t u r e ，s m a l la n dd i f f i c u l tt od a m a g e t h et r a d i t i o n a ls y s t e mi sc h a r a c t e r i s t i co fi m a g ed i s t o r t i o n , i m a g ed e t a i ll o s i n ga n du n e v e nd e n s i t y t h et e r mo ff i s he y el e n sw a sf i r s ti n t r o d u c e db ym a x w e l l t h ev i e wr e c o r d e do ft h ef i s h e y el e n sw h i c hp r o d u c e sa no m n i d i r e c t i o n a li m a g e ( o m n i i m a g e ) i ss i m i l a rt ot h a ts e e nb yaf i s hu n d e rw a t e r t h eo m n i - i m a g eb r i n g sah i g h l yu n a v o i d a b l ei n h e r e n td i s t o r t i o nw h i l ei tp r o v i d e sh e m i s p h e r e i nt h et h e o r e t i c a lr e s e a r c hl e v e l ，t h ep a p e ra d o p t sam e t h o dc a l l e ds p h e r i c a lp e r s p e c t i v ep r o j e c t i o nw h i c hi su s e df o rc o r r e c t i o no fs u c hd i s t o r t e di m a g e a l s o ，t h ei m p r o v e dm e a ns h i f ta l g o r i t h mw h i c hi sap o w e r f u lt e c h n i q u ef o rt r a c k i n go b j e c t si ni m a g es e q u e n c e sw i t hc o m p l e xb a c k g r o u n dh a sb e e np r o v e dt ob es u c c e s s f u lf o rt h ef a s tc o m p u t a t i o na n de f f e c t i v et r a c k i n gp r o b l e m s t h e r e f o r e ，t h es y s t e mn o to n l yh a st h el a r g ep e r s p e c t i v e ，b u tc a nb es o l v e de f f e c t i v e l yt h ep r o b l e m s ，s u c ha sp o o rq u a l i t yc o l l e c t e di m a g e s ，t a r g e tv e i l i n g , t a r g e tl o s i n g ,v e r yb a dr e a l t i m e f i n a l l y , t h r o u g ht h ea p p l i c a t i o ni nm o b i l er o b o t s ，t h eo m n i - v i s i o ns y s t e mw a sp e r f e c t l yp r o v e di nt h er e c o g n i t i o na n dt r a c k i n gf u n c t i o n s ，a n dc a nm e e tt h er e q u i r e m e n t s k e yw o r d s ：o m n i d i r e c t i o n a lv i s i o n ，v i s i o no b j e c t st r a c k i n g ，t a r g e tr e c t i f i c a t i o n ，m e a ns h i f ta l g o r i t h m独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特另j l d i ：i 以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得墨盗堡墨太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在本文中作了明确的说明并表示了谢意。学位本文作者签名：家1 字莉签字日期：7 j i j 7年月6 日学位论文版权使用授权书本学位论文作者完全了解墨盗墨墨盘堂有关保留、使用学位论文的规定。特授权墨盗堡兰太望可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编，以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子文件。( 保密的学位本文在解密后适用本授权说明)学位本文作者签名：虱守莉签字日期：硼7 年2 月“日导师签名：签字日期：第一章绪论1 1 论文研究的意义及背景1 1 1 研究的目的和意义第一章绪论自1 9 6 1 年美国u n i m a t i o n 公司研制出世界上第一台往复式工业机器人以来，机器人的发展经历了三个阶段：第一代示教再现( t e a c h i n g p l a y b a c k ) 机器人，第二代传感控制( s e n s o r y c o n t r o l l e d ) 机器人，第三代智f l 皂( i n t e l i g e n t ) 机器人。机器人以其具有灵活性、提高生产率、改进产品质量、改善劳动条件等优点而得到广泛应用。但是，目前绝大多数机器人的灵活性，只是就其能够“反复编程而言，工作环境相对来说是固定的，所以一般人们称之为操作手( m a n i p u l a t o r ) 。正如人类活动范围和探索的空间是人类进步的标志一样，机器人的智能同样体现在运动空间的大小上。为了获得更大的独立性，人们也对机器人的灵活性及智能提出更高的要求，要求机器人能够在一定范围内安全运动，完成特定的任务，增强机器人对环境的适应能力。因此，近年来，移动机器人特别是自主式移动机器人成为机器人研究领域的中心之一。全方位视觉感知，又称全景视觉、全视觉，是指一次获得大于半球视场( 3 6 0 0 1 8 0 0 )的三维空间的全部视觉信息，是近几年被广泛关注、热门研究的视觉感知技术。这种“全方位图像”的获取无需单台摄像机的机械回转进行“摇拍 或采用多台摄像机同时拍摄多幅图像进行“粘贴”，从而简化了系统结构和处理程序，能够很好地满足机器视觉应用的实时性要求。这种具有超大广角视野的全方位观测可弥补视角窄的不足，在安防监控、管道探测、辅助驾驶、现场监测、车载巡检、飞行器制导及空间机器人等方面都有直接或潜在的应用前景。由于其视域开阔，对于民用、军事还有宇航空间领域中的依赖于视觉信息做出决策的各行业都具有非常重要的意义。尤其在自引导车、移动机器人导航和机动目标跟踪中，这种实时的全场景检测技术具有更重要意义。随着计算机技术的不断发展，计算能力得到了极大的提高，使得利用计算机实现人类的视觉功能成为目前计算机领域中最热门的课题之一。视觉跟踪( v i s u a lt r a c k i n g ) 问题是计算机视觉领域中的一个重要问题。所谓视觉跟踪，就是指对图像序列中的运动目标进行检测，提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。近年来，国际上对视觉跟踪问题正处于研究高潮中。许多重要国际期刊以及重要国际会议发表了大量有关视觉跟踪方面的论文。其中一些重要国际期刊还就视觉跟踪问题发行专刊进行了讨论。目前视觉图像跟踪系统在工业、军事、航天中有着十分广泛的应用前景。而采用鱼眼镜头和反射式镜头的两种全方位视觉方案都是可行的选择。本课题申请采用前者方案是基于申请人过去的研究基础。同时，更重要的考虑是鱼眼方案可摄取3 6 0 度方位角和第一章绪论1 8 0 度天顶角整个半球域的全景，且结构相对紧凑、体积小。鱼眼镜头可做得很小，如进入人体的内窥镜。装备鱼眼的相机也能做得很薄，已有不超过3 0 m m 厚的样机。而反射式相机体积相对较大，且只有3 6 0 度方位视角的圆柱状视野，无顶部视角，视场有很大局限性。因此，本课题拟研制的这种新型的全方位视觉图像跟踪器是具有一定的应用意义和实用价值的。1 1 2 国内外研究现状综述全方位视觉环境感知系统的早期研究开始于2 0 世纪6 0 年代末7 0 年代初。其研究始于“摄影学 领域，早在2 0 世纪初就己设计出了称为鱼眼透镜的超大广角的光学镜头，用于全景摄影。先后出现依据不同投影法设计的产品模型，然而这些全景图像存在难以避免的固有几何畸变。随后在数字图像应用中进行了大量的图像畸变几何矫正、二维图像复原及三维重建等图像处理转换的研究，这些都将为本课题的研究提供借鉴。而和全方位视觉量测、定位和导航直接相关的关键技术鱼眼图像畸变矫正和图像复原算法的开发，国内外都有相关研究工作的报道【l 】【2 】【3 】【4 1 。1 9 7 0 年美国宾夕法尼亚大学( u n i v e r s i t yo f p e n n s y l v a n i a ) d o n a l dw r e s s 设计了一套双曲反射镜面成像系统，在电视荧光屏上观测到了通过镜面反射的全视场图像，成功应用于塔楼士兵监测周围目标。进入9 0 年代，随着光电子学、计算机视觉和计算机图形学发展，全方位视觉环境感知系统设计与应用发展迅速。九十年代初，这种全方位视觉应用进入了移动机器人导航领域。1 9 9 0 年日本东京大学v a g i ，ya n dk a w a t o 首先将全方位视觉系统成功应用于移动机器人导航 7 ，8 】。本课题研究人的导师曹作良教授留美期间曾获美国t a n n a n t 公司资助合作研制出一台全方位视觉导航的自动清扫机器人，获美国国家专利( 专利号：u s 5 1 5 5 6 8 4 ) 。回国后获国家8 6 3 课题资助自主开发了一台国产样机【l 】。九十年代末，国外出现了一种有3 6 0 。圆柱视野的全新的反射式全景相机，并很快成为国际研究热点。对这种新型全景相机的应用和相关图像处理技术的研究工作，i e e e 国际学会自2 0 0 0 年到2 0 0 5 年，每年召开一次国际专题研讨会。同时在美国n s f资助下，i e e e 机器人和自动化分会计算机视觉专业委员会还主办了专题国际网站设立学者论坛，到目前已有全世界五十多个研究团队加盟。近年来不断有创新研究成果的报道，各种应用样机也相继出现。如美国南加利福尼亚大学开发出基于这种相机的自主式直升机【2 】；美国军事科学院小组利用全景反射镜面研制了自主履带车【3 】；法国p i c a r d i ej u l e sv e r n e 大学于2 0 0 5 年研制出了基于全方位视觉可自主移动的轮椅等都是一些典型的范例【4 】。这些样机的研制进一步确立了全方位视觉车载导航应用的地位，使人们对全方位视觉应用研究的意义有了更深的认识。全方位视觉在监控领域的应用最近以来也有新的发展。日本n a r a 研究室设计了一套反射式全景监控系统【5 j ；美国v a s t 实验室的全景人体跟踪系统“l o t s ”能够适应环境的动态变化【6 】；一种广泛使用的3 6 0 度全景监控系统已在美国成功使用；北京大学通过全方位视觉技术和主动视觉技术开发了智能视觉监控系统【7 j 。但这些研究都不是车载图像伺服系统，有的只涉及相机云台的伺服运动。第一章绪论视觉跟踪问题是随着计算机技术的发展而逐渐成为研究热点的。多年来，国外和国内都有大量的科技工作者致力于全方位视觉图像跟踪方面的研究开发工作，因而对许多问题的认识与求解都取得了长足的发展。美国、英国等国家都在视觉跟踪方面进行了大量的相关项目的研究。在美国国防预先研究计划局( d a p r a ) 资助下，1 9 9 8 年，美国里海大学( t 启h i g hu n i v e r s i t y ) 在实验室条件下实现了全方位视觉感知系统目标探测与跟踪。2 0 0 0 年前后美国宾夕法尼亚大学( u n i v e r s i t yo f p e n n s y l v a n i a ) 研制了一系列远距离多目标跟踪的全方位视觉环境感知与目标探测系统哺芦j 。国内在相关方面的研究起步较晚，处于基础研究阶段。四川大学光电系苏显渝教授2 0 0 3 年开展了折反射光学全方位成像理论及双目立体视觉的研究，中国科学院沈阳自动化研究所机器人研究室董再励研究员2 0 0 4 年利开展了全方位图象恢复及在移动机器人定位应用的研究、上海交通大学自动化矿究所陈卫东副教授开展了以全方位视觉为基础的基于回归神经网络的广度优先搜索法在移动机器人路径规划导航方法及在足球机器人应用中的研究0 1 。做为动态探测核心技术的机动目标识别定位、跟踪一直是一个跨学科的热门课题，有迫切地应用需求和丰富的研究成果。其算法的开发多种多样且发展更新很快。对机动目标实现时间、空间跟踪的方法主要有：运动估计方法、基于神经网络的方法、能量积累的方法、基于小波变换的方法、基于数据融合的方法等。这些方法适用于不同的应用目标和条件，而光流法是一种简单实用的有效方法已得到广泛应用【1 1 1 。为在物理条件下对目标( 包括陆标和机动目标) 进行精确建模，一种新的非线性动态系统分析工具粒子滤波器( p a r t i c a lf i l t e r ) 算法，也称为序列蒙特卡罗方法正受到广泛关注【1 2 1 。2 0 0 1年h e d v i gs i d e n b l a d h 等一批学者把粒子滤波器引入视觉跟踪应用领域，取得了对人体进行三维跟踪的研究成果【5 3 1 。本课题研究m e a ns h i f t 跟踪算法，提出目标模型的一些创新思路，解决在移动背景下对机动目标的识别和跟踪并提高视觉跟踪算法的实时性和鲁棒性。1 1 3 国内外研究现状存在的问题从二十世纪8 0 年代起到目前为止这近2 5 年里，出现了众多的视觉跟踪算法。1 9 8 8年，a g g a r w a l 和n a n a d h a k u m a r 对运动图像分析算法进行了总结，将算法分为两类，一类是基于光流法的分析，另一类是基于特征点的分析。此后在视觉跟踪领域中，又出现了许多新的方法，将视觉跟踪方法分为四类，分别是基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪和基于模型的跟踪，这种分类方法概括了目前大多数视觉跟踪算法【“】0目前有多种算法可用于目标跟踪，如：光流法、形心跟踪、质心跟踪、波门跟踪、边缘跟踪、区域平衡跟踪、相关跟踪等。在众多的成像跟踪算法中，传统的跟踪算法光流法所需的运算量对计算机而言太大，很难满足实时性要求，由于采用假设的局限性使得光流法对噪声特别敏感，很容易产生错误的结果，并且对于非刚性目标的检测与追踪更是不能达到令人满意的效果，这些缺点造成光流法与实际使用之间还存在着很大的距第一章绪论离。另一种传统的视频检测和跟踪技术差分法目标定位不准确，而且有时间延迟。利用可见光成像和红外成像传感器实现实时目标成像跟踪，极大地增加了实时目标成像跟踪系统研究的难度。红外跟踪处理器系统对实时性要求极高，要求必须具有处理大数据量的能力，以保证系统的实时性；其次对系统的体积、功耗、稳定性等也有较严格的要求。实时信号处理算法中经常用到对图像的求和、求差运算，二维梯度运算，图像分割及区域特征提取等不同层次、不同种类的处理。其中有的运算本身结构比较简单，但是数据量大，计算速度要求高，适于用f p g a 进行硬件实现；有些处理对速度并没有特殊的要求，但计算方式和控制结构比较复杂，难以用纯硬件实现，适于用运算速度高、寻址方式灵活、通信机制强大的d s p 芯片来实现1 7 5 , 1 6 1 。国内外的移动机器人和自引导车所使用的全方位视觉系统通常是基于反射式镜头，这种镜头体积较大，且无法对镜头正上方进行观测。而鱼眼镜头则具有体积小、视角大( 可达2 7 0 。) 的优点。目前国内相关方面的研究均处于理论研究阶段，取得阶段性成果，但采用传统模拟视频手段，存在精度差、视景范围小、作用距离短、实时性差等不足【8 7 1 。在目标跟踪方面，由于摄像机安装在机器人小车上，这使得目标跟踪算法要能够处理目标和背景同时运动的情况，并且由于同一图像中有可能出现多个相似的目标，如何保持目标跟踪的稳定性这些是图像跟踪当前的主要研究问题。1 2 全方位视觉概述1 2 1 全方位视觉的产生及现状让机器人具有视觉是人类的一个梦想，机器拥有人类的视觉功能对世界产生的影响怎么估计大概都不为过。现实世界中的物体都是三维的，而人眼所获得的景物图像是二维的，人类的视觉系统能从二维图像中获得三维信息，从而感知三维世界。但是让机器拥有这样的能力却是非常困难的事情。随着信号处理理论的发展和计算机的出现，人们似乎发现了一条模拟人类视觉的可行之路：用摄像机获取环境图像并转换成数字信号，用计算机通过数字图像处理的方法模拟人类对视觉信息处理的全过程，这样，就形成了一门新兴的学科计算机视觉【l 引。计算机视觉是一门多学科交叉的学科，涉及图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、心理学、生理学、物理学和数学等。视觉理论的研究开始于2 0 世纪7 0 年代中期，以m a r r 等人为代表的一些研究者提出了一整套视觉计算理论来描述视觉过程。早期的工作主要是基于二维图像信息处理的研究。r o b e , s 首先用程序成功地对三维积木世界进行解释。积木世界的研究反映了视觉早期研究中的一些特点，即从简化的世界出发进行研究。虽然这方面的研究已经很多了，当时还出现了一些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检测等，但直到最近十几年才在诸如智能监控系统、机器人视觉导航、医学辅助诊断、工业机器人视觉系统、地图绘制、物体的三维重建与识别、智能人机接口等领域得到广4 第一章绪论泛的发展。机器视觉是基于视觉技术的一门科学，其核心技术是视觉处理，并通过对视觉处理来执行进一步的检测与控制等。美国制造工程师协会( s m es o c i e t yo fm a n u f a c t u r i n ge n g i n e e r s ) 机器视觉分会和美国机器人工业协会( r i ar o b o t i ci n d u s t r i e sa s s o c i a t i o n ) 的自动化视觉分会对机器视觉的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。机器视觉系统是机器视觉的现实表现形式。8 0 年代中后期，计算机视觉研究与机器人技术相结合，从而产生了机器人视觉这门技术。到了9 0 年代，随着计算机能力的增强和普及应用，以及图像处理硬件和c c d 摄像机的快速发展，视觉机器人系统吸引了众多研究人员的注意。在过去的几年里，机器人视觉控制无论是在理论上还是在应用方面都有很大进步。由于机器人要完成某些行为或一系列动作，所以机器人视觉更注重于视觉对于其行为和动作所起的指导作用。机器人视觉可定义为这样一个过程：利用视觉传感器获取环境的视觉信息，一般视觉信息的形式是些特殊的图像，通过计算机视觉处理方法对视觉信息进行、处理、分析和解释，得到有关环境的描述并为机器人特定的行为任务提供有用的数据信息或指令。与人类视觉对于人的行为所起的重要作用一样，机器人视觉系统将赋予机器人一种高级感觉机构，使得机器人能以智能和灵活的方式对其周围的环境做出反应【1 9 1 。通常的机器视觉技术使用的镜头视场角只有4 0 。到5 0 。，只能够获取镜头正前方的局部场景信息，当观测大角度范围时需通过云台旋转实现，实时性差，观测物易丢失。这导致观测系统具有较大盲区，难以应用在要求有大范围观测区域的场合下。而采用全方位视觉的目标跟踪系统，不论是单一镜头还是拼接式镜头，其观测范围都能够覆盖半球域甚至整个观测空间，有效地解决了普通镜头视野较小、观测物易丢失等问题，并且可以克服以镜头为轴心的旋转带来的图像信息的丢失，这使得图像特征更为稳定，有利于a g v 视觉定位和导航的实现。目前使用广泛的全方位视觉镜头有拼接式全方位视觉、反射式全方位视觉以及鱼眼镜头全方位视觉。拼接成像是用若干个普通摄像机朝多个方向同步拍摄，然后将这些图像拼接，获得3 6 0 。全方位图像。但由于条件的限制，安装时不同摄像机的光心不可能重合，导致生成的图像不能满足单一视点的要求。另外，该成像方法成本高，系统复杂，图像的融合拼接过程会耗费较多计算时间。反射式全方位视觉系统是目前应用最广泛的全方位视觉系统，最早由d r r e e s 于1 9 7 0 年发明【2 0 1 ，当时主要应用于全景电视视觉系统。后来y a g i 和k a w a t o 2 1j 使用圆锥形的反射镜面组成全方位视觉系统，h o n g 2 2 j 运用球形反射镜组成全方位视觉系统。n a y a r 2 3 】设计了采用抛物面反射镜和正交投影镜头构成的全向镜头。而使用双曲面镜来实现全方位的摄像也是由r e e s 提出的，双曲面镜的优势是具有单一视点的约束和可使用普通c c d 摄像机。鱼眼镜头全方位视觉系统是目前研究的前沿技术。由光的折射定律可知，鱼类在水第一章绪论下贴近水面时能看到水面上一定距离内近乎半球空域的景物。对折射率约为1 3 3 3 3 的普通淡水而言，鱼眼仰视水面的有效视场所对应的平面角为1 2 2 。到1 5 6 。，鱼眼镜头就是模仿鱼类这种仰视功能设计的【2 4 1 。鱼眼镜头的焦距通常在在6 1 6 毫米之间，视角达到或超过1 8 0 。，属于短焦距超广角镜头。鱼眼镜头为近距离拍摄大范围景物创造了条件，且具有相当长的景深，有利于表现图像的长景深效果，鱼眼镜头已广泛的应用于摄影领域。由于全方位视觉具有信息量大、实现成本低、观察方便等一些优点，所以其应用领域是非常广泛的。其中主要应用于以下几方面【2 5 】：( 1 ) 视频监控由于全方位视觉的特性，可用于代替多个普通摄像头进行视频监控，让用户灵活便捷地对场景进行监视，并能够使多用户对同一场景进行同时操作，例如，在房间的结合处安装一个全方位视觉设备可同时查看两个或多个房间的情况1 2 州。( 2 ) 视频会议视频会议是当今研究的热点之一，视频会议相对于传统的会议，大大节省了人力和成本。在会议中使用全方位视觉设备，无需视角切换即可获得全部会议参加者的视频信息。( 3 ) 虚拟现实虚拟现实是一种可以创建和体验虚拟世界的计算机系统。这种系统生成的各种虚拟环境，作用于用户的视觉、听觉、触觉，使用户产生身临其境的感觉，沉浸其中。由于全方位视觉大视野的特性，减少了生成虚拟环境时信息采集的工作量。根据生成方式不同的分类，虚拟现实系统可分为基于实景图像的虚拟现实系统与基于几何模型图形构造的虚拟现实系统。( 4 _ ) 机器人导航将全方位视觉应用于机器人导航是全方位视觉应用的重点，也是全方位视觉应用研究中投入最多，研究成果最多的应用。传统方法中，机器人视觉系统主要是采用常规镜头来获取场景信息，这种方法的缺点是视场角较小，获取的视野有限。为获取大视野场景图像，可将单个镜头旋转或多个普通镜头水平来实现。但这种方法的问题是不同位置摄像机的光心不能真正重合，因此定位精度比较低。然而，全方位视觉虽具有大视野的优势，但通常全方位视觉镜头也存在着严重的畸变，存在一些缺点，如：图像扭曲、图像细节的损失、成像密度不均匀等。鱼眼镜头是建立全方位视觉系统最有效的方法之一，相对于反射式全方位视觉镜头，鱼眼镜头具有结构紧凑、体积较小、不易损坏等优点。鱼眼镜头视场角通常达到或超过1 8 0 度，单一镜头能够捕获半球图像，而使用两个鱼眼镜头则能够一次获取整个空间的完整图像。本课题文使用单一鱼眼镜头构造全方位视觉系统。在机器人顶部竖直向上安置一台鱼眼镜头摄像机，摄取3 6 0 。方位视角中的全部场景图像，增强机器人对环境的观测能力，如图1 1 所示。同时借助便于识别的行便，利用图像跟踪算法提高对目标进行高效跟踪的能力，对已知航标进行视觉跟踪。第一章绪论爹图i 1 全方位视觉目标跟踪实验平台本课题选用的语言镜头为富士能f e l 8 5 c 0 4 6 h a 1 阿本原装进口超广角鱼眼镜头，严格满足“等距投影”成像原理，其性能参数如f ：实现1 8 5 度的超广角焦距( m m ) ：14光圈范围：f 14 f 1 6聚焦：固定变焦：手动视角：i 2 ”( 1 8 5 。)最小物距：0 l m后焦距( 空气换算长) ：97 m m出镜光瞳( 从成像面) ：一8 3 0 n u n接口：c 接口相机作为移动机器视觉系统中的核心部件，其性能对整个视觉系统是年关重要的。在选择像机时要考虑到采集速度、触发方式、分辨率、体积等因素，还要考虑到光学接口、照明方式，光强度、光的几何结构、光谱以及与图像处理设备接口等因素。根据课题移动机器人导航需要，所选择的丰机应具备彩色、面阵、大分辨率、c c d感光器件等要素，在此选择w a t e c 2 2 1sj 业用高速彩色c c d 相机作为全方位视觉系统相机。w a t e c 一2 2 1s 为闩本原装进口彩色高分辨率模拟摄像机。c c d 尺寸为1 2 英、j ，p a l制式，解晰度( 水平) 4 5 0 l i n e s ( y c 4 8 0 l i n e s ) ，有效像素( k ) p 4 4 0 k ，最低照度( l u x ) 0 1 l u xf i2 ( a g ch i g h ) ，镜头接口方式c s 安装，工作电压d c + 1 2 v , - 斗1 0 。第一章绪论图i 2 为w a t 0 9 2 2 1 s 实物图2 2 鱼眼镜头简介图1 也构建仝方位视觉系统的鱼眼镜头及相机1 8 5 4 年麦克斯韦( j cm a x w e l l ) 讨论了鱼眼透镜，通常称为麦克斯韦鱼眼透镜。其无法在全空问范围内实现，因此仅具有理论意义，无法实鞒制造出来，是一种理论上的绝埘光学仪器口”。鱼眼镜头及其光学设计图、鱼日h 镜头的成像效果图如图1 - 3 所示。1 9 1 9 年，rww o o d 在一个装满水的容器卜盖玻璃板并构成针孔相机，用以实现超广角摄影。1 9 2 2 年wnb o n d 改进了w o o d 的装置。他川一个半球状玻璃透镜取代上述“水箱”，并在半球玻璃透镜的平面上覆盖一片中央留有, l q l 的光厨。片 这种装置拍摄天空的云层，可以实现近乎半球窀域的“凝视”覆盖。b o n d 指出，他的这种设计模仿了水下鱼类仰视天空的状态，能够取得半球空域的图像。但b o n d 的这种设计所成的像照度较低，存在图像质量上的较大缺陷。1 9 2 3 年，rh i l l 在b o n d 透镜的前引入一个光聚焦度绝对值极人的负弯月形透镜，使系统的p e t z v a l 场曲明显减小，色差也被有效地降低，故成像质量上比b o n d 结构的透镜有显著的改善。h i l l 用这种光学结构得到了较好的半球空域的云层照片，故这种结构也被叫做h i l l 天空镜头。通常将h i l l 提出的这种透镜结构作为鱼眼镜头的雏形。1 9 2 4 年，c o n r a db e c k 州两块分离的啦透镜取代h i l l 镜头巾的半球形平凸透镜，增j j u 了结构参数自变量，场曲和像散可以被良好矫币，成像质最获得改善。1 9 3 2 年，hs c h u l z 使用了两个负弯月形透镜，强化了对火视场角主光线的“发散”作用，全系统结构参数自变量增多，结构形式更加合理，成像质量得到进一步提高。2 0 f 纪6 0 年代后，由于光学自动设计技术的应片j ，鱼眼镜头发展迅速，出现了小少像质优良的光学结构。1 9 6 2 年尼康提m 了8 m m 的9 片5 组鱼眼镜头的结构。1 9 7 3 年6 月，t l 己康摊出63 m m 的1 2 片9 组鱼眼镜头，这款镜头的视角为2 2 0 度，但镜头k 度达到2 0 5 m m 。第章绪论图i - 3 左凹为鱼镜头、中凹为鱼眼镜头的光学设计、右瞄为鱼眼镜头成像蚓镜头畸变是指南像点发 ；的光线经镜头透镜折射后，在摄像机成像面上实际所成的像点与理想成像点之问存在光学误差。从几何结构上，镜头畸变分为切向畸变和纵向畸变。从产生原凼上，镜头畸变主要分为：径向畸变、偏心畸变和薄棱镜畸变。筇一类只产生径向偏差，后两类则既产生径向偏差，又产生切向偏差。山十全方位视觉镜头也存在着严熏的畸变，而在实际的目标识别实验过程中，需要用到图像中物体没有产生畸变时的信息，所以为了更好的实现目标的跟踪，在实验中引入了图像的畸变校正。为将鱼眼镜头的实际成像点恢复为理想像点要建立_ f ! i ! 想像点与畸变图像对应像点问的映射关系口”。现有的大部分图像畸变校正方法就是采用平面透视投影模型利用平面透视投影模型约束条什，将空问直线在像面上的投影曲线非线性地映射图像平血上的直线，建立一系列约束方程求山变形校j e 参量，最终校正图像的畸变口”。e h 于鱼眼镜头可以将与光轴夹角大于9 0 。的视场成像到成像面，如果使用平面透视投影模l g ，则需要一个无限大的图像平血爿能表示一个鱼眼镜头图像f 日这硅然是不现实的。与平面透视投影模型不同，球面透视投影模型采用球面取代平面作为成像面，这样与光轴夹角从小与一9 0 。恢于9 0 。的视场图像均町川该模型表示，所以可以选择球形透视投影模型校正鱼眼镜头图象畸变 3 0 , 3 q 。畸变校正 口后效果图如f 所示：第章结论幽1 4 鱼眼镜头原始图像幽1 - 5 鱼雌镜头畸变校止厉效果图13 课题来源及论文内容概要3 i 课题来源本课题足基于科挫部中芬国i h i , t ：q 技合作工砸日“移动机器人和白引导车的全方何视觉导航技术”( 项日编号2 0 0 6 d f a l 2 4 1 0 ) ，和国家“8 6 3 ”训划项日“基丁全方位视觉的移第一章绪论动机器人动态目标探测与导航”( 项目编号2 0 0 7 a a 0 4 2 2 2 9 ) 这两个项目的子课题。本文主要对基于全方位视觉系统的移动机器人和自引导车的视觉跟踪技术进行探索讨论。一个完整的视觉跟踪系统实现方案将包括全方位彩色摄像系统、图像处理算法和目标识别与跟踪算法等，本课题的主要研究内容为：全方位视觉机动目标跟踪算法研究。本课题引入目前在图像跟踪领域比较成熟的m e a ns h i f t 跟踪算法。在图像几何畸变矫正算法的基础上，进行航标的识别、目标的跟踪研究。1 3 2 内容概要m e a ns h i f t 算法是一种无参密度估计算法，1 9 9 5 年y i z o n gc h e n g 将该算法引入了计算机视觉领域。它可以应用于图像的滤波、分割和目标跟踪。在目标跟踪领域，其算法可以简单描述为：在初始帧图像中包含目标所有像素点的目标区域中计算目标特征空间中每个特征值的概率，被称为目标模型的描述。在以后的每帧图像中可能存在目标的候选区域中对特征空间的每个特征值的计算称为候选模型的描述。一般核函数选择e p a n e c h i k o v 函数。利用相似性函数度量初始帧目标模型和当前帧的候选模型的相似性，通过求相似性函数最大得到关于目标的m e a ns h i f t 向量，这个向量即是目标从初始位置向正确位置转移的向量，由于m e a ns h i f t 算法的收敛性，不断迭代计算m e a ns h i f t 向量，在当前帧中，最终目标会收敛到目标的真实位置( 一个静止点) ，从而达到跟踪的目的。在第二章中对跟踪技术及其算法进行概述性的介绍。介绍了跟踪技术的发展现状、应用领域、存在的问题以及跟踪算法的分类情况。m e a ns h i f t 算法是属于一种特殊的无参密度估计算法，第三章从跟踪所需的航标模式切入，主要介绍m e a ns h i f t 算法的基本理论，说明了算法的特点，介绍了该算法在目标跟踪中的应用。第四章介绍了在图像跟踪系统中，目标识别与跟踪算法的实现实验设计与结果分析。最后是论文的总结和展望。第二二章图像跟踪技术概述第二章图像跟踪技术概述2 1 跟踪技术的研究现状及应用2 1 - 1 跟踪技术的研究现状视觉跟踪问题是随着计算机技术的发展而逐渐成为研究热点的。二十世纪8 0 年代以前，由于计算机技术的限制，对图像的处理与分析主要以静态图像为主【3 2 1 ，在动态图像序列的分析中，对运动目标的跟踪带有很强的静态图像分析的特点【3 3 】。在计算机视觉领域，目标跟踪问题的中心问题是：当目标相对摄相机存在运动时，视频序列的每帧图像中表示目标区域或目标特征的图像结构的连续对应性。这可以作为一个连续帧中目标区域的匹配问题来解决。然而，由于视频输入信号的丰富性和多变性，在复杂的背景下跟踪一个和多个运动的目标依然是很困难的。在数学领域中，要解决一个数学问题，首先要对这个问题进行分析，找出许多可以利用的条件，将这些条件作为假设( 条件) ，依靠这些正确的假设，对问题建模，就可以获得需要的解。缺少合适的、充分的假设条件，必然无法得到问题的解，此时，认为该问题无解。缺少必要的假设条件，甚至无法建模，问题也就得不到解决。对跟踪问题的解决与此类似。所以，可以针对不同的情况，对视频环境或者目标作相应的假设，然后建模求解跟踪问题。2 1 2 跟踪技术的应用范围目标的跟踪是计算机视觉中一个必不可少的关键技术。与视频序列跟踪技术有密切关系的应用主要有：1 ) 智能视频监控智能视频监控在商业、军事上有广泛的应用，智能视频监控也可用于银行、机场、政府重要机构等公共场所的无人值守，这些系统的一个特点是减少对人工的依赖，系统自动完成对感兴趣目标的分析与描述，而对目标的实时检测和跟踪是其中的主要环节，是基于视频的运动分析、行为理解等后续工作的基础。如图2 1 所示。2 ) 基于视频的人机交互目前键盘和鼠标是和计算机交互的接口方式，希望有更简洁的、智能化和人性化的人机交互方式。计算机无接触式地收集人类在计算机前的视频信号，利用计算机视觉的相关理论分析视频信号，做到分辨人类的动作，明白人类的意图，即希望计算机能尽可能地“理解”。近些年的工作主要集中在姿态分析，面部表情及其它的运动，以便计算机能够识别和理解这些动作。第二争幽像跟踪技术概述酗脯静国2 - ! 跟踪拄术在视频监控领域的廊用3 ) 自动驾驶汽车的自动驾驶吸引了很多研究者的兴趣，这方面的工作主要集中于车辆能沿道路自动行进并发现道路上别的汽车，或者自动避开道路上的障碍物在建筑物内自动导航。如图2 - 2 所h i 。曰2 - 2 跟踪技术在n 动驶领域的成川此外，甘标跟踪在基于视觉的控制、农业自动化、医学幽像、视觉重构等领域均有麻用。所谓目标跟踪，就是在段序列罔像的每幅图像中找到所感兴趣的运动同标所处的位置【“】。一个好的视频跟踪算法一般须满足两个基本的要求：( 1 ) 实时性妤，算法要费时少，至少要比视频采集系统n 勺图像帧的采集速率快，甭则无法实现正常跟踪，如果系统的跟踪环节后面还有其他的图像处理_ | ；1 = 节，上要预留第二章图像跟踪技术概述较多的时间给后面的处理，所以实时性至关重要。( 2 ) 鲁棒性强，实际的观测环境，图像的背景可能很复杂，光照、图像噪音及随时可能出现的对目标的遮挡均使目标的跟踪变得非常困难，这对算法的鲁棒性有很高的要求。这两条常难于同时满足，往往需要某种折衷，以得到较好的综合性能。计算机视觉的目的是实现计算机对人类视觉的模拟，而目标跟踪属于计算机视觉中的低层视觉范畴。说它低层，并不意味着它的算法简单，在复杂背景下的目标跟踪依然是一件非常困难的事情【3 5 1 。目前的各种算法都是在某种针对性的环境或目标条件下有效，缺乏通用性。无论是视频监控、人机交互，还是更高级的视频系统，对感兴趣目标的跟踪往往是其中必不可少的重要环节，它为后面更高级的高级视觉提供有价值的信息【3 6 1 。因此，对于视频序列目标跟踪算法的研究意义非常重大，但也充满挑战。2 2 跟踪算法的发展及分类从2 0 世纪8 0 年代起到目前为止这近2 5 年里，出现了众多的视觉跟踪算法。二十世纪8 0 年代初光流法( o p t i c a lf l o w ) 1 1 , 1 2 】被提出之后，动态图像序列分析进入了一个研究的高潮。其中对光流法的研究热潮从其产生一直持续到了二十世纪9 0 年代中期，有关光流法的综述性文章可以参见文献【1 2 】，直到最近，还有文章对l - k 方法进行了回顾【3 3 1 。但是，光流法所需的运算量即使在现阶段对计算机而言也是太大，很难满足实时性要求，同时由于采用假设的局限性使得光流法对噪声特别敏感，很容易产生错误的结果，这些缺点造成光流法与