（车辆工程专业论文）its中运动车辆自动跟踪方法的研究.pdf

摘要利用计算机视觉技术进行交通状况检测与信息采集是智能交通系统( i t s ) 领域中的一个重要课题，而运动车辆的检测与跟踪则是其中最基础的部分。本文对此问题进行了系统和深入的研究，提出了一种在自然道路背景下运动车辆自动检测与跟踪的方法，并设计开发了相应的软硬件系统，初步实现了运动车辆的自动跟踪。本文所进行的研究主要包括以f t i 而：( 1 ) 在图像筹分算法基础上，研究提出了运动车辆自动检测的栅格算法该方法通过计算当前帧与参考i 帧对应栅格的不相似度来检测是否有运动车辆进入视场：定义了不相似度下降率d s d r ，基于此，可以比较准确地确定出运动车辆在栅格中的位置，并可方便地将车辆图像作为模扳保存下来。( 2 ) 采用k a l m a n 滤波理论建立了运动车辆状态预测线性模型，该模型采削8 自由度的向量来描述系统状态；利用面向对象的思想，以类的形式对预测模型进行了封装实现，并给出了类的数据成员和成员函数。( 3 ) 讨论了在摄像机固定情况f 和在摄像机运动情况下运动车辆的跟踪问题。在摄像机崮定情况下，以运动车辆的位置估计为中心，按照搜索策略，通过模板匹配对运动车辆进行跟踪。跟踪实验结果表明，提出的搜索策略是有效的。在摄像机运动情况下，建立了运动车辆跟踪坐标系，并得出了运动车辆跟踪坐标系与预测坐标系之间的转换关系；通过摄像机一云台系统所采用的视觉坐标系，推导出了摄像机一云台系统转动的角度控制公式，为运动车辆的跟踪提供了理论基础。( 4 ) 根据面向数据流的设计方法，在综合运动车辆自动检测、状态预测和自动跟踪算法的基础上，采用v is u a lc + + 作为开发语言，在w i n d o w s2 0 0 0 平台上设计开发了相应的软件系统。软件开发时，以软件工程学模块化思想为指导，将系统划分为图像采集与提取、图像数据处理、图像显示等六个模块。所开发的软件系统能够较好地完成运动车辆的自动检测、状态预测，并初步实现了运动车辆的自动跟踪。( 5 ) 介绍丁跟踪系统硬件部分的组成和结构。关键词智能交通系统，计算机视觉，运动车辆，检测与跟踪a b s t r a c tt h ea p p l i c a t i o no fc o m p u t e rv i s i o nt e c h n o l o g yt ot r a f f i cd e t e c t i n ga n di n f o r m a t i o nc o l l e c t i n gi sa ni m p o r t a n ts u b j e c ti ni t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) ，a n dm o v i n gv e h i c l ed e t e c t i n ga n dt r a c k i n gi st h eb a s i cp a r t t h ef u r t h e rs t u d yo nt h i sq u e s t i o ni sc a r r i e do u ts y s t e m a t i c a l l yi nt h i sp a p e r t a k i n gt h en a t u r a lr o a da st h eb a c k g r o u n d ，ak i n do fm o v i n gv e h i c l ea u t o - d e t e c t i n ga n da u t o t r a c k i n gm e t h o di sb r o u g h tf o r w a r d m o r e o v e rt h es o f t w a r es y s t e mi sd e s i g n e da n di m p l e m e n t e dam o v i n gv e h i c l ec a nb ea u t o m a t i c a l l yt r a c k e de l e m e n t a r i l yb yu s i n gt h es o f t w a r es y s t e m t h em a i nc o n t e n t so ft h es t u d yi n c l u d es u c ha s p e c t sa sf o l l o w s ：( 1 ) t h em o v i n gv e h i c l ea u t o d e t e c t i n gg r i da r i t h m e t i ci ss t u d i e da n dp r e s e n t e do nt h eb a s i so ft h ei d e ao ft h ei m a g ed i f f e r e n c ea r i t h m e t i c t h em o v i n gv e h i c l ei sd e t e c t e dw h e t h e ro rn o tt oe n t e rt h ef i e l do fv i e wb yc a l c u l a t i n gt h eg r i dd i s s i m i l a r i t yb e t w e e nt h ec u r r e n tf r a m ei m a g ea n dt h er e f e r e n c ef r a m ei m a g e d s d r ( d i s s i m i l a r i t yd e s c e n dr a t e ) i sd e f i n e d ，a n db yc a l c u l a t i n gi tt h ep o s i t i o no ft h em o v i n gv e h i c l ei ng r i d sc a nb ed e t e r m i n e de x a c t l y , s ot h ev e h i c l em o d e li m a g ec a nb es a v e dc o n v e n i e n t l y ( 2 ) t h em o v i n gv e h i c l es t a t ef o r e c a s tl i n e a rm o d e li nw h i c ht h es y s t e ms t a t ei sc h a r a c t e r i z e db ya ne i g h t - d i m e n s i o nv e c t o ri sf o u n d e db ya d o p t i n gk a l m a nf i l t e rt h e o r yt h ef o r e c a s tm o d e li se n c a p s u l a t e da sac l a s sw i t ho b j e c t o r i e n t a t e dt e c h n o l o g y t h ed a t am e m b e r sa n dm e m b e rf u n c t i o n so ft h ec l a s sa r ea l s og i v e n ( 3 ) t h em o v i n gv e h i c l et r a c k i n gp r o b l e mi sd i s c u s s e da tt w oc o n d i t i o n s ：t h ec a m e r ai ss t i l la n dt h ec a m e r ai sm o v i n gu n d e rt h ec i r c u m s t a n c et h a tt h ec a m e r ai ss t i l l ，t h em o v i n gv e h i c l ei st r a c k e db ym o d e lm a t c h i n ga c c o r d i n gt ot h es e a r c h i n gs t r a t e g yt h a ti sp r o v e dv a l i db yt r a c k i n ge x p e r i m e n tu n d e rt h ec i r c u m s t a n c et h a tt h ec a m e r ai sm o v i n g ，t h et r a c k i n gr e c t a n g u l a rc o o r d i n a t e sa r ef o u n d e d ，a n dt h er e l a t i o n s h i pb e t w e e nt h et r a c k i n gr e c t a n g u l a rc o o r d i n a t e sa n dt h ef o r e c a s tr e c t a n g u l a rc o o r d i n a t e si sg i v e nt h ea n g l ec o n t r o lf o r m u l ao ft h ec a m e r a p a n - t i l t d e v i c es y s t e mi se d u c e dw i t hi t sv i s i o nc o o r d i n a t e s w h i c hp r o v i d e st h e o r yb a s i sf o rm o v i n gv e h i c l et r a c k i n g ( 4 ) t h ed a t as t r e a mc h a r to ft i r es y s t e mi sg i v e nb ym a k i n gu s eo f t h ed a t a - s t r e a m o r i e n t a t e dd e s i g nm e t h o d t h es o f t w a r es y s t e mi si m p l e m e n t e dw i t hv i s u a lc + + p r o g r a ml a n g u a g eo nw i n d o w s2 0 0 0p l a t f o r mw i t ht h eg u i d a n c eo ft h em o d u l a r i z a t i o ni d e a ，t h es o f t w a r es y s t e mi sd i v i d e di n t os i xm o d u l e s ：i m a g ec o l l e c t i n ga n dt a k i n gm o d u l e ，i m a g ep r o c e s s i n gm o d u l e ，i m a g ed i s p l a y i n gm o d u l e ，a n ds oo n t h i ss o f t w a r es y s t e mc a na c c o m p l i s hm o v i n gv e h i c l ea u t o d e t e c t i n g ，s t a t ef o r e c a s t i n ga n da u t o - t r a c k i n ge l e m e n t a r i l ys o m eu s e f u lp r a c t i c ei nm o v i n gv e h i c l ev i d e os u r v e i l l a n c ei sd o n e ( 5 ) l a s t ，t h ec o m p o s i n ga n dt h es t r u c t u r eo f t h eh a r d w a r es y s t e ma r ei n t r o d u c e dk e yw o r d si n t e l l i g e n t7 i r a n s p o r t a t i o ns y s t e m tc o m p u t mv i s i o n ，m o v i n gv e h i c l e ，d e t e c t i n ga n dt r a c k i n g独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：玉琴1 移时间：如雪年i 月f 日关于论文使用授权的说明本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体卜发表、传播学位论文的全部或部分内容。( 保密的学位论文在解密后应遵守此协议)研究生签名导师签名：立翠名历燃时阳j ：2 口哆年月r 日时间：扣哪年6 月3 - 日中幽农业人学似 论文第章绪论1 1 智能交通系统发展概述第一章绪论智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，简称i t s ) 的含义是指将先进的计算机处理技术、信息技术、数据通讯传输技术及电子自动控制技术等有效地综合运用于整个交通管理体系中将人、路、车有机结合起来，以达到最佳的和谐统一从而建立起一种在大范围内、全方位发挥作埒j 的实时、准确、高效的交通运输综合管理系统”“。i t s 的提出、研究和发展是与现代社会的发展相联系的。汽车交通是现代社会的重要标志之一，汽车的发展是一把双刃剑，它在给人们的生活提供便利的同时也产生了一系列社会和环境问题。有限的土地资源、日益增多的车辆、出行大幅度增加、车辆速度提高等使交通事故增多、交通拥挤加剧、交通环境恶化。解决交通问题的直接办法是提高路网的通行能力，但是交通系统是一个相当复杂的大系统，单独从车辆方面考虑或单独从道路方面考虑，都很难从根本上解决问题。世界各发达国家虽然已经基本建成了四通发达的现代化道路网，但路网的通行能力依然满足不了交通量增长的需求。经过长期和广泛的研究，这些国家已从主要靠修建更多的道路、扩大路网规模来解决交通需求，逐步转移到从系统的观念出发，把巧：辆和道路综合起米考虑，用高科技米改造现有的道路运输系统及其管理系统，从而人幅度提高路网的通行能力。露前，世界上已形成了美国、日本、欧盟三人i t s 研究开发基地，除此之外，弧洲的韩国、新加坡和我国的香港特区i t s 发展水平也较高。美国6 0 年代末期就开始了世界上最早的i t s 开发研究。之后美国集中了国内各种力量，并在政府和国会的参与r ，成立了i t s 的领导和协调机构。目前，美国在智能公共交通领域独树一帜，己建立起相对完善的车队管理( 通讯系统、地理信息系统、车辆自动定位系统、乘客自动计数系统、公交运营软件系统、交通信号优先系统) 、公交出行信息( 出行前公交信息系统，车站路边的公交信息系统、车上公交信息系统、综合乘客信息系统) 、电子收费和交通需求管理技术等四大系统及多个子系统及技术规范标准。美国于1 9 9 7 年8 月在圣地亚哥到洛杉矶之间建成了第一条试验示范线路。该系统全长约1 3 k m ，在公路的两条主要干线上埋设9 2 万块磁铁，磁铁直径约2 5 c m ，间距12 m ，整条公路形成一个磁场。行驶在这条公路上的汽车在前方保险杠上安装了磁探测器在磁场的引导下，汽车能保持在车道中央行驶。在公路摄像系统和雷达探删系统的引导f ，小汽车、 车等傅8 辆自动编成一个车队，车速达1 4 0 k m h ，车与车之间的距离不超过39 m 。整个车队的速度由第一辆领头乍的车速决定。前面车辆用无线电把每一次刹车或加速动作的信息传给后面的车辆，后面的车辆将接收到的信号传递给车载计算机，然后由计算机程序控制车辆行驶。如遇到路障或发生其他交通事故，前方下辆及时将信号传递给紧跟在后的每一辆下，使它们能及时调憝午速或采取其他府急措施。尽管每辆午上都有司机，但他们的主要职责是保证一切运行正常，而并非足控制1 ：辆的运行。美围在2 11 ：纪的头十年将投资6 0 0 0 亿美元用于i t s中国农业人学博上论义第一章绪论的纠 究与开发。日本的智能交通系统起步较晚但由于政府重视，其发展和推进速度却相当快。日本城市公共交通系统智能化的发展过程经历了3 个阶段：7 0 年代末开始应用的公共汽车定位系统；8 0 年代初开始应用的运行管理系统，其中包括乘客t l 动统计、运行监视和运行控制：9 0 年代初开始应用的综合管理系统。日本组成了由四省一厅参加的全国统智能交通系统开发组织( v e r t i s ) 。并推出了一个投资7 8 兆亿日元，为期长达2 0 年的发展计划，包含了智能子系统部分应用、改善基础设施建设及系统和产品的研究开发。日本投入了1 5 亿日元开发了全国公路电子地图系统，打开了车辆电子导航市场。欧盟对i t s 的研究、开发也不甘落后，1 9 8 5 年，欧共体1 9 个成员国为主的政府与民间企业组织合并后，共同推进智能运输系统的发展，并更名为欧洲道路运输信息技术实施组织( e r t i c o ) ，总开发投入5 0 亿美元，实施智能道路和车载设备的研究发展计划。至今，已有相当一部分的研究成果投入到实际的应用当中。韩国的智能交通系统示范工程选在光州市，该工程预计耗资i 0 0 亿韩元( 1 2 5 0 万美元) ，选取了交通感应信号系统、公交车乘客信息系统、动态线路引导系统、自动化管理系统、即时播报系统、电子收费系统、停车预报系统、运行中测重系统、智能交通系统中心等9 项内容进行开发和检测智能交通系统技术和效益，并以此验证智能交通在韩国的适用性。新加坡已拥有先进的城市交通管理系统，该系统除了城市交通控制系统传统的功能如信号控制、交通检测、交通诱导和交通信息外，还包括用电子计费卡控制车流量。它是利用一张插在汽车挡风玻璃上的电子计费卡，当车辆通过要收费的拥挤路段或区域时，装在路口铁架上的扫描器就会产生感应，费用也就自动从卡片的信用额度扣除。在高峰时段和拥挤路段，还可以自动提高通行费，从而尽可能合理地控制道路系统的使用效率。香港早在1 9 7 7 年就在九龙设置了一套电脑化区域交通控制系统，现在全港约有3 2 0 组交通灯由电脑控制，有利于车辆缩短通过交叉口的时间。此外，香港电台、电视台每天都要发布几次交通信息，为司机提供最新交通资料。2 0 世纪9 0 年代以来，中国经济进入高速发展的时期交通需求越来越高，车辆和道路的矛盾越来越大，发达国家在交通上遇到的问题，在中国来得比预期的要早，甚至更严重，因此智能交通系统在我国的实施势在必行。智能交通系统的研究和推进在我国还处于起步阶段但i t s 作为跨世纪经济增长点和交通系统建设必然选择的重要性已得到国家相关部门的高度重视。1 9 9 5年中国国家技术监督局交通部门正式批准成立了i s o i c 2 0 4 中国委员会。该委员会以推进中国i t s 标准化为主要任务。1 9 9 7 年在北京召开了智能交通系统发展趋势国际学术研讨会。1 9 9 8 年1月交通部正式批复成立交通智能运输系统工程研究中心( i t s c ) o 投资1 4 0 0 万元建设交通智能运输系统中，t l , 试验室，将为今后国家制定道路交通运输的发展和政策提供科学依据。2 0 0 1 年由交通部公路科学研究所国家智能运输工程技术研究中心组织制定了中国智能运输系统体系框架，为我国i t s 的发展指明了方向。i t s 的学术研究也日豁为世界各国所重视。以i t s 为专题的国际人会从1 9 9 4 年起每年在欧洲、北美和弧太地区轮流举行一次。第一次会议于1 9 9 4 年在法国巴黎召开，第二次会议t1 9 9 5 年在日本横滨召开，第三次会议于1 9 9 5 年在美国特兰大召开，第四次会议于1 9 9 7 年在德国柏林召_ ： = ，第五次会议于1 9 9 8 年在韩国汉城召开，第六次会议_ _ _ 1 9 9 9 年在加拿大多伦多召开，第七次中国农业人学博卜论文第一章绪论会议j 。2 0 0 0 年在意大利都灵刽开，第八次会议于2 0 0 1 年在澳大利亚悉尼召开，第九次_ 丁2 0 0 2年在美国芝加哥召开”“。i t s 指出了未来世纪的交通发展方向，是新时代下科技和社会发展、信息革命推动下的产物。它的全面研究涉及到交通工程学、智能控制科学、计算机科学、计算机视觉和图像处理、模式识别、通信科学、汽车技术等学科。i t s 的系统组成大致如下“+ “：1 、先进的交通管理系统a t m s ( a d v a n c e dt r a f f i cm a n a g e m e n ts y s t e m ) ，是一种主动控制的综合交通管理系统，它将对道路系统中的交通状况、交通事故、气象情况和交通环境进行实时的监视和管理根据收集到的信息，对交通进行控制，如：信号灯、道路管制等。2 、先进的交通信息系统a t i s ( a d v a n c e dt r a f f i ci n f o r m a t i o ns y s t e m ) ，包括无线数据交通信息通道、车载移动电话接收信息系统、路由引导系统及选择最佳路径的电子地图。它建立在完善的信息网络基础上，交通参与者通过装备在道路上、车上、换乘站上、停车场上以及气象中心的传感器和传输设备，可以向交通信息中心提供各处的交通信息，系统褥到这些信息并通过处理后，实时向交通参与者提供道路交通信息、公共交通信息、换乘信息、交通气象信息、停车场信息以及与出行相关的其他信息。3 、先进的公共交通系统a p t s ( a d v a n c e dp u b l i ct r a n s p o r t a t i o ns y s m m ) ，包括公共交通车辆定位系统、客运量自动检测系统、行驶信息诱导系统、自动调度系统、公交计费系统、视野支持系统和旅客服务系统等。它的主要目的是改善公共交通的效率，提供便捷、经济、运量大的公交系统。4 、先进的车辆控制系统a v c s ( a d v a n c e dv e h i c l ec o n t r o ls y s t e m ) 。是对车辆本身而言的，主要由车辆辅助安全驾驶系统和自动驾驶系统两部分组成。5 、先进的电子收费系统a e t c s ( a d v a n c e d e l e c t r o n i c t o l l c o l l e c t i o n s y s t e m ) ，包括电子自动收费设备、不停车自动收费系统、停车引导和收费系统。即通过电子卡、电子标签由计算机自动完成行驶或进出停车场车辆的收费，实现地面交通费用收缴的自动化，从而减少停车延误，提高运营效率。6 、紧急事件管理与救援系统e a m s s ( e m e r g e n t a f f a i rm a n a g e m e n ta n ds u c c o rs y s t e m ) ，是一个特殊的系统，它的基础是a t m s 、a t i s 和有关的救援机构，通过a t m s 和a t i s 将交通监控中心、交通警察、道路养护管理机构、职业的救援机构、灾害处置管理中心等联成有机的整体，为道路使用者提供现场紧急处置、拖车、现场救护、排除事故车辆等服务。1 2 计算机视觉发展概述人r 智能被誉为2 0 世纪三人科学技术之一，己经受到世界各国的高度重视。人上智能的中，1 5 目标，就是使计算机系统具有智能。计算机视觉已成为人工智能领域最热的竞争课题之一，它和专家系统、白然语言处理一起成为人上智能最活跃的三大领域，是实现工业生产高度自动化、机器人智能化、自主车导航、目标跟踪，以及各种其它工业检测、医疗和军事应用的核心内容之中国农业人学博土论文第一章绪论一，也是实现机器智能化的关键因素。计算机视觉的目的，是用计算机代替人眼及人脑对景物环境进行感知、解释和理解，实现对人类视觉的模拟和延伸“3 。计算机视觉是多学科的交叉与结合，既是一fj 科学学科又是一门工程学科，主要涉及的相关学科如图l - 1 所示。l计算机视觉计算机信号处理数学物理学生理学心理学概率i 统计高等代数线形系统随机过程高等几何最优化理论图卜1 计算机视觉与相关学科的关系计算机视觉的研究开始于2 0 世纪5 0 年代中期，当时的研究主要集中在二维景物图像的分析。利用二维图像解释三维目标和景物的研究开始于1 9 6 5 年r o b e r t s 对多面体识别中提出的“积木世界”。在这之后，随着研究的深入，相继提出了计算机视觉的三个主要理论框架”1 。1 ) 计算视觉理论框架2 0 世纪7 0 年代中期到8 0 年代初期，m a r r 教授通过在美国麻省理工学院进行的视觉理论方面的研究，提出了第一个计算机视觉领域的理论框架计算视觉理论。这一理论把视觉过程看作一个信息处理的过程，并提出对信息处理的研究应分为三个不同的层次。即计算理论的层次、表示( 数据结构) 与算法的层次、硬件实现的层次。这一理论强调计算理论层次，并根据w a m n g t o n临床神经学的研究结果，阐明视觉的目的是从图像中建立物体形状和位置的描述。在这一层次上，计算视觉理论把视觉过程主要规定为：从二维图像信息中定量地恢复山图像所反映的场景中的三维物体的形状和空间位置，即三维重建。在计算理论这一层次上，m a r r 将三维重建这一过程分成三个阶段，如图卜2 所示。纠早期视觉处理卜卅中期视觉处理卜叫后期视觉处理卜二图卜2 计算视觉理论框架早期视觉处理阶段是由输入的二维圈像获得二维要素瞎l 。要素图指的是图像中灰度变化剧烈处的位置及其儿何分布和组织结构。中期视觉处理阶段是由：维要素图获得25 维图。2 5 维图中幽农业入学博士论文第章缝论i i i指的是在以观察者为中心的坐标中，可见表面的法向、大致的深度以及它们的不连续轮廓等，由于25 维图中包含了深度的信息，闪而信息量比二维图要多，但还不是真正的二维表示。这一阶段是由多个相对独立的视觉模块组成，又称为“s h a p e f r o m x ”( 这里的x 指的是不同的线索) 模型。这些模型包括立体视觉、运动视觉等。后期处理阶段是从2 5 维图获得场景中物体的三维描述，识别出场景中存在的物体以及确定这些物体的位置和姿态。三维描述指的是以物体为中心的坐标中，用含有体积基元和面积基元的模块化的分层次表示，同时要给出各物体之间的空间关系描述。2 ) 基于知识的视觉理论框架基丁| 知识的视觉理论框架是同绕感知特征群集的研究而展开的。1 9 8 7 年，l o w e 提出用人类感知的经验来描述目标，其理论框架如图卜3 所示。图1 3 基于知识的视觉理论框架目标模型l o w e 认为基于知识的视觉理论框架不需要通过视觉输入自底向上进行三维重建。他根据b i e d e m a n 、h o c h b e r g 等在心理学方面的研究结果，认为人类视觉对三维目标的识别可以在知识引导下通过二维图像直接完成。他将相对于观察方向保持不变的二维特征称为非偶然性聚类，并认为在人类视觉识别中起重要作用的是一种称为感知组织的过程，这一过程可以有效地检测出非偶然性聚类，而完成对目标的识别。l o w e 将由二维图像推测三维目标的过程分为三个阶段。第一阶段利用感知组织的处理过程，从图像特征中提取那些相对于观察方向保持不变的分组和结构。第二阶段在模型匹配过程中利用概率排队的方法减小搜索空间。第三阶段通过求解未知的观察点和模型参数寻找空间对应关系使得三维模型的投影直接与图像特征匹配。整个过程无需三维目标表面的测量，利用感知原理也能推算出有关表面的信息。3 ) 主动视觉理论框架主动视觉理论框架是根据人类视觉的主动性提出来的。人类视觉不是被动的，人会根据视觉的需要移动身体或头部，以改变视角，帮助识别。同时，人类视觉也不是对场景中所有部分一视同f _ ，而是根据需要有选择地对其中一部分加以特别的注意，对其余部分只是一般的观察甚至视而不见。因此，人类视觉的过程是与环境交互的“感知动作”的过程。主动视觉框架如图1 4所示。在主动视觉框架中，视觉系统的基本组成部分体现_ 广视觉行为及其所支持动作的紧密结合。这些视觉行为并不需要三维物体的精确信息。主动视觉系统根据已有的分析结果和视觉的当前要求，通过主动控制摄像机参数的机制来控制摄像机的运动并协调所需要的处理任务和外界信号的关系。这些参数包括摄像机的位置、取向、焦距、光圈等。另外，主动视觉还融入了“注意”能力。通过改变摄像机参数或通过摄像后数据的处理，控制“注意点”，以达到对空间、时间、分中国农业大学博士论文第一章绪论辨率等方面有选择的感知。图1 - 4 主动视觉理论框架基于图像处理的计算机视觉技术通过摄像机获取外界景物图像，并利用计算机对图像进行处理，以模拟人的视觉功能，该技术在很多领域有着广泛的应用。这些应用领域包括对照片特别是航空照片和卫星照片的解释、精确制导、移动机器人视觉导航、医学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及智能人机接口等“。早期进行数字图像处理研究的目的之一，就是要通过采用数字技术提高照片的质量，辅助进行航空照片的判读与分类。由于需要判读的照片数量很多，于是希望有自动的视觉系统进行判读解释，在这样的背景下，产生了许多航片和卫星照片判读的系统，如a c r o n y m 以及s p a m 等。精确制导一直是武器系统中的一个热门话题。现在常用的精确制导方式包括激光制导、电视制导和图像制导，在导弹系统中常常将惯性制导与图像制导相结合，利用图像进行精确的末制导。由于可见光图像受光照条件的影响，因此在图像制导中常采用多谱段图像或者根据不同的光照条件采用不同的图像。媳型的采用地图匹配技术的导弹有美国的战斧导弹、潘兴i i 导弹等。对于移动机器人而言，行动的规划是及其重要的。规划的前提是对环境的了解。当然某些场台可以采用遥感、遥控技术，但是当机器人处在几十万公里甚至是以光年计的太空中时，遥视和遥控技术将越来越不现实。即使是在地面上，当由于传输媒介的原因而通讯不畅时，自主性对于移动机器人将是十分重要的。因此随着移动机器人的发展，产生了一些专门用于道路分析和避障的视觉系统。典型的系统如卡内基梅隆大学研制的自主行驶汽车n a v l a b 上的视觉系统。该系统采用包括光学( 包括微光) 摄像机、激光测距仪以及超声波在内的多种传感器获取道路信息，利用多传感器融合和基于聚类的方式完成室外道路的跟踪和识别。此外在m i t ( 麻省理工学院)a i l a b 研制的p o l l y 机器人中引入了所谓的轻度视觉的概念，利用这一方法大大加快了处理室内环境下的道路识别和避障的速度。尽管目前移动机器人视觉系统研究已取得了很大的进步，但实际上移动机器人都还处于实验阶段，以美国发射到火星的“探路者号”为例，目前采用的仍然还是遥视和遥控的方法。从严格意义上讲，在引入现代医疗仪器之前，医学基本上不能称为科学，传统的医疗诊断靠的是经验。事实上即使在今天，中医也基本上依靠经验。这样就带来两方面的问题，一是医生的训练无法科学化，二是诊断的结果加入了较多的人为因素。现代医疗仪器的使用在一定程度l 二解决了这两方面的问题，但仪器除了育接提供数据外儿乎不能进行任何自动分析t 作，很多6中国农业人学萼_ l _ 论文第一章绪论仪器如x 光机、c t 、b 超、各种显微诊断设备等提供的都是图像，这样诊断的结论又再一次依赖判读者的经验。利用计算机视觉技术可以减少这种人为因素的影响。现在医疗图像的辅助诊断系统已经在早期疾病诊断方面起到非常重要的作用，同时医学图像处理近年来也成为计算机视觉领域中的重要研究方面。t 业机器人的手眼系统是计算机视觉应用最为成功的领域之一，由于工业现场的诸多因素如光照条件、成像方向均是可控的，因此使得问题大为简化，有利于构成实际的系统。目前市场上已有相当数量的手眼系统。长期以来地图绘制是一件耗费人力、物力和时间的t 作。以往的做法是人工测量现在多是利用航测加上立体视觉中恢复三维形状的方法绘制地图，这样大大提高了地图的绘制的效率。通用的物体三维形状分析与识别一直是计算机视觉的重要研究目标，在这方面计算机视觉的研究者们进行了大量的工作。在景物的特征提取、表示、知识的存储、检测以及匹配识别等方面都取得了一定的进展，并且构成了一些用于三维景物分析的系统，如麻省大学研制的v i s i o n等。由于通用的视觉系统在很多方面的困难，在这一方向上还需要进行更为深入的工作才能使之更接近于实际。计算机视觉的另一个重要应用是用于构成智能人机接口。现在计算机与人的交流还是机械式的，计算机无法识别j = j 户的真实身份( 从严格意义上讲，口令并不代表实际的用户身份) ，除了键盘、鼠标外的其他输入手段还不成熟。利用计算机视觉技术可以使计算机检测到用户是否存在、鉴别用户身份、识别片j 户的体势( 如点头、摇头等) 。此外这种人机交互方式还可推广到一切需要人和机器交互的场合，如入口安全控制、过境人员的验放等。计算机视觉技术在农业各领域的应用研究发展也非常迅速“”1 。在农产品品质鉴定中，利用计算机视觉技术具有实时、客观、无损害等优点，闻而受到人们的青睐。在精细农业中，利用计算机视觉技术可以对农作物的生长信息进行自动检测，检测的结果可作为灌溉和施肥的参考。在农业生产自动化方面，利用计算机视觉技术对耕作对象进行正确的识别，从而为农作物的栽培、采摘提供基础。1 3 计算机视觉在i i s 中的应用将计算机视觉应用于智能交通系统是近儿年来的热点之一，计算机视觉技术在i t s 中的应用大致可分为两类，即车载处理系统和路边处理系统“。在车载处理系统中，摄像机被固定在车辆上，系统识别的目标为车道、前方其它车辆及障碍物、道路旁设立的各种交通标志或交通信号、司机的疲劳状态等。其中道路识别是车辆控制系统的基础。与道路相关的信息包括车道标线、车辆偏离车道中心的偏离程度、道路边界、道路情况。交通标志与信号则是指示司机行车操纵和提醒其注意安全的有效措施，对它们的识别将有助于实现车辆的自动驾驶。司机的驾驶疲劳是引发交通事故的一个重要因素，所以对其疲劳状态的检测也非常有意义。目前，基于图像处理技术的司机驾驶疲劳状态检测通常有两种方法，一种是利用人眨眼的频率与驾驶疲劳的关系对司机的脸中毋农、一p 大学博上论文第一章绪论部图像进行处理，以判断其是否处于疲劳状态。另一种方法是利用道路识别来检测车辆行驶，从而判断司机是否处于异常驾驶状态。对于路边处理系统来说，摄像机被固定于道路两旁或上方，系统检测和收集的信息包括交通流量、平均车速等有关实时交通状况的信息。图像处理技术可提供道路交叉口或公路的二维交通流量参数。车辆图像匹配或车辆牌照识别“i ”“1 则可用来动态估算道路区间的行车时间。另外，车辆牌照识别也广泛应用于停车场管理、违章车辆查处、不停车收费、不停车称重等多项i t s 应用领域。智能交通系统中的交通检测与信息采集已经成为计算机视觉技术应用的一项重要课题。基于视频的道路交通监测系统具有不破坏路面，检测范围火，安装使用灵活，维护费用低的特点，具有广阔的应用前景。它可以为智能交通系统提供如下的功能和数据：实时检测并跟踪所监视区域内的车辆，并记录其位置、行驶速度以及尺寸等信息；实时自动地统计并记录当前道路上车流的统计参数，例如车流量、平均车速、道路占有率、等待时间等，并对堵车等特殊的车流状况进行判读并及时反馈；实时检测所监视区域内的车辆有无违章行为( 包括乱停、越线、超速等) 和事故发生等，若有则报警并记录现场情况，为交通部门事后处理提供确凿的证据i自动识别感兴趣的车辆的车牌号码和车辆类型。其中，车辆的实时检测与跟踪是最基础的部分，其他的功能都是建立在车辆检测与跟踪算法的基础上的，它要求从摄像机所得到的图像序列中，检测有无运动车辆进入摄像机的视场，并且定位出运动车辆的位置，它属于运动目标的检测与跟踪的研究范围。运动目标的检测与跟踪研究人致可分为两类：( 1 ) 摄像头是固定的，只对视场内的运动目标进行跟踪。目前大多数目标跟踪算法研究的都是这种情况。( 2 ) 摄像头和跟踪的目标都是运动的。或者摄像头同安装它的主体( 如车辆) 同时运动，或者摄像头安装在可转动的云台上，随着运动目标移动，始终保持目标在图像的中心。本论文将主要对后一种情况进行讨论和研究。1 4 国内外研究现状1 4 1 运动目标检测方法对于动态图像中运动目标的检测主要有两种基本的方法：光流法和图像差法，下面对这两种方法分别予以介绍。1411 光流法对丁运动目标的检测最直接的想法就是分析图像序列中各点的运动场，即找出由空间运动而引起的缘平面上对应点的运动。在图像中可测的是图像幅熙度的变化，这种变化并不总是与物体中国农业人学博十论文第章绪论和摄像机问的相对运动对应的，并不完全反映实际的运动情况，称之为表观运动( a d p a r e n tm o t i o n ) 。所谓光流( o p t i c a lf l o w ) 是指亮度模式引起的表观运动”，光流场并不一定能反映物体的真实运动，但是在所处理的情况中，为简便起见，可以忽略表观运动和物体真实运动之间的差异用光流场来代替运动场，分析图像中的运动目标及其运动参数。求取光流场的方法可分为如下几类：基于时空梯度的计算方法它属于连续光流法，是运动估计和分析的极为重要的方法，它利用图像的时间序列关于时间r和空间( z ，y ) 的灰度变化来估计光流。设图像上的点 ，y ) 在时刻f 的幅照度为f ( x ，y ，t ) ，经过间隔r 后对应点为f ( x + 缸，y + z x y ，t + a t ) ，当f 寸0 时可以认为幅照度不变，于是有f ( x ，y ，f ) = f ( x + a x ，y + 6 y ，f + a t )( 1 一1 )由t a y l o r 展开， + 缸，y + a y ，f + 出) ：f ( x , y , t ) + 学缸+ 学匈+ 姜出+ s ( 1 - 2 )似o yo t忽略二阶无穷小，由于t o ，于是笪堕+ 翌立+ 堑：oa xd ta vd la l六u + 厂v v + z = 0( 卜3 )其中“：冬，v ：掣分别为x 和y 方向上的光流的分量。( 1 - 3 ) 式可以看成是u v 平面上的d fd t一条直线，要确定其解必须附加其他约束。目前较为通用的附加条件有如下三种“：a 光流是光滑的，即邻点处的光流相近。b光流在图像的某区域是恒定的。c光流是受限运动，如在平面上的平行运动。连续光流法的主要缺点是假设帧间目标的位移很小( 小于1 个像素) ，多数方法平滑了运动边缘，并且时间开销大。基于区域匹配的计算方法它属于离散光流法，是通过匹配帧间的特征来计算光流。其优点是可以计算出帧间大的视差，运动边缘不被模糊，并且当存在多个运动目标时比较适合。不足之处是它产生的光流场很稀疏，难于提取精确的目标边缘，而且目标中必须含有特征，特别是特征间的匹配对应问题尚有待解决。基于频率域的计算方法这种方法采用了g a b o r 变换，将问题变换到频率域讨论，通过设置具有不同时空中心频率的滤波器，得到不同的响应，从而确定光流值。基于光流场分析的方法可咀很精确的计算出运动目标的速度，但是它采用迭代的方法计算时间较长，无法进行实时的跟踪，并且该方法受噪声的影响比较大，因此它多适合丁- 矧像噪声比9中国权业人学情 论文第一章绪论较小，日标运动速度不犬的情况。1 4 1 2 图像差分法图像差法是一种很简单的运动分割方法。在实际应用中差分图像的获得有两种方法：其一是通过将当前顿和固定的背景帧相减得到差分图像，其二是利用相邻两帧之间的差来获得差分图像。第一种方法，由于背景是固定的，那么若外界条件有较为明显的变化，例如光照等条件发生变化时，当前的实际背景图像就会发生变化，从而获得的差分图像不是准确的噪声比较大所以这种方法仅适用于背景条件不变或者变化限制在一定范围内的情况。第二种方法，它只对运动的物体敏感，而且由于两帧图像的时间间隔较短，差分图像受光线变化的影响小，可以在定程度上跟随背景的变化，但是这种方法的缺点是检测出的区域会大于物体实际存在的区域，并且区域的大小与物体的运动速度有关。因此，通过不断地更新背景帧，采用当前帧与背景帧差分的方法是比较适用的。图像差分法的最大优点是计算量比较小，速度快，实时性好，实用价值大。1 4 2 运动目标跟踪方法目标跟踪是计算机视觉应用中最困难的任务之一。( 1 ) 在视频跟踪中给跟踪带来困难的第一个因素就是被跟踪的目标本身。目标在平面内也可能在平面外产生平移或旋转运动。另外，目标是否为刚体也对跟踪影响很大。目标在跟踪过程中可能不是始终保持同样的几何形状。( 2 ) 给视频跟踪带来困难的第二个因素是环境。一个原因是光照，如果进光量改变或有阴影，就会影响任何图像处理算法。另外一个环境因素就是遮挡，当被跟踪的目标运动到场景中的一个物体的后面时，会出现遮挡。( 3 ) 造成视频跟踪非常困难的第三个因素是摄像机。就象目标一样，摄像机也可以运动，摄像机的运动将引起目标咀及图像中的其它物体的运动。同时摄像机自身的光学参数也是可以改变的。目标跟踪方法大致可分为两类：基于识别的跟踪和基于运动的跟踪。1 4 2 1 基于识别的跟踪基于识别的跟踪，义有以f 几种方法：第一种跟踪方法是相关匹配法或称模板匹配法。这种方法简单，是在当前帧中寻找与上一帧中e l 标区域相关性最大的区域。相关匹配法在很多应用系统中被采用，一方面是因为它的简单性，另一方面当图像中目标特征不明显时，其它跟踪方法都失效，而这种方法还能继续运作，不过，由丁它利用图像间的灰度相关性作为区域相似性的判别依据，那么一丑连续帧间光照强度发生变化或者目标运动们姿态发生变化戏者噪声较人，对这种方法的影响都很人。第二种跟踪方法是基于模型的跟踪。该方法利用点、线、区域为被跟踪的目标拟合一个集台模型运动目标的跟踪变成了目标识别问题。与其它跟踪方法相比，基于模型的跟踪方法需要知道人鼙天下所要跟踪目标的先验知汉。第三种跟踪方法是基于特征的跟踪。在这类跟踪种，首先在一帧图像中选取一些特征，然后在以后各帧中利用一些约束条