（通信与信息系统专业论文）基于视觉的交通信息提取系统.pdf

、 浙江大学硕士学位论文 9 3 6 8 7 1 1 摘要 随着车辆，公路的增多，交通管理者越来越关注交通数据的分析和控制，以 此来达到交通通畅和减少交通事故的发生率。近年来，随着计算机硬件和计算机 塑堂技本的发展，基于视觉的銮适些型丕蕴成为现实。( 放置在公路上端的摄象机 所采集到的大量视频数据提供了许多交通参数，车流，车速，车间距，滞留时间 等。然而，由于实际交通环境的复杂性和计算机视觉技术本身所固有的难度，实 用的成功系统并不多。； + 本论文试图在总结各方面技术的基础上，以我所持有的视频数据为代表，设 计出一个成功系统。在设计过程中可能遇到的难点和问题都被提了出来，并给出 了解决方案或指出了可能的出路。 本文提出了以区域为主要特征，结合模型匹配的方法，利用区域特征比较稳 定的特性，并用模型来解决区域特征对拥挤，遮挡比较敏感的问题。同时利用三 维投影的几何性质，进行遮挡推理，比较有效的解决了拥挤遮挡的问题。文章还 提出了背景更新，阴影消除的算法，使系统在不同的光照环境下，都能很好的工 作，提高了系统的鲁棒性。 a b s t r a c t s i n c et h ei n c r e a s eo ft h ea u t o m o t i v ef i e l da n dt h em u l t i p l i c a t i o n so fr o a d sa n d h i g h w a y s i nt h ew o r l d ，r o a dm a n a g e r sh a v eb e e nm o r ea n dm o r ec o n c e r n e da b o u tt h e c o n t r o la n da n a l y s i so ft r a f f i cd a t ai no r d e rt od e c r e a s er i s k so fa c c i d e n t s i nr e c e n t y e a r s t h eu s i n go f v i s i o ns y s t e mi nt r a f i l ec o n t r o lh a sb e c o m e a r e a l i t ya n dt h i st h a n k s t ot h ed e v e l o p m e n to f c o m p u t e rh a r d w a r ea n d t h e t e c h n o l o g yo fc o m p u t e rv i s i o n t h e w e a l t ho fi n f o t i n a t i o nc o l l e c t e di nag l o b a l w a yb yav i d e oc a m e r ap l a c e do na s t r a t e g i cp o i n to f t h er o a dt r a 舔c e n a b l e st oh a v ea c c e s st ot h em a j o r i t yo ft h ed a t a t h a tc h a r a c t e r i z e st r a f f i c ，s u c ha st r a f f i c v o l u m e ，s p e e d ，v e h i c l eg a p ，o c c u p a n c y t i m e h o w e v e r , b e c a u s eo f t h ee x i s t i n g t e c h n i q u e sd i f f i c u l t i e sa n d t h ec o m p l e x i t y o ft h ee n v i r o n m e n t t h e r ea r ef e ws u c c e s s f u is y s t e m s b a s e do nt h ed a t af r o ma c o o p e r a t i v ep r o j e c t ，t h i s a r t i c l et r i e st ob u i l da s u c c e s s f u ls y s t e m a n da sa na i dt of u r t h e rs t u d y i ti l l u m i n a t e sa l lp o s s i b l ep r o b l e m s t h a tar e a ls y s t e mw o u l d e n c o u n t e r , p o i n t so u tt h es o l u t i o no r j u s tg i v eas u g g e s t i o n t h i sa r t i c l ep r o p o s e dam e t h o dw h i c hc o m b i n e dw i t i lt h er e g i o nc h a r a c t e ra n d m o d e l i n g r e g i o nh a sap r i o r i t yo f s t a b i l i z a t i o na n dm o d e l i n gc a ns o l v et h ep r o b l e m s o fo c c l u s i o n w i t ht h eh e l po ft h e o r yo f3 dp r o j e c t i o n o c c l u s i o nr e a s o n i n gc a nb e m a d ew h i c hi sa ne f f e c t i v es o l u t i o nt ot h ep r o b l e mo fc o n g e s t i o n t h ea r t i c l ea l s o p r o p o s e dt h ea l g o r i t h m so fb a c k g r o u n du p d a t i n ga n ds h a d ee l i m i n a t i o nw h i c he n a b l e t h es y s t e mw o r k e f f e c t i v e l yi nt h ed i f i e r e n te n v i r o n m e n t f l 赳j 靛壤cb g 浙江大学硕士学位论文 第一章绪论 1 1 交通监测系统概述 随着高速公路的出现和车速的加快，道路交通方面智能化管理的要求也越来 越高。交通部门希望对每时每刻的交通运行情况做监视，以用于输导车流，对流 量作统计分析，评估新建一条道路以缓解拥塞的必要；交警部门需要有交通事故 发生的现场资料，和对车辆速度监测，并跟踪记录违规超速的车辆；驾车人员希 望了解前方道路的拥塞程度，以便选择合适的流畅的道路。这些都促使交通管理 的智能化发展，正成为近年来新兴的研究的热点。 1 1 1 智能交通系统概述 随着社会经济的发展，人类对于交通的需求和依赖越来越重，而强大完善的 交通系统是现代社会发展的必要条件。于是越来越多的车辆，高速公路应运而生， 它给经济的发展和人类的生活带来了极大的方便，然而它的飞速发展也带来了许 多问题。由于人们对于交通的需求超过了现有交通系统的承受力，交通拥挤成了 一个很大的问题。许多交通事故都是因为拥挤造成的，而交通事故本身又导致了 拥挤程度的加深，这就形成了一个恶性循环。而拥挤问题不仅仅存在于高速公路 以及一些大城市，据统计5 6 的反复的交通高峰期的拥挤来自于一般公路，而 4 4 来自于高速公路系统。如何保证整个交通系统的顺畅，安全，对交通管理提 出了挑战。由于建造各种公路等物理设施的能力是有限的，所以建立智能化的交 通管理系统是解决交通拥挤问题的必要和妥善的方法。于是提出了智能交通系统 ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ，简称i t s ) 的概念。 i t s 的目标是应用现代的计算机和通讯技术来保障交通系统的顺畅运行，提 高安全性，改善空气质量等。i t s 包括了信息处理，通信，控制，电子等许多技 术。在这里，智能不仅表现在运用计算机，通信等技术，更包括知道在何处，如 何运用这些技术。这些技术涵盖了涉及范围极广的许多产品和服务，包括： 跨模式交通系统( “i n t e r m o d a l ”t r a n s p o r t a t i o ns y s t e m s ) ：它将方便乘客从 一种交通模式( 例如公路) 转换到另种交通模式( 例如铁路，空运等) 。 智能交通管理系统( i n t e l l i g e n t t r a f f i cc o n t r o ls y s t e m s ) ：它将自动调节车流， 减少车辆在道路顺畅时在红灯前停留的时间。 车内技术( i n v e h i c l et e c h n o l o g i e s ) ：例如乘客信息，路线导航系统，安 全系统等。 安全保护技术( s a l t ye n h a n c e m e n tt e c h n o l o g i e s ) ：例如智能巡航系统， 能够考虑到周围车辆所在的位置。 乘客咨询系统( t r a v e l e ra d v i s o r ys y s t e m s ) ：包括可变的信息标记和无线 。- ? 奎鲑 警女 瓣崩癫 浙江大学硕士学位论文 咨询通信系统。 i t s 的前景是极为光明的，交通事故和拥挤是我们生活中的沉重负担，降低 效率，浪费能源，丽i t s 能使人与物在一流的，跨模式的交通系统中更有效，更 安全的运行。 1 1 2 各种交通检测系统的比较 在i t s 中交通信息的提取是极其重要的一个环节，信息的提取是之后信息 处理的前提，所以说信息提取技术是i t s 的基础，而其中最重要同样也是最薄弱 的一个环节就是车辆检测。车辆检测技术包括提取车流量，车速，队列长度，车 辆转弯，违章行驶等交通参数。从5 0 年代开始，国内外就开始对这个问题进行 了探索和研究。传统的检测技术有一下几种： 使用埋设磁感应线圈的检测系统 目前的车辆检测系统很多都是基于这种方法的。它可以进行车辆计数，测定 车辆存在，直接测量车速。但是安装困难，也难以维护。产品举例m i d i a n e l e c t r o n i c s 的s e l fp o w e r e dv e h ic l ed e t e c t o r 。 超声波检测系统 超声波检测器传送的声音频率在2 5 i c h z 到5 0 k h z 之间。一部分被传送的 能量经过路面车辆表面的反射被接受端装置接受，以此来判断车辆存在或 经过。这种类型的检测系统可以进行车辆记数，检测车辆存在。它的优点 是结构紧凑，安装方便，但是容易受温度和大气扰动影响。产品举例 s u m it o m o 的s d u 一3 0 0 。 微波多普勒检测系统 它以恒定的频率来传送电磁波，根据多普勒原理，传送和接受信号间的频 率差异和车速存在一定的比例关系。因此通过检测这种频率差异来计算车 速。它可以检测车辆存在，检测车速，它的优点是适合各种气象，直接测速， 但是无法检测速度较慢的车和静止的车。产品举例m i c r o w a v es e n s o r s 的 t c 一2 0 。 被动红外检测系统 被动红外的检测系统能提供车辆存在，车辆数目等数据，但不能测定车速。 它用对能量敏感的光子检测仪来测定检测仪可测定范围内物体所发出的红 外能量。它的优点是雾天的穿透力非常远，但是在雨雪天，到达检测仪的 能量的差异将减小，因此不适合雨天和雪天。产品举例：e 1 t e c 的8 4 2 。 主动红外检测系统 它的检测原理和微波检测相似。目前，普遍使用激光二极管传送能量。通 过测定车辆通过两条红外光线的时间来获取车速数据。它的优点是雾天的 穿透力非常远，直接测速，但是其它天气的适应性差。产品举例：g r u m m a n 的t r a f f ics e n s o r j 。i，j 。，藩：魏魏交蕊如鑫甚鑫， 浙江大学硕士学位论文 现在已经存在的许多检测设备都是基于这些传统的技术，从上面的分析可以 看出，这些方法最大的缺陷在于，它们只能提供少量的信息，只能对车辆存在或 者不存在作出比较准确的判断，即“盲”判断。而对于速度，队列长度等参数则 需要通过多次检测车辆存在或车辆通过来获得，毫无疑问这将增加成本，也将降 低系统的可靠性。另外这些产品在成本，可维护性，可升级性方面存在着许多缺 陷。 随着计算机硬件技术和图象处理技术的飞速发展，基于视觉的交通检测系统 显示出了其蓬勃的生命力。通过对架设在公路上端的电子摄象机所采集到的视频 数据进行图象分析，从中提取车流，车速，队列长度，车道转换等一系列的交通 参数。相比于前面所提到的传统方法，监视的面积很大，信息丰富，能提供多种决 策信息只要求一台摄像机和处理机，硬件设备简单，维护方便性价比很高，全 寿命成本低升级容易。这些优点使基于机器视觉的交通视频理解成为近年来新 兴的研究的热点。 1 i 3 基于视觉的交通监测系统的发展 基于机器视觉的交通监视系统尤其在拥有高交通流量的地方受到不断的重 视。用机器视觉监视交通需要从视频数据中提炼出车辆的信息。通过在道路旁 的电线干或楼房上架设摄像机，就可以监视很大一片面积，并得到视频数据。 交通监视系统中的视觉部分，应该具有识别和描述车辆的功能。这种描述必须 含有足够的信息以方便高层次的决策部分作出较高级别的判断。比如说“第二 车道有辆轿车停下来了”、“第三车道出现交通事故”、“第四车道出现长3 0 米的 车队”等等。中央系统将根据这些判断描述做出分配临时车道和控制路口红绿 灯之类的决策。 由于机器视觉检测交通的许多优点，从7 0 年代开始，美国，曰本，法国， 澳大利亚，英国，比利时等许多国家就开始了机器视觉提取交通参数的研究。 h o o s e 和w i l l u m s e n 9 i 盈过计算和一条假设的直线重叠的车辆来统计车流， 在连续两帧内，如果重叠车辆的数目增加，则总的车辆数目增加。但这种方法 对假定直线的宽度比较敏感。k a t o e t a 1 0 l j l 蘸过检测车灯来确定隧道中的车辆， 如果在观测区域中，超过两次检测出某一对车灯，则认为有一辆车通过。 j s o h ，b z c h u n ，m w a n g 1 i l 提出用跟踪的方法统计车流，用水平边沿来检测车 轴。 1 9 8 4 年，m i n n e s o t a 大学开始了a u t o s c o p e 1 2 系统的研究，即大面积多点图 象检测系统，这个系统对自动背景更新，阴影，光线变化，反射，拥挤等进行 了较为成功的探索。 1 9 9 6 年新加坡政府丌始e r p 1 3 系统的研究，以求减缓商业区，交通高峰期 的拥挤情况。整个系统分为两个子系统a v i 系统( a u t o m a t i c v e h i c l ei d e n t i f i c a t i o n s y s t e m ) ，e c e 系统( e l e c t r o n i c c a m e r ae n f o r c e m e n ts y s t e m ) 。e c e 系统和a v i 系 一， 、淹j ；澎遍藏。蠢i 浙江大学硕士学位论文 统配合来记录那些没有合法牌号的车辆的车牌号。 清华大学的v i s a t r a m 1 4 系统利用摄象机通过两个s l i c e 窗来监视交通。 个s l i c e 窗垂直于车道，称为检测线，另一个平行于车道称跟踪线。通过分析 两幅2 d s t ( s p a t i o 。t e m p o r a l ) 图( p a n o r a m i cv i e wi m a g e ( p v i ) e p i p o l a rp l a n e i m a g e ( e p i ) ) 来获取车流车速等交通参数。 r e e d i n g 大学的s e c u r e 1 5 】系统利用放在运动车辆上的摄象机定位，识别， 跟踪多目标。根据地面上特征的帧间跟踪进行摄象机运动估计，运用模版相关 技术进行车辆检测。相比于固定摄象机技术，它能有效处理重叠的车辆，阴影， 雨天等情况，在缺少模型的情况下，也能恢复车辆的三维形式。 m a r y l a n d 大学利用了他们开发的实时操作系统m a r u t i 1 6 来对系统的各个 进程进行时间控制，到达最有效的资源分配。动态的创建和终止跟踪进程，能 使资源得到最优分配，从而在大量的图象帧内都能快速，实时的识别，跟踪多 辆车辆。 r h b a t a v i a d a p o m e r l e a u 和c e t h o r p e 1 7 1 运用基于光流的障碍检测算法 来检测出行驶在公路上的汽车驾驶员观测盲区的车辆。 j b a d e n a s 和f p i a 7 提出了利用区域跟踪进行分割的算法。不仅利用分割来 进行跟踪，同时利用跟踪来改善分割。这种方法使车辆轮廓在图象序列中趋于 稳定，并能纠正在分割中出现的错误。这种纠正避免了两帧之间突然出现和突 然消失某块区域的情况。 d n o l l ，m w e m e r 和w v s e e l e n 1 8 1 提出了基于模型和特征的方法，c e n e t 算法，进行车辆跟踪和分类。根据一个使目标函数最优的递推方程，通过不断 更新模型特征的位置建立模型与图象间的对应关系，也就是根据模型来决定物 体的位置。根据这种对应，利用一个分类器来决定物体是属于哪个类别的，把 c e n e t 算法运用到相继的帧序列中去进行跟踪。 m k i l g e r 1 9 提出的系统中运用了阴影分离算法，并且充分的运用了阴影的 形状。而阴影算法本身运用了场景的几何特性以及时间，日期等知识。该系统 采用分层的结构，由上层的决策来选择下层的算法。 r t a k t a k ，m d u f a u t ，和r h u s s o n 5 研究的系统中，其初始化阶段和其他不 同，完全实现了自动检测，获取背景信息，如车道，斑马线等，以及视觉系统 的定标。 加州大学b e r k e l e y 分校的研究人员在p a t h 项目中的交通参数提取的研究中 提出了基于主动轮廓 6 的跟踪和基于特征的跟踪 2 0 】。 在对空中摄取的道路图象进行车辆检测的研究中，r r u s k o n e ，l g u i g u e s 2 5 1 等对图象数据进行分层建模( 车辆，线条，m e t a l i n e ( 互_ 成某个角度的两条直线) ) ， 在这个模型上运用神经网络的方法进行车辆的识别v p a r a m e s w a r a n ， r b u r l i n a 2 6 等也提出了在a e r i a l 图中进行车辆记数和车辆形状检测的算法。 由于监视系统存在系统性能和输出参数精确性之间的矛盾，理想的情形当然 是实现系统的实时处理。c u r w e n 和b l a k e 在9 2 年用硬件( t r a n s p u t e r n e t w o r k ) 浙江大学硕士学位论文 实现了单目标的实时轮廓跟踪，而多目标的实时跟踪仅对单点获得了成功。 若可以获得监视路面的先验信息、目标信息及其运动信息，就可以在保证参 数精确性的同时提高系统性能。然而这些都要求用到车辆的形状模型和运动模 型，因而会降低系统的适用性。k o l l e r 等人在9 3 年给出了基于3 d 模型的跟踪 系统，它很精确但计算量太大。另个简单的基于模型的单目标跟踪系统在9 1 年被m a r s l i n 的人提出，这个系统速度较快，但精确性较低。 现实中，我们需要一个简单、速度快、鲁棒的实时跟踪系统，希望它能解决 以下常见的车辆跟踪问题： 由摄像机的角度或车辆拥挤引起的车辆遮挡问题。 车辆速度太快导致有用视频帧减少问题。 车辆速度太慢导致无法区分背景和运动目标问题。 车太大或太小，车颜色与背景相似引起的检测问题。 复杂背景和光照天气变化引起噪声和干扰问题 1 1 4 基于视觉的交通监测的相关技术 跟踪帮检灏方法分类： a 基于3 d 模型的跟踪和检测 在许多研究基于3 d 模型的跟踪和检测系统的小组中，最有影响的就属 k a r l s r u h 和r e a d i n g 【1 5 1 大学的了。 1 9 8 2 年，g e n n e r y 第一个跟踪三维物体的方法 4 l 】，b a k e r , s u l l i v a n 4 0 】 等采用姿态估计和车辆分类的方法初始化在三维场景中基于模型的跟踪。 d k o l l e r , k d a n i i l i d i s 和h h n a g e l 3 2 建立了一个参数化的模型用于帧间匹 配以及一个基于运动模型的递归的预测器进行运动估计。m h a g g 3 3 综合利 用边缘信息和光流估计以及背景知识来构建三维模型跟踪车辆。 这种方法强调在世界坐标系中重投影并对- d , 部分的汽车进行精确3 d 建模。它的弱点就是严重依赖物体的精确的几何模型，而要得到公路上所 有汽车的详细模型是不现实的。 b ，基于区域的跟踪和检测 这种方法的思想就是在图像中标示出一块连通的区域一块“斑点” 对应于每辆车并用互相关方法跟踪它。这种方法，区域检测是关键。主 要的处理过程从背景消除开始，通过采纳基于k a l m a n 自适应滤波器的背景 模型可使背景随天气和时间改变。将当前图像减去当前背景估计就可得到前 景物体( 汽车) ，即在差值图上找大于某个阈值的像素并由这些像素组成连 通块。 浙江大学硕士学位论文 s h u w e r 1 提出了一种综合计算帧间差异和当前帧与背景差异的算法。 而背景的更新只和帧间差异有关，即只更新那些通过帧间差异检测出的区 域，更新过程独立与背景相减过程。这种方法的检测成功率要高于那些只用 k a l m a n 滤波更新背景的算法。但是计算量比较大。 t i k e d a , s o h n a k a & m m i z o g u c h i 2 2 矛l j 用车辆形状是一个矩形的假设对 与背景相减的二值图进行分割，以解决车辆遮挡而形成的图象区域的重叠和 粘连。 另外利用地形学上分水岭的概念，运用到图象处理中，即所谓的分水岭 算法进行区域分割。【2 4 ，2 7 ，2 8 1 这个方法在一般的舒畅的交通道路上时非常不错的。但在下面两种情形 下，困难接踵而来。第一种就是汽车的阴影可能导致几辆分开的汽车形成了 一个连通的大斑块。这种情形下若利用颜色信息或阴影不可能有纹理的事实 可以得到一定程度的解决；更严重和难处理的是出现交通堵塞的情形，汽车 会互相遮挡而不是各自分开，这会使分割任务困难重重。这些车在前景图中 会形成一个大板块，导致车辆计数的减少。 c 基于主动轮廓的跟踪和检测 与基于区域的方法对应的是基于主动轮廓模型的跟踪检测法，即 s n a k e s 。该方法的思想就是做出对象轮廓的描述并不断更新它。采用主动轮 廓法的优势在于它能比区域法更减少计算复杂度。 b e r k e r l 的d ，k o l l e r ， j w e b e r 和j m a l i k 6 用基于灰度和运动边缘的 轮廓跟踪，在图象中车辆的轮廓可以用一个仿射的运动模型来描述。在估计 的模块中采用两个线形的k a l m a n 滤波器，一个估计运动参数，一个估计轮 廓。这个方法在比较通畅的路况下有比较好的效果。 但是，因阴影导致汽车连成一块及因遮挡而无法分开各目标的问题仍然 存在。如果刚开始能对每辆车勾勒出各自的轮廓，那么即使在以后出现遮挡， 我们仍可以很好的跟踪它，但难点是怎样才能在车辆刚进入检测区域时就勾 勒它们的完整轮廓。 d基于特征的跟踪和检测 最后，也是另种跟踪检测的方法，它抛弃了把物体作为一个整体来跟踪 的思想，相反，它检测跟踪的是物体上诸如突出点、线条( 比如车后保险杠， 挡风玻璃的拐角等) 之类的予特征。 b e r k e r l y 的d b e y m e r , r m c l a u c h l a n ，b c o i f m a n 和j m a l i k 2 0 主要针对比较 棚挤的情况，用角点作为特征从车驶入观测区域一直跟踪到驶出观测区域，然 后根据同刚体上特征点运动的一致性进行分组( g r o u p i n g ) 。 这种方法的优点体现在即使出现部分遮挡，运动物体的子特征也是可见的。 而用k a l m a n 滤波器跟踪特征点和特征线条的技术在计算机视觉领域已经发展的 浙江大学硕士学位论文 很成熟。由于一辆车可能有很多特征，新出现的难点是分组哪些特征是属 于同一车辆的。 基于视觉的交通监测系统属于运动视觉的范畴，下面将介绍一些关于计算机 视觉和运动视觉的理论。 1 2 计算机视觉的研究内容和核心问题 计算机视觉是计算机科学和人工智能研究领域的重要分支，计算机视觉的研 究目的：一是提供人类视觉的计算模型；二是利用计算机来设计与发展某种真实 的适度的视觉系统，并提供具有良好性能价格比的专用系统。前者是关于计算神 经科学的基础性研究，而后者往往涉及很强的应用性和工程性问题。本文所要研 究的系统就是一个工程的应用。 自然界存在着无数各种各样的物体，我们是通过看和观察才能知道在这个世 界究竟存在着什么。如果视觉是通过最终手段一“看”来了解世界，那么计算机 视觉的应用研究也是追求这同一目的。也就是说通过图象对客观物体建立明确而 有意义的描述。毫无疑问这是一个高度概括的定义。据统计，人所感知的外界信 息有8 0 以上是由视觉得到的，而在这些视觉数据中却含有大量的无关或者甚至 使人误解的偏差，并且数据本身不会显示出相应的相关性和不变性。但人类的视 觉系统，从视网膜到认知的各个阶段，却能以某种方式理解或整理这些杂乱无章 的视觉输入数据。因此从应用的角度来看，计算机视觉这一研究课题的内容是很 明确的：在物理学和光学的基础上，对一幅图象必须完成哪些处理? 如何表示和 利用客观世界模型和知识? 后一个问题自然地要求计算机视觉具有认知信息处 理的功能。 计算机视觉是通过对三维世界所感知的二维图象来研究和提取出三维景物 世界的物理结构。我们有必要对“图象”这个词给予确切的定义。图象是通过观 察( 更准确的说是感知) 一个景物所产生的一个二维函数，这个二维函数取决于 观察的几何学( 即景物和传感器之间的投影几何关系) ，景物的照明光源及其性 质，传感器的特性( 如焦距，频响和几何性质等) 。景物是组具有某种几何排 列并受到自然界物理定律所支配的若干三维物体，还包括辐射能量，它是景物图 象最基本的信息。在投影过程中，传感器将三维景物空间关系，物理性质及表面 反射特性综合成二维图象的狄度值，而这种变换是不可逆的也不是唯一的。视觉 过程作为成像过程的逆过程，其目的是要从带噪声，畸变的二维图象中恢复三维 场景的有关信息( 如形状，位置，运动等物理特性) 。但在图象的投影过程中， f j 可避免的要丢失一部分重要信息，正是丢失信息的恢复形成了计算机视觉研究 的核心问题一从景物图象或序列图象求出景物的精确的三维几何描述，并定量的 确定景物中物体的空间性质。 8 0 年代初，马尔( m a n - ) 提出了视觉的计算理论，这一理论把视觉过程看作 浙江大学硕士学位论文 一个信息处理过程，并把这一过程分为三个层次：( 1 ) 计算理论；( 2 ) 算法和数 据结构；( 3 ) 硬件实验。马尔理论强调了当时并不受人重视的计算理论的层次， 并在这一层次，把视觉过程主要地规定为定量地恢复出图象所反映的场景中三维 物体的形状和空间位置，以及将这一恢复过程分成三个阶段：( 1 ) 要素图：它包 含图象边缘灰度变化率，边缘的几何特征，或者纹理元的排列，描述等：( 2 ) 2 5 维图：它是要素图和三维图象模型之间的中间表示层次，包含物体表面的局部内 在特征；( 3 ) 三维图：以物体为中心的三维描述，它是由要素图和2 5 维图得到 的。马尔理论比较系统的和一般性的揭示了用二维图象恢复三维物体形态的可能 性和基本方法，具有划时代的意义，为计算机视觉成为一门学科奠定了重要的基 础。但是，马尔计算机视觉理论也存在不足之处，他将视觉处理过程分为相互独 立的单向过程，而视觉过程本身具有反馈机制。此外，马尔也没有考虑视觉处理 过程中不同层次的粒度问题。 1 0 多年来，马尔的计算机视觉理论成为计算机视觉研究的主流。在这一理论 的指导下，众多学者辛勤探索，s h a p ef r o mx ( 由图象的结构或非结构特征信 息恢复形状) 成为重要又带有普遍意义的热门课题。许多数学家和计算机科学工 作者相结合，在严格的理论分析，系统的误差分析等方面作了大量卓有成效的工 作。如提出了立体视觉中的外极线( e p i p o l a r ) 约束，运动分析的光流方程，视 觉系统的数据结构和各种并行算法，此外在硬件结构方面，也取得了令人注目的 成果。 但是，在解决从景物图象或序列图象求出景物的精确的三维几何描述并定量 的确定景物中物体的性质一“景物恢复问题”的实际应用中，马尔的视觉计算理 论遇到了困难。困难的起因在于：在解决诸如s h a p ef r o mx 等问题时，都隐含 假设分割问题已解决或者根本不存在分割问题。 图象分割是计算机视觉研究中的一个极为重要的基本内容，分割结果的优劣 影响着随后的图象分析，理解和景物恢复问题求解的正确与否。引入物体模型将 有助于分割，但是在大多数情况下并不知道场景中有什么物体，因而在初始分割 时很难应用模型知识约束和改进分割效果。综合利用图象几何结构与强度信息的 统计特性，采用并行自适应层次化网络模型是二维图象分割的一种较为有效的方 法。 早期的大多数图象分割方法依赖于图象中物体表面的强度特性，现在有不少 研究者已经开始利用深度信息和物体的三维模型以及成像过程来改进分割效果。 尽管图象分割这一步骤本身是病态的，二维的封闭区域的概念在三维空间已 不适用，但这并不排除在具体应用中，根据特定的环境需求，获得成功的图象分 割结果，特别是在一些二维图象处理与识别的应用中。另外，在视觉运用的许多 问题中，往往无需要精确的分割就能到达应用的目的。 初级视觉的研究在许多重大问题上已经取得了进展，但是在高层次视觉中符 号处理( 不同于计算机处理的符号) 和知识的利用收效甚微。从事计算机视觉研 究的学者都清楚这样一个事实：使机器模仿一个儿童来区分一幅图画中的人与物 ? 。：，。：渣莲。撼童翁揪i 、女 渐江大学硕士学位论文 体是极为困难的，但这对儿童来说却是一件相当简单的事。图画中各个组成部分 实际上都有着不同的属性。人的视觉系统可以迅速理解视觉辨认的复杂性，而丝 毫不显得费力。而在机器中，最复杂的程序在解决某些简单视觉问题时仍然困难 重重。从理论上说，投射到人眼视网膜上所形成的二维图象可以是许多三维景物 的投影。这就是说，由视觉感知任务提出的问题是一类“随机问题”：问题的求 解需要系统所有可能状态的知识，如人的视觉系统是如何在百分之一秒内将感知 到的图象理解成三维景物的；又是如何无需在意就将物体识别出来，即便它们是 相互遮掩的，或是在照明情况很差的条件下；我们能否制造出一部类似具有人的 视觉系统的能力的机器来完成某些视觉方面的任务。理解人的视觉感知机理能够 指导我们对计算机视觉系统进一步研究与发展。视觉生理学和心理学就是以揭示 人的这种视觉机理为主要研究目标。 建立机器视觉理论，需要我们深入的了解人的视觉的“认知”过程。但早期 的多数视觉研究工作大都集中于各种图象算子的研究和论证，忽视了诸如知识表 示，推理及知识库的构造，以及在不同模块融合时如何控制其不确定性等问题。 如果我们希望建造一个具有一定智能的视觉系统，必须依赖于视觉感知系统中各 种形式的基本知识。 大量的心理学和神经生物学的实验已经证实，人的视觉系统使用了不同暗示 并将它们组合起来获得景物信息进而理解三维世界，这就意味着一个用于视觉信 息处理的神经计算机系统中很可能需要包含许多模块，每一种模块能够实现一种 特定的暗示，并且根据视觉环境采用不同的加权将各种模块组合起来解决复杂的 视觉问题。这一结论表明，应当从信息的结合及利用多种约束条件和知识来研究 视觉系统。 我们知道，无论是生物还是机器感知系统，都需要构造一个现实世界的模型， 并用这个模型与物理世界发生作用。在构造这样一个模型的过程中，系统要用到 物理的知识，传感器的知识，和该系统所涉及的应用领域中的一般知识。从目前 的研究来看，初级视觉处理大多采用信号处理和统计推断的方法，利用具有普遍 意义的知识，如边缘，灰度，区域特征等。高层处理过程则要用到明确的物体模 型。图象理解中涉及到的知识有： ( 1 )环境包括光照： ( 2 )物体，包括几何特性和其他特性； ( 3 )不同表示之间的关系； ( 4 - ) 图象形成过程： ( 5 )算子在不同处理任务下的作用情况。 在多数的研究问题中，往往需要引入一些约束条件，如平滑性和物体的刚性。 这些条件仅在局限情况下是成立的，它们之所以被计算机视觉引用，主要是由于 其简单性和数学上的易解性。为了有效且稳定的实现对三维世界的恢复，必须用 几个层次表述所利用的信息。信息的表示是感知系统中最重要的问题之一。在物 浙江大学硕士学位论文 体表示层次中一般蕴涵着丰富的信息，并且允许不确定性和不完全性的存在，从 而能用来表示许许多多的差异不大的三维物体。仅使用基于抽象的特征来表示物 体或是使用多个视点的特征来表示物体，只适合于特定的环境和对象。基于若干 特征的表示方法过于抽象，无法表示物体之间的细微差别；而基于多个视点的表 示方法应该重视同一物体在多个视点下的内在自然关系。 感知的另一个目的就是要概括和推广过去的经验：同时，在需要时又能有效 的调用这些信息。因此为了合理有效的利用知识，在机器视觉系统中，应针对不 同任务使用结构化的表示方法。 特别是在近期的研究中，我们应结合某些具体应用的事例，分析识别对象的 性质和特点，把有关对象和工作环境的知识有效的体现在视觉系统的各个处理环 节中，并在必要的环节进行人机交互，就能部分的克服前面讨论的种种困难，从 而使视觉系统在更多的领域和场合得到应用，进步推动计算机视觉应用研究的 发展。 1 3 运动视觉的一些理论 运动视觉研究的是如何从变化着的场景的系列不同时刻的图象中，提取 出有关场景中的物体形状、位置和运动信息。这是生物视觉中最重要的一部分， 对生物的生存有着至关重要的作用。同样的，在计算机视觉中，运动视觉也是受 到特别重视的一部分，有着大量的研究和成果。 运动分析提供了有关3 1 3 景物结构的重要信息。在传感器与景物物体之间所 观测到的运动反映了景物的相对深度、3 d 表面或轮廓信息。如何实现图像序列 运动的定量分析与解释，存在着一些不同的方法。图像运动解释中的一个重要过 程涉及到其对应静止图像的离层次分析的内容，由此产生了“静止是基本的”与 “运动是基本的”两种观点。如果给定一组具有时变特性和时间相关信息的图像 序列，“静止是基本的”这一观点是将图像运动序列的分析问题作为一组不相关 多帧静止图像分析问题来解决，把运动理解退化为某种特征的匹配过程，而不考 虑图像序列的动态或时变特性。而“运动是基本的”这一观点认为，运动理解与 静止视觉有着本质的不同，这种观点试图对图像序列的动态特性或时变性质建模 并加以利用，也就是说首先应用图像序列的时空模型，其次才+ 是图像的静止性质。 例如，在运动目标识别问题中，利用运动信息来提取目标，往往比单纯依靠 图像的灰度特征更为容易，这说明了在序列图像的分柝问题中，虽然信息量大大 增加，但在某些应用的低层次处理中序列图像分析并不比静止单帧图像困难。“运 动是基本的”观点通常是建立在微分分析的基础上，因此这种模型一般被限制在 “小”运动的问题求解范围，并且往往用梯度信息来刻划像素或特征的时空变化， 这些处理涉及到图像平面上点的“速度”的确定。 “静止是基本的”似乎合乎自然规律，但是动物具有“运动是基本的”感知 系统仍然是合理的，人的视觉系统性能的例子可以用来证明这一观点，例如，人 j 。 二瓤蠡交攮盛盛；巍 浙江大学硕士学位论文 能自动本能地躲闪迎面而来的飞行物，采取这样的行动是先于对物体结构的分 析。 然而无论是“运动是基本的”还是“静止是基本的”，一个基本条件是需要 知道物体对应点或特征点在图像平面上的位置的信息。因此，在动态图像分析中 也需要解决对应点的匹配问题。在第六章已经讨论了立体视觉中同样的问题。事 实上，立体视觉可以看作一个静止的世界和摄像机获取图像位置移动的运动问 题。 目前，在运动视觉中对时变图像或动态图像的基本分析方法可分为两大类： ( 1 ) 利用在三维空间中物体运动所引起图像平面像素数据的紊乱性，建立 像素强度的时空变化关系，然后再估计物体的空间位置或运动参数。这类方法在 某些方面与人的视觉系统有着某种程度的相似，对于包含运动物体的图像分割是 相当有效的。 ( 2 ) 对由三维空间中运动物体投影到图像平面所得到的一组时变图像序 列，以二维的光流或相应的参考点的变化来表示，然后利用该表示模型由二维图 像数据推导( 或定量估计) 出运动物体的三维结构和物体与观察者之间的相对运 动参数。 1 3 1 运动图象的特征 运动图象分析经常指的是对传感器( 例如摄像机) 采集到的一组随时间变换 的图象进行内容分析。基本任务有：研究图象的运动特性，识别或跟踪运动目标。 图象的运动特性可以是图象中像元或图象特征单元随时间变化的特性，分析它的 变化以估计出运动物体的位移，速度，旋转，尺度变化等规律，进而预测目标物 体未来的位置和形状等，供目标的跟踪和识别。 般来说，序列图象中相邻两帧的时间间隔at 已知，而且可以相当小。物 体的惯性运动具有如下规律：物体在三维空间上连续运动，它在二维成像面上的 投影也是连续运动的，平滑的，无跳变。运动物体投影成的像表现在图像序列中， 有如下的约束： 最大位移限制 当前帧图像1 上某一像元p 相隔at 时间后，它的位移量不可能超过p 点为 中心半径为r 的领域内，即在下一帧图像2 中的位置p 落在p 点的领域内。 最大速度变化 当前帧图像l 中的像素点p 的速度若为v ，相隔a t 时间后，p 运动到下一 帧图像2 的点p7 ，则p7 点的速度v 与v 不应该相差太大，即大小变化不太 大，方向变化也不太大。 运动一致性 图像1 中某一物体上的一点p ，和同物体上这点领域中的每一点几乎是按同 浙江大学硕士学位论文 运动速度在运动。 对应一致性 当前帧图像1 中某物体上的每一点，在下帧图像2 中几乎可以找到对应点， 即在t 内，运动物体几乎都可以认为只是做平移运动，极少要考虑做转动运动。 1 3 2 运动图像处理发展现状 人们从七十年代开始关注序列图像的分析，对运动序列图像的分析方法可粗 略分为两大类：一种是基于灰度变化的方法，另一种是基于标记的方法。 基于灰度变化的方法又可以分为两类：一类是直接检测灰度的变化，再一类 是基于灰度的梯度，测量图像平面的速度场。 基于标记的方法是要检测出确定的标记，然后找出各帧标记得对应关系，这 是一个匹配的过程，根据匹配可求得位移场。常用的标记有特征点，特征线，特 征区域。它们往往能表征物体特点，定位物体。 具体地说，目前人们主要从以下的角度进行序列图像的分析： 1 基于灰度变化 假设物体在序列图像中的灰度不变，根据这个特性检测运动物体。人们在刚 开始研究序列图像时，主要研究这一方面。但它们有其局限性，如相减法的有效 性和物体的大小，物体数目有关，当物体很小时，数目很多时，特别是有遮挡的 情况下，相减法的效果很差。所以，一般这种方法只用在初分割中，或用在提供 不准确的运动信息。 2 光流的研究 光流的研究是近十多年来的研究热点，但是直没有进入实用阶段，主要原 因是光流计算的结果抗噪声性能差，结果不准确，特别是在多运动物体的边缘处。 但是光流量仍然是一个非常重要的运动量估计，它可用于运动结构的重建，指导 运动物体的分割。目前对光流的研究主要集中在两点：一是提高光流在边缘处的 准确性；二是基于光流值的运用，例如基于光流场估计物体的三维运动参数和结 构以及分割。 3 基于二维运动模型的方法 构建二维运动模型，在二维运动场上反映运动量，利用它指导分割时，无须 估计三维运动，也无须象光流值分析那样区域组织，它可以通过基于相似度测试 的统计方法实现，也就是说认为速度场是一个马尔可夫场。 4 基于三维运动模型的方法 图像中物体的二维运动是物体在现实空间中运动的反映，假如能从序列图像 中提取出真f 的三维运动的话，更能增强我们对图像的理解的真实性。由此出现 了在透视几何模型下研究三维速度场的方法，常称之为流场几何。 5 基于标记的方法 选用几何特征明显的元素作标记已经引起人们的重视，如用直线或曲线，这 浙江大学硕士学位论文 有助于求解对应性和提高匹配精度，只要找到标记得对应关系即可得到物体的运 动参数和轨迹线，值得注意的是得到的速度参数是离散的，不是一个稠密的速度 场，因此会有误差。目前对标记方法研究的重点是以下几个方面：一，标记的提 取，尽量提取有用标记，减少无意义标记；二，利用长序列跟踪标记，特别是对 区域的跟踪j 或多层次的跟踪，长序列图像比短序列图像更能抗噪声。为此出现 了不少新的研究方向，典型的有两个：其一，将一般的标记分析与标记的轨迹分 析相结合；其二，利用统计信号分析理论，特别是扩展卡尔曼滤波技术。 6 基于神经网络的方法 神经网络的方法可用于目标物体的分割以及识别过程。神经网络方法的关键 在于用什么特征矢量作为输入。 7 基于多