（模式识别与智能系统专业论文）车辆运动行为的视觉分析.pdf

摘要 摘要 中文摘要：运动目标的视觉行为分析是计算机视觉领域的一个重要方向， 而运动模式分析是运动目标的视觉行为分析的一个行之有效的重要方法。现有 的运动模式分析的方法都是依赖于已知的场景和事先定义好的运动行为模式。 我们希望能够针对不同的场景自动的构造出目标的运动行为模式。本文的主要 内容就是讲述在交通场景中如何通过跟踪车辆得到的轨迹，学习出有效的运动 行为模式，进而进行运动车辆的行为分析。在特定的场景中，大量的物体运动 的轨迹可以反应出这个场景中物体运动的行为方式。所以在本文的行为模式学 习算法中，分别根据运动车辆的轨迹的形状信息和车辆运动的速度信息对样本 轨迹进行学习分类，然后给每一个类别构造成一个连续的多高斯分布行为模式 模型，每个高斯分布的协方差通过这个类别的样本轨迹学习得到。基于这些学 习得到的行为模式的统计模型，我们进行了对车辆的行为的分析。文中对车辆 的行为分析主要集中三个方面：异常行为的检测、单个车辆的行为预测和两辆 车之间的撞车预测。我们分别在模型场景和一个真实的交通路口场景进行了实 验。实验结果显示了行为模式学习算法的有效性，异常检测、行为预测以及撞 车预测算法的比较好的性能。 关键字：运动模式，统计运动模式学习，行为分析，异常检测，行为预测， 撞车预测 ! ! ! ! i ! 垒! i ! 塑喳堕y ! ! 堕! 篁堂堕! ! ! 垒堕堂! y a b s t r a c t v i s u a la c t i v i t ya n a l y s i so fm o v i n go b j e c ti sa nj m p o r t a i l t a s p e c to fc o m p u t e r v i s u a l a n dm o t i o np a t t e 】1 l sb a s e da c t i v i t ya 1 1 a l y s i si sa 1 1e f i 如n v ea p p m a c hf o rv i s u a l a c l i v i t ya n a l y s i so f m o v i n go b j e c t c u r r e n t 印p r o a c h e sf o ra n a l y s i so f m o t i o np a t f e m s d e p e n do nk n o w ns c e n e s ，w h e r eo b j e c t sm o v ei np r e d g f i n e dw a y s i ti sh j g l l l y d e s i r 如l et oa u t o m a t i c a l l yc o n s 恤l c to b j e c tm o t i o np a t t e m s 也a ti e n e c tt 坨k n a w l e d g e o ft h es c e n e h lt l l i sp 印e r ，w ep r e s e l l tan e wm e m o df o ra u t o m a t i c a l l y1 e 删n g m o t i o np a t t e n l sf o ra n o m a l yd e t e c t i o n ，b c h a v i o rp r e d i c t i o no fs i n 9 1 eo b j e c ta i l d a c c i d tp r e d i c t i o n h lat r a 历cs c e n e ，w ec a i lo b t a i nt h em o t i o np a t t e m so fo b j e c t t h e r e 丘o mal o to fm o v i n go b j e c tt r a j e c t o r i e s t h u s ，i nm ea l g o n t h mf o rl e a m i n g m o t i o np a t t e r n s ，t r 萄e c t o r i e sa r ec l u s t e r e dh i e r a r c h i c “1 yu s 证g & h a p ei n f 0 蕊a 矗o na n d v e l o c i t yi n f b h n a _ 亡i o n ，a n d 廿1 e ne a c hm o t i o np a t t e r ni sr 印r e s e n t e dw i ma 咖b c ro f g a u s s i a nd i s t r ：m u t i o n si 1 1w 1 1 i c h s t a n d a r dd e v i a t i o n sa r ed e r i v e df o mn l 。s 锄p l e t r a i e c t o r i e s b a s e do nt 1 1 e1 e a 玎1 e ds t a d s t i c a im o t i o np a t t e m s ，s t a t i s t i c a 王m e m o d sa r e u s e dt od e t e c ta n o m a l i e s ，p r e d i c tb e h a v i o r sa n da c c i d c n t s t h ep r o p o s e da l 鲥t h m s a r et e s t e du s i n gi m a g es e q u e n c e sa c q u i r 甜r e 印e c t i v e l yf r o mac r o w d e d 仃a m cs c e n e a 1 1 dam o d e lt r a m cs c e l l e e x p 嘶m e i l t a l r e s u l t ss h o wm ee 伍c i e n c yo 九h ea l g o r i t l l m f o rl e 锄i n gm o t i o np a t t e m s ，a n dt l l ec c o u r a g i n gp e - o m a l l c eo fa l g o r i t h m sf o r a i l o m a l yd e t e c t i o n ，b e h a v i o rp r e d i c d o na n da c c j d e n tp r e d i c t i o n k e y w o r d s ：m o t i o np a t t e m s ，l e a r n i n g s t a t i s t i c a lm o t i o np a t t 啪s ，a c t i v i t y a n a l y s i s ，a n o m a l yd e t e c t i o n ，b e h a v i o rp r e d i c t i o n ，a c c i d e n tp r e d i c t i o n ， n 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知， ：除了文中特别加以标注和致谢的地方外，论文中不包含其他入已经发表或撰写过的研究成果。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢意。 签名： 璃! 壹鳋日期：型上旦乒 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：中国科学院自 动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅；可以公布论文的全部或部分内 容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：二阻导师签名： 第一章绪论 1 1问题描述 第一章绪论 运动目标的视觉行为分析是计算机视觉领域中近年来备受关注的前沿研究 方向。它以摄像机拍摄得到的包含运动目标的序列图像为研究对象，以运动目 标的行为分析和理解为研究目的，对序列图像中的运动目标进行运动检测、识 别、跟踪和行为理解。行为理解是运动目标的视觉行为分析的根本目的之一， 是我们试图让计算机“睁眼看世界”的一个重要途径。行为理解主要涉及目标 行为的表示、行为模式学习和行为的语义理解等几个方面。 在本文中，我们的研究对象具体到特定交通场景中的车辆，用目标跟踪得 到的车辆轨迹来表征车辆的运动行为，希望通过分析这些车辆运动轨迹来分析 车辆的运动行为，进而试图预测理解这些行为，检测异常行为。在交通场景中， 车辆的运动是刚体运动，在不考虑车辆之间的相互影响的情况下，我们可以直 接用车辆运动的轨迹来表示车辆的运动行为。当然，如果是对两辆车或者多辆 车进行运动分析，就需要考虑车辆的大小和体积等特征了。为了简化问题，在 本文中我们侧重于只分析车辆的运动轨迹。所以，我们研究的问题就是如何利 用跟踪得到的车辆运动轨迹来分析车辆的运动行为。 1 2 研究意义 运动目标的行为分析是计算机视觉领域中当前最具挑战性的科学问题之 一，它在计算机视觉理论研究以及人工智能层次上有着很高的研究价值。运动 目标的行为分析是一个系统性的研究工作，它涉及到计算机视觉中的很多基本 问题。例如，如果采用运动轨迹表示运动行为的话，就要涉及运动检测和分割、 目标定位和识别和目标跟踪等问题；而行为分析和理解又涉及特征组合、机器 学习、统计建模和语义理解等问题。运动目标的行为分析的很多研究成果可以 借鉴到其它领域，从而对计算机视觉的整体研究工作产生积极的推动作用。本 文研究运动目标的行为分析，运动目标行为模式的学习与理解是运动目标行为 分析中的核心问题。目标的运动行为模式是目标运动行为的统计模型，一个合 理的模型可以很好的代表目标的运动行为。只有建立起好的目标运动行为模式， 刊能准确有效地分析目标的运动行为，分析目标行为是否异常等。因此，我们 通过这种方式来研究目标的运动行为是具有重要的理论意义的。 从应用上看，运动目标的行为理解是计算机视觉走向应用的关键问题。虽 然离替代人理解运动目标的行为还有很长一段距离，但是对于某些特定的情况 的一些应用还是可以逐步实现的。 在智能视觉监控方面，运动目标的行为分析是视觉监控的智能化的重要途 径。监控摄像机已经非常普及，机场、社区大厦、银行、商店等安全敏感的场 合都装上了监控摄像机，但目前监控摄像机存在着智能化程度低、内容处理能 力不强，大多派专人查看。这样不仅需要投入大量物人力物力资源，而且由于 人的精力和注意力毕竟有限，在高强度的工作环境下往往会出现疏漏，从而不 能及时对异常情况做出反应。为了解决这些问题，有一些场景中也使用了摄像 机的录制功能，事后人工观察的手段来进行管理，但是这种做法还是需要大量 的人工辅助工作，而且无法实时、准确地对异常情况做出反应。智能视觉监控 迫切需要计算机能够通过对摄像机拍录的图像序列自动进行分析，对异常情况 给出实时反应。要计算机能够对异常事件进行报警，就需要计算机能够自动地 实时分析动态场景中运动目标的行为，并且理解这些运动目标的行为，进而做 出判断，区分哪些运动行为是正常的，哪些运动行为是异常的。 在视频管理和检索方面，运动目标的行为分析也有着潜在的应用价值。多 媒体信息中，动念视频作为一种重要的形式，其表达、处理及管理有其自己的 特点。一方面，动态视频中含有更为丰富的信息内容，另一方面，由于视频数 据的信息量巨大，结构复杂，对其进行有效的管理和方便的检索存在着很大的 困难。与其它媒体相比，视频数据中包含了大量的运动信息。这些运动信息是 表现视频数据内容的重要线索。提取、存储、分析视频中的运动特征，并用来 分析运动目标的行为，是基于内容的视频检索研究的发展趋势。特别是对监控 视频而言，场景固定，运动目标比较单一，目标的运动行为包含视频的绝大部 分信息量。运动目标的行为分析在计算机视觉理论研究以及人工智能层次上也 有很高的研究价值。运动目标的行为分析是一个系统性的研究工作，它涉及到 计算机视觉中的很多基本问题。例如，如果采用运动轨迹表示运动行为的话， 就要涉及运动检测和分割、目标定位和识别和目标跟踪等问题；而行为分析和 2 第一章绪论 理解又涉及特征组合、机器学习、统计建模和语义理解等问题。运动目标的行 为分析的很多研究成果可以被其它领域借鉴，从而对计算机视觉的整体研究工 作产生积极的推动作用。 1 3 研究现状 目标跟踪是目标运动行为的视觉分析和理解的研究基础。因为目标运动行 为的视觉信息的获得是通过目标跟踪得到的，所以在介绍目标运动行为分析和 理解的研究现状之前，我们先简要介绍一下目标跟踪的研究现状。 1 3 1目标跟踪 目标跟踪等价于在视频的连续的帧之间创建基于位置、速度、形状、纹理、 色彩等有关特征的对应匹配问题。目前常用的数学工具有卡尔曼滤波( k a l m a i l f i l t e r i n g ) 【1 、c o n d e n s a t i o n 算法 2 ，3 、动态贝叶斯网络( d ”枷i cb a y e s i a l l n e t w o r k ) 4 】和测地线【5 ，6 等。大体上，跟踪算法根据目标运动空间信息尺度上 的不同以及后续运动视觉分析要求的不同可以分为两大类：二维跟踪和三维跟 踪。 1 3 11 二维跟踪 二维跟踪只涉及目标在序列图像中的信息，不关心目标在真实世界的情况， 所以计算量相对较小。但是由于图像是真实世界在平面上的投影，所以不可避 免的会损失一些信息，这也就增加了跟踪一个目标的难度( 因为目标不会是视 点不变的了) 。早期人们只根据运动区域的变化情况进行跟踪。例如，w r e n 等 【7 利用了小区域特征进行了室内的单人的跟踪。m c k e n n a 等 8 在区域、人、人 群三个抽象级别上执行跟踪过程，区域可以合并和分离。美国联邦高速公路管 理委员会资助美国喷气动力实验室负责进行的c m sm o b i l i z e r 系统 9 】和美国伯 克利大学计算机系的p a t h 系统 1 0 实现了基于区域的车辆的跟踪。这种方法 应用于目标较少的场( 如车辆较少的高速公路) 会取得很好的效果，但是很难处 理目标之间的遮挡问题，不能适应复杂的监控目标的需要。 车辆运动行为的视觉分析 由于区域的变化实际上只是局限于在运动检测的结果上，不能更精确的表 示目标，所以人们又提出了利用封闭的曲线轮廓( 主动轮廓) 来表达运动目标 的边界，并且自动、连续地更新该轮廓 1 l 】。p a r a g i o s 等【1 2 】利用短程线的活动 轮廓、结合水平集合理论在图像序列中检测跟踪多个运动目标；p e t c r f r c l h l d 1 3 采用基于k a l m a n 滤波的活动轮廓来跟踪非刚性的运动物体；i s a r d 等 1 4 利用 随机微分方程去描述复杂的运动模型，并与变形模板相结合应用于人的跟踪。 m a l i k 等 1 5 成功地将基于活动轮廓的方法应用到车辆跟踪上。这种跟踪方法比 前面的方法对目标物体的描述更加简单和有效。既使在有部分遮挡和干扰的情 况下也能连续地进行目标跟踪。但是主动轮廓方法对初始值很敏感，在开始跟 踪的时候如何自动选择一个好的初始值是非常困难的问题。 主动轮廓跟踪只是利用目标图像的外围曲线信息，实际上还有很多目标的 特征信息可以被利用，比如：颜色 1 6 j 、质心、曲线段、焦点 1 7 】和各特征之间 的几何关系 1 8 】等。例如，j a n g 等【1 9 利用区域的形状、纹理、色彩和边缘特征 信息建立了活动模板，结合k a i m a n 滤波的方法，完成运动目标的跟踪。一般来 讲，基于特征的跟踪方法的优点在于：它是针对二维图像平面进行操作，算法 相对简单，速度较快，因此适用于实时性要求很高、目标很多的情况，例如繁 忙的高速公路等。该方法还可以利用目标局部特缸或相关图来解决部分遮挡问 题。但是这种方法由于透视成像过程中的非线性失真，以及图像随视点变化的 原因，使得目标的识别难以得到较高的识别率，并且无法提取目标的三维空间 姿态信息。 1 3 1 2 三维跟踪 三维跟踪需要解决的一个重要问题是如何从视频中恢复得到目标的三维运 动信息。最普通的想法是通过三维重建恢复得到场景的所有三维信息，但是这 种方法计算量太大，对于单个摄像机也无法实现。所以现有的一些算法，要么 是利用先验知识给运动目标构造模型【2 0 2 5 ，要么是通过训练样本先学习出目 标的有代表性的运动姿态集合( 例子集) 3 0 3 2 】。利用这些构造或者学习得来 的三维模型或者姿态在地平面的约束条件下投影到图像平面与目标进行比较， 这样就避免了从图像平面恢复物体三维姿态的难题。 对人体而一般来说，其模型通常有如下四种表达方法：骨架模型、二维轮 4 第一章绪论 廓、体积模型和组合模型( 2 02 2 。对于车辆而言，用得较多的则是三维线框模 型 2 3 2 5 。运动模型被广泛应用到目标跟踪中，运动模型作为先验知识被用来 预测运动参数和减小搜索空间【2 6 ，2 7 。z h a o 2 6 学习得到一个高度结构化的运动 模型在最小描述长度框架里跟踪芭蕾动作。s i d e n b l a d l l 等【2 7 川奄非常流行的多元 的主元分析方法用于训练行走模型。目标姿态的估计通常要采用一些搜索策略 来减小搜索范围。常用的有四种搜索策略：动力学方法、泰勒模型、k a i m a j l 滤 波和随机采样 2 8 ，2 9 。t o y 帅a 等【3 0 采用混合度量空间的方法，将基于例子的 方法并入到概率框架下，并应用于人体和嘴唇的跟踪。m o r i 等【3 1 将例子中人 体各个关节的位置手工标记，然后将图像与例子进行匹配，匹配过程中使用可 变形的人体连接模型和基于形状的匹配方法。s u l l i v a n 等 3 2 的方法与【3 1 】类似， 不过在匹配例子与图像时，寻找形状间的对应点来计算相似度。基于例子的跟 踪绕过了人体几何模型的构造和模型状态的初始化的难点，而例子在一定程度 又起了模型的作用。 总之，三维跟踪的算法利用了运动目标物体的三维轮廓知识，本质上拥有 较强的鲁棒性与准确性，所以在遮挡和干扰的情况下也能够获得比较好的效果。 并且能够精确的计算出多目标之间的距离，这对于复杂场景中多目标的行为分 析是十分有利的。但是三维跟踪也有自己的缺点，如需要建立目标三维模型、 模型不可重复使用和计算量较大等。 1 3 2目标运动行为的分析和理解 运动目标的行为分析和理解是指对运动目标的行为进行行为分析和行为识 别。行为分析和理解可以简单地认为是对时变数据进行分类的分类问题，即将 测试序列与预先标定的代表典型行为的参考序列进行比较匹配，得到最相似的 类别。由此可见，行为分析和理解的关键问题是如何从学习样本中获取参考行 为序列，并且学习和匹配的行为序列必须能够处理在相似运动模式类别中的空 间和时间尺度上轻微的特征变化。从样本中学习得到参考行为序列的方法主要 有两大类：有监督的行为学习方法和无监督的行为学习方法。下面我们分别进 行介绍。 5 车辆运动行为的视觉分析 1 3 21 有监督的学习方法 有监督的行为学习方法是在事先确定行为模式的模型的情况下，运用训练 样本对行为模式模型进行训练学习行为模式的方法。由于有模型的指导，般 学习速度较快。如果模型合适，这类方法般能得到比较好的学习结果；但是 如果模型不合适，就很可能得不到任何有效的结果。所以对于分析和识别简单 的行为，这类方法很实用。它一般包括下面几种算法： ( 1 ) 主成分分析p c a ( p r i n c i p a l c o m p o n e n t a n a l y s i s ) 。p c a 是一种用于目标行 为识别的统计学方法。y a c o o b 等【3 3 用p c a 学习出大量的样本动作的行为模式。 ( 2 ) 动态时间规整d t w ( d y n a m i ct i m ew a r p i n g ) 。d t w 具有概念简单、算 法鲁棒等优点，可以用于匹配人的运动模式【3 4 ，3 5 】。例如：b o b i c k 等【3 5 】利用 d 1 、w 实现输入信号与确定性状态序列的匹配。对d t w 而言，既使测试序列模 式与参考序列模式的时间尺度不能完全一致，只要时间次序约束存在。它仍能 较好地完成测试序列和参考序列之间的模式匹配。 ( 3 ) 有限状念机f s m ( f i n i t es t a t em a c h i n e ) 。f s m 最大的特点是有一个状态 转移函数，它可以确定最佳状态，并用该状态确定测试序列与参考序列是否匹 配。w i l s o n 等f 3 6 】研究了自然姿态的外在结构，这结构即是通过与无学习介入 的有限状态机相等价的方法实现的。目标行为的状态机表达也被用于更高层的 描述中 3 7 】。b r e m o n d 等【3 8 用手工确定性有限状态机实现空中监控的情节识别。 ( 4 ) 隐马尔可夫模型h m m s ( h i d d e nm a r k o vm o d e l s ) 。蹦m s 的使用涉及到 训练和分类两个阶段，训练阶段包括指定一个隐马尔克夫模型的隐藏状态数， 并且优化相应的状态转换和输出概率以便于产生的输出符号与在特定的运动类 别之内所观察到的图像特征相匹配。匹配阶段涉及到一个特定的 m 【m 可能产 生相应于所观察图像特征的测试符号序列的概率计算。h m m s 被广泛地应用于 行为识别中。s t a m e r 等 3 9 提出了一个基于h m m 的手语识别方法。0 l i v e r 等 4 0 提出并比较了两个不同的基于状态的、用于人的行为与交互作用建模的学习机 制：h m m s 和c h m m s ( c o u p l e dh i d d e nm a r k o vm o d e l s ) 。b r a n d 等 4 1 指出：通 过最小化联合分布的熵，h m m 的内部状态机可以将已产生的行为组织成有意义 的状态，这项技术可以应用于视频监视和注释和异常行为检测。 ( 5 ) 变长马尔可夫模型v l m m s ( v a r i a b l el e n 甜hm a r k o vm o d e i s ) 。和h m m s 6 第一章绪论 不同的是，v i m m s 可以学习变长时间量度的行为。g a l a t a 4 2 提出了一种自动 获得行为的随机模型的方法。变长马尔可夫模型可以很好的学习目标的行为。 ( 6 ) 时延神经网络t d n n ( t j m e d e l 8 y n e u r a ln e t w o r k ) 。t d n n 是一种分析时 变数据的有趣的方法。在t d n n 中延时单元加入到个普通的静态神经网络 中，一些时变序列的前馈值被用来预测下一个值。t d n n 被成功地应用于手势 识别 4 3 和嘴唇动作识别 4 4 。 ( 7 ) 句法技术。机器视觉中的句法方法多数都是在静态图像模式识别中得到 了研究。最近这种文法方法被用来实现视觉行为的识别。b r a i l d f 4 5 1 使用一种简 单的非概率文法来识别离散事件序列。i v a l l o v 等 4 6 描述了一种概率句法方法用 于时间扩展行为和多目标交互作用的检测与识别。 ( 8 ) 非确定性状态自动机n f a ( n 0 n d e t e 肌1 n i s t i cf i i i i t ea u t o m a t o n ) 。m 璩能 满足即时性和抽象非决定性。w a d a 等【4 7 使用n f a 作为序列分析器，提出了一 个全新的基于事件驱动选择注意机制的多目标行为识别方法。 1 3 2 2 无监督的学习方法 无监督的行为学习方法是指在没有任何先验知识的情况下对训练样本进行 学习，自动得到目标的运动行为模式。很显然这类方法的适用范围更广，也更 适合我们对一些缺少先验知识的场景中的运动目标进行学习。 无任何时，目标在场景中的运动都不是随机的，都通常遵循着一种特定的 运动模式。所以我们可以先学习运动模式，然后通过这些运动模式来检测异常 行为和预测未来行为。现有的跟踪系统预先设定跟踪轨迹分类的类别数目，然 后分析得到的运动行为模式。例如，c 0 1 1 i n s 等【5 2 把检测的目标分成这样几个语 义类别：行人、人群和车辆。更进一步把罩面的行人按不同的行为分成：行走 的行人和奔跑的行人。d a v i s 等 5 3 给出了一系列行为的建模和识别，比如：行 走、疾走、直线行走和行走中踢球。 然而，在大多数应用中，目标的运动模式不是都能简单的事先定义好的。 更好的方法就是不借助先验知识，只通过对场景中的连续序列进行学习，自动 的构建目标的运动行为模式。虽然自动的构建运动行为模式是比较新的紧迫的 研究课题，大家对这个问题已经做出了一些尝试性的研究。 7 j o h n s o n 等 4 8 从对图片序列跟踪得到的目标运动轨迹中学习出概率密度模 型。他们把一个目标的运动行为描述成连续的向量流，其中每个向量包含着表 示目标位置信息和速度信息的四个元素，位置信息的两个元素是图像坐标的二 维坐标，速度信息的两个元素也是图像坐标表示的。目标轨迹的行为模式是由 两个连接着弱神经元的竞争学习神经网络组成的，每个神经网络都是使用矢量 量化学习算法。j o h n s o n 等 5 4 对 4 8 中的模型进行了一个增强的补充，它增加 一个学习预测框架，把预测结果和原结果进行配准增强了扩展适应能力。在 他们的工作中，行为模式的数目是事先设定的，不是估计得到的，也没有使用 得到的概率模型来进行运动行为的异常检测和行为预测。而且，每个输入样本 的特征只对网络权值的调整提供一次贡献，没有提供一种反复学习所有样本向 量的迭代的批处理的方法，特别是学习可以在离线的状态下进行，可以不用考 虑批处理给监控系统增加的负担。 s t a u f r e r 等 5 5 基于对且标的实时跟踪学习目标的运动行为模式。这种方法 提出创建一个用于对跟踪得到的轨迹的位置矢量进行在线的矢量量化的表。在 这张表中，一个图像序列中的多条目标轨迹表示成相对应的多个子集合，通过 这张表计算出联合共生统计量。晟后，使用这些计算得到的共生数据进行层次 分类。在s t 跚行e r 的工作中，轨迹中连续的位置之间的关系没有从联合共生统计 量里面体现出来。他没有明确地给出如何运用这些运动模式来检测异常的方法， 也没有提及如何进行运动行为的预测。 s 啪p t e r 等 4 9 】提出了一种新颖的针对图像序列中的运动目标学习出长期的 目标时空模式的方法，并且使用神经网络模型通过这些运动模式来预测未来行 为。他们保留了文献 4 8 中第一层网络和第二层网络的输入向量部分，引入了对 第二层网络的给出有效的运动行为预测的反馈。这个想法是他们最先提出的， 但是输入向量的数目和第二层神经网络的输出神经元数目保持和向量流的数目 相同，所以一旦输入样本增多，神经网络的规模就会增大，学习算法的效率就 不可避免的降低了。而且，这种神经网络的结构不能用来检测出异常的行为。 o w e n s 等 5 0 提出了一种通过使用向量流的分布决定轨迹中的一个点是否 异常的方法。他们没有给出轨迹的运动模式的描述，所以既不能识别轨迹代表 的运动行为也不能预测这些行为。 b e n n e w i t z 等【5 6 提出了一种通过对红外线探测器收集的行人的数据使用期 第一章绪论 望最大化( e m ) 算法进行聚类来学习运动模式的方法。在向量聚类结果的基础上， 进行隐马尔科夫模型( h m m ) 学习。通过行为模式对应的学习好的h m m 可以用 来预测行人的位置。在这个方法中，使用了线性插值的方法来保证所有的输入 样本的轨迹的长度相同，以便直接用来运动行为模式学习。为了使插值后的轨 迹的长度一样，线性插值采用了等距离间隔采样来进行插值逼近，保留了轨迹 晕的点的时间序列信息。但是我们认为样本轨迹的等时间问隔采样能更好的反 映轨迹的特性，能更好的学习出运动模式。并且，不同的模式的所有位置有相 同的方差的高斯模型分布的假设不能很好的体现出运动模式的分布特性。他们 使用运动模式来跟踪行人，但是没有进行考虑异常情况，也没有考虑长时问的 行为预测。用来验证算法的测试样本很少。 1 4 本文框架 智能视觉监控是计算机视觉研究的一个重要方向【5 1 】。视觉监控系统的一个 最重要的目的分析目标的运动行为，进而检测异常行为，预测目标的未来行为， 特别是在潜在的异常事件将要发生时预测出异常的可能，来避免异常事件可能 带来的危险。利用学习目标的运动行为模式来分析目标的运动行为是我们进行 运动行为分析的一个重要途径。然而，在当今计算机视觉领域里，在没有任何 先验知识的前提下对运动目标进行运动行为模式的学习是一个难以解决的问 题。但是，如果给出一系列目标的运动轨迹，我们就能够通过学习并且运用统 计学理论自动构建目标运动行为模式，这些目标运动行为模式就可以被进一步 用来分 豳l 视觉行为分析的基本框架 9 一一 兰塑运塾堑垄塑塑堂坌堑 在本文中，我们提出了一种对目标的运动行为进行分析和理解的系统框架 ( 如图1 ) 。它主要由三个模块组成：多目标跟踪，运动行为模式学习和运动行 为分析与理解( 包括异常行为检测、未来行为预测、撞车预测等方面) 。首先我 们通过对一个场景一段时间的目标跟踪得到目标的运动轨迹，也就是用来进行 运动行为模式学习的样本数据；然后对这些样本进行无监督学习，建立运动行 为模式模型；再依靠这些模型并结合当前跟踪结果，分析和理解当前目标的行 为。 1 4 1论文主要内容 本文的重点进行上一节提出的视觉行为分析的基本框架中的目标运动行为 模式学习和目标运动行为分析与理解这两个模块。其中目标运动行为分析和理 解模块我们主要选取两个部分介绍，一个是单个车辆的基础行为分析，即异常 检测和行为预测：另一个是多辆车之间交互行为分析的一个尝试，即撞车预测 分析。 由于目标跟踪是研究的基础，所以我们根据实际情况选用合适的跟踪算法 来得到我们需要的样本轨迹。例如，在目标的运动行为模式学习、异常检测和 行为预测的介绍中的进行的实验的样本数据是选用基于特征的二维跟踪算法得 到的，主要是考虑到真实场景的多目标复杂情况、以及实时跟踪的要求：在撞 车行为的预测中的实验考虑到模型场景相对简单，对车辆的具体位置信息要求 比较高，就选用了基于3 d 线框模型的三维跟踪算法来获得样本轨迹。 在获得了一定数量的目标运动轨迹之后，就可以对目标的行为进行学习和 分析了。因为大多数场景里目标的运动行为都不是简单单一的，所以它们的行 为模式都不可能直接用一种模型训练得出。针对这种情况，我们把行为模式学 习分成两步进行。首先是行为聚类，把相似的运动行为分作一类，然后进行行 为建模，给同一类别中的运动行为建立统一的行为模式模型。经过行为聚类以 后，在同一类别中的行为样本相差不大，他们的整体信息比较好的表示了这类 行为的情况。我们利用和样本行为相同的表示形式，并且在这种形式的基础上 分别给每个相关部分建立统计模型，这样建立出整个行为模式的统计模型。这 个统计模型具有直观、表示能力强等特点。 1 0 第一章绪论 接着，我们在已知行为模式统计模型的基础上，提出异常行为的概率检测 算法，它包括对完整或者初始部分的轨迹进行的异常轨迹检测和对运动车辆的 当前行为进行的异常行为检测。并且更进一步的，在异常检测的基础上提出了 对单个车辆的行为概率预测算法。对场景中的运动目标的行为进行异常检测和 行为预测是智能视觉监控系统的重要组成部分，也是智能视频内容分析的重要 研究基础和研究内容。只有实现了对单个车辆运动行为的异常检测和行为预测， 才有可能实现对多个车辆的复杂运动行为进行分析与理解。 最后，我们在模型场景中对多目标的行为分析进行了一下尝试，提出了撞 车预测的整体框架。在对单个车辆的行为预测的基础上，结合两辆车之间的相 撞概率模型，给出了两辆车之间的撞车行为预测。 1 4 2论文结构 本文的内容安排如下： 第二章提出了一种新的行为模式学习算法。行为模式学习的关键问题是如 何从学习样本中获取参考行为序列，并且能够处理在相似的运动模式类别中空 间和时间尺度上轻微的特征变化，即这个模型要具有定的鲁棒性。现有的方 法大多采用逐点矢量量化的方法，有很高的时间复杂度，而且也不能很好的考 虑轨迹的时间相关性，需要我们寻找更好更适合的轨迹行为模式学习方法。 第三章分别给出了我们对于交通场景中车辆的异常检测和行为预测这两个 方面的研究。目前已开展的异常检测和行为预测的研究主要通过人工事先定义 行为规则来匹配与检测，这类方法过于依赖操作人员的主观性。我们希望通过 已得到的一定数量的目标运动轨迹，并在运动轨迹分析的基础上进行目标的行 为模式学习，然后利用这种行为模式获得更加准确的异常检测与行为预测结果。 第四章提出了一种交通事故预测的框架构想。主要针对非常具有危险性的 撞车交通事故进行研究。因为撞车的危险性，我们选择模型场景为实验环境。 通过分别对两辆车的行驶轨迹预测，结合建立的撞车模型，进行综合概率分析， 得到两辆车可能相撞的概率。 第五章是结束语，总结了本文的主要工作和贡献，对进一步的工作和未来 车辆运动行为的视觉分析 的发展进行了展望。 1 2 第二章于亍为模式学习 2 1引言 第二章行为模式学习 对于一个特定的场景，我们希望计算机能够通过观察场景中目标的运动行 为，自动的得出目标在这个场景中的运动方式，这就是行为模式学习。因为大 多数场景里目标的运动行为都不是简单单一的，所以它们的行为模式都不可能 直接用一种模型训练得出。针对这种情况，我们把行为模式学习分成两步进行。 首先是行为聚类，把相似的运动行为分作一类，然后进行行为建模，给同类 别中的运动行为建立统一的行为模式模型。 如果我们用时变数据来记录目标的行为，那么行为聚类学习在确定了类别 数目的情况下可以简单地认为是时变数据的分类问题，即将测试序列与预先标 定的代表典型行为的参考序列进行匹配。由此可见，行为聚类学习的关键问题 是如何从学习样本中获取参考序列。并且用于匹配的行为序列必须能够处理在 相似的行为模式类别中空涮和时间尺度上轻微的特征变化，即这个模型要具有 一定的鲁棒性。现有的方法 4 8 ，4 9 ，5 4 ，5 5 大多采用逐点矢量量化的方法，即分别 考虑每个时刻目标的特征，而不考虑目标运动的时间相关性，有很高的时阳j 复 杂度：所以需要我们寻找更好更适合的行为模式学习方法，在结合考虑算法时 间复杂度和轨迹的时阃相关性两个问题的情况下，我们提出了一种分层的行为 聚类算法比较好地解决了这两个问题。 经过行为聚类以后，在同一类别中的行为样本相差不大，他们的整体信息 比较好的表示了这类行为的情况。我们利用和样本行为相同的表示形式，并目 在这种形式的基础上分别给每个相关部分建立统计模型，这样建立出整个行为 模式的统计模型。这个统计模型具有直观、表示能力强等特点。 2 2 行为聚类 行为聚类即把相似的行为分作一个类别，这个问题是一个n p 完全问题。下 面是这个命题的证踞过程。 1 3 车辆运动行为的视觉分析 命题：行为分类是一个n p 完全问题。 证明：我们可以构造一个包含了顶点和边的图。其中每个顶点代表一种行 为，连接两个顶点的边的权重表示为这两个顶点所代表的两种行为的相似度。 这样，行为分类问题就转化成一个图的分割问题。例如，把所有的顶点分成c 个不相交的部分，使得每个部分的所有边的权重的和尽可能小。众所周知，这 样的图分割问题是n p 完全问题。所以行为分类问题也是n p 完全问题。( 证毕) 既然行为聚类是个n p 完全问题，它就没有理论解，只能通过学习的方法进 行估计。而且在样本数目足够多的情况下，还得综合考虑算法的性能问题。在 本文的介绍中，针对交通场景的情况，直接选用了车辆的跟踪轨迹作为车辆行 为的表征。交通场景中，绝大部分的车辆行为都是由车辆的运动组成的，而且 车辆是刚体，车辆的运动轨迹加上车辆本身的特征就可以代表了车辆的运动， 所以我们直接用车辆的运动轨迹来表示车辆的行为。这样，车辆的行为分类即 转化为轨迹聚类。 在实现了跟踪算法后，通过对特定交通场景中的车辆的实时跟踪我们就能 得到大量的车辆运动轨迹r = 五，正，) ，其中m 是轨迹样本的数目。我 们的目标就是使用这些样本轨迹学习出这个场景中车辆运动的行为模式 中=破，办 ，其中c 是行为模式的数目，声，表示第j 个行为模式a 轨迹数据 上 基下形状的聚类 第一层聚娄 - 丁、- 。 ，。一， 一类轨迹一荚轨迹 。一买机地 jl 上0上 l 基于速度的聚类 基于速度的聚类基丁速度的聚类 第二层聚类 ，p，_，。：【、-：- r 一类轨迹一类轨迹一类轨迹 ， ，j o 幽2 轨迹的层次聚类 1 4 第二章行为模式学习 为了解决轨迹样本数目太大的问题，我们依据不同的轨迹特征分层进行聚 类。在我们的算法中，所有样本轨迹分两层进行聚类( 如图2 ) 。由于不同路径 的轨迹必然属于不同的类别，所以我们首先根掘轨迹的形状信息进行聚类。然 后再根据车辆运动的速度信息在第一次聚类的结果中进行第二次聚类。本文中 的聚类算法使用的是模糊c 均值算法。 2 2 1基于形状的聚类 在基于形状的聚类算法中，所有的轨迹样本郡作为聚类算法的输入。但是 为了提高聚类的效率，聚类算法只使用轨迹点的坐标信息特征。对于每一条轨 迹z ，给出一条对应的中间层轨迹l 来表示这条轨迹耳的形状。我们首先聚类 这些中间层轨迹，进而得到对应的原样本轨迹的聚类结果。每条中间层轨迹，；通 过以下步骤得到： 轨迹每个点的位置信息可以充分的表示每条轨迹的形状。因此中间层轨 迹z 1 可以是原始样本轨迹正的序列坐标点。 中间层轨迹是更长时间间隔的重采样( 比如每隔岔帧) 。 同一个类别里的轨迹应浚具有相同的长度( 即相同数目的采样点) 。每一 条中间层轨迹是原轨迹的线性重采样。重采样后的长度都是三。r 是 轨迹样本集r 中轨迹的最大长度。 得到每条轨迹的中问层轨迹后，中唰层轨迹的集合就可以表示为 r = 正，乙) 。 因为中间层轨迹集合中的轨迹都具有相同的长度，所以我们可以用模糊f 均值算法对中间层轨迹进行聚类。每个聚类中心对应着一类中问层轨迹，也a ) 。 以表示为一个和中间层轨迹的长度相同的向量。聚类中心是随机初始化的，通 过逐步输入中间层样本轨迹学习来逐步调节+ 保存了中间层轨迹样本的分布特 征。 假设聚类中心的数目是量，聚类中心向量的长度是，那么第j ( j = l ，足) 个聚类中心可以表示为一个向量( _ ，y ) 。每一条中问层轨迹正可以表 示成向量( x 舯z 陀，x 删) 。所以模糊c 均值算法对中间层轨迹的聚类可以依 车辆运动行为的视觉分析 以下的步骤进行。 第一步：聚类中心向量随机初始化。 第二步：输入所有中问层样本轨迹巧= ( 五，五：，) ，其中 f = 1 ，2 ，m 。 第三步：计算每条样本轨迹x 彦0 所有聚类中心的欧氏距离： 厅一 删2 j 善叱( 啪二，b 1 扣，m ，。1 如，n ( 1 ) 第四步：计算每个样本轨迹到所有聚类中心的隶属度： 第五步：根掘隶属度调节每个聚类中心向量 ， 嘞( f ) ( 爿r _ ( f ) ) _ 肛+ 1 ) = ( f ) + 盟1 r 一 嘞( ，) j _ l 第六步：根掰下面的稳定条件判断是否停止迭代。 罂翳0 ( f + 1 ) 一( 叫) s 如果满足稳定条件或者超过了预先设定的迭代次数，那么结束聚类过程 否则回到第二步丌始下一个循环迭代。 我们用下面的松紧系数来评判聚类结果的有效性： 乃c ( 矿，k ) =击壹兰r 辨一_ 1 2 w ，_ i ，= 1 卿畸 松紧系数乃c ( 矿，世) 是所有输入样本到它对应的类别中心的距离的平方的 1 6 茄 第二章行为摸式学习 均值和所有两个类别中心的距离的最小值的比值。好的聚类结果将会使得类别 中心之间的距离( 类涮距离) 尽可能大，使得输入样本到对应的类别中心的距 离( 类内距离) 尽可能的小。我们通过检测松紧系数来决定是否增减聚类中心 的个数，即类别数目，使褥松紧系数乃c ( y ，k ) 减至最小。这样就可以通过实 验的手段估计出一个合适的轨迹聚类类别数目。 另外，我们还预先定义属于同一类别的样本的最小数目。如果属于一个聚 类类别的样本数少于预先定义的数目，那么这个类别就合并到它的相邻类别。 这样就避免了聚类结果的过适应问题( 类别数目无限增大) 。 通过中间层轨迹与原样本轨迹的对应关系，以及中间层轨迹的聚类结果， 我们可以得到原样本轨迹的基于形状的聚类结果。即原样本轨迹 r = 五，) 被聚类分 成 了 k个 子 类 别 r = “正 ，五m ) ， 正1 ，z 帆) ， 砭，m 。 ) ，其中m 。是原样 本轨迹第f 个子类别的轨迹样本数目。 下面，我们会介绍如何对每个子类r = 霉，巧，m ) 的原样本轨迹进行进 一步的基于速度的聚类。 2 2 2基于速度的聚类 由于属于每个子类r 的样本轨迹数目肯定比样本轨迹的总数目少的多，所 以可以用速度信息给每个子类再进行分类，这样比直接对所有的原样本轨迹进 行分类更有效率和有效。 为了能对聚类子类r 中的样本轨迹进行基于速度信息的分类，我们给其中 的每条轨迹z 的特征向量加入速度信息得到中间状态的轨迹巧：并且给中间状 态的轨迹f 的特征向量进行扩充，使得它的长度达到子类t 中的所有样本的最 大长度，也就是说子类中所有的中间状念轨迹的长