（计算机应用技术专业论文）视频监控中运动目标分类方法研究.pdf

- at h e s i ss u b m i t t e df o rt h e a p p l i c a t i o no f t h em a s t e r sd e g r e eo f e n g i n e e r i n g r e s e a r c ho nm o v i n go b j e c tc l a s s i f i c a t i o n l nv i d e os u r v e i l l a n c e c a n d i d a t e ： s p e c i a l t y ： t i a nb i n c o m p u t e ra p p l i c a t i o nt e c h n o l o g y s u p e r v i s o r ：p r o f e s s o rz h e n gx i a o s h i s h a n d o n gi n s t i t u t eo fl i g h ti n d u s t r y , j i n a n ，c h i n a j u n e ，2 0 1 0 、 学位论文独创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。文 中引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人己用于其他学位申请的论文或 成果，与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 论文作者签名： ! 鲴鲑； 学位论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属山东轻工 业学院。山东轻工业学院享有以任何方式发表、复制、公开阅览、借阅以及申请 专利等权利，同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为山东轻工业学院。 论文作者签名： ! 固鲑i 导师签名： 山东轻t 业学院硕f ：学位论文 摘 目录 a b s t r a c t i 第l 章绪论1 1 1 研究背景及意义l 1 2 智能视频监控系统1 1 2 1 原理1 1 2 2 国内外研究现状9 1 2 3 应用前景12 1 3 本文工作及内容安排12 1 4 本文的组织结构1 3 第2 章目标分类的理论基础及相关研究1 5 2 1 图像特征15 2 1 1 纹理特征1 6 2 1 2 颜色特征。l7 2 1 3 形状特征1 8 2 2 目标分类方法21 2 2 1 基于形状信息的分类2 1 2 2 2 基于运动特性的分类2 5 2 2 3 混合方法3 0 2 3 目标分类的难点问题3 1 2 4 本章小结3 3 第3 章基于改进的a d a b o o s t 算法的特征选择3 5 3 1 算法提出的背景3 5 3 2 算法的理论基础3 5 3 2 1a d a b o o s t 算法简介3 5 3 2 2a d a b o o s t 算法流程3 7 目录 3 3 算法的具体思路3 8 3 3 1 目标检测3 8 3 3 2 提取特征4 l 3 3 3 构造特征集合4 2 3 4 实验4 4 3 5 本章小结4 5 第4 章基于改进的l b p 特征的视频目标分类4 7 4 1 算法的理论基础。4 7 4 1 1 局部二进制模式( l b p ) 的计算方法4 7 4 1 2l b p 的基本特性4 8 4 2 算法的具体思路5 0 4 2 1 改进的l b p 算子5 0 4 2 2 分类器的构造。51 4 3 实验。5 2 4 3 1 准备实验数据5 2 4 3 2 测试结果5 2 4 4 本章小结5 3 第5 章总结与展望5 5 5 1 总结5 5 5 2 展望5 6 参考文献。5 7 致谢6 l 在学期间主要科研成果6 3 一、发表论文6 3 二、参与项目6 3 2 山东轻t 业学院顾i j 学位论文 摘要 智能视频监控作为计算机视觉领域的一个新兴的研究方向，在军事和生活 领域拥有广阔的发展前景。智能视频监控的主要目的是对视频图像序列中的运 动目标进行检测、跟踪、分类和行为分析。目标分类作为智能视频监控的一个 关键步骤，其目的是对提取的运动目标进行语义上的分类，为目标跟踪或行为 分析提供信息。 本文主要研究基于静止单摄像机的普通户外场景下的运动目标分类。目标 分类的准确性是由采集信息的质量决定的。然而，在户外场景下进行信息采集 时，难免会受到光照变化、遮挡、天气等外界因素的干扰。运动目标自身姿势、 位置、角度的变化也会给信息的采集带来困难。在这样复杂的外界环境下，若 要做到准确的分类，同时满足智能视频监控系统实时性的特点，必须选择最能 反映目标本质的特征集合，并且提高分类器的分类速度和性能。 本文正是从这两个方面着手，主要进行了以下几方面的工作： ( 1 ) 在特征选择方面，提出了一种新的构造特征集合的算法。首先，提取 运动目标的多个特征，然后利用这种算法对每一种特征的分类性能进行评价， 最后选出分类贡献率最高的一组特征构成特征集合。通过这种方法进行特征选 择后，在保证分类精度的前提下提高了分类速度。 ( 2 ) 对局部二进制模式( l b p ) 进行改进，并将其用于视频目标分类。近年来， 局部特征因其较强的鲁棒性，成为研究热点。局部特征在目标识别和图像匹配 方面得到了广泛的应用，却很少被用于视频目标分类，主要是因为其计算量较 大，且对摄像头的分辨率要求较高。l b p 算子是一种有效的纹理描述子，而且 计算比较简单。本文将l b p 算子用于视频目标分类，取得了不错的效果。 ( 3 ) 将经典的机器学习算法a d a b o o s t 算法引用到视频分类中，并将其用于 多类分类。a d a b o o s t 算法在构造分类器的同时还完成了对特征的选择。提取l b p 算子进行分类时，特征数目庞大，使用a d a b o o s t 算法在对l b p 特征进行选择的 同时完成了分类器的构造，大大提高了分类的速度和精度。 关键词：目标分类；局部二进制模式；特征选择；a d a b o o s t 一 山东轻t 业学院硕l ：学位论文 a b s t r a c t a sa ne m e r g i n gf i e l do fc o m p u t e rv i s i o nr e s e a r c hd i r e c t i o n ，i n t e l l i g e n tv i d e o s u r v e i l l a n c ei sw i d e l yu s e di nm i l i t a r ya n dc i v i la p p l i c a t i o n i n t e l l i g e n t v i d e o s u r v e i l l a n c ea i m sa td e t e c t i n g ，t r a c k i n g ，i d e n t i f y i n gm o v i n go b j e c t s a n d u n d e r s t a n d i n go b j e c t sb e h a v i o r st h r o u g ha n a l y s i sa n dp r o c e s s i n gi m a g es e q u e n c e s o b j e c t sc l a s s i f i c a t i o ni sa ni m p o r t a n ta s p e c to fi n t e l l i g e n tv i d e os u r v e i l l a n c ew h o s e r e s e a r c hc o n t e n ti st oc l a s s i f ym o v i n go b j e c t si n t os e m a n t i c a l l ym e a n i n g f u l c a t e g o r i e sa n dp r o v i d ei n f o r m a t i o nf o rt r a c k i n go ru n d e r s t a n d i n go b j e c t sb e h a v i o r s t h em o v i n go b j e c tc l a s s i f i c a t i o no fn o r m a lo u t d o o rs c e n e sb a s e do ns t a t i c o d d c a m e r ai ss t u d i e di nt h i sp a p e r t h ea c c u r a c yo fo b j e c t sc l a s s i f i c a t i o ni s d e t e r m i n e db yt h eq u a l i t yo ft h eg a t h e ri n f o r m a t i o n b u tw h e nt h ei n f o r m a t i o ni s b e i n gc o l l e c t e di nt h eo u t d o o r , i tw i l lb ea f f e c t e db yi l l u m i n a t i o nc h a n g e s 、o c c l u s i o n 、 w e a t h e ra n do t h e re x t e r n a lf a c t o r s t h ec h a n g eo ft h ep o s i t i o na n da n g l eo ft h e o b j e c t sa l s oa f f e c ti n f o r m a t i o nc o l l e c t i n g i no r d e rt oc l a s s i f yo b j e c t s i n t or i g h t c l a s s e sa n da c h i e v er e a l t i m ei ns u c hac o m p l e xe x t e r n a le n v i r o n m e n t ，t h ef e a t u r e s t h a tm o s ta b l et or e f l e c tt h en a t u r eo ft h eo b j e c t ss h o u l db ec h o s e ，t h es p e e da n dt h e p e r f o r m a n c eo f t h ec l a s s i f i e ra l s os h o u l db ei n c r e a s e d c o n s i d e r i n gt h e s et w oa s p e c t s ，t h em a i nw o r ko f t h i sp a p e ri sa sf o l l o w s ： 1 an e wm e t h o df o rf e a t u r es e l e c t i o ni sp r o p o s e d f i r s t l y , m a n yf e a t u r e sa r e e x t r a c t e df r o mt h eo b j e c t s t h e nt h i sn e wm e t h o di s u s e dt oe v a l u a t et h e p e r f o r m a n c eo fe a c hf e a t u r e ，a n df o r mag o o ds u b s e to ff e a t u r e sf o rc l a s s i f i c a t i o n a f t e ru s i n gt h i sm e t h o df o rf e a t u r es e l e c t i o n ，t h es p e e do ft h ec l a s s i f i e ri sg r e a t l y i m p r o v e du n d e rt h ep r e m i s eo fe n s u r i n gt h ec l a s s i f i c a t i o na c c u r a c y 2 l o c a lb i n a r yp a t t e r ni si m p r o v e d ，a n du s e df o ro b j e c t sc l a s s i f i c a t i o n i n r e c e n ty e a r s ，l o c a lf e a t u r e sa r em o r ec o n c e r n e db e c a u s eo fi t sr o b u s t l o c a lf e a t u r e s a r ew i d e l yu s e di no b j e c t sr e c o g n i t i o na n di m a g em a t c h i n g b e c a u s eo ft h el a r g e a m o u n to fc a l c u l a t i o na n dh i g hd e m a n d i n go fv i d e or e s o l u t i o n ，i ti sr a r e l yu s e df o r o b j e c t sc l a s s i f i c a t i o n l b pi sa ne f f e c t i v et e x t u r ed e s c r i p t o r , a n di t sc a l c u l a t i o ni s v e r ys i m p l e l b pi su s e df o ro b j e c t sc l a s s i f i c a t i o ni nt h i sp a p e r , a n dt h er e s u l ti s g o o d 3 a d a b o o s ta l g o r i t h m ，a sac l a s s i c a la l g o r i t h mi nm a c h i n el e a r n i n g ，i su s e df o r o b j e c t sc l a s s i f i c a t i o ni nv i d e os u r v e i l l a n c e a n di t i su s e df o rm u l t i c l a s sp r o b l e m a b s t r a c t t h ea d a b o o s ta l g o r i t h mn o to n l yf o r m sa s t r o n gc l a s s i f i e r , b u ta l s os e l e c t sf e a t u r e s w h e nl b pi su s e df o rc l a s s i f i c a t i o n ，t h e r ei s l a r g en u m b e ro fl b pf e a t u r e s t h e a d a b o o s ta l g o r i t h me v a l u a t e st h ep e r f o r m a n c eo fe a c hf e a t u r e ，a n ds e l e c t sf e a t u r e s t of o r mas t r o n gc l a s s i f i e r t h e s p e e da n dp e r f o r m a n c eo ft h ec l a s s i f i c a t i o na r e i m p r o v e d k e y w o r d s ：o b j e c t sc l a s s i f i c a t i o n ；l b p ；f e a t u r es e l e c t i o n ；a d a b o o s t i i i 山东轻t 业学院硕 ：学位论文 1 1 研究背景及意义 第1 章绪论 视觉，作为人类感知世界和认识世界的重要手段，所完成的功能是十分复 杂的。有人认为视觉本身就包含了思维的一切基本因素。视觉是一个复杂的感 知和思维的过程，视觉器官眼睛接受外界的刺激信息，而大脑对这些信息通过 复杂的机理进行处理和解释，使这些刺激具有明确的物理意义。 计算机视觉l lj 是对生物视觉的一种模拟。随着科学技术的发展，人们希望 利用计算机来代替人的视觉，对采集的图片或视频进行处理从而获得相应场景 的三维信息，由计算机来代替大脑完成处理和解释。其最终目标就是希望计算 机像人一样通过视觉观察和理解世界，具有自主适应环境的能力。对计算机视 觉的研究开始于6 0 年代，并在8 0 年代取得了突破性的进展。它作为一门交叉 性学科，涉及计算机、心理学、信号处理、生理学、物理学等许多学科。 基于视频的运动目标分析【2 】是计算机视觉领域一个备受关注的前沿课题和 新兴的应用方向。它采用计算机视觉技术对视频信号进行处理、分析和理解， 从而控制视频监控系统，使视频监控系统的智能化水平得到了很大程度的提高。 传统的视频监控技术，只是将摄像头前的场景实时的呈现在人们面前，仍 需要工作人员夜以继同的值守，及时的观察分析场景中的活动。智能视频监控 系统不同于传统视频监控系统的根本之处在于它的智能性、自动性。智能视频 监控系统不再需要工作人员一直注视在屏幕面前，而是对监控场景中所发生的 行为自动的进行检测、跟踪、分类，并且对运动目标所发生的动作行为进行判 断分析。例如，在一片需要保护的草地上空架设智能视频监控系统，目的是要 阻止行人，车辆的践踏。所以当有行人或者车辆进入草地时，摄像头就会对他 们这种行为进行分析判断，然后认定这是一种被禁止的行为，从而报警，引起 工作人员的注意。另外，工作人员的精力是有限的，长时间的盯视，很容易产 生视觉疲劳，而机器是不会有这样的问题的。由此可见，智能视频监控系统不 仅为安检人员承担了大量的工作，而且大大提高了工作效率。 1 2 智能视频监控系统 1 2 1 原理 智能视频监控系统的原理图如图1 1 所示。智能视频监控系统首先通过前 第1 章绪论 端设备如摄像头等采集视频图像，然后送入视频分析服务器进行分析。分析处 理完成后，智能视频监控系统通过视频检索服务器将分析得到的关键信息传送 给客户端。由此可见，智能视频监控系统是对计算机视觉和模式识别技术的综 合运用。随着计算机视觉技术和模式识别技术的发展，智能视频监控系统提高 了自动适应环境的能力，可自动完成对视频内容的分析理解，从而发出相关的 命令或警示，与传统的视频监控系统相比，大大提高了工作效率，实现了视频 监控系统的智能化。 图1 1 智能视频监控系统原理图 智能视频监控系统通常会包括运动检测、运动跟踪、目标分类及行为动作 描述四个步骤。图1 2 给出了详细的流程。首先，摄像头捕获的信息被送到计 算机中进行预处理，然后将运动目标与背景区域相分离，将感兴趣的运动目标 提取出来。接下来对从场景中的提取到的运动目标进行分类，进一步对其进行 跟踪，最后，对运动目标所发生的行为进行判断和分析。视频中运动目标的检 测、分类和跟踪相对来讲比较简单，虽然有时效果不太理想，但比较容易实现； 而目标行为的分析比较复杂，是智能视频监控中最困难的部分，是科研人员需 要重点关注的部分。 图1 2 智能视频监控系统流程图 2 一 山东轻t 业学院硕 ：学位论文 1 目标检测 目标检澳, l l t 3 】是指将场景中的运动目标与场景中的静态背景分离出柬的过 程。目前来讲，目标检测通常采用从运动目标上抽取多个特征的方法来实现的。 目标检测是目标分类、目标跟踪及行为识别分析的基础。因为智能视频监控系 统的图像采集系统多在户外，因此目标检测常常会受到天气、影子、遮挡等因 素的干扰，给检测工作带来一定的难度。图1 3 是进行目标检测的一个流程图。 目标检测是整个系统的基础，智能视频监控系统中跟踪与分类功能的实现 都是以目标检测为基础展开的，所以目标检测结果的好坏直接影响到整个系统 的性能好坏。目前来讲，如何最大限度的减少遮挡、阴影等外界因素对检测结 果的影响，最大限度的完整的提取前景目标，是科研人员研究的重点和难点问 题。现在进行目标检测的方法有很多，概括来讲，主要包括以下几种。本文对 这几种检测方法都进行了详细的介绍，并且指出了其中的优缺点。 图1 3 目标检测流程图 3 第1 章绪论 ( 1 ) 背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 背景减除法的原理是将当前图像与背景图像进行差分从而对运动区域进行 检测。背景减除法是目前运动分割中最常用的方法。背景减除法f 3 】的优点是运 算速度快，符合智能视频监控实时性的要求，并且可以提供相对来讲比较完整 的数据。缺点是对外部因素的干扰比较敏感，对动态场景的适应性较低。为了 克服这个缺点，研究人员通常根据估计场景的不断变化建立不一样的背景模型， 根据视频监控实时性的特点，尽可能准确的对场景中的运动物体进行检测。如 h a r i t a o l u 等的背景模型的建立是通过对运动场景中的像素进行建模来实现的。 而对每个像素建模的过程是根据最大时间差分值和最小、最大强度值进行的。 为了满足智能视频监控实时性的特点，每个像素的模型不断的被更新。智能视 频监控的工作环境大多是在室外进行的，难免会受到外界恶劣条件的影响，如 光照、遮挡等。为了解决由于这些外界条件的干扰造成检测结果较差的问题， m c k e n n a 等h 】将梯度信息和像素色彩相结合来构建背景模型；为了解决天气和 光照对检测结果的不利影响，k a r m a n n 与b r a n d t 、k i l g e r 在建立背景模型的时 候采用卡尔曼滤波的方法，检测结果比较理想；s t a u f f e r 与g r i m s o n 同样考虑到 外界因素的影响，为了保证检测结果，在建立混合高斯背景的同时，通过预测 运动目标的运动情况，不断对模型进行更新，实验证明，检测结果比较理想。 ( 2 ) 时间差分法( t e m p o r a ld i f f e r e n c e ) 时间差分法首先在提取的视频图像中选取时间上相邻的几幅图像，然后将 这几幅图像相减，静止不变的背景图像在差分过程中被滤除，于是可以得到独 立的运动目标。 如l i p t o n 等在对运动目标进行检测的时候，就采用了两帧差分的方法，首 先在视频图像中提取两幅相邻的图像，然后将抽离出来的图像进行差分。检测 出的结果比较理想，在以后的跟踪和分类过程中起到了很好的效果。 两帧差分的效果虽然不错，但是提取图像的速度过于频繁，计算量也比较 大，不能满足智能视频监控对于实时性的要求，所以有的研究人员提出了三帧 差分的思想。三帧差分虽然也是在图像序列中提取相邻图像，但是计算繁琐度 减少，而检测效果也比较理想。另外，还有的人将不同的算法结合起来使用， 如v s a m 不但采用了能够通过估计运动目标的变化状态进行检测的背景减除 法，而且采用了三帧差分法，如图1 4 所示，在对运动目标进行检测【3 】的时候取 得了比较理想的效果。 时间差分法的优点是对动态场景的变化具有很强的自适应性。缺点是特征 像素点的提取不完全，在检测的时候会出现遮挡等现象。 ( 3 ) 光流法( o p t i c a lf l o w ) 4 山东轻t 业学院硕 ：学位论文 当场景中的目标运动时，运动目标的光流场会随物体的变化而发生变化。 所以根据运动物体的这个规律，光流法被发现并用于目标检测。如m e y e r 采用 针对轮廓的算法进行跟踪，考虑到跟踪定位的准确性，使用测量光流场的方法 对此跟踪算法进行初始化，可以准确对目标进行提取与跟踪。这种方法的优点 是在进行目标检测时连续性较强，即便摄像头在非静止的状态下，依然可以取 得较好的检测结果。其缺点是采用这种方法计算量会比较大，而且比较繁琐， 难以满足智能视频监控系统对于实时性的要求。 第k - ! 帧微缱嘲k i ，褊k 帧荻礁阉f k l 掴与运算后的翻像 图1 4 三帧差分法 分圈像 ( 4 ) 统计方法( s t a t i s t i c a lm e t h o d s ) 统计方法针对传统的背景减除法对动态干扰比较敏感的问题，通过利用单 个像素或几组像素的变化特征建立模型。如c h i e n 在构建背景模型时使用背景 注册技术，利用这种方法构建的背景模型准确性较高。为了获得运动目标，背 景注册技术将提取的图像与静止不变的背景图像进行差分。这种方法的优点是 鲁棒性比较好一些，受外界干扰的影响相对来讲比较小。缺点是在建立背景模 型的时候需要获取大量的数据。当背景变化较大时，前面的图像无法获得完整 的背景模型。 2 目标分类 目标分类技术【5 】是智能视频监控系统的重要组成步骤。除了某些特定的系 统外，目标分类在系统中是必不可少的，是行为理解与分析的重要依据。在现 实生活中，很多情况下需要对场景中的运动目标进行跟踪，并且通过分析运动 目标的动作行为做出各种判断，如报警等。例如，为了阻止行人或车辆靠近某 块区域，需要在该位置的上方安置摄像头。当行人与车辆跨越警戒线，或者做 出任何不允许做出的动作时，摄像头就会在第一时间对这些动作进行警示。而 5 第l 章绪论 在对这些动作进行理解分析前，首先要做的就是对目标进行分类。另外，对运 动目标进行分类的另外一个重要意义就是单独监视、跟踪对其产生怀疑的目标。 例如，在一个区域内仅仅允许车辆入内。这样，在实现目标分类后，可以在这 块区域上方安置摄像头。假设有行人闯入该区域时，摄像头可以实时的对目标 进行分类，并报警，引起工作人员的注意。这样做，大大减少了工作人员的工 作量，同时大大提高了工作效率。目标分类是本文的主要内容，将在下一章对 其主要方法进行描述。 3 目标跟踪 目标跟踪，作为智能视频监控的一个重要环节，主要的作用是对监控场景 中的运动目标进行跟踪定位，获取运动目标的具体位置。通常来讲，目标跟踪 t 6 】是指在对视频中的图像序列进行提取后，将紧紧相邻的图像进行比较，这样 就可以找到几幅图像之间存在的关系，从而通过这种关系对场景中的目标进行 跟踪。在实际应用中，由于遮挡、运动目标形状姿势的变化、光照和阴影等因 素的影响，要想建立稳定的跟踪系统是非常困难的。 跟踪方法【6 】，从不同的角度考虑，可以划分为不同的类别。从跟踪的对象 考虑，可以分为跟踪整个人体的和跟踪人体某个部分的；从跟踪视角考虑，可 以分为单一跟踪视角的和对应于多摄像机的多视角；另外，还可以从跟踪人数、 跟踪空间等角度来划分。通过总结、对比以往的研究人员实现跟踪时所采用的 各种跟踪方法，可以看出大体上归纳为三类：基于运动分析的方法和基于图像 匹配的方法。 ( 1 ) 基于运动分析的方法 基于运动分析的方法是在假定图像中的亮度变化由于运动引起的前提下， 利用目标的运动特点，根据检测背景与目标之间具有相对速度的位置来跟踪目 标。上面提到的帧间差分法与光流分割法是基于运动分析方法的两种最常用的 方法。帧间差分法计算简单、快速，但是提取的信息量比较少，不适合动态场 景中目标的跟踪。光流分割法对信息的提取比较完整，而且对运动目标细节的 描述也比较具体，但是它的计算量比较大，运算速度慢，不能满足智能视频监 控系统实时性的要求。另外，光流分割法对外界因素的干扰比较敏感。 ( 2 ) 基于图像匹配的方法 基于图像匹配的目标跟踪【6 】的原理是在对运动目标进行跟踪前，首先确定 一个参考模板，该模板是对下一帧图像的模拟。然后将下一帧图像与参考模板 进行匹配，以确定运动目标的位置。将每一帧图像的匹配过程连接起来就实现 了对运动目标的跟踪。基于图像匹配的目标跟踪包括：模型匹配、区域匹配、 特征匹配和频域匹配。 6 山东轻t 业学院硕l j 学位论文 模型匹配 模型匹配包括固定模板和变形模板。变形模板主要用来应对目标旋转和缩 放变化。模型匹配包括线图模型、2 d 模型、3 d 模型三种形式的模型。目f i ， 3 d 模型在视频监控领域应用效果较好，成为研究人员的研究热点。3 d 模型跟 踪首先根据运动目标的特征建立三维结构模型和运动模型，然后根据视频图像， 确定目标的三位运动轨迹。基于3 d 模型的目标跟踪【6 】对目标姿态的变化具有很 好的鲁棒性，对运动目标的跟踪比较准确。但是，三维模型的建立，计算非常 复杂，有着庞大的计算量。而且不可能对每个目标都进行三维模型的构造，所 以基于三维模型的目标跟踪不能满足智能视频监控实时性的要求。 区域匹配 区域匹配将某种相似性度量目标作为对运动目标进行跟踪定位的根据。该 指标是通过把某一块整体在实时图像上的所有待定的位置上进行叠加得到的。 当该指标在某位置上的值最大时，该位置为运动目标的位置。区域匹配算法的 优点是定位比较准确，缺点是需要在图像分割算法的基础上进行，计算复杂， 无法达到智能视频监控实时性的要求。 特征匹配 特征匹配的原理是提取运动目标的一些特征值，如颜色、纹理等特征，然 后在实时图像的待选区域中计算基于这些特征的相关峰度值，通过匹配进行定 位。特征匹配的优点是鲁棒性好。特征匹配是基于运动目标的某一部分进行匹 配。当运动目标被部分遮挡时，不会影响到跟踪的效果。而基于区域匹配的跟 踪是基于目标整体的，容易受到遮挡等因素的影响。目前，特征匹配在跟踪中 效果比较好，是研究的热点。但是，在提取特征的过程中，特征集合的构造是 难点问题。 频率域匹配 频率域匹配首先将图像变换到频率域，然后通过观察变换系数和相位进行 跟踪。频率域匹配的优点是计算相对简单，容易满足视频监控的实时性要求， 而且对外界干扰因素的鲁棒性比较好。目前，频率域匹配引起了广大学者的兴 趣，成为被关注的热点。 4 行为识别和分析 行为识别和分槲7 】，是指智能视频监控系统对监控场景中运动目标正在发 生的动作或行为进行分析判断，并做出警示或操作指令。行为识别和分析，是 智能视频监控中区别于传统视频监控系统的关键所在。在以往的视频监控系统 中，系统采集的仅仅是一些裸数据，需要人来完成对监控场景中运动目标的监 视。这不仅耗费人力，而且效率并不高。因为人的精力是有限的，难免会有遗 7 第1 章绪论 漏、疏忽等情况发生。而智能视频监控系统通过计算机来完成报警等操作，不 仅解放了人力，而且提高了劳动效率。在以往的研究工作中，人们通常将精力 放在检测与跟踪方面，对行为识别分析的关注较少。目前正渐渐成为研究的热 点。但是，行为识别分析p 】属于计算机视觉的高级问题，难度较大。 目前，国际上对行为有不同的定义。习惯上讲，动作是指一个小的变化； 而行为是指一组含有固定模式的动作。当视频中只存在一个运动物体时，这时 对目标行为进行分析，实际上是将该运动目标的一系列比较典型的行为与测试 得出的行为进行对比，所以可以简单的被看作是对不断变化的数据进行分类。 - 由此可以看出，在对目标进行行为分析时，最主要的是获得运动目标的参考行 为序列，并且当获得的参考序列在空间和时间上与测试序列存在细微的差异时， 4 依然可以包容这些细小的变化，做出准确的判断。 可以通过以下几种方法对不断变化的数据进行匹配： ( 1 ) 动态时间规整( d t w ：d y n a m i ct i m ew a r p i n g ) d t w 是语音识别领域常用的方法，如今被用来对视频对象的运动模式进行 匹配，也取得了不错的效果。d t w 的优点是容易理解，且鲁棒性较强。当时间 次序约束存在时，对于时间尺度不完全一致的测试序列模式和参考序列模式， d t w 可以包容这些细小的差异，依然可以做出准确的分析。 ( 2 ) 隐马尔科夫模型( h m m s ：h i d d e nm a r k o vm o d e l s ) h m m s 是一种更加完善的匹配不断变动的数据的技术，它在对运动目标进 行行为分析时，可以得出更加准确的结果，已被广泛用于运动对象的模式匹配 中。在训练阶段，每一个特定的训练类别对应一个h m m s h m m s 为了使产生 的输出符号与在特定的运动类别内看到的图像特征匹配，需要指定一个隐马尔 科夫模型的隐藏状态指数，而且对相应的输出概率和状态转换进行优化。在匹 配阶段，对应特定类别的h m m s 对所观察到的相应图像特征的测试符号序列进 行概率计算。图1 5 是利用h m m s 方法对目标行为进行分析。 ( 3 ) 神经网络( n e u r a ln e t w o r k ) 神经元模型最早是由w s m c c o l l o c h 和w p i t t s 提出的。目前，神经网络作 为匹配时变数据的方法引起了研究学者的关注，如g u o 等用神经网络对视频对 象的运动模式进行分析；r o s e n b l u m 等用径向基网络对视频中对象的情感进行 识别。 神经网络作为一种分类器，一般由多层组成，富含很多个节点，一般来讲 需要设计多个参数。形象的来讲，神经网络就像一个暗箱，它的工作过程，科 研人员是看不到的，所要做的工作就是输入所要分类的数据或者图像，然后通 过调节参数，自动的产生结果。 山东轻t 业学院硕f ：学位论文 i 饼 獬椭 l - 觞 l - 镰 l 4 1 卯杓 瓤* l 3 囊聋- 孽l 口l 甜 l 椿“l 籀 l m l 嚣糊 “n l 糠 l r l 嚣矗 p l t 捧fl 施i l 国 n 1 ，w ，鞠l 唯“锄瓤m n c l a y s , 翱_ ：t i 瞳翻陵村礴喇 l 坶咎l 翰4 t l 豫“捌嚏 争l ，钟li 辨| 童嘲嘲张 柏毒，妇 t 4 嵫“h 抽l l 姊 鹣，w 轴t i - ”辘_ 瞎 p h 彤l 跚t j 睨雌瞰 ，h 卿lh 蹦h 嘲“嗽 p t a 】n f f2 鼙i j l 堞e l , 协砖稍嘞随 双蟛科l 粕，麟戡捌嚏 p l 许”l # k 臻枷em t i h 噜r a l l ，l l 靠r 鼬- n 增n 吖 图1 5h m m 用于行为分析 1 2 2 国内外研究现状 l 国外研究现状 智能视频监控系统在国外的发展起步较早一些，技术相对比较成熟。有一 些系统已经在实际中得到了应用，如： ( 1 ) v s a m t s ( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) ，视频监视与监控系统，是 由美国的军方与科研机构共同合作研发的。它的研发主要的应用区域是在军事 方面。当面对危险的战斗场面或者单个的运动目标时，为了更好的了解周围的 环境，以及及时的对周围的环境和运动目标的行为做出判断，研发了该系统。 该系统是目前国际上比较成功的智能视频监控技术。视频监视与监控系统在进 行目标检测时，采用的是三帧差分法，即在提取的图像序列中，选取相邻的三 幅图像做差分运算，去除背景图像，得到前景目标。当进行目标跟踪时，首先 利用建模的方法构建模板，然后与运动目标进行匹配。在匹配的过程中，模板 随目标的变化而不断变化。在进行目标分类时，采用的是提取目标特征的方法， 提取的特征主要是颜色和形状。 ( 2 ) 智能监控技术作为一种先进的技术，在军事、生活方面都得到了广泛 的应用，并且在车辆交通等方面取得了较好的成绩。目前，很多实验室都在积 极的将智能监控技术与交通相结合，寻求更大的突破。如喷气动力实验室( j e t p r o p u l s i o nl a b o r a t o r y ) ，作为美国的一个重点实验室，经常对这样的项目进行投 资，而这些项目都是与交通密切相关的：c m sm o b i l i z e r , a u t o s c o p c a u t o c o l o r ， m a s t o rt r a f f i cv i s i o n 和r o a d w a t c h ，其中有几个项目的研发工作取得了圆满的 结束，研发成果在交通中得到了成功的运用。这几个项目的主要工作是实现对 场景中运动目标的跟踪。跟踪的实现是通过提取颜色或者块等特征来实现的。 9 图茸囹 第l 章绪论 “ ”“ ，x m i 4 ， 零啁嘞刚脚蜊j 爱i k 习级嬲2 吨蜊 匠 图1 6v s a m 系统 警：| 7 。- ”一一? 。一。“4 ”。? 靶。“8 ”“3 。j “”铃嫩眺。“| # # “一 杂。 ，。? ，；7 ，j “一i0 ，”- ，4 ； ；。，么 。 w 蒯l k i n 9 ：i ：； ：； r、t f4十 k j 二：；?口 z ； 天爻；。；。 “ ： l ；， ” 辍“聪嘲# 缀 ； 天免xl 。、 蓐 ； i、b ；、i 奠灭 ； 牡t 3t #z ，#话非棒 ， “ 篪i g 纛“。缸嬲瓣蕊磁施蒯磊施；女。幽如墙女瘟锄。，幺泓鳓舰貉施 磁蟛 ”m m # m 图1 7v s , m v l 用于步态分析 ( 3 ) 2 0 0 3 年，v a c e ( v i d e oa n a l y s i sa n dc o n t e n te x t r a c t i o n ) 作为美国的a r d a 机构( a d v a n c e dr e s e a r c h d e v e l o p m e n ta c t i v i t ya r d a ) 的一个重要研究项目， 引起了广泛关注。这个项目是一个比较全面的智能视频监控系统，实现了对目 标的检测、跟踪、分类和行为分析。 ( 4 ) 在欧洲，智能视频监控系统作为一项意义重大的技术，同样引起了研 发人员的广泛关注。其中，最有代表性的研发系统a d v i s o r d e n g 就是欧洲f a m e w o r kv 负责研发的一个视觉监控核心项目。 ( 5 ) 英国的雷丁大学( 9 ( u n i v e r s i t yo fr e a d i n g ) 也对智能视频监控系统产生了 浓厚的兴趣。它不仅在对行人和车辆的跟踪方面取得了很好的成就，而且在交 l o 山东轻t 业学院硕l j 学位论文 互作用识别的研究中也取得了不错的效果；不仅在交通方面，智能视频同样可 以用于手势识别，m i c r o s o f t 与i b m 等公司发现了其中蕴藏的巨大商机，它所研 发的手势识别系统在被用于商业，取得了巨大的成功【1 0 】【1 l 】。 ( 6 ) w 4 0 2 是由马里兰大学研发成功的一种实时监控系统，它的主要任务是 识别监控场景中的行人。对行人的识别是在对目标进行准确的跟踪的基础上实 现的。上面讲到的用于目标跟踪的方法有很多，在这个系统中采用的是建立物 体模型的方法。这种方法相对来讲比较复杂一些。另外，w 4 还实现了对场景 中运动目标的行为分析。