（控制科学与工程专业论文）监控视频事件描述与识别技术研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 视频监控在维护社会治安方面发挥着越来越重要的作用。我国正在逐步全面 推行的“平安城市”建设中，布设大量视频监控点已成为必不可少的重要环节。 随着视频监控点的逐渐增多，仅靠人眼观看监控视频，人工发现危害社会治安的 事件，显然难以满足社会治安防控的需要。如何利用智能信息处理技术，自动识 别出监控视频中发生的一些特定事件便成为国内外研究的热点问题。监控视频事 件的描述与识别技术可以实现事件的自动识别，提高监控系统的智能处理能力， 并最大限度地降低误报和漏报现象。 本文研究监控视频事件描述与识别系统结构设计方法，以及监控视频事件的 高层语义描述方法和监控视频事件识别技术。论文主要工作是： ( 1 ) 设计了一种通用的可扩展的面向用户的监控视频事件描述与识别系统结 构，由事件描述与事件识别两个子系统组成。 ( 2 ) 引入本体技术描述监控视频事件，实现了对监控视频事件结构的定义和 监控视频事件概念的描述，并将复杂监控视频事件分解成其子事件的组合，构建 了一种监控视频事件知识表示方法。 ( 3 ) 采用模糊p e t r i 网对监控视频事件中的合成事件和原子事件分别进行建 模，完成监控视频事件本体到监控视频事件模糊p e t r i 网模型的转化，并提出了一 种监控视频事件置信度设定方法，为事件识别子系统提供推理依据。 ( 4 ) 结合模糊p e t r i 网模型的不确定推理算法，提出了一种监控视频事件识别 方法，并计算监控视频事件的置信度，为定义视频事件告警级别提供可能。 ( 5 ) 结合以上方法，完成了对“公共场所盗包”事件的识别。并实现了多传 感器的监控视频事件的协同检测，验证了监控视频事件描述与识别方法的有效性。 主题词：监控视频事件事件描述事件识别本体模糊p e t r i 网 第i 页 国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t n o w a d a y st h et e c h n i q u eo fv i d e os u r v e i l l a n c ei sp l a y i n gam o r ea n dm o r e i m p o r t a n tr o l ei nt h em a i n t e n a n c eo fp u b l i cs e c u r i t y c h i n e s ec i t i e sa r ec a r r y i n go u tt h e s a f ec i t y p r o j e c t ，i nw h i c hag r e a tn u m b e ro fs u r v e i l l a n c ec a m e r a sn e e d st ob e m o u n t e d t od e a lw i t ht h el a r g en u m b e ro fc a m e r 嬲，i ti su n p r a c t i c a lt ob a r e l yd e p e n d o nd e t e c t i n gt h es u s p i c i o u se v e n t sm a n u a l l y t h e r e f o r e ，a ni n t e l l i g e n tv i d e os u r v e i l l a n c e s y s t e m ，w h i c hi sac o m b i n a t i o no fc o m p u t e rv i s i o na n da i ，i sr e a l l yi nn e e d n l i s s y s t e mc a na u t o r e c o g n i z ev i d e oe v e n t sw i 出al o we r r o r “腑b r i n gag r e a ti m p r o v e m e n t t ov i d e os u r v e i l l a n c e s y s t e m sa n dc a ne f f e c t i v e l ys o l v et h ep r o b l e m si n v i d e o s u r v e i l l a n c eo f d i f f e r e n tp l a c e sa n ds i t u a t i o n s t i l i sp a p e rm a i n l yd i s c u s s e dt h ed e s i g nm e t h o do ft h es t r u c t u r eo fv i d e oe v e n t d e s c r i p t i o n a n d r e c o g n i t i o ns y s t e m a n dt h em e t h o do f h i g h - l e v e l s e m a n t i c r e p r e s e n t a t i o n so f v i d e oe v e n t sa n dt h et e c h n o l o g yo f v i d e oe v e n t sr e c o g n i t i o n n l ek e y p r o b l e m sb e l o wa r es o l v e di nt h ep r o c e s so f f i n i s h i n gt h es t u d y ： ( 1 ) ag e n e r a l ，e x t e n s i b l ea n dau s e r - c e n t e r e ds y s t e m a r c h i t e c t u r ef o rt h e d e s c r i p t i o na n dr e c o g n i t i o no fe v e n t si ns u r v e i l l a n c ev i d e o si sp r o p o s e d ，w h i c hi s c o m p o s e do f d e s c r i p t i o ns u b s y s t e ma n dr e c o g n i t i o ns u b s y s t e m ( 2 ) b a s e do nt h ek n o w l e d g eo fo n t o l o g y ，t h es t r u c t u r eo fv i d e oe v e n t si sd e f i n e d a n dam e t h o do f t h ek n o w l e d g e d e s c r i p t i o no f v i d e oe v e n t si sb u i l t ( 3 ) b yu s i n gt h ef u z z yp e t r in e t ，t h em o d e l i n go fv i d e oe v e n t si sr e a l i z e d ，w h i c h t r a n s f o r m st h eo n t o l o g yo fv i d e oe v e n t st of u z z yp e t r in e tm o d e l ，a n dp r o v i d e st h er u l e s f o rr e a s o n i n gi nr e c o g n i t i o no f v i d e oe v e n t s ( 4 ) b a s e do nt h er e a s o n i n ga r i t h m e t i co ff u z z yp e t r in e t ，av i a b l em e t h o do f r e c o g n i t i o no fv i d e oe v e n t si sf o u n d e dw i t ht h ee v e n t s c e r t a i n t yf a c t o rc a l c u l a t e d ， w h i c hm a k e si tp o s s i b l et od e f i n et h ea l e r tl e v e lo f v i d e oe v e n t s ( 5 ) c o m b i n i n gt h em e t h o d sm e n t i o n e da b o v e ，a ne v e n to f s t e a l i n gb a gi np u b l i c ” i sd e t e c t e d a n dam u l t i s e n s o rc o o p e r a t i o ni sr e a l i z e d n 峙e x a m p l e ss u s t a i nt h a tt h e m e t h o do fd e s c r i p t i o na n dr e c o g n i t i o no fv i d e oe v e n t sp r o p o s e di n t h i sp a p e ri s e f f e c t i v e k e yw o r d s ：s u r v e i l l a n c ev i d e oe v e n t s ，v i d e oe v e n t sd e s c r i p t i o n ，v i d e o e v e n t sr e c o g n i t i o n o n t o l o g y 。f u z z yp e t r in e t 第i 页 国防科学技术大学研究生院工学硕士学位论文 表目录 表3 1 单个对象的原子事件及其含义2 1 表3 2 两个对象的原子事件及其含义2 l 表4 1 ，可靠性与置信度对应关系3 4 表5 1v ef p n 模型中库所的直接可达集与可达集3 8 表5 2v ef p n 模型中库所的相邻库所集3 8 表6 。1 盗包事件的子事件所对应的库所和置信度舢 表6 2 盗包事件模型中库所名与库所i d 的对应关系4 4 表6 3 库所的立即可达集与可达集4 5 表6 4 盗包事件模型中库所的相邻库所集4 5 表6 5 进入保密点事件模型中的库所名与库所i d 对应关系4 9 表6 6 进入保密点事件的子事件所对应的库所和置信度5 0 表6 7 进入保密点事件模型中库所的立即可达集与可达集5 0 表6 8 进入保密点事件模型中库所的相邻库所集5 1 第页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 1 智能监控系统的视频处理层次图1 l 图2 2 视频监控系统结构图1 3 图2 3 视频事件描述与识别技术框图1 4 图2 4 视频事件描述与识别系统框图1 5 图2 5 视频事件描述子系统功能结构1 5 图2 6 视频事件识别子系统功能结构1 6 图2 7 视频事件识别嵌入式硬件结构1 6 图3 1 状态模型与实例2 4 图3 2 原子事件模型与实例2 4 图3 3 合成事件模型与实例2 5 图4 1 原子事件“o 。e n t e r s ”的模糊p e t r i 网模型3 0 图4 2 视频事件逻辑关系的模糊p e t d 网表示31 图4 3 视频事件的时间关系3 l 图4 4 视频事件时间关系的模糊p e t r i 网表示3 2 图4 5 两个对象“相互靠近”视频事件的模糊p c t r i 网表示3 2 图5 1v ef p n 模型3 8 图5 2 模糊合取3 9 图5 3 模糊传递3 9 图5 4 模糊析取4 0 图5 5v ef p n 模型对应的可达树4 2 图6 1 盗包事件的关键视频帧4 3 图6 2 盗包事件模糊p e t r i 网模型4 4 图6 3 盗包事件模型的可达树一。4 6 图6 4 盗包事件的模糊识别结果4 7 图6 5 保密点场景示意图4 7 图6 6 传感器l ( 大门处) 4 8 图6 7 传感器2 4 8 图6 8 传感器3 ( 保密点) 4 8 图6 9 进入保密点事件的模糊p e t r i 网模型4 9 图6 1 0 进入保密点事件的可达树5 1 图6 1 1 进入保密点事件的模糊识别结果5 2 第v 页 独创性声一明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特y ；, j h u 以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：鳖撞煎麴皇往蕉姿生望型量盔堑窥 学位论文作者签名：龚兰；骚：日期：洲年，月) ；日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：些撞塑塑至住整堡圭迟型遮盛受窒 学位论文作者签名 作者指导教师签名 匙敷一 、，方 。 j 互：i ：兰) | _ j 0 日期：沙g 年t 1 月杉日 日期：山“年1 1 月o 日 国防科学技术大学研究生院t 学硕十学位论文 第一章绪论 1 1 问题的提出 随着信息化与网络化技术的发展，视频监控在国防与城市管理中所起的作用 越来越突出。在我国，随着社会流动人员的大量增加，社会治安问题和交通事故 非常严重。由于我国人口众多、信息化管理手段欠缺等诸多原因，使得安全监控 和交通事故监管的难度越来越大。据公安部门介绍，现在犯罪分予破门或破窗进 入办公科研场所、实验大楼、个人住宅进行抢劫、盗窃和杀人等问题仍然相当严 重，刑事案件越来越多。因此，为了逐步全面推行“平安城市”建设，布设大量 视频监控点己成为必不可少的重要环节。仅在广州市的“平安城市”建设试点中， 4 万多个摄像头被安装在重点社区、道路、广场等场地。当视频监控点的数量较多 时，仅靠人眼观看监控视频，人工发现危害社会治安的事件，显然难以满足社会 治安防控的需要。如何利用智能信息处理技术，自动识别出监控视频中发生的一 些特定事件便成为国内外研究的热点问题。 视频监控系统大致经历了三个阶段：九十年代初以前的模拟视频监控系统， 九十年代中期的数字视频监控系统，以及九十年代末与二十一世纪初兴起的智能 视频监控系统。其中，模拟视频监控系统是使用模拟信号传输视频数据，存在易 受干扰、图像质量较差、存储数据量大等局限性。随着计算机处理能力的提高和 视频技术的发展，人们开始利用计算机进行视频采集和处理，提高了图像质量， 克服了模拟视频监控系统的局限性，进入了数字视频监控时代。随着计算机视觉 技术和人工智能理论研究的逐步深入及其应用的进一步推广，监控系统被引向更 多的利用视频图像理解和智能信息处理技术的方向，此时监控系统不仅采用摄像 机代替人眼，而且使用计算机代替人、协助人分析监控场景中出现的运动目标和 具有潜在危险的事件，并完成相应的控制任务，使系统呈现出智能化，形成了智 能视频监控系统。 从模拟视频监控到智能视频监控，视频监控技术克服了图像质量差、远程访 问难、可集成性差、性能不稳定等特点，并逐步摆脱了人在回路的影响，实现了 智能视频监控。智能视频监控是指在不需要人为干预情况下，利用计算机视觉和 视频分析的方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标 的定位、识别和跟踪，并在此基础上分析和判断摄像机拍摄画面中的所有目标对 象的行为，得出对图像内容含义的理解以及对客观场景的解释，从而指导和规划 行动。智能视频监控系统极大地提高了视频监控的质量和效率。然而，目前的智 能化视频监控系统尚处于发展阶段，仍然存在一些问题，主要体现在以下几个方 第1 页 国防科学技术大学研究生院工学硕士学位论文 面： ( 1 ) 监控系统对环境的适应性不强，其监控功能的实现主要依赖于已知的 特定场景。 ( 2 ) 监控视频事件模型数量固定，不能随着监控需求的改变而改变。并且， 某些事件模型无法很好的预先定义。 ( 3 ) 随着监控点的不断增多，视频信息量不断增大，然而网络带宽有限， 造成传输速度降低。 ( 4 ) 目前智能监控系统普遍存在误报和漏报，且缺乏潜在危险的分析与预 测能力，降低了监控系统的安防能力。 综上所述，智能视频监控系统需要建立一套通用的且可扩展的开放性视频监 控系统框架，并能采用智能信息处理技术，自动识别出监控视频中发生的一些特 定事件，提高异常事件识别的准确率，并最大限度地降低误报和漏报现象，辅助 监控系统进行视频压缩，节约传输带宽，提高传输率。 1 2 国内外研究现状 1 2 1 国外研究现状 1 9 7 0 年就出现了智能监控技术的相关研究文献，此文献是由h o l l y w o o d 电子 工业工程有限公司的c h a n d l e r 等人完成，主要介绍关于利用双向同轴电缆通信的 问题，其中包括视觉监控信息的传送。但在这之后的近二十年间，关于智能监控 技术的相关论文的发表数量非常有限。直到1 9 9 8 年之后，随着d a r p a 相关重大 研究计划v s a m 、a v s 和h i d 以及a d v i s o r 项目的陆续启动，有关该主题的文 献发表数量才呈增长趋势。特别是近几年数字视频监控系统的广泛应用，以及9 1l 事件的发生，使得智能视频监控技术巨大的应用需求和市场价值逐渐浮现，激发 了世界上广大科研工作者和相关商家的浓厚兴趣，相关研究文献的数量也迅速增 多。 对监控视频进行智能处理，实现智能视频监控是监控行业的发展方向，在经 济、军事等方面具有广泛的应用前景和潜在的经济价值，己受到学术界、产业界 和管理部门的高度重视，尤其在美、英等国已经开展了大量相关项目的研究。这 里首先列举一些与监控视频事件描述和识别技术相关的典型项目和系统： v s a m 项卧”( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 在1 9 9 6 年至1 9 9 9 年间，美国国防高级研究项目署( d a r p a ) 资助卡内基梅 隆大学、戴维s a r n o f f 研究中心等著名大学和公司合作，联合研制了视觉监视 与监控系统v s a m 。其目标主要是研究用于对战场及普通民用场景进行监控的自 动视频理解技术，用于实现对未来战争中人力监控费用昂贵、非常危险或者人力 第2 页 国防科学技术大学研究生院工学硕士学位论文 无法实现等场合的监控。 v s a m 主要功能包括：融合多种类型的传感器，对监控地区进行全方位的 昼夜监控。信号采集设备有摄像机、音频采集头、红外和微波报警探测器、温度 探测器、电流电压数据采集器等。可遥控操作设备包括电动三可变镜头、全方位 云台、室外电控防护罩、电控自动门、射灯开关等；具有先进的视频分析处理 器。不但能检测和识别异常对象的类型，还能分析与预测人的活动，根据运动目 标行为的危害性进行自动提示和报警；由i n t e r n e t 、i n t r a n e t 和局域网构成的先 进网络传输系统，支持多种通信线路连接。可将图像信号通过光缆直接传送到总 控中心，在视频分析基础上将检测到的异常情况以文字形式传送到监控总控制台。 这不仅有效减少了网络带宽的压力，而且操作员只需查看文字信息，一人就可以 监控网络上的所有监控点；使用地理信息和三维建模技术提供可视化图形操作 界面。当视频分析处理器报告了运动对象、对象类别及位置之后，操作员不仅可 以使用虚拟的对象( 人、汽车、坦克等) 在地理信息界面上进行标记，而且还能 在辅助窗口观察对象的真实活动情况；机载航空摄像机不需要经常性的人工操 纵就能自动对准地面监视目标，实现对重要目标的长时间监视，自动协调多个图 像传感器无缝接入，实现整个战场场景的监视。 因此，v s a m 不但能进行一般性的军事安全监控，如军事基地、军械弹药库 和边海防线的监控；而且能够进行局部战争战场的实时监控，如敌方军力部署及 调动情况等。 a v s 项目明( a i r b o r n ev i d e os u r v e i l l a n c e ) a v s 是1 9 9 8 年至2 0 0 2 年间受d a r p a 支持的重要项目，主要研究如何准确 实时地分析和登记检测到的静止物体或运动物体的相关信息，以及如何实现对多 目标的同时监控和不同物理空间的事件监控等。 h i d 计划f 1 ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) h i d 计划是d a r p a 在2 0 0 0 年资助的又一重大项目，它的任务就是开发多模 式的监控技术来实现远距离情况下对人的检测、分类和识别，从而增强对边防和 民用等场合的保护能力。 a d v i s o r 项目h ( a n n o t a t e dd i g i t a lv i d e of o ri n t e l l i g e n ts u r v e i l l a n c ea n d o p t i m i z e x ir e t r i e v a l ) 该项目正在由包括伦敦大学在内的六所科研机构共同实施，通过多个摄像机 对地铁站点人的跟踪监控，估计出人群密度及其运动量，分析人或人群的行为， 从而检测具有潜在危险的事件或犯罪事件，并在限定时间内向监控人员提示告警 信息。 实时视觉监控系统w 4r e ( w h o ? w h e n ? w h e r e ? w h a t ? ) 第3 页 国防科学技术大学研究生院工学硕士学位论文 2 0 0 0 年，m a r y l a n d 大学开发的w 4 系统实际上是v s a m 项目的一个子系统， 是一个对人及其肢体行为进行实时跟踪的系统。不仅能够实现对人的定位和对人 体部分的分割，而且能够通过建立人的外观模型来实现对多人跟踪，从而可以检 测和识别室外环境中的人，并对他们之间的简单交互事件进行识别。例如，识别 人是否携带物体等事件。 嵌入式智能摄像头系统s m a r tc a m e r a t 6 】 该系统由p r i n c e t o n 大学嵌入式系统工作组研制。通过获取监控场景的高层描 述信息，从而对监控场景中的事件进行实时分析。该系统的一个典型应用案例就 是对场景中人的行为进行探测和分析，达到对人的姿势和行为进行辨识的目的。 i b m 智能监控系统【7 j 目前，i b m 研究院正在开展基于监控视频的事件分析，其研究内容包括对人 车等运动目标事件的实时检测和报警，以及对事件相关信息的搜索和统计( 包括 事件的分布情况和瞬间情况) ，从而让计算机自动智能地完成这些任务。 2 0 0 4 年i b mt j 研究中心的计算机视觉工作组在国际多媒体会议上发表了一 篇论文，推出了一种先进的监控系统i b m ( s 3 ) 智能监控系统，并在a c m s i g m m7 - 作间演示了该系统。该系统是用于智能视频监控系统的一个中间件，通 过学习方法建立可重复利用的监控视频事件模型，使其具有对监控视频事件自动 分析与理解的能力。该系统不仅实现了自动场景监控，通过标准网络实时传输异 常事件报警信息，且具有标准的开放体系结构，适用于各种不同的场景监控需求。 i b m 与m i c r o s o r 等公司正逐步将基于视觉的手势识别接口应用于商业领域中【8 1 。 c r o m a t i c a 系统州( c r o w dm a n a g e m e n t 谢t l lt e l e m e t r i ci m a 百n ga n d c o m m u n i c a t i o na s s i s t a n c e ) 欧洲的c r o m a t i c a 系统，主要用于地铁站内的监控，可以发现反常的人流 ( 如过度拥挤) ，铁轨上有异物等出现的危险情况。以及流氓活动，斗殴等事件，并 以声光等多媒体方式通知监控人员，或根据预先设置的处置程序自动处置发生的 事件。 a u t o s c o p e 系统【l o 】 美国i s s 公司的a u t o s c o p e2 0 0 4 视频检测系统是一种分布式智能视频监视 系统，该系统用于检测在铁路线上的无人值守的候车室内和铁路沿线重要路段出 现的遗弃物。该系统利用单色摄像机获得被监视房间的图像序列，并交由本地p c 机内的图像处理系统处理，这个本地处理系统主要用于检测是否有遗弃物出现。 当遗弃物出现的时候，报警信号将被传送到离监控地有数公里远的远程控制中心。 一个基于码分多路技术的多媒体通讯系统用于确保在监控地和远程控制中心之间 建立起安全可靠的无线传输线路。在远程控制中心，处理结果被显示给操作人员。 第4 页 国防科学技术大学研究生院工学硕士学位论文 a u t o s c o p e 系统在北美，欧洲和亚洲数以千计运行的交通智能管理监控系 统中得到了实践的验证。其主要功能如下：通过车辆检测控制交通信号( 模拟感应 线圈) 、检测车辆排队长度、检测转弯车辆数、检测交通事故、测速、提供用户自 定义等其它功能。 o b j e c t v i d e ov e w 1 1 l 2 0 0 4 年6 月，o b j e c t v i d e o 公司推出了一款功能强大的智能视频监控软件 o b j e c t v i d e ov e w ，极大地提高了传统视频监控系统的监控能力。该软件可实时地 检测、识别、分类和跟踪目标，并采用产生式规则的知识表示方法对监控视频事 件进行建模，当发现有违反用户自定义规则的事件发生时，立即发送报警信息。 由于o b j e c t v i d e ov e w 能够区分出哪些行为存在潜在的危险，哪些是无关紧要的 事件，所以，该软件能广泛应用于户外的监控场所。 n e x t i v a 系统 2 0 0 5 年1 1 月v e r i n ts y s t e m 公司在深圳安防展中向中国用户正式推出了下一 代具有“聪明摄像机”技术的n e x t i v a 系统。该系统将v e r i n ts y s t e m 的网络视频技 术和o b j e c tv i d e o 的智能视频图像分析技术完美的结合，为用户提供具有事件特征 分析技术的解决方案，简称为“聪明的摄像机”技术。n e x t i v a 系统可以分析8 种 事件规则，安全人员可以根据自己的需要为不同的摄像机建立不同的规则，如进 入、退出、徘徊、在运动过程中场景内多了一个物体、少了一个物体等等，通过 检测摄像机视场范围内物体的移动变化自动判断物体的运动是否违反了定义的规 则，为安全人员提供了全智能方式的安保系统。 除此之外，英国雷丁大学对欧盟的e s p r i tv i e w s 1 2 ( v i s u a li n t e r p r e t a t i o na n d e v a l u a t i o n o f w i d e a r e a s c e n e s ) 项目进行了多年的研究。采用基于3 d 线框模型的方 法，基本达到了对运动车辆进行实时跟踪和行为解释的能力。同时，英国利兹大 学也开展了对基于模型的行人监控系统的研究0 3 1 。 以上内容介绍了与监控视频事件智能处理相关的典型系统和项目，接下来将 介绍国外学者在监控视频事件描述与识别技术领域内的研究成果。 t w a d 和t m s t s u y a m a h l 采用一种事件驱动的注意力选择方法来识别多目标 事件。注意力选择模型是一个依赖状态的事件检测器和一个事件序列分析器。前 者检测图像某限定区域的变化情况( 事件) ，后者对检测到的事件序列、动作序 列和代表多目标行为的所有可行状态的序列进行分析。 n o l i v e r 和a p e n t l a n d 1 5 1 设计了一个贝叶斯计算机视觉系统来对人的交互事件 进行建模。该系统利用自底向上的信息构建自顶向下的封闭反馈循环，每个组件 都采用统计贝叶斯方法。同时，提出了两个不同的基于状态的学习结构，即h m m s 和c h m m s ，通过对两者的比较，实验结果显示该系统不需要额外的训练，就能对 第5 页 国防科学技术大学研究生院工学硕士学位论文 人的行为和人之间的交互事件进行精确地分类。 c s p i n h a n b e z 等【”1 提出的肿师网络( p a s t - n o w - f u t u r en e t w o r k ) ，使用时间关 系逻辑来表达不同子事件之间的并行与互斥特性，然后将时间关系映射到一个三 元组的p n f 网络，用以完成对动作以及子动作的检测。 文献 1 7 1 提出了一种采用声明模型( d e c l a r a t i v e m o d e l ) 来描述场景中事件( 包 括场景状态、运动对象行为、动作等) 的方法。该方法将事件表示为场景中对象 的条件，然后用传统的约束满足算法来完成对视频序列中对象事件的识别。 为了提高视频事件识别的效率，v v u 等1 1 8 1 提出将视频场景模型进行逐步分割 并进行视频事件识别的方法。 针对户外的视频监控应用，文献 1 9 1 提出了一种检测和识别人行为的系统框 架。其在底层的运动检测算法基础上提供了一种智能控制方法，检测和跟踪人的 行为动作，并提出了一种基于跟踪轨迹的有效行为描述方法，这种方法无需采用 h m m 模型或c h m m 模型并提高了行为的识别能力。 文献 2 0 1 提出了一种基于规则的监控视频事件识别方法。文中对大量的上下文 无关的监控视频事件进行了定义和描述，实验结果表明该方法的事件识别效果比 较好。 2 0 0 0 年9 月，n i e l sh a e r i n g ，r i c h a r dj q i a n 和m i b r a h i ms e z a n l 2 l j 提出了一种 三层结构的视频事件检测方法，并将该方法应用于野生动物猎杀事件检测中，验 证了方法的有效性。在该结构中，第一层主要负责提取颜色、纹理和运动特征并 对镜头进行分割，获取运动对象的像素块。中间层则采用神经网络方法对运动对 象进行分类，并结合第一层提供的特征和中间层的推理结果对视频镜头进行描述。 第三层则通过结合中间层的描述结果和用户定义的事件模型来完成对特定领域的 事件推理。该方法可通过更换中间层的事件分类模型和事件模型，来实现对不同 领域事件的识别。 2 0 0 4 年6 月，美国m a r y l a n d 大学的o h a n e m 等f 2 2 】提出利用p e t r i 网进行监控 视频事件表示和判定的方法。首先，把用户关于特定视频事件的查询进行转换， 获得由一系列更简单事件为节点构成的p e t r i 网。然后，通过移动及触发p e t r i 网上 的令牌( t o k e n ) 进行视频事件识别。该方法具有较高的视频事件推理效率和识别 质量。 n m o e n n e l o c c o z ，f b r e m o n d 和m t h o n n a t 田j 提出了一种基于动态贝叶斯网 络模型的学习方法，这种模型能够模拟刻画人行为的视觉特征随时间的变化情况， 从而实现对人行为的检测与识别。 y i v a n o v 和a b o b i c k l 2 4 采用两级结构识别监控视频事件：文献 2 5 1 采用主成 份分析( p c a ) 和马尔可夫链分析视频内容：文献 2 6 1 设计了一个简单的统计距离函 第6 页 国防科学技术大学研究生院工学硕士学位论文 数来度量视频序列，根据不同时间尺度的时空特征来检测和识别事件；s h o n g e n g 和r n e v a t i a t 2 7 1 设计了一个多线索结构，通过在一个时间逻辑网络中遗传事件线索 的约束和可能性，由多个智能主体来检测事件；文献 2 8 1 就个案研究中的覆盖检查 提出了一个特别的事件检测系统；文献 2 9 1 结合视觉监控和视频事件识别算法实现 对机场交通车辆和人的监控，该系统采用本体描述语言对视频事件进行描述从而 建立事件模型，同时结合基于时空推理实现事件检测和识别。 目前，除了以人为监控目标的智能视频监控系统外，智能交通监控系统的研 究也成为众多学者的研究热点。 k a t s u s h ii k e u c h i 和m a s a os a k a n c h i d o 对于十字路口的交通监控和事件检测提 出了一个称为时空马尔科夫随机场( m r f ) 的算法他们分析压缩域( d c t 系数) 特征，并基于h m m 建立事件识别系统。 对于大规模场景的事件检测，e r i cg r i n l s o n 和l i l yl e e 在文献 3 1 ，3 2 1 中提出构 建一个多相机监控系统该系统首先提取实时更新背景，然后估计运动目标( 如 车辆) 在通常坐标下的三维相对位置和方向，从而可以连续地跟踪运动目标，并 分析他们的行为模式。 d a n i e ld a i l e y 3 3 1 采用非标定相机估计平均交通速度，文中认为不必估计相机的 精确标定参数，可由车在图像中的几何关系、帧之间的运动路线、车的长度分布 来估计车的速度。 文献 3 4 ，3 5 1 对自动交通监视系统提出了基于轨迹检测的方法。其步骤首先是 背景提取和分离，然后提取运动轨迹，再是场景建模和识别。 文献 3 6 】给出了一个自动发现和分割视频中事件的算法，核心思想是最小化 熵，方法是利用h m m 内状态机将观察到的事件组织成有意义的状态。 文献 3 7 1 通过对可视化数据基于规则推理来检测城市交通场景中的车辆，其低 级图像处理模块可以提取各种光线条件下的可视化数据，其高级处理模块是一个 通用知识推理框架。 文献 3 8 1 通过建立车辆与其像素块( b l o b ) 之间的对应关系，从而对车的跟踪就 是对块的跟踪，作者把对块的跟踪看作一个双向图优化问题。该方法不仅可以完 成对车辆的跟踪，还可以通过跟踪车辆来统计改道车的数量，并给出每个车的速 度和方向。 i e e e 从1 9 9 8 年起资助了国际视觉监控系统研讨会。国际权威期刊u c v ( i n t e r n a t i o n a lj o u m a lo fc o m p u t e rv i s i o n ) 在2 0 0 0 年6 月出版了有关视觉监控算 法的专辑。当前，国际上一些权威期刊如u c v 、c v i u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、 i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e m m i o n m 第7 页 国防科学技术大学研究生院工学硕士学位论文 c o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo i l c o m p u t e rv i s i o na n dp a t t e mr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e f e n c eo nc o m p u t e r v i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等都将视频 运动目标分析研究作为主题内容之一，为该领域的研究人员提供了更多的交流机 会。但它在国内的发展很缓慢，相关研究还处在实验阶段。 1 2 2 国内研究现状 在我国，这方面的研究可以说是个新领域，近几年才开展起来。第一届全国 智能视觉监控学术会议于2 0 0 2 年5 月2 5 2 6 日在北京市西郊宾馆成功举行，会议 由国家自然科学基金委员会、中国自动化学会、中国科学院自动化研究所等单位 举办，并由中国科学院自动化研究所模式识别国家重点实验室承办。来自全国各 地高校、科研院所、公安部、二炮、企事业单位的科研人员、学者就视觉监控领 域作了广泛而又深入的讨论。 2 0 0 4 年6 月，中国图像图形学会主办了第一届机器视觉国际展览会，在产业 界和学术界产生了广泛的影响；2 0 0 6 年3 月1 8 - 1 9 日，北京图像图形学会和公安 部第一研究所在北京举行了首届中国城市公共安全视觉听觉科技研讨会，就视频 监控系统中的运动目标识别、人群聚集与突发行为模式分析、生物特征识别与认 证等技术在国内的研发和应用现状进行了研讨，以提升2 0 0 8 年北京奥运公共安全 对策。 中国科学院自动化研究所模式识别国家重点实验室己成立智能视觉监控研究 组，对交通场景的视觉( 基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆 跟踪算法) 、人的运动视觉监控( 基于步态的远距离身份识别) 和行为模式识别( 提 出了对目标运动轨迹和行为特征的学习的模糊自组织神经网络学习算法) 进行了 较为深入的研究，取得了一定的成果1 3 9 删。开发的智能交通监控原型系统，在不 需要人的干预、或者只需要很少干预的情况下，通过对摄像机拍录的视频序列进 行分析，实现车辆的定位、识别和跟踪，并在此基础上分析和判断车辆的行为， 对车辆的行为给出语义描述。该智能交通监控方案还处在实验阶段。国内还有一 些高校也进行了这方面的研究，如上海交通大学、北京航空航天大学、北京理工 大学等。此外，国内在面向体育视频 4 5 ，4 6 1 、新闻视频【4 7 1 等视频事件的处理与识别 中也开展了一些有成效的研究工作。 而国内智能视频监控方面的产品只是简单的检测出有无运动目标，而没有对 运动目标做任何分析。通过对长沙市内银行、交通、超市、酒店等监控系统应用 单位的了解，目前对监控内容做进一步智能分析，从而辅助管理决策的系统几乎 没有。在进行视频事件检索时也只靠时间线索人工查找，智能程度不高。 第8 页 国防科学技术大学研究生院工学硕士学位论文 但是，对智能视频( 视觉) 监控产品的研发和需求关注的单位已有不少，并 有越来越多的实体加入这个行列。特别是在智能交通监控方面已有一些低层次的 智能功能，如流量统计、违章检测等产品进入实际应用。 以上内容都说明了智能监控在国内的起步较晚，应用需求近几年才逐步显现， 相关的视频( 视觉) 图像处理与分析技术的研究才逐步受到学者、政府和商家的 关注和重视。 1 3 本文工作 本文主要研究如何构建一个通用的可扩展的开放性监控视频事件描述与识别 技术应用框架，实现对监控视频事件的高层语义描述与事件的自动识别。论文的 研究成果主要包括以下几个方面： ( 1 ) 设计了一个通用的可扩展的面向用户的监控视频事件描述与识别系统结 构。系统由事件描述与事件识别两个子系统组成。事件描述子系统运行在普通p c 机上，其功能模块包括本体描述模块、基于模糊p e t r i 网的视频事件建模模块、网 络上传模块等。事件识别子系统运行在嵌入式硬件平台上，包括视频成像模块、 底层特征处理模块、网络接收模块、基于p e t r i 网的视频事件推理模块等。 ( 2 ) 引入本体技术来描述监控视频事件，完成了对监控视频事件结构