（通信与信息系统专业论文）智能视频监控系统关键技术研究.pdf

重庆大学硕士学位论文 中文摘要 摘要 随着视频监控系统向数字化和智能化方向的发展，智能视频监控技术已成为 国内外学者关注的热点问题。智能视频监控包括目标检测、目标跟踪、目标识别 和行为分析等。本文集中研究智能视频监控中的关键帧提取、人体目标检测与人 体行为识别相关算法。在总结和分析现有研究成果的基础上，对视频摘要生成、 运动目标检测、阴影消除、行为识别等关键问题进行了研究。 首先，本文提出了动态时域检测窗口的快速关键帧提取方法。通过时域检测 窗口把视频序列分割成长度不等的单元，并对窗口左右边缘帧以及窗口内的抽样 帧进行分析、对比，从而判断视频单元的内容变化。同时，采用窗口混合增长模 式和窗口慢检测机制保证关键帧提取的质量和速度。最后，对提取的关键帧序列 进行聚类，得到最优的关键帧。提取的关键帧序列能够为系统提供可信的数据源， 为后续的人体行为识别奠定良好的基础。 在运动目标检测和阴影消除方面，首先采用背景差法提取视频运动目标，通 过混合高斯模型对视频场景进行背景建模。提取的前景区域中包含了运动目标区 域和目标的运动阴影区域。监控场景的多样性增加了阴影检测的难度，单一特征 的阴影检测已经无法有效获取运动目标。为了有效去除阴影区域，本文改进了基 于置信度的融合多特征阴影检测算法，通过引入置信度因子，使得算法能够根据 不同场景，调整h s v 颜色特征和l b p 纹理特征的置信度，从而优化提取的运动物 体区域。在实际场景监控中，算法适用性较强。 在人体行为识别方面，本文主要研究对象为单目摄像机中的单人行为，将行 为按照从局部到整体，由简到繁的层次划分，采用行为理解的分层结构模型。将 傅立叶描述子和人体轮廓宽高比作为人体的外形特征信息，将人体质心的运动轨 迹作为运动特征信息，并进行提取。随后，根据该信息判断人体姿态。最终，根 据测试序列中人体姿态出现的顺序，计算在姿态转移图中的最大概率路径，从而 得到所属的行为类别。在以上工作的基础上，作者展示了本文人体行为识别算法 的实验效果。 关键词：智能视频监控，时域检测窗口，关键帧提取，阴影检测，人体行为识别 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t ht h ei n t e l l e c t u a l i z e da 1 1 d d i g i t i z e dd e v e l o p m e n t o fv i d e o 丘e q u e n c y s u e i l l a i l c et e c l l i l o l o g y ，i n t e l l i g e m d e os u r v e i l l a n c et e c h n 0 1 0 9 yi s a i le m e 玛i n g r e s e a r c ho r i e n t a t i o ni i lt h ef i e l do fc o m p u t e rv i s i o na i l dh a sa b - e a d yb e e nm m e l i m e l i g h t i n t e l l i g e n tv i d e os 叫- v e i l l a n c e i n v o l v e daw i d em g eo fc o n t e n t ， i n c l u d i n gt a r g e t d e t e c t i o n ，t a r g e tt r a c k i n g ，t a r g e tr e c o g n i t i o na r l db e h a v i o ra n a l y s i s t l l i st h e s i sf o c u s e s o nt l l ek e y 靠a m ee x 仃a c t i o n ，廿1 eh u m a nb o d yt a r g e td e t e c t i o na n dt l l eh i i i l a nb e h a v i o r r e c o 嘶t i o n ，e t c w em a k e 如n ：h e rr e s e a r c ho n l ev i d e oa _ b s t r a c t i o n ，l em o v i n gt a 唱e t d e t e c t i o n ，s h a d o we l i m i n a t i o n ，b e h a v i o rr e c o g m t i o n ，a 1 1 do t h e rk e yi s s u e s ，b a s e do nm e s 眦眦a 巧a i l da n a l y s i so fe x i s t i n gr e s e a r c hr e s u l t s t 1 l i st h e s i si sc o m m i n c dt on l ek e yi s s u e so fi m e l l i g e n tv i d e os u i v e i l l a i l c e t e c l u l o l o g y a n dt l l er e s e a r c hw o r km a i l l l yc o v e r st 1 1 ef o l l o w i n gt o p i c s ： r e a l - t i m ek e y 矗锄ee x 仃a c t i o ni ss i g i l i f i c a n tf o rt h eo n - l i n ei n t e l l i g e n tv i d e o s u r v e i l l a l l c es y s t e m i nt h i st 1 1 e s i s ，an o v e lk e yf 锄ee x t r a c t i o nm e t l l o db a s e do n d y n a m i ct i m e d o m a i nd e t e c t i o nw i i l d o w si sp r e s e n t e d t h ev i d e o 矗a m e - s e q u e n c ei s d i v i d e di n t ov i d e ou l l i t s 谢md i 髓r e n tl e n 咖s t h e 丘锄e sa tt l l ee d g e so ft h ew i n d o w a 1 1 dm es a m p l e d 行锄e si n s i d et h e 淅n d o wa r ea 1 1 a l y z e dt oj u d g et h i ec h a n g e so ft 1 1 eu i l i t c o n t e n t m e a n w l l i l e ，ah y b r i d 斟o w t hm o d eo fw i n d o w sa n ds l o wd e t e c t i o nm e c l m i s m a r ec l u s t e r e dt oo b t a i nt 1 1 eb e s tk e y 仔a m e t h ep r o p o s e dm e t l l o dp r o v i d e si m p m v i n g d a t ar e s o u r c e ，w l l i c hc a nl a yas o l i df o u n d a t i o nf o rm es y s t e m i nm em o v i n gt a r g e td e t e c t i o na i l ds l l a d o we l i m i i l a t i o n ，b a c k g m u r l dm o d e l i n ga r e b a s e do nm i x t u r 。eg a u s s i a i lm o d e l ，w i l i c hh a ds 们n ga d a p t i v ec 印a b i l 时f o rv a r i e t yo f e x t e m a lf 犯t o r s ，a i l d m o v i n go b j e c t sa r ee x 仃a c t e df 如m v i d e o s e q u e n c e su s i n g b a c k 伊o u l l ds u b t r a c t i o n 1 1 1 ee x 仃a c t e df o r e g r o u n da r e ai n c l u d e st a r g e ta r e aa n ds h a d o w a r e a i no r d e rt oe 岱：c t i v e l yi l e t e c tt h es h 呔l o wa r e a ，t ：b i st h e s i sp r o p o s e sa no p t i m i z a _ t i o n s h a d o wd e t e c t i o na l g o r i t t l i i l 谢t ht h ec o 以i d e n c e ，w i l i c hi sb a s e do nl b pt e x t i 】r ef e a t u r e s a n dh s vc o l o ri n f o m a t i o n a c c o r d i n gt od i 丘e r e n ts c e n e s ，t 1 1 ec o l o ra 1 1 dt e x t u r ef e a t u r e c o 血d e n c ei sc h a i l g e d ，f o ro p t i m i z i n gt l l er e s u l t so f 廿l em o v i n gt a r g e td e t e c t i o n i nt 量l i sp a p e r w ef o c u so nm es i n g l e _ h u m a nb e h a v i o rr e c o g i l i t i o ni nt l l em o n o c u l a r c 锄e r aa i l da d o p tt h e1 1 i e r a r c l l i c a lm o d e l su s e di nr e c e n ty e a r s w em a k eu s eo ft h e f o u r i e rd e s c r i p t o r s ，t h ea s p e c tr a t i oa n dt h et r 匈e c t o 巧o fc a l l c r o i d st or e c o g l l i z em e h 啪a i lb o d yp o s t u r e 丘l o mi m a g es e q u e n c e s f i n a l l y ，a c c o r d i n gt ot l l eo r d e ro fp o s t u r e s i i 重庆大学硕士学位论文英文摘要 印p e a r e di nm et e s ts e q u e n c e ，w ec a nc o m p u t et h em a x i m u mp r o b a b i l i 锣r o u t ei n 拙l e t r a l l s f e rd i a 铲a i l l r e s u h so fn u m e r i c a le x a n 叩l e ss h o wt h a tm ep r o p o s e da l g o r i m m p o s s e s s e sm o r ea d v a i 】t a g e sm a l lo t l l e ra l g o r i t h m s 淅mm es o l of e a ：t u r e k e yw o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c e ；t i m e - d o m a i nd e t e c t i o n 、 ，i n d o w s ；k e 订e e x 臼a c t i o n ；s h a d o wd e t e c t i o n ；h u m a l lb e h a v i o rr e c o g l l i t i o n i i i 重庆大学硕士学位论文 l 绪论 1 绪论 1 1 研究背景及意义 伴随人类社会的进步，“安全”逐步成为了社会发展的重要课题。尤其在某些特 殊领域中，人们对“安全防范”和“现场记录”提出了较高的要求，在此背景下，视频 监控技术应运而生。 如今，在人们的日常生活中，基于视频监控技术的应用已得到广泛应用，例 如楼宇内监控、停车场监控、小区、校园、银行、车站重要场所监控等，视频监 控己渗入到生活中的多个领域。然而，异常突发事件通常具有复杂性、频发性和 随机性的特点，因此增加了监控难度。目前采用的传统式视频监控系统是通过分 布式视频采集器对采集到的视频画面进行实时显示并自动备份。系统虽然可以成 为监控人员的“双眼”，但不能代替监控人员的大脑对采集的数据进行处理、分析， 系统自身无法发挥实时、主动、智能地监控。同时，如何对海量的视频数据进行 存储、浏览查看、以及检索也是监控人员所面临的难题。由此可见，传统的视频 监控系统在监控时间、覆盖范围和响应时间等方面均存在不足【l j 。因此，智能式视 频监控受到了越来越广泛的关注。 智能视频监控技术【l 】和传统视频监控技术具有本质上的差别。前者是通过计算 机视觉和模式识别的方法，对监控设备采集的图像序列进行自动分析，并对场景 中的目标物体进行定位、识别、跟踪，在此基础上，判断目标物体的行为动作， 整个过程无需人为干预。赋予计算机理解动态场景中运动目标行为的能力，使得 监控系统智能化、自动化，同时能够实时处理和分析监控设备采集的视频数据， 达到对异常行为进行报警。在银行、商店、交通路口、校园、居民住房内外等都 可以运用，显而易见，智能视频监控系统将在安全场所的监控中扮演着举足轻重 的角色。对于智能化监控技术的研究具有重要的社会意义和广阔的应用前景。 1 2 视频监控系统的发展应用及研究现状 1 2 1 视频监控系统的发展 智能视频监控是在传统视频监控的基础上发展起来的。传统的视频监控系统 发展至今，主要经历了如下三个阶段1 2 j ： 第一阶段：模拟时代。2 0 世纪9 0 年代初，采用的模拟闭路视频监控系统主要 依赖于摄像机、缆线、录像机和监视器等专用设备。所采集到的图像利用同轴电 缆进行传输。其缺点是传输距离短、无法进行远程访问。同时，臃肿的存储方式 给信息检索和查询带来诸多不便。 重庆大学硕士学位论文 1 绪论 第二阶段：数字时代。2 0 世纪中期，随着数字视频压缩编码技术的发展，出 现了以数字硬盘录像机( d v r ：d i g i t a lv i d e or e c o r d e r ) 为核心的半模拟、半数字 系统。存储数字化大大提高了用户对视频信息的处理能力。 第三阶段：网络时代。进入2 1 世纪后，随着网络技术、计算机处理技术的迅 猛发展，人们采用了i p 视频监控系统( i p v s ：i p d e os u r v e i l l a l l c e ) ，也称为网络 数字视频录像机系统( n v r ：n e 铆o r kd v r ) 。系统以互联网为传播介质，基于标 准的t c p i p 协议，采用流媒体技术，实现采集信息在网络上的多路复用传输，并 通过中央控制服务器，完成视频流的转发、报警等操作，以实现整个监控系统的 指挥、调度、存贮、授权控制等功能。i p v s 不仅继承了d v r 的优点，还能够保 证视频采集器通过有线无线的方式接入系统，同时，采用的开放性框架，具有良 好的扩展性。 1 2 2 智能视频监控系统的研究现状 上世纪末，美国国防高级研究项目署( d 心：d e f e n s ea d v a i l c e dr c s e a r c h p r o i e c t sa g e n c y ) 设立了视觉监控重大项目v s a m ( v s a m ：d e os u r v e i l l a l l c ea n d m o n i t o 血g ) 【3 】，以卡耐基梅隆大学( c m u ) 和麻省理工学院( m i t ) 为代表，众 多美国知名高校进行合作，通过对网络通信、传感、计算机视觉等多个学科融合， 以实现未来战争中人力监控费用昂贵、危险和人力无法实现等场合中的监控。马 里兰大学( m a r y l a l l d ) 负责开发的妒系统【4 】通过单目摄像机和红外摄像机能够实 现室外环境中的人体定位、人体分割、以及多人跟踪，还能够自动判断行人是否 携带物体、交换物体等简单行为。在2 0 0 0 年，d 删资助了远程人类识别重大 项目( h i d ：h u m a l li d e n t i f i c a t i o na tad i s t a l l c e ) ，旨在实现远距离情况下的人体检 测、识别、以及人体行为的理解。 在欧洲，由欧盟长期研究项目( e u u r ：e u r o p e a l lu n i o nl o n gt e n nr e s e a r c h ) 进行资助，比利时k a t h o l i e k e 大学电子工程系、法国国家计算机科学、控制研究院 【5 1 ，及多家欧洲著名高校和研究机构进行联合开的监控系统，通过对海量的监控视 频进行处理、分析，提取对于司法机构有利的视频数据。1 9 9 9 年，欧盟信息社会 技术( i s t ：i n f o n l l a t i o ns o c i e t ) rt e c l l l l o l o g i e s ) 的第五框架程序委员会设立重大项 目【6 】，其目的是开发公共交通管理系统，以便有效缓解城市交通压力，系统覆盖了 个人以及人群的行为分析、人机交互等方面。除此之外，英国雷丁大学对行人和 车辆的跟踪以及交互展开了研究1 7 j ；日本也开展了用于公共区域和智能小区的视觉 监控计划悼j 。 目前，国内在智能视频监控的研究领域处于研究的初级阶段。即使在国外， 对于系统某些关键技术的研究也正在摸索。中国科学院自动化研究所模式识别国 家重点实验室谭铁牛研究员研究基于三维模型的智能视觉监控系统。王兆其等【9 j 2 重庆大学硕士学位论文1 绪论 提出基于视频三维重构法对运动员的动作进行识别，并在体育训练中得到应用。 清华大学杜有田等人【l0 】采用分层，分别对目标、目标轮廓以及运动轨迹进行分析 建模，通过动态贝叶斯网络对交互动作进行分析。除此之外，上海交通大学、西 安电子科技大学、吉林大学等国内众多知名高校以及研究所都对智能视频监控技 术进行了大量的研究，在人体行为分析、交通场景监控、目标运动及跟踪等领域 取得了许多科研成绩。 1 2 3 智能视频监控系统的应用 智能视频监控具有广阔的应用范围，能够运用于公共安全监控、交通管理、 运动跟踪、智能家居等领域。具体的应用领域可从安全和非安全两个方面进行描 述： 安全相关类应用： 1 ) 高级视频运动检测：在复杂天气环境中( 例如雨雪、大风等) 精确检测单 个物体或者多个物体的运动情况，包括运动方向、运动速度等。 2 ) 运动跟踪：检测到运动物体后，根据物体的运动情况自动发送摄像机动作 的控制指令，使计算机能够自动跟踪物体，在物体超出该摄像机监控范围之后， 自动通知物体所在区域的摄像机继续进行跟踪。 3 ) 人物面部识别：自动识别人物的脸部特征，并通过与数据库档案进行比较 来识别和验证身份。此类应用可以在机场、火车站、体育场馆等应用场景中发挥 巨大的作用。 4 ) 车辆识别：识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。 此类应用可以用在被盗车辆跟踪等场景中。 5 ) 智能监护：视频行为的分析和理解可以用于家居安全系统。通过对正常人 的动作行为进行学习和训练，在家中老人或病人发生异常状况时，能够及时检测 异常并警报。 非安全相关类应用 1 ) 人数统计与人群控制：统计指定区域人流量；识别人群的整体运动特征， 包括速度、方向等，以免造成阻塞，以及及时发现人群的异常情况。典型的应用 场景包括超级市场、火车站等人员聚集的地方。 2 ) 交通流量控制：用于高速公路或环线公路上的交通监视，统计车流量、平 均车速、是否存在故障车辆、交通事故、违章行车行为等。 智能视频监控无论在生活安全方面、交通方面，还是在军事方面，都具有独 特的优势。 重庆大学硕士学位论文 l 绪论 1 3 智能视频监控系统框架和主要关键技术 1 3 1 智能视频监控系统框架 智能视频监控系统由四个模块组成：视频图像获取模块、图像处理模块、图 像分析模块和图像理解模块。其中图像获取模块是利用系统前端的视频采集器对 监控场景进行视频图像采集并以较小的存储体积进行存放；图像处理模块负责视 频图像数据的预处理；图像分析和图像理解模块是系统的核心模块，描述图像和 视频的关系。 视频图像获取 提取1 视频摘要 图 数 调整滤波 像 据 预 处 处 压缩 处 增强 理 理 理 压缩恢复 目标分割h 目标跟踪卜_ 一目标定位 图像分析 0 i 氍姐ji 田白 愀别| 行靼吲糕h 黢 图像理解 南 图1 1 智能视频监控系统架构 f i g 1 1t h ea r c h i t e c t u r eo fi n t e l l i g e n tv i d e os u e i l l a i l c es y s t e m 1 3 2 智能视频监控的主要技术 在智能视频监控系统中包含了数字图像处理、计算机视觉和模式识别等。依 据系统工作流程进行分析，主要涉及的技术有：视频镜头分割，关键帧提取，图 像压缩解压缩，图像滤波，图像去噪，运动目标分割、检测、识别，运动目标分 类、跟踪，目标姿态识别，行为定位与分析，行为理解等。其中，视频镜头分割， 关键帧提取有效压缩视频内容，减小存储空间，运动目标分割、检测，目标分类， 目标跟踪属于中低级处理，而行为理解和描述则属于高级的视觉处理。 4 重庆大学硕士学位论文1 绪论 1 4 本文主要研究工作和内容安排 1 4 1 本文主要研究工作 在智能视频监控系统架构的基础上，本文提出了动态时域检测窗口的快速关 键帧提取算法，为系统提供内容完善、数据存储体积较小的视频资源。在运动物 体检测方面，在混合高斯模型建模的基础上，结合颜色特征和l b p 纹理特征对前 景中的阴影进行检测，提出带置信度因子概念，并将该因子引入多特征融合阴影 检测方法中，为行为识别提供准确的人体轮廓。同时，针对智能视频监控系统中 的人体简单行为识别关键技术进行研究。 视频关键帧提取：智能视频监控系统中的视频图像采集器获取大量的视频 图像数据，对海量的数据进行处理，分析和存贮无疑会浪费大量的系统资源。本 文引入动态时域检测窗口对原视频数据进行关键帧提取，为系统提供数据内容完 整、数据量较少的视频数据资源，即便于视频资源的存储，也便于监控人员的检 索和查看。 带置信度因子的多特征融合阴影检测方法：针对融合多特征阴影检测的运 动目标提取算法中存在的不足，引入置信度因子，使算法能够根据不同场景，调 整某一特征阴影检测结果的置信度，有效检测出前景中的阴影区域，从而提供准 确的运动目标。 人体简单行为识别：采用基于外形特征和运动特征的方法，通过利用h m m 模型对视频中的人体行为进行识别。外形特征选用傅立叶描述子描述的轮廓特征 和目标区域的宽高比。运动特征选用运动目标质心的运动轨迹来描述。 1 4 2 论文章节安排 论文各章内容安排如下： 第一章绪论。介绍智能视频监控系统的研究背景、意义，发展应用与研究现 状，系统架构，涉及的主要技术和本文的研究工作。 第二章动态时域检测窗口的快速关键帧提取方法。首先介绍常用的镜头检测 方法和关键帧提取算法。在此基础上提出动态时间检测窗口的快速关键帧提取方 法，便于系统对视频源的检索和查看。 第三章基于置信度因子的多特征融合阴影检测。首先介绍常用的运动目标检 测方法，以及阴影对运动目标检测的影响，在融合多特征阴影检测的基础上，提 出带置信度因子的检测方法，精确运动目标，为运动识别算法提供可靠的特征值。 第四章基于h m m 的人体简单行为识别。首先介绍常用的行为识别算法。本 文采用状态描述法，提取运动物体的外形特征以及运动特征，通过h m m 进行训 练，识别行走、跳跃、蹲、躺四种行为。 第五章总结和展望。对全文进行总结，对下一步研究工作提出改进和展望。 重庆大学硕士学位论文 2 动态时域检测窗口的快速关键帧提取方法 2 动态时域检测窗口的快速关键帧提取方法 关键帧提取是视频处理技术的关键技术之一。关键帧提取能够将动态的视频 内容研究转换为静态的图像特征分析。在视频处理系统中，系统需要处理大量的 视频信息，通常的做法是将待处理视频进行关键帧提取，形成该视频的视频略览 或视频梗概，从而降低系统需要处理的信息量。因此，有效的提取关键帧不仅可 以减少处理的信息量，还可以提高视频内容的处理效率。关键帧提取的优劣制约 着视频处理系统的准确性，而提取速度直接影响系统的实时性。 从视频的组成结构来看，可以把视频从高到低分为：场景、镜头、帧图像三 个层次，其中帧图像是视频组成的最小单位。关键帧序列是指在所有视频图像帧 序列中，最重要、且最具有代表力的帧图像序列，它能够使观察者通过浏览关键 帧序列获知视频的主要内容。评判关键帧序列的优劣主要有两个原则：一、是否 能够还原原视频内容；二、是否提取了最少最优的帧图像，以减少数据信息的存 储体积。若要满足第一个原则，则需采取“宁多勿错”的关键帧提取法则，但这样会 导致数据存储量较大。若要满足第二个原则，则可能导致无法准确描述视频内容 的变化。同时，在大量的实际视频处理系统中，关键帧的提取速度也是系统的重 要评价指标之一。 2 1 关键帧提取技术概述 2 1 1 镜头分割方法概述 常用关键帧提取算法一般先采用镜头分割，将视频分割成为多个镜头的组合， 在各个镜头的基础上提取关键帧。镜头通常分为突变和渐变两种方式。突变是指 视频内容从一帧突然跳转到另一帧，中间没有时延；而渐变的过程通常需要几帧 或者几十帧才能完成，常见的镜头渐变有淡入、淡出和溶解。 依据镜头的不同类型，采用不同的分割算法，对于突变镜头，主要采取以下 几种方式： 直接灰度差法：通过计算相邻两帧图像间的灰度差值，判断是否大于预置 门限值，若大于，则判定镜头发生突变。该方法原理简单，但易受噪声以及摄像 机运动的影响。 基于边缘的镜头分割法：计算相邻帧图像间的总体位移，进行匹配，并计 算边缘的数量和位置。帧图像间的差值由边缘变化的百分比表示，也就是帧图像 间边缘移动的比例。该方法适用于包含稳健运动内容的视频。 基于直方图的镜头分割法：首先，帧图像的颜色特征采用直方图表示，避 6 重庆大学硕士学位论文2 动态时域检测窗口的快速关键帧提取方法 免了像素位置对算法的影响，通过计算相邻两帧帧图像间的直方图差值，从 而判断是否发生了镜头的变化。其缺陷是，内容无关的帧图像也可能具有类似的 直方图分布，容易造成镜头的误判。 对于渐变镜头的检测显然要难于突变镜头的检测，目前主要采取以下几种方 式： 双阈值比较法：首先设置两个阈值瓦和z ，计算帧图像之间的特征值差， 当大于乃时，则为镜头突变；当大于瓦小于瓦时，存在镜头渐变；当帧图像间特 征值差大于正时，定义该段连续帧的首帧为镜头缓变的起始帧。从渐变的起始帧 开始分别计算相邻帧的帧差并对帧差进行累计，当累计和大于瓦时，定义最后计 算的帧图像为渐变的终止帧。 模糊聚类法：该方法既可以用于检测突变镜头也可用于检测渐变镜头，通 过将视频进行模糊聚类，计算得到各帧图像属于明显变化( s c ：s i 嘶f i c a n tc h a i l g e ) 与非明显变化( n s c ：n o n - s i 鲥f i c a mc h a l l g e ) 两类场景的隶属度。若某帧图像属 于s c 的隶属度大于它属于n s c 的隶属度，则该帧属于明显变化类，并用l 表示。 反之用o 表示。因此，视频可用一串二进制序列表示，视频中镜头的突变和渐变 具有一定模式，对转化的二进制序列进行模式判别，从而来检测视频镜头的渐变 和突变。 2 1 2 常用的关键帧提取方法 大多数关键帧提取方法是在镜头检测的基础上，对视频内容进行处理和分析， 从而提取视频中具有影响意义的帧图像。目前常用的关键帧提取方法可以分为如 下几类1 1 - 1 3 】： 基于镜头边界的方法：该方法认为在镜头中的图像特征变化较少，从而选 择镜头的第一帧和最后一帧作为关键帧。该方法计算量较小，适用于内容变化较 小的固定镜头。但是算法未考虑视频内容的复杂性，固定的关键帧个数也无法表 达视频内容的变化。 基于内容分析的方法：该方法通过帧图像的底层信息( 颜色、纹理、形状 等特征) 进行处理和分析，来实现对关键帧的提取。方法的基本思路是把当前帧 图像与最新的关键帧进行比较，如果帧图像间的特征值大于预置的阈值时，判断 当前帧为关键帧。方法根据不同的视频内容提取不同数量的关键帧，但是无法保 证所选关键帧具有代表意义，对于运动较为复杂的镜头，易产生大量冗余帧。 基于运动分析的方法：这类方法的代表算法是w - o l f 提出的运动极小值算法， 该方法通过光流分析镜头中的运动量，在运动量局部最小值处选取关键帧。该方 法依赖于局部信息，并且计算量较大，无法满足视频处理系统的实时性要求。 基于聚类的方法：目前这类方法已经逐步成为了关键帧提取的主流技术， 7 重庆大学硕士学位论文 2 动态时域检测窗口的快速关键帧提取方法 广泛地运用于模式识别、信息检索中。算法的基本思想是：首先确定初始聚类中 心，然后根据当前帧图像与聚类中心的距离判断是否应当归属于该类，还是应作 为新的聚类中心，待所有帧图像分类完成后，在各类中选取距离聚类中心最近的 帧图像为关键帧。算法能够良好的反应视频内容，但无法有效保留原镜头内图像 的播放顺序。 在实时视频处理系统中，关键帧提取需要重点从两个方面考虑：关键帧的提 取时间和准确率。提取的关键帧不仅需要包含镜头的内容，还需要保存镜头的播 放时间顺序。与静态视频处理不同，实时的视频处理将提取时间作为重要的评价 指标，例如在智能视频监控系统中，提取时间过长导致系统响应较慢，会导致系 统后续操作延迟，从而难以满足系统的实时性。下文将提出一种动态时域检测窗 口的快速关键帧提取方法，在满足系统实时性要求的前提下，为系统提供理想的 视频数据，以便视频数据的检索、查看和后续基于关键帧序列的数据处理。 2 2 动态时域检测窗口的快速关键帧提取方法 引入时域检测窗口概念对视频帧图像序列进行动态划分，对窗口内部帧图像 进行抽样并组成抽样帧序列，分别计算抽样帧序列的帧问差，根据不同的窗口宽 度、窗口内不同的帧间差，采用不同的关键帧提取策略，从而加快了提取速度。 同时引入窗口增长机制和窗口慢检测机制保证关键帧提取的准确率。 首先介绍算法引入的图像特征以及相关定义。 2 2 1 帧间相似度 “颜色”是描述图像内容的重要特征之一【l 钔。运动、形状、纹理等信息的获取 相比颜色信息的获取较为复杂，在描述图像内容方面，也不如颜色信息直观有效。 因此，文中仅采用颜色特征介绍帧间相似度。 _ 帧图像的特征向量 r g b 颜色模型的可分辨色差呈非线性，各分量易受亮度影响，不适应人类的 视觉特点。h s v 颜色模型从人类视觉系统出发，用色调( h u e ) 、色饱和度( s a t u r a t i o n ) 和亮度( v a l u e ) 来描述色彩，具有线性伸缩性、可感知色差和颜色分量对应样值的 欧式距离成正比的特点【1 5 】，在计算机视觉和图像处理中更方便。因此，算法首先 将帧图像的颜色信息转换到h s v 空间模型中。 通过非线性变换，将r g b 颜色模型中r ，g ，b 各分量转换为h s v 颜色模型 中的h ，s ，v 各分量，如下所示： h = f2 i9 篙 ， 重庆大学硕士学位论文2 动态时域检测窗口的快速关键帧提取方法 ( t i n a x ( r ，g ，b ) 一1 1 1 i n ( r ，g ，b ) m a ) 【( 尼g ，b ) t ，m a ) 【( r ，g ，b ) ， 一一 2 5 5 。i昙【( r g ) + ( r b ) 】 舯肚一嬲 蔗一 ( 2 2 ) ( 2 3 ) 首先，按照人类的颜色感知将h s v 圆锥空间模型进行区域划分，并对其进行 等间隔量化，将色度h 分为8 个量化等级，色饱和度s 和亮度v 分为3 个，圆锥 空间被分为7 2 个区域【1 6 】，每个区域分配一个编号，z ( 0 胛7 1 ) 。帧图像的颜色 信息可以由一个7 2 维的列向量( ，q ，q 。) r 表示，其中各元素下标分别对应 编号所指区域。通过量化，使得h 、s 、v 各分量与特征向量形成一一映射的关系。 在颜色信息( ，q ，a 。，q ，) r 中，每个元素吼( 0 ，z 7 1 ) 的值表示图像中有个 像素点的h 、s 、v 分量映射在下标，z 所指向的区域中，其中o 仉m ，m 为图像的分辨率。 根据上述颜色信息，定义帧图像的特征向量由一个7 3 维的列向量 s = ( ，q ，口，。，口，：) r 表示。其中元素吒( 0 胛7 1 ) 是帧图像的颜色信息， 口，：( 1 q ：) 表示此帧在视频中的位置，为视频矿中包含帧图像的数量。例 如口，= 4 ，表示此帧为视频中第4 帧。帧图像的特征向量中不仅包含了内容信息， 同时也包含了位置信息，位置信息可以反映帧图像的时间顺序。 _ 计算帧间相似度 假设e 和f ，为选自同一部视频中的不同帧图像，其特征向量分别为 s = ( q o ，a l ，q 7 l ，q 7 2 ) r 和s ，= ( 口，o ，口，l ，一，口，7 l ，口，7 2 ) r 。为了提高算法的处理效率， 直观反映帧图像之间的颜色变化信息，算法选用街区距离【1 7 】度量两帧之间的帧问 差，定义为： 7 l 彤( f ，c ) = i 一啄l 扣o ( 2 4 ) 根据电影拍摄、剪辑原理，帧图像之间的相似性不仅与颜色信息有关，并且 与两帧在视频中出现的时间间隔有关。因此，任意两帧f 和f 之间的帧间相似度 可定义为： ( 互，c ) = 聊( z ，t ) 跏”( e ，c ，) ( 2 5 ) 其中跏( z ，t ) 和聊( e ，c ，) 分别为第f 帧与第，帧的时间相似度与内容相似 度。 根据式2 4 ，任意两帧z 和e 之间的内容相似度跏( g ，c ，) 定义为【1 6 】： & 朋( c f ，c ，) = 1 一彤( 巧，) ( 2 6 ) 9 重庆大学硕士学位论文 2 动态时域检测窗口的快速关键帧提取方法 通常，帧图像的时间相似度与其位置距离成反比，时间间隔越长，帧图像内 容相似性的概率越小，反之，概率越大。因此，任意两帧f 和f 的时间相似度 垅( z ，t ) 可以由两帧的特征向量中，元素计算得到： ( 互，乃) = 七l q 7 2 一口7 2 l ( 2 7 ) 其中七为常数。 2 2 2 时域检测窗口 通过分析视频的组织结构可知，在1 秒内所包含的2 4 3 0 帧帧图像中，多数帧 图像的颜色信息连续且高度相似，相邻帧时间具有相当多的重复信息，只有在镜 头发生突变时才会引起颜色信息的跳变。常用的关键帧提取算法均采取逐帧分析 的策略【1 8 之1 1 ，增加了大量无意义的计算，难以突破高实时性的要求。为了提高关 键帧的提取速度，算法结合视频组织结构的特点，引入时域检测窗口，利用窗口 检测算法提取视频关键帧。 窗口的增长机制 时域检测窗口( 以下简称“窗口”) 是用来检测帧间相似度的视频虚拟窗口，通 过窗口的移动和自增长将视频分割成不同宽度的视频单元。窗口具有最小宽度 w 刀dm i n 和最大宽度w 刀dm a x ，单位为帧。为了适应不同类型的视频，本文提 出窗口混合增长机制。 窗口混合增长机制包括快速增长和饱和增长两种模式。首先采用最小窗口宽 度w 门dm i n 对镜头进行检测，假设窗口内各帧图像都具有较高的帧间相似度，则 窗口将以指数形式继续增长，文中将这种增长称为快速增长。如图1 所示。 显而易见，窗口快速增长可以带来帧的快速提取，同时也会增加关键帧的漏 检率。因此，定义窗口抑制门限w 刀d 砌r ，窗口抑制门限可以控制窗口的增长速 度，当快速增长的窗口宽度大于等于窗口抑制门限( w 耐w 耐w 门d 砌厂) 时，窗 口增长进入饱和增长模式。饱和增长是指当检测窗口宽度大于等于窗口抑制门限 时，窗口宽度不再以指数形式增长，而以固定的宽度进行递增，进入线性增长。 如图2 1 所示。随着窗口的增长，当宽度大于等于最大宽度时，即 w 耐w 耐w 耐m a ) 【，窗口宽度将保持为w 刀dm a x ，不再增长。即有： 2 ，蒯一m i n ； w 刀d f w 硼m i n ，算法以最小窗口 宽度为间隔，对窗口内视频帧进行抽样，抽样得到的帧图像与窗口左右边缘帧按 照时间顺序组成抽样帧序列，并且计算帧序列中相邻帧的帧间差，通过帧间差判 断窗口内是否存在帧图像信息的“跳变”。若存在，则采用慢检测启动机制，从位于 最左端的跃变点处进行重新检测。同时从窗口左边缘与跃变点之间的帧序列中提 取关键帧。反之，则直接提取本序列的关键帧。窗口依照增长机制继续增长，如 图2 3 所示。 重庆大学硕士学位论文2 动态时域检测窗口的快速关键帧提取方法 1ii广 图2 3 窗口抽样检测示意图 f i g 2 3d i a g r 锄o f t h e1 v 忻n d o ws 锄p l i n gt e s t 例如帧图像序列l 至1 9 ，其中1 9 、1 7 1 9 为s h o t a 内容片段，l o 1 6 为s h o tb 内容片段，如图2 3 中虚线框标出。假设最小窗口宽度为4 ，检测窗口l 宽度为6 ， 对窗口内帧图像进行抽样检测，由于1 6 帧图像均来自s h o t a ，抽样帧序列中不存 在图像颜色信息的“跳变”。随后窗口进行增长，宽度增长为1 2 ，对检测窗口2 进 行抽样检测，即抽样帧序列由第6 、9 、1 2 、1 5 、1 7 帧组成，通过计算抽样帧序列 的帧间差，发现在第9 、1 2 帧之间出现了帧图像颜色信息的跃变。根据慢检测机 制，窗口以最小检测窗口宽度从“跃变点”处( 第1 2 帧) 重新开始检测，如图中检 测窗口3 所示。同时，提取第6 9 帧间的关键帧。 2 3 改进的关键帧提取算法流程分析 本文根据不同的窗口宽度，采取不同的关键帧提取策略。基于时域检测窗口 的关键帧提取算法步骤如下，其中t 为帧间相似度阈值： 1 ) 首先，使用初始窗口( 宽度w 门dm i n ) 对视频帧进行检测，由式2 5 计算 得出检测窗口左右边缘帧的帧间相似度聊( 吒， 。耐，。耐) ，其中。耐和 ，。甜分别代表窗口的左边缘帧和右边缘帧； 2 ) 判断研掰( 。耐，。耐) 丁是否成立； a 若溉( 。村，。耐) 丁，则将窗口内包含的所有帧图像作为此窗口的 关键帧，返回步骤( 1 ) 。 b 若跏( 吒厅。村，。耐) 丁，判断窗口内的帧图像具有较高相似度，则提 取右边缘帧，删作为此窗口的关键帧，进入步骤3 ) ； 3 ) 根据窗口增长机制，进入对应的增长模式，得到新窗口宽度w 以dw 耐 ( w 懈一w 耐 w 门d m i n ) 。再次计算窗口边缘帧的相似度m ( ，谢，。材) ； 4 ) 判断研朋( 吒一。耐，c 咖。村) 丁是否成立； a 若聊( 吒厅。村，。删) 丁，则窗口内至少存在一处帧图像颜色信息的跃 变点。算法将不对此窗口进行关键帧提取，直接返回至步骤1 ) 。 重庆大学硕士学位论文 2 动态时域检测窗口的快速关键帧提取方法 b 若跏( 瓦一。耐，。耐) 丁，对窗口内进行抽样检测。由帧图像的特征向 量表达式可知，任意长度的抽样帧序列都可以表示为：三= ( s ，三) ，其中s 为第f 帧的特征向量。三为抽样序列上的平均直方图： z = 小 眨 其中，表示抽样帧序列中包含的帧图像数量。同样，三能够由7 3 维的列向量 s = ( 口o ，q ，口7 。，口7 ：) r 表示。 a 若存在帧问差差值的跃变，将从窗口左边缘与跃变点之问的帧序列中提取 关键帧，并启动慢检测机制，返回步骤1 ) 。 b 若不存在帧间差差值的跃变，便将母作为抽样帧序列的“信息中心”，由辱 表示。由式2 4 、2 5 、2 6 、2 7 ，分别计算各帧与e 的帧间相似度 ( 跏( 巧，吒) ，m ( 疋，吒) & 朋( 吒，氏) ) ，从中选取相似度最小和最大的两帧作为 此抽样帧序列的关键帧，窗口继续增长，返回步骤3 ) 。 5 ) 以上算法步骤循环执行，直到视频结束为止； 6 ) 关键帧聚类。算法将采用聚类技术2 2 1 对时间接近、颜色信息类似的帧图像 进行聚类，以便以最优的关键帧表达视频内容。得到的关键帧序列可以由 ( s ，是，s ) 表示，其中s 对应第f 关键帧的特征向量，表示提取的关键帧总数。 首先设置聚类门限丁，并将s 作为第一个聚类集合的质心，继续后一关键帧图像 与质心的帧间差。若帧间差彤( s ，s ) 小于丁时，重新计算聚类集合的新质心 ( s + s ) 2 ：若帧问差大于丁时，将此关键帧作为新聚类集合的质心进行聚类。以 此类推，对所有视频关键帧进行分类处理。最后提取距离质