（信号与信息处理专业论文）基于mpeg足球视频场景切换检索的研究.pdf

j 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人繇挈毽嗍2 婢至半2 生一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围， 本人签名： 导师签名： 适用本授权书。 日期：2 趔咝皇盆丝旦 同期：j 墨l + 业一 北京邮电大学硕士研究生学位论文 基于m p e g 足球视频场景切换检测的研究 摘要 近年来，随着多媒体技术和计算机网络技术的发展，数字视频存 储和传输技术都取得了重大的发展。丰富的视频使得人们越来越频繁 地使用视频数据。为了方便用户快速找到所需的视频片段，需要高效 地管理视频数据库。在这种需求的推动下，近些年来基于内容的视频 分析和检索技术获得很大的发展，成为当前信息领域的研究热点。 足球比赛有着广泛的群众基础，因此，足球视频的分析与检索是 基于内容的视频检索领域的一个重要分支，一直备受瞩目。为了满足 观众个性化的要求，有必要对足球视频进行基于内容的视频分析与检 索。本文结合运动视频领域相关知识，对足球视频场景切换进行研究。 场景切换检索是基于内容的视频分析与检索中的第一步也是最 重要的一步。其检测精度好坏直接影响视频检索的质量。本文在现有 的场景切换检索的方法的基础上，根据足球视频的特点，提出实时、 高效地检索m p e g 足球视频场景切换的算法。通过理论研究与实验 相结合的方式，取得如下成果： 直接利用m p e g 视频的压缩数据( 宏块) 检测场景切换突变、 场景切换渐变、镜头回放和字幕，不仅计算量小，而且能做 到实时检测。 灵活地应用宏块信息( 时域统计和空间分布) ，将场景切换突 变领域有很好检测效果的方法扩展到场景切换渐变检测领 域，并通过改进方法，使之具有很好的检测效果。 结合足球视频中镜头回放和字幕出现的特点，灵活利用宏块 信息检测这两类场景切换，并具有较好的检测效果。 在m p l a y e r 播放器上实现本系统的安装、完成本系统模块的 代码实现，并进行实验。实验证明，与其他方法相比，本研 究所提的方法在漏检率和虚检率上有很大的提高，能够很好 的满足足球视频中精彩片段检测的要求。 本文是作者在研究生期间的理论学习和实际研发的总结，分为以 下七章： 第一章阐述课题研究的一些背景知识，以及作者在研究生期间 矗 6 l 、j 北京邮电大学硕一i ：研究生学位论文 的一些工作内容和成果。 第二章详细地介绍m p e g 标准，重点说明高清视频的压缩标准 m p e g 2 的相关原理，并介绍了足球视频的结构。 第三章详细地介绍了现有的场景切换检测算法。 第四章提出了基于m p e g 足球视频场景切换检索的算法。此算 法不仅能检测到足球视频中场景突变和场景渐变，还能检测到足球视 频中的镜头回放和字幕。 第五章介绍本研究的实验平台m p l a y e r 播放器，并在m p l a y e r 播放器上建立了本研究的模块。详细地阐述了本系统和本研究模块的 流程。并具体说明本系统的安装以及操作使用。 第六章对实验设置做了详细地描述，通过实验证明本研究所提方 法的有效性和高效性。 最后，作者归纳了本文的主要研究和应用工作，对有待深入研究 的一些问题提出了建议。 关键词视频检索m p e g 足球视频场景切换突变检测场景切换渐变 检测镜头回放检测字幕检测宏块( m a c r ob l o c k ，m b ) l i 6 - 一 企 北京邮电大学硕十研究生学位论文 t h er e s e a r c ho fs c e n ec h a n g ed e t e c t l 0 n b a s e do nm p e gs o c c e rv i d e o a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fm u l t i - m e d i at e c h n o l o g ya n d c o m p u t e rn e t w o r kt e c h n o l o g y , t h et e c h n o l o g i e so fd i g i t a lv i d e os t o r a g e a n dt r a n s m i s s i o nh a v em a d es i g n i f i c a n td e v e l o p m e n t s a b u n d a n tv i d e o e s m a k e p e o p l em o r ea n dm o r ef r e q u e n t l yu s et h e m t of a c i l i t a t et h eu s e r st o q u i c k l yf i n dt h ei n t e r e s t i n gv i d e oc l i p s ，w en e e de f f i c i e n tm e t h o d st o m a n a g ed a t a b a s eo fv i d e o i nr e s e n ty e a r s ，d r i v e nb yt h er e q u i r e m e n t ，t h e t e c h n i q u e s o fc o n t e n t b a s e dv i d e o a n a l y s i s a n dr e t r i e v a lh a v e g o t r e m a r k a b l ed e v e l o p m e n t ，a n db e c o m eah o t s p o ti nf i e l do fi n f o r m a t i o n f o o t b a l lg a m e sh a v eaf a r - r a g i n ga u d i e n c e ，t h e r e f o r e ，t h ea n a l y s i s a n dr e t r i e v a lo fs o c c e rv i d e oi sa ni m p o r t a n tb r a n c ho fc o n t e n t b a s e d v i d e or e t r i e v a l i no r d e rt om e e tt h ei n d i v i d u a ld e m a n d so ft h ea u d i e n c e i t i sn e c e s s a r yf o rf o o t b a l lv i d e oc o n t e n t b a s e dv i d e oa n a l y s i sa n dr e t r i e v a l i nt h i s p a p e r , c o m b i n e dt h ek n o w l e d g eo fs p o r tv i d e o e s ，w ed ot h e r e s e a r c ho fs c e n ec h a n g ed e t e c t i o ni ns o c c e rv i d e o e s s c e n ec h a n g er e t r i e v a li sf i r s ta n di m p o r t a n ts t e po fc o n t e n t b a s e d v i d e oa n a l y s i s t h ea c c u r a c yo fd e t e c t i o nh a sd i r e c ti m p a c to nt h eq u a l i t y o fv i d e or e t r i e v a l i nt h i sp a p e r , b a s e do ne x i s t i n gm e t h o d so fs c e n e c h a n g ea n dc h a r a c t e r i s t i c so fs o c c e rv i d e o ，w ep r o p o s e da r e a l t i m e d e t e c t i o na l g o r i t h m ，w h i c hc a ne f f i c i e n t l yd e t e c ts c e n ec h a n g e si nm p e g s o c c e rv i d e o t h r o u g ht h ec o m b i n a t i o no ft h e o r e t i c a lr e s e a r c ha n d e x p e r i m e n t ，w eo b t a i nt h ef o l l o w i n gr e s u l t s ： w r cu s et h ei n f o r m a t i o no fc o m p r e s s e dv i d e od a t at od e t e c ts c e n e c h a n g e s ，i n c l u d i n ga b r u p tc h a n g e s ，d i s s o l v ec h a n g e s ，r e p l a y , a n d c a p t i o n t h ea l g o r i t h mh a ss o m ea d v a n t a g e s ：s m a l la m o u n to f c a l c u l a t i o n ，a n dr e a l t i m ed e t e c t i o n w 色e x t e n dt h eg o o dm e t h o do fa b r u p tc h a n g e sd e t e c t i o nt ot h e i i i 6 - 一 北京邮电大学硕上研究生学位论文 f i e l do fd i s s o l v e c h a n g e sd e t e c t i o nb yf l e x i b l e l ya p p l i c a t et h e i n f o r m a t i o no fm a c r o - b l o c k ( t h es t a t i s t i c sf e a t u r eo ft i m e - d o m a i n a n ds p a t i a ld i s t r i b u t i o n ) i th a sav e r yg o o dd e t e c t i o nr e s u l t sb y i m p r o v e dt h em e t h o d s c o m b i n e dw i t hf e a t u r e so fr e p l a ya n dc a p t i o ni ns o c c e rv i d e o ，u s e t h ei n f o r m a t i o no fm a c r o b l o c kt od e t e c tt h e ma n dg e tg o o dr e s u l t s w ei n s t a l lt h es y s t e mo nm p l a y e r , c o m p l e t et h ec o d eo fo u r m o d u l e ，a n dp r o v e db ye x p e r i m e n t e x p e r i m e n t ss h o wt h a tt h e p r o p o s e dm e t h o dc a ni m p r o v et h er e c a l lo fp r e c i s i o n ，a n dm e e t t h er e q u i r e m e n to fh i g h l i g h ts c e n e sd e t e c t i o ni ns o c c e rv i d e o s t h i sa r t i c l ei st h es u m m a r yo fa c a d e m i cr e s e a r c ha n de x p e r i m e n t d u r i n g t h ea u t h o r s p o s t - g r a d u a t es t u d y i t c a nb ed i v i d e di n t ot h e f o l l o w i n g s e v e nc h a p t e r s i nt h ec h a p e ri ，w ee x p l a i ns o m er e l a t e db a c k g r o u n dk n o w l e d g e ， a n dt h ew o r ka n dr e s u l t so f a u t h o ri nt h es t a g eo fp o s t - g r a d u a t e ds t u d e n t i nt h ec h a p t e ri i ，w ed e t a i l e d l yi n t r o d u c et h es t a n d a r do fm p e g , e x p a t i a t eo nr e l a t e dt h e o r yo fm p e g 一2 ，a n de x p l a i n t h es t r u c t u r eo f s o c c e rv i d e o s i nt h e c h a p t e ri i i ，w ed e t a i l e d l ye x p a t i a t e o nt h ee x i s t i n g a l g o r i t h m so fs c e n ec h a n g e i nt h ec h a p t e ri v , w ep r o p o s et h ea l g o r i t h mo fs c e n ec h a n g e d e t e c t i o ni nm p e gs o c c e rv i d e o t h ea l g o r i t h mc a nd e t e c tt h ea b r u p t c h a n g e s ；d i s s o l v ec h a n g e s ，r e p l a y , a n dc a p t i o ni nm p e g s o c c e rv i d e o i nt h e c h a p t e rvw ei n t r o d u c e t h e e x p e r i m e n t a lp l a t f o r m ( m p l a y e r ) ，a n di n s t a l lo u rm o d u l eo nt h ep l a t f o r m t h e nw ee x p l a i nt h e p r o c e s so fo u rs y s t e ma n do u rm o d u l e a n dw ee x p l a i nt h ei n s t a l l a t i o no f o u rs y s t e ma n do p e r a t i o n i nt h ec h a p t e rv i ，w ee x p l a i nt h es e t - u po fe x p e r i m e n ti nd e t a i l a n dw ep r o v eo u ra l g o r i t h mi se f f e c t i v ea n de f f i c i e n t f i n a l l y , w es u m m a r i z et h em a i nr e s e a r c ha n da p p l i c a t i o nw o r k ，a n d g i v es o m ea d v i c e sa b o u t o ff u t u r er e s e a r c h k e yw o r d s ：v i d e or e t r i e v a l ，m p e gs o c c e rv i d e o ，a b r u p tc h a n g e ， d i s s o l v ec h a n g e ，r e p l a y , c a p t i o n ，m a c r o b l o c kt y p e i v 1 2 国内外研究现状2 1 3 本研究主要创新点与章节安排4 1 3 1 主要创新点4 1 3 2 章节安排5 第二章m p e g 编解码原理7 2 1 引言7 2 2m p e g 2 标准7 2 3m p e g 视频结构7 2 4m p e g 基本概念。9 2 4 1g o p ( g r o u po f p i c t u r e ，图像组) 9 2 4 2 宏块( m a c r ob l o c k ，m b ) 9 2 4 3 运动矢量( m o t i o nv e c t o r ) 。1 1 2 5 编码类型1 1 2 6 关键技术1 3 2 7m p e g 视频编码过程1 4 2 8m p e g 视频解码过程1 4 2 9 运动视频定义1 5 2 1 0 小结1 6 第三章现有场景切换检测技术1 7 3 1 引言，1 7 3 2 场景切换的检测算法1 7 3 2 1 非压缩域( 像素域) 中场景切换的检索算法1 7 3 2 2 压缩域中场景切换的检索算法2 0 3 3 不同场景切换检测算法的计算量比较2 2 v 北京邮电大学硕士研究生学位论文 3 4 ，j 、结2 ：； 第四章基于宏块类型的场景切换检测算法2 4 4 1 引言2 4 4 2 足球视频中场景切换类型。2 4 4 3 场景切换突变的切换方法2 6 4 3 1 各种场景切换突变与宏块信息间的关系2 6 4 3 2 解决方法2 8 4 4 场景切换渐变的检测方法2 9 4 4 1 场景渐变与宏块信息间的关系3 0 4 4 2 解决方法3 2 4 5 镜头回放的检测方法3 2 4 5 1 镜头回放与宏块信息间的关系3 3 4 5 2 解决方法3 3 4 6 字幕的检测方法3 4 4 6 1 字幕与宏块信息问的关系3 4 4 6 2 解决方法3 4 4 7 小结3 5 第五章系统设计3 6 5 1 弓i 言。3 6 5 2 实验平台m p l a y e r 一3 6 5 3 本系统介绍3 7 5 4 本研究模块的实现3 8 5 5 系统安装4 0 5 5 1m p l a y e r 的安装4 0 5 5 2 系统的使用操作4 0 5 6 j 、l ；。4 1 第六章实验4 2 6 1 弓l 言4 ：1 6 2 实验设置4 2 北京邮电大学硕1 ：研究生学位论文 6 2 1 使用的视频4 2 6 2 2 实验环境4 2 6 2 3 检测结果参数。4 3 6 3 实验结果及评价4 3 6 3 1 统计宏块数量4 3 6 3 2 统计帧图像类型4 4 6 3 3 各类场景切换结果4 5 6 3 4 处理时间4 5 6 3 5 实验结果4 6 6 3 6 平价4 8 6 4 j 、结。4 9 第七章全文总结与展望5 0 7 1 总结5 0 7 2 未来工作展望5 1 参考文献5 2 致谢5 5 硕士期间发表的论文5 6 i 北京邮电大学硕士研究生学位论文基于m p e g 足球视频场景切换检索的研究 1 1 引言 第一章绪论 近年来，随着多媒体技术和计算机网络技术的发展，数字视频存储和传输技 术都取得了重大的发展。同时，随着各种网络的普及和互联网的宽带化以及卫星 广播和高清电视的发展，全球每天都在产生数量众多的视频数据，视频数据库的 数量和规模也在飞速增长。丰富的视频内容使得人们越来越频繁地使用视频数 据。人们可以坐在家里访问远端的多媒体数据库，例如，访问多媒体图书馆、网 上购物、视频点播等等。然而，由于视频数据信息量大，抽象程度低，要快速、 准确找到所需的视频片段是件非常有难度的事情。为了快速准确地获取用户所需 的视频片段，必须寻找一种途径对数量庞大的视频数据进行高效管理。传统的浏 览方式已远远不能满足人们快速准确地获得视频内容的需求。因此有必要对视频 内容建立类似于图书的目录结构。在这种需求的推动下，近些年来基于内容的视 频分析和检索技术获得很大的发展，成为当前信息领域的研究热点。 基于内容的视频检索是指系统根据用户提出的视频特征检索出所需视频片 段的过程。一方面，视频数据是通过摄像机的拍摄和后期处理制作出来的，视频 数据中不像文本数据那样，具有基于人的理解的划分。另一方面，视频数据的基 本内容是图像和声音等多种物理信号的结合，包含了大量复杂的信息，因此使用 简单的方法不能够准确地提取内容信息。因此，要实现基于内容的视频分析和检 索，就必须首先研究视频数据的特点和结构。并根据其特点和结构将视频数据划 分成多个独立的视频单元，再对分割好的视频单元进行特征的提取，从而得到关 于视频数据的结构和每个结构单元的视频特征，这就是基于内容的视频分析和检 索中的视频分割技术。根据场景变换分割视频数据是最常见和公认的方法。 场景切换的检测是实现基于内容的视频分析和检索的第一步，也是最重要的 一项工作。它的检测精度直接影响到基于内容的视频分析和检索的性能。能准确、 快速检测出场景切换对视频内容分析和检索具有重要的意义。 随着基于内容的视频分析技术的发展，一些用于特定领域的视频分析技术也 被提出来。例如，自动提取和检测体育视频中精彩事件。由于观看体育比赛视频， 在同常生活中占据了极为重要的地位，所以这项研究是基于内容的视频分析和检 索领域的一个重要分支，一直备受瞩目。 足球比赛是世界上开展最广泛的体育运动之一，深受人们喜爱、具有广泛的 群众基础。调查结果显示1 1 l ：全欧洲共有4 8 0 0 万球迷对电视转播的英超“很有兴 北京邮电大学硕十研究生学位论文基于m p e g 足球视频场景切换检索的研究 趣 或“有兴趣，4 1 0 0 万人观看意甲，德甲的收视观众群也达到了3 7 0 0 万；虽 然没有国内球迷数量的准确统计数字，但是世界杯期间，国内观众1 0 0 亿人次的 收视量也显示了足球在我国的受关注程度。所以，足球比赛视频中精彩片段的提 取就是这个领域的热门话题之一。一场典型的足球比赛的时间超过一个半小时， 然而整个比赛过程中精彩事件( 例如，射门、角球、犯规等) 却很少，大概十分 钟左右。如果能够自动检测出精彩事件，并生成视频片段，再提供给用户，那么 不仅便于用户浏览，还为足球视频的自动编辑和分类存储带了极大地便利。 我们在研究中发现足球视频中的场景切换主要有四种：场景切换突变、场景 切换渐变、镜头回放和字幕检测。如何检测这四类场景切换，目前国内外许多研 究机构做了大量的工作。 1 2 国内外研究现状 近年来，随着多媒体技术和网络技术的发展，基于内容的视频分析与检测受 到日益广泛的关注。场景切换检索是基于内容的视频分析与检索领域的一个重要 分支，已成为当前研究的热点。很多研究机构在此领域做了大量的工作。 场景切换检测就是利用场景发生切换时所表现出的特性信息找到切换点的 位置，从而把整个视频分割成一个个独立的场景。足球视频中场景切换分为四种： 场景切换突变、场景切换渐变、镜头回放和字幕。场景切换突变是指视频流中一 个场景直接转换为另一个场景，中间没有时间上的延迟；场景切换渐变则是在发 生切换的两个场景间加入了一些后期编辑效果( 例如，隐现、谈入谈出等) ，使 前一个场景慢慢地转换为下一个场景。镜头回放是将视频中重要语意内容以慢镜 头的方法重播。镜头回放的生成方式一般有两种：一种是用标准摄像机录制后， 通过后期处理来实现；另一种是用高速摄像机拍摄，再以正常速度播放来实现。 字幕是电影银幕或电视机荧光屏上出现解说文字。 在场景切换处，帧图像的物理特征会发生明显的变化，这使得我们可以利用 这种变化来检测场景切换点的位置。根据所利用的帧图像的参数的不同，场景切 换检测算法一般分为两大类：非压缩域( 像素域) 中场景切换算法和压缩域中场 景切换算法。非压缩域中的场景切换算法，首先解压视频流数据，然后对解压数 据进行场景切换的检测；压缩域中的场景切换算法，不需要将视频流进行解压， 可以直接利用压缩数据检测场景切换。 研究人员已经做了大量工作，提出了一些算法和思想。非压缩域中场景切换 的检测算法，例如，基于像素的比较法【2 1 、直方图比较法【3 郎，6 ，7 1 、基于块的直方 图比较法【8 j 、基于重要区域相似性法1 9 l 等等以及压缩域中场景切换的检测算法， 例如，d c t 系数【1 0 , 1 1 l 、直流( d c ) 系数法1 1 2 l 、运动矢量( m o t i o nv e c t o r ，m v ) 2 北京邮电人学硕士研究生学位论文基于m p e g 足球视频场景切换检索的研究 法【1 3 , 1 4 , 1 5 , 1 6 域者宏块( m a c r o b l o c k ，m b ) 1 7 , 1 8 , 1 9 】法等等。 h j z h a n 9 1 3 】提出通过比较帧图像的直方图来检查场景切换。直方图法成为非 压缩域中最常用的场景切换的检测算法。它利用像素亮度和颜色的统计值，不考 虑位置信息。两幅具有完全内容的帧图像有可能具有相同的直方图，因此，很可 能造成误判。 王保雄1 8 】等人提出一种改进的直方图比较法。将帧图像分成若干个块，然后 比较基于块的直方图。这个方法考虑了位置信息，能够克服直方图比较法的一些 缺点。 谭丽娜1 9 】提出基于视频帧重要区域相似性的场景切换的检测方法。她认为， 视频帧的中间部位往往反映了图像帧的主要信息，因此，提出在连续视频帧中， 将相邻帧的前一帧中间区域分成大小相等的四个部分，然后在后一帧中的中间区 域寻找与前一帧四模块相似的区域。如果当前帧与上一帧没有相似的内容，则认 为此时发生了场景切换。 v l a c h o s 2 0 】等人提出了一种利用相位相关函数来进行场景切换突变检测的算 法，此方法比较新颖，但是计算量相当大，并且检测性能没有明显地提高。 b o u t h e m y 2 1 , 2 2 】等人提出的一种通过摄像机运动的参数模型和迭代算法同时实现 场景切换检测和摄像机运动检测的算法，这种算法计算量也相当大，而且没有表 现出明显优越的检测性能。 yn a k a j u m a 1 0 】提出了一种通过计算i 帧上d c t 系数的相关性来快速检测场 景切换的方法。d c t 系数能够反映帧图像的亮度信息和颜色信息。所以，场景发 生变化时，帧图像上的d c t 系数会发生较大的变化。利用这个特征，根据不同的 场景，yn a k a j u m a 分别利用i 帧上亮度值的时域变化或色差值的相关性来检测 场景切换处。 j i n c h a n gr e n l l l 】发明了一种利用帧间d c 图像的相位相关性来检测场景切换 的方法。d c 图像是根据d c t 系数获得的。在i 帧中，提取d c 图像是件很容易 的事。然而，在b 帧和p 帧中提取d c 图像并不容易。这时需要考虑运动补偿， 所以，必须先根据参考帧上运动矢量计算d c t 系数差额，再计算d c 图像。其计 算方法很复杂，难以做到实时检测。 k u n i ot a k a y a 1 3 1 等人提出利用运动矢量( m v ) 检测m p e g 视频中的场景切换。 并且使用s u s a n ( 最小同值分割吸收核) 算法来判决是否为待选的场景切换。最 后利用k - m e a n s 聚类来将待选的场景切换点进行分类聚集，从而得到场景切换 点。 3 北京邮电大学硕士研究生学位论文基于m p e g 足球视频场景切换检索的研究 s o o c h a n gp e i 1 7 1 等人提出利用连续两个b 帧的宏块信息来检查m p e g 视频 中的场景切换。通过利用不同类型的场景切换时的宏块变化特征来检查场景切 换。此法在场景突变切换的检测中具有较好的检测准确度和精度。但是对于场景 渐变的检测，此法效果并不佳。j f e n g 1 8 j 等人利用场景切换时，宏块层次上所需 的码率会发生变化以及宏块类型会倾向于采用帧内编码的事实来检查场景切换。 s u n g b a ej u n 1 9 j 等人提出，利用b 帧中前向预测宏块比率来检测m p e g 视频中 的场景渐变切换。前人所提的宏块法这种方法都具有一定的检测精度。s o o c h a n g p e i 和j f e n g 所提的方法在场景切换突变领域有较好的效果，但是在场景渐变领 域并不适合。s u n g b a ej u n 所提的方法容易造成误检。( 查准率p r e c i s i o n 只有 6 9 ) 。 通过研究，我们发现适用于足球视频的场景检索方法应具有以下特点： 能够实时或准实时地处理视频。因为足球视频具有很强的时效性。其包 含的信息量会随着时间的流逝而减少。即，距离足球实况的时问越长， 足球视频所含的信息量就越低。因而，对于足球视频分析来说，实时或 准实时处理视频是至关重要的。 能够克服移动造成的误判。由于足球视频中存在大量的照相机移动和运 动员的移动。所以，对于足球视频来说，减少移动造成的误判很重要。 具有一定的通用性。因为足球视频中有四类场景切换：场景突变切换、 场景渐变切换、镜头回放和字母检测。因而，对于足球视频分析来说， 要实现实时检测，最好能够有种检测方法能够通用于这四类场景切换。 通过分析上述场景切换检索方法，我们发现上述这些算法并不能很好地适应 于足球视频。比如，非压缩域的场景检索算法处理时间长；利用像素的比较法、 直方图比较法、基于块的直方图比较法、d c t 系数法、d c 图像发或是运动矢量 ( m v ) 法不能很好的克服移动造成的误判；并且目前还没有一种方法能够很好 应用于四类场景切换。 本研究采用的方法属于压缩域的场景切换算法，即是直接采用m p e g 视频 数据来检测足球视频中出现的四类场景切换，不仅简化了计算量，提高了检测的 实时性和准确性，还具有一定的通用性 1 3 本研究主要创新点与章节安排 1 3 1 主要创新点 本研究着眼于高清广播视频和d v d 视频压缩标准一m p e g ，不需要解压 4 北京邮电大学硕：l 研究生学位论文基于m p e g 足球视频场景切换检索的研究 视频数据，而是直接利用m p e g 视频的压缩数据对视频图像进行分析与检索。 本文主要讨论如何实时、高效地检测运动视频中各类场景切换。包括场景突变、 场景渐变、镜头回放以及字幕检测。在讲述m p e g 基本知识、视频构成以及现 有的场景切换的检测方法之后，针对目前场景切换检测中存在的几个问题进行研 究，并给出改造或新的算法。 直接利用m p e g 视频的压缩数据( 宏块信息) 检测场景切换突变、场景 切换渐变、镜头回放和字幕，不仅计算量小，能够做到实时检测，还具 有良好的通用性。 灵活地应用宏块信息( 时域统计和空间分布) ，将场景切换突变检索领域 有很好检测效果的方法扩展到场景切换渐变检索领域，并通过改进方法， 使之具有很好的检测效果。 ； 结合足球视频中镜头回放和字幕出现的特点，灵活利用宏块信息检测这 两类场景切换，并具有较好的检测效果。 在m p l a y e r 播放器上实现本系统的安装、完成本系统模块的代码实现， 并进行实验。实验证明，与其他方法相比，本研究所提的方法在查全率 和查准率上有很大的提高，能够很好的满足足球视频中精彩片段检测的 要求。 1 3 2 章节安排 本文的主要工作及成果主要包括：利用宏块( m a c r o b l o c k ) 类型的统计和分 布特性，节省大量的计算量，实时、高效地检测足球视频中各类场景的切换。例 如场景切换突变、场景切换渐变、镜头回放以及字幕检测。 本文共有七章，其内容安排如下： 第一章：阐述本研究的背景知识，国内外研究现状以及作者在研究生期间的 相关工作。 第二章：详细地介绍m p e g 标准，重点说明了高清视频的压缩标准一m p e g 2 的各种压缩解压原理、以及足球比赛视频的结构。 第三章：详细地介绍了现有的场景切换检测算法。包括非压缩域中的检测算 法以及压缩域中的检测算法。包括基于像素的比较法、直方图比较法、基于块的 直方图比较法、基于重要区域相似性法、d c t 系数法、直流( d c ) 系数法、运 动矢量技术等等。 5 北京邮电大学硕上研究生学位论文基于m p e g 足球视频场景切换检索的研究 第四章：研究和提出了基于m p e g 足球视频场景切换检索的算法。这种通 过分析宏块类型的统计和分布特性的算法，不仅在突变检测中具有高度的正确性 和准确性，在渐变检测中也有不俗的表现。将传统方法中的6 9 的查准率提高到 8 5 并且此法在镜头回放和字幕出现时，对其宏块样式进行分析。 第五章：介绍了本研究的实验平台m p l a v e r 播放器、并在m p l a y e r 播放 器上建立了本研究的模块。详细地阐述了本系统和本研究模块的流程。并具体说 明本系统的安装以及操作使用。 第六章：对实验设置做了详细地描述，并通过实验证明本研究所提方法的有 效性和高效性。 第七章：最后归纳了本文的主要研究和应用工作，对有待深入研究的一些问 题提出了建议。 6 北京邮电大学硕士研究生学位论文 基于m p e g 足球视频场景切换检索的研究 2 1 引言 第二章m p e g 编解码原理 m p e g 标准【2 3 2 4 ，2 5 ，2 6 ，2 7 ，2 8 1 是动态图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 的英文缩写，该专家组成立于1 9 8 8 年，专门负责制定视频和音频压缩标准，其 成员均为音频视频领域的技术专家。m p e g 组织最初得到的授权是制定用于“活 动图像”编码的各种标准，随后扩充为“及其伴随的音频”以及其组合编码。后 来针对不同的应用需求，解除了“用于数字存储媒体 的限制，成为了现在制定 “活动图像和音频编码 标准的组织。到目前为止，在视频压缩领域m p e g 仍 然是最热门也是应用最多的压缩技术。它包括m p e g 1 、m p e g 2 、m p e g 4 、 m p e g 7 和m p e g 2 1 等几个系列。在这里主要分析m p e g 2 视频压缩编码原理。 本章首先在2 2 节介绍了m p e g 2 标准；在2 3 节介绍了m p e g 的视频结构； 在2 4 节介绍了m p e g 的一些基本概念。例如，g o p 、宏块、运动矢量；在2 5 节详细地介绍了i 帧、p 帧和b 帧中的编码类型；在2 6 节对m p e g 中的关键技 术进行了阐述，例如，离散余弦变换( d c t ) 、运动估计和运动补偿；在2 7 节 和2 8 节分别介绍了m p e g 视频编码和解码过程；在2 9 节详细说明了运动视频 的结构特点；最后，在2 1 0 节给出本章的结论。 2 2m p e g 2 标准 m p e g - 2 是在m p e g 一1 的基础上发展起来的，其传送速度可达1 5 m b p s ，主 要针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等 码率较高的应用。目前，m p e g 2 广泛地应用于卫星广播业务( b b s ) 、电缆电 视( c a t v ) 、数字电视地面广播( d t r b ) 、点播电视( v o d ) 、数字声音广播( d a b ) 多媒体终端、网络数据库业务、双工通信等众多领域。 2 3m p e g 视频结构 m p e g 视频流是一个层次化的结构，包括视频序列层( s e q u e n c e ) 、图像组 层( g o p ：g r o u po f p i c t u r e ) 、图像( p i c t u r e ) 、片层( s l i c e ) 、宏块层( m a c r o b l o c k ) 和块层( b l o c k ) 六个层次。如图2 - 1 所示。 7 北京邮电大学硕士研究生学位论文基于m p e g 足球视频场景切换柃索的研究 曰 图2