（计算机软件与理论专业论文）基于信息熵的视频检索技术研究.pdf

摘要 随着视频压缩技术和网络传输技术的发展，视频由于具有直观、信息量大 等优点，成为了人们获取信息的丰流方式。如何对视频数据进行有效的组织和 管理以便于人们能够方便快捷地找到所需要的信息是一个值得研究的课题。视 频检索的i i 的就是要从大量的视频数据中找到所需要的视频片断。传统的基于 关键词的检索方法，关键词一般采用人工方式进行编写，不仅效率低下而且由 于带有很大的主观性，往往提供给用户的信息并不是用户需要的信息。为了能 够从大量的视频数据中快速自动准确地找到所需的视频片断，需要实现基于内 容的视频检索。 镜头是视频的基本单元。基于内容的视频检索过程包括三个步骤：第一步， 镜头分割，即不同镜头之间转换边界的检测，第二步，代表帧提取，即每个镜 头选取一帧或几帧能表达镜头主要内容的代表帧，这些代表帧可以用于视频内 容的快速浏览和作为视频检索的索引，第三步，内容相近的多个镜头进行聚类 组成更高层次的场景单元。 镜头检测作为视频分析重要的第一步，直接影响到视频检索的成败。近年 来人们已经对镜头检测做了大量的研究，但由于视频的特性，镜头检测中还有 很多问题没能很好的解决，例如如何确定精确的镜头转换帧，如何检测变化不 明显的渐变，如何自动地选取合适的自适应阂值都还没有一个通用有效的方法。 因此本文将镜头检测作为研究的重点。 本文研究的重点是将信息熵的知识运用到视频镜头检测中去。第四章讨论 了帧间熵差法在视频镜头检测中的应用，结合高斯模型和滑动窗口法确定自适 应阂值，并使用最大嫡分割法确定的分段全局最佳阈值消除滑动窗口法中由于 局部极大值造成的误检。利用间隔帧间熵差法结合前面确定的自适应阂值检测 渐变。 第五章讨论了互信息量在镜头检测中的应用，由于同一个镜头内的互信息 量的取值范围变化很大，因此不能直接利用常规的自适应阈值确定方法，本文 提出了结合均值和高斯模型的突变自适应阈值确定方法。对于渐变使用间隔帧 间瓦信息量进行检测。 在用镜头检溯算法将视频分割成镜头后，需要从镜头中提取出关键帧作为 视频的索引依据。术文第六章对熵差和互信息量在视频关键帧提取中的应用做 了一些尝试。 关键词：视频检索、镜头检测、关键帧提取、信息论、熵差、互信息量 a b s t r a c t w i t ht h ed e v e l o p m e n to fv i d e oc o m p r e s st e c h n o l o g ya n dn e t w o r kt r a n s l a t e t e c h n o l o g y , t h ev i d e oi n f o r m a t i o ni sa l r e a d yb e c o m et ot h em a i n l ym e t h 0 6o fp e o p l e o b t a i ni n f o r m a t i o nb e c a u s eo fv i d e oh a v et h ea d v a n t a g eo fi n t u i t i o n i s t i ca n dm o r e i n f o r m a t i o n h o wt oo r g a n i z i n ga n dm a n a g i n gt h o s ev i d e od a t at oc o n v e n i e n tf o r p e o p l et of i n dt h en e e d e di n f o r m a t i o ne x p e d i e n t l ya n df l e e t l yi saw o r t h yq u e s t i o nt o r e s e a r c h v i d e or e t r i e v a la i mi st of i n dt h en e e d e dv i d e os l i pf r o mam a s so fv i d e o d a t a k e yw o r di sw r i t eb ym a n u a li nt r a d i t i o n a lk e y w o r d b a s e dr e t r i e v em e t h o d ，i ti s i n e f e c i e n ta n di ti sd i f f e r e n tt oo f f e rt h ec l i e n tt h en e e d e di n f o r m a t i o nd u et oi t s s u b j e c t i v i t y i no r d e rt oa u t o m a t i cf l e e t l ya c c u r a t e l yf i n dt h en e e d e dv i d e oc l i p sf r o m a m a s so f v i d e o ，i tn e e di m p l e m e n tt h ec o n t e n t - b a s e dv i d e or e t r i e v e s h o ti st h ee s s e u c eu n i to fv i d e o c o n t e n t - b a s e dv i d e or e t r i e v ep r o d u c ei n c l u d e t h r e es t e p ：t h ef i r s ti ss h o tb o u n d a r yd e t e c t i o n ，n a m e l y , i ti st r a n s l a t eb o u n d a r y d e t e c t i o nb e t w e e nd i f f e r e n ts h o t s ；s e c o n d l y , k e y - f r a m ee x t r a c t i o n ，n a m e l y , i ti st o e x t r a c to n ef r a m eo rs e v e r a lf l a m ef r o me a c hs h o t ，t h o s ek e y - f l a m e sc a nu s e dt o v i d e oc o n t e n t sq u i c k l yb r o w s ea n di n d e xo f v i d e or e t r i e v a l ；t h i r d l y , s i m i l a r l yc o n t e n t s h o t st oc l u s t e rt os c e u e s h o td e t e c t i o ni st h ei m p o r t a n t l yf i r s ts t e po fv i d e oa n a l y s i s , i td i r e c ti n f l u e n c e t h ee f f e c t i v eo fv i d e or e t r i e v a l r e c e n t l y , p e o p l ea l r e a d yd om a n yr e s e a r c ht os h o t d e t e c t i o n b u ti ts t i l lh a v em a n yi s s u en o tt os o l v ed u et ov i d e op e c u l i a r i t y , s u c ha s h o wt oc o n f i r mt h ea c c u r a t et r a n s l a t ef l a m e , h o wt od e t e c tt h ea m p h i b o l o u sg r a d u a l s h o tt r a n s l a t i o n ，h o wt os c l e c ts u i t a b l ea u t o m a t i ct h r e s h o l d ，t h o s es t i l lh a v ea u n i v e r s a le f f e c t i v e l ym e t h o d s ot h a tt h ep a p e rt a k et h es h o td e t e c t i o nt or e s e a r c h e m p h a s e s t h i sp a p e rr e s e a r c he m p h a s e si st h a ta p p l yt h ei n f o r m a t i o ne n t r o p y sk n o w l e d g e t ov i d e os h o td e t e c t i o n i nt h ef o u r t hc h a p t e r , w ed i s c u s st h ec o n t i n u o u si n t e r - f r a m e s e n t r o p yd i f f e r e n c ea p p l yt os h o td e t e c t i o n ，c o m b i n eg a u s sm o d e la n ds l i d ew i n d o w m e t h o dt od e c i d et h ea u t o m a t i ct h r e s h o l d ，a n du s et h es u b s e c t i o nb e s tt h r e s h o l d n i d e c i d e db ym a x i m u me n t r o p ys e g m e n t i n gt oe l i m i n a t et h ef a u l td e t e c t i o no w i n gt o t h el o c a lm a x i m u mo fa l i d ew i n d o w u s i n gi n t e r v a li n t e r - f r a m e sc o m b i n et h e a u t o m a t i ct h r e s h o l dd e c i d e da tp r i o r i nt h ef i f t hc h a p t e r , w ed i s c u s st h em u t u a li n f o r m a t i o na p p l yt os h o td e t e c t i o n ， b e c a u s eo ft h ed i f f e r e n c ei sl a r g e ri nt h es c a l eo ft h es a m es h o t ，s ot h a ti ti sn o t i m m e d i a t e l yu s i n gr o u t i n e l ya u t o m a t i ct h r e s h o l dd e c i s i o nm e t h o d ，t h i sp a p e rp r o p o s e t h ea b r u p ts h o td e t e c t i o nd e c i s i o nm e t h o dc o m b i n em e a na n dg a u s sm o d e l u s i n g i n t e r v a li n t e r - f r a m e sm u t u a li n f o r m a t i o nt od e t e c t i o nt h es h o tg r a d u a lc h a n g e a f t e rs h o t sa r eg e n e r a t e df r o mv i d e oc l i p sb ys h o tb o u n d a r yd e t e c t i o na l g o r i t h m ， w en e e dt oe x t r a c tt h ek e yf l a m e sf r o mt h es h o t st 0a c h i e v et h ee f f e c t i v e l yi n d e x i n g i nt h es i x t hc h a p t e r , w ed i s c u s st h ee n t r o p yd i f f e r e n c ea n dm u t u a li n f o r m a t i o na p p l y t ov i d e ok e yf r a m ee x t r a c t i o n k e y w o r d ：v i d e or e t r i e v a l ，s h o tb o u n d a r yd e t e c t i o n ，k e yf r a m ee x t r a c t i o n ， i n f o r m a t i o nt h e o r y ，e n t r o p yd i f f e r e n c e ，m u t u a li n f o r m a t i o n i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得矮 靠姓毒或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：王淆 签字日期： d d 7 年4 月2 上日 学位论文版权使用授权书 本学位论文作者完全了解佞镦丧学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权当f 数走学可以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者挠王谱 锄鲐客本涛 签字日期：) 。口7 年牛月j 日 签字日期：a 矽7 年牛月赴妯 学位论文作者毕业去向： 工作单位： 电话： 踊讯地址：邮编： 第一章绪沧 第一章绪论 1 1 视频检索问题的由来 随着科学技术的进步，特别是多媒体数字化技术的发展和推广，存储成本 的降低，网络传输带宽的增长，计算机处理速度的提高，以及高性能计算环境 的普及化，现代信息检索所处理的对象和规模都有了很大的变化。包含各种类 型数据如文本、图像、音频、视频等的多媒体信息特别是视频信息，飞速膨胀 逐渐成为信息的丰流，并对人们的生活和社会的发展产生了重要的影响。视频 信息一方面具有信息量大，百闻不如一见、一图值千言等直观性的特点，另一 方面它的抽象和结构化程度较低，不利于进行有效的管理。 当用户希望从浩瀚的视频数据库中检索感兴趣的资源时，却发现传统的基 于关键词的数据库检索方法难以实用。其主要原因在于：一方面，在许多情况 下很难用一个或多个关键词来充分描述视频中的丰富信息，而且这种描述也存 在很大的主观性；另一方面，用户很难将其需求清晰的表达出来，而且这种表达 和媒体自身的描述也存在很大差异。为了实现对视频等多媒体信息的有效检索， 人们开始研究视频中包涵的“内容”，并因此形成了基于内容的视频分析与检 索( c o n t e n t b a s e dv i d e oa n a l y s i sa n dr e t r i e v a l ，c b v a r ) 这一个新的研究领 域【l j 。视频检索的研究涉及到人工智能、计算机视觉、信号处理、模式识别、数 据库、人机交互等诸多学科领域，具有重要的理论意义。同时，它也是理论和 实践紧密结合的一项研究，其最终目标就是解决信息膨胀，帮助人们更方便、 更快捷和更准确地找到需要的多媒体资源，具有巨大的应用前景。 1 2c b v r 的构成 一个典型的c b v r 系统至少包括媒体库( m e d i a b a s e ) 、特征库( f e a t u r e b a s e ) 、 方法库( a l g o r i h m b a s e ) 以及检索界面( r e t r i e v a l ) 四部分。其中媒体库是视频等 媒体本身，而特征库则是对媒体瘁内容和结构的描述，其中往往还有一个索引 库( i n d e xb a s e ) ，用来对特征库中的各种特征进行快速匹配。方法库则是各种 基于信息熵的视频榆索技术研究 特征提取以及特征匹配的方法集合，可以被用来组成大的实用的检索系统。对 于一个实用的检索系统来说，用户是通过检索界面和系统进行交互的。因此， 还可以引入一个外围的用户库( u s e rb a s e ) 。用来记录各种用户的信息。由于不 同用户对系统的理解存在差异，因此用户库的建立将有助于最终解决检索的有 效性问题。此外，在高层次特征提取和内容分析的过程中，还需要一个辅助的 知识库( k n o w l e d g eb a s e ) ，用来进行语义关联和理解等。图卜l 给出t c b v r 系统 的基本框架图。 f i g1 - 1c o n t e n t b a s e dv i d e or e t r i e v es y s t e mf r a m e w o r k 图1 - 1c b v r 系统系统框架 c b v r 系统中特征库的建立是一个首要阅题。从视频的结构特点对视频进行 内容分析时，镜头可以认为是视频的基本索引单元。以镜头为基本单元的基于 内容的视频检索过程包括三个步骤：第一步，镜头分割，即不同镜头之间转换 边界的检测；第二步，代表帧选取，即每个镜头选取一帧或几帧能表达镜头主 要内容的代表帧，这些代表帧可以用于视频内容的快速浏览和作为视频检索的 索引；第三步，内容相近的多个镜头进行聚类组成更高层次的场景或故事单元， 使用这样得到的场景或故事单元来描述整段视频，可以大大增加检索速度。 对于视频图像信息的检索首先需要分析图像视频中的内容和信息，并通过 特征提取及索引建立相关的特征库。进而，用户可以通过设定的界面交互式的 浏览或检索媒体库中的内容。一般来说，用户对媒体内容的描述和理解与系统 的设计并不是完全能够吻合的，因此在检索系统和用户之间存在着一个沟通的 鸿沟，从而造成检索的结果并不能完全满足用户的需要。为此，人们从两方面 第章绪论 试图进一步解决该问题。一方面从检索系统出发，由低层次的视觉和听觉特征 向高层次的事件和语义过渡，希望通过高层次的交互减少用户和低层次系统描 述之间的不确定性。另一方面，人们开始强调在用户反馈基础上的机器学习。 也就是在每次检索之后，由用户给检索结果打分，然后交由机器自动学习并给 出进一步优化的检索结果。 c b v a r 技术的目益成熟不仅将创造出巨大的社会价值，而且将改变人们的生 活方式。c b v a r 和传统数据库技术的结合，可方便地实现海量多媒体数据的存储 管理，与w e b 搜索引擎技术的结合，可以用来检索h t m l 网页中丰富的多媒体信息 【z 】。在可预见的将来，c b v a r 技术和多媒体的结合将会在以下领域中得到广泛应 用：多媒体数据库、知识产权保护、数字图书馆、网络多媒体搜索引擎、交互 电视、艺术收藏和博物馆管理、遥感和地球资源管理、远程医疗、天气预报以 及军事指挥系统等等l j j 。 1 3 相关的国际标准 1 3 1 视频压缩标准忡e g 在对视频的研究过程中，国际标准化组织i s 0 i e c 下的m p e g 委员会先后制定 了一系列的国际标准，主要包括m p e g 一1 ( 制定于1 9 9 2 年，主要用于v c d 等) 、m p e g 一2 ( 制定于1 9 9 4 年，主要用于d v d 、h d t v 等) 、m p e g - 4 ( 于1 9 9 8 年1 1 月公布，主要 用于网络视频) 等几个视频压缩标准，使得视频的压缩和传输更加规范有效。 m p e g 委员会在2 0 0 1 年9 月又制定了m p e g - 7 ，最新的m p e g 一2 1 ( 多媒体框架) 于2 0 0 0 年开始启动标准化工作。 m p e g 一4 标准最初是为了针对甚低码率的视频制定的，但是在最后它综合了 m p e g - 1 和m p e g - 2 ，并不再局限于甚低码率。m p e g 一4 的主要目的是为了能够对音 视频对象( a v o ) 进行压缩和操作。m p e g 一4 采纳了鉴于对象( o b j e c t b a s e d ) 的编 码、棋型编码等第二代编码技术。编解码的基本单元是媒体对象( m e d i ao b j e c t ) ， 而不是象素。m pe g 一4 支持基于内容的交互功能，现在已经广泛的应用于基于内 容的多媒体数据存取、游戏、网上购物、远程监控、远程医疗等领域。 基于信息熵的视频榆索技术研究 m p e g 一7 的正式名称是多媒体内容描述界面接口( m u l t i m e d i ac o n t e n t d e s c r i p t i o ni n t e r f a c e ) 。它并不是一种视频压缩标准，而是一个关于信息内 容表达描述的标准。m p e g 一7 的目标是建立对于不同的多媒体信息( 主要指音频 视频) 的标准描述，这些内容要与信息内容相关以便能用来快速和有效地查询 和访问各种多媒体信息。只要加上了这种标准化内容描述信息的多媒体数据， 人们就可以方便快捷地对这些大量的多媒体数据进行索引和检索。m p e g 一7 要解 决的问题就是对日渐庞大的图象、视频、声音等多媒体数据的管理和迅速搜索， 可用于数字化多媒体图书馆和多媒体编辑等方面。 1 3 2 视频检索评测标准_ t r e c v i d t r e c ( t e x tr e t r i e v a lc o n f e r e n c e ) 系列会议由美国国家技术标准研究所 ( n i s t - - n a t i o n a li n s t i t u t eo fs t a n d a r d sa n dt e c h n o l o g y ) 和国防高级研究 规划局( o a r p a - - o e f e n s ea d v a n c e dr e s e a r c hp r o j e c ta g e n c y ) 共同创办的，并 于1 9 9 2 年召开了第一次会议。其后，每年召开一次会议，集中反映当前国际上 最先进的信息检索技术。该会议的目标是通过提供大量的数据集和一致的评测 方法来鼓励人们( 研究机构) 在信息检索领域的研究，它为那些愿意相互比较 试验结果的机构提供了一个公共论坛。 最初，t r e c 主要针对的是文本信息的检索评测，但是随着检索领域中平台 的不断变化( 比如w e b 的发展) 、各种多媒体形式的信息不断涌现( 比如音频、视 频信息) 、不同的用户需求也在增多( 比如对问答系统的需求) ，t r e c 的研究内容 早已经超越了它的名字所能涵盖的内容。但是它的发展目标还是大体与原先一 致的，主要是致力于对以下几个方面的追求。 t r e c 追求的四个目标 以大规模测试集为基础，推动信息检索的研究； 经由开放式的论坛，使与会者能交流研究的成果与心得，以增进学术界、 产业界与政府的交流互通； 经由对真实检索环境的模拟与重要改进，加速将实验室研究技术转化为 商业产品； 4 笫。章绪论 发展适当且具应用性的评估技术，供各界遵循采用，包括开发更适用于 现有系统的新的评估技术。 从2 0 0 1 年t r e c 系列新增了对视像的检测v i d e o t r a c k ，由于其重要性， 从2 0 0 3 年起视像检索正式独立出来成为一个独立的系列t r e c v i d ( t r e c v i d e or e t r i e v a le v a l u a t i o n ) ，用以推动基于内容的视像检索方面的研究。 t r e c v i d2 0 0 4 一共给出了4 个任务： 镜头的边界检测( s h o tb o u n d a r yd e t e c t i o n ) ； 故事分割( s t o r ys e g m e n t a t i o n ) ； 高层特征提取或称概念检测( h i g hl e v e lf e a t u r ee x t r a c t i o no r c o n c e p td e t e c t i o n ) ； 检索( s e a r c h ) 。 1 4 基于内容的视频检索的研究现状和存在的问题 1 4 1 研究现状 由于视频的内容纷繁复杂，要实现一个通用的视频检索系统来分析各种视 频是相当困难的。目前视频内容分析( v i d e oc o n t e n ta n a l y s i s ) 比起商业应 用，更多地是在研究阶段。 研究项目组包括c a r n e g i e m e l i o n 大学的i n f o r m e d i a 数字视频图书馆项 目、m a r y l a n d 大学的l a b o r a t o r yf o rl a n g u a g ea n dm e d i ap r o c e s s i n g ( l a m p ) 、 m a n n h e i m 大学的m o v i ec o n t e n ta n a l y s i sp r o j e c t ( m o c a ) 、微软研究中心等。 c a r n e g i e 一l l o n 大学的i n f o r m e d i a 数字视频图书馆项n 4 f h n s f 、d a r p a 、 n a s a 等资助，i n f o r m e d i a 项目致力于研究新的方法进行自动地视频和音频的索 引、浏览、检索和内容提取等，并集成在一个系统中，用于教育、信息和娱乐 等行业。i n f o r m e d i a 项目发展智能、自动的视频内容分析机制以普及数字视频 图书馆的应用，在语音识别、图象认知、自然语言处理等领域的研究为基于内 容和知识的自动检索和内容提取提供了支持。i n f o r m e d i a 项目已经研究开发的 项目包括i n f o r m e d i a 一1 ( n s f 资助的数字图书馆项目，结合了语音识别、图象认 基于信息熵的视频检索技术研究 知、自然语言处理等技术，实现视频的分割和索引) ，m u l t i l i n g u a li n f o r m e d i a ( 多语言i n f o r m e d i a 项目开发了自动的系统和工具，用于实现多语言和多媒体 信息的捕捉、检索、提取、直接和再利用等) ，目前正在研究i n f o r m e d i a - i i ( n s f 资助的数字图书馆项目第二阶段，实现视频信息的摘要等) ，v i d e oi n f o r m a t i o n s u m m a r i z a t i o na n dd e m o n s t r a t i o nt e s t b e d ( 由a r d a 资助的智能视频分析与内 容提取) ，t h r e a d i n gi n f o r m a t i o np a t h w a y st h r o u g hn s d lv i d e o ( 由n s f 的 n a t i o n a ls m e t ed i g i t a ll i b r a r y ( n s d l ) 项目资助的数字视频图书馆的结构 化检索路径研究) 。k a n a d et 是c a r n e g i e m e l l o n 大学的i n f o r m e d i a 项目的主 要研究人员。 m a r y l a n d 大学的l a b o r a t o r yf o rl a n g u a g ea n dm e d i ap r o c e s s i n g ( l a m p ) 项目【5 】 6 】组由美国国防部、美国智能协会以及理光、飞利浦、松下等公司赞助， 项目组包括语言组和媒体组，其中媒体组研究文档认知和视频处理，在视频处 理中有镜头突变与渐变的检测、视频索引与提取、视频表征、关键帧选择、视 频风格类型分类、性能评估等研究内容。d o e r m a n nd 和s u b r a h m a n i a nv s 是m a r y l a n d 大学视频检索系统研究的主要人员，其研究的系统包括m e r i t 、 v i d e o t r a i l s 、v i q s 和h i a c s 等。 m a n n h e i m 大学的m o v i ec o n t e n ta n a l y s i sp r o j e c t ( m o c a ) 项目【7 【8 】 9 】是 为了自动提取视频的结构和语义内容，m o c a 使用的分析特征重要包括四类：1 ) 单幅图象( 帧) 的特征，例如亮度、色彩、文字等；2 ) 帧序列的特征，例如运 动、镜头转换等；3 ) 声音特征，例如声音转换、音量等；4 ) 以上三类特征的 组合，例如场景等。前两个特征可以一起认为是视频特征。m o c a 研究的内容包 括音频提取、物体提取、物体分割、镜头转换边界检测、文本分割与识别、人 脸识别、影片风格类型识别、视频摘要等。l i e n h a r tr 是m o c a 项目的主要研 究人员。 微软亚洲研究院的多媒体计算组 1 0 】 1 1 】 1 2 】研究如何以最有效、最直接的形式 去查询和得到最需要的信息，研究项目包括图像检索和数字影集、视频内容分 析和表征。图像检索和数字影集项目主要集中在图像上，研究新一代图像检索 技术使用户能够侠速、准确地从充斥着各种信息的互联网上检索到自己所需的 图像内容，能更有效率地管理大量的个人数字照片。目前此项目的研究重点集中 6 笳尊绪论 于特征分析和提取、相似性、相关反馈和学习、自动关键词标注等的图像检索 技术。此项目的另一个重点是研究自动地从图像中提取人名、地点、时间、事 件等特征的新算法及利用这些特征来赋予用户自动查询、检索和标注数字照片 的能力。视频内容分析和表征项目重点是探索更先进的数字视频技术，使用户 最终能够方便地管理、检索，传输和欣赏视频信息。其中，其研究的视频内容 分析技术丰要致力于将视频序列结构化，使之便于检索和随机访问：视频内容 表征技术致力于提取视频中的视听信息，包括视频内容的分类、运动对象的分 割、事件的检测以及其他内容的珲解，并用一种便于进一步进行内容分析的形 式来表示。张宏江博士目前是微软亚洲研究院基于内容的视频检索项目的主要 研究人员。 1 4 。2 存在的问题 从以上国内外的研究现状和一些产品来看，虽然视频检索特别是镜头检测 技术近年来取得了一些成果，但还是有很多问题有待解决： ( 1 ) 算法有待改进。由于视频的数据量大，处理时间长，算法处理的速度 很重要，因此如何提高视频检索算法的效率就成了研究的热点。 ( 2 ) 渐变镜头的检测。突变镜头的检测由于在突变位置相邻两帧间差异较 大，各种方法均可以达到很高的识别率。但对于渐变镜头的检测，由于相邻帧 间变化较小，现有的渐变镜头检测方法检测效果普遍较差。 ( 3 ) 镜头检测中阈值的选取。闽值过大会漏掉镜头转换：阂值太小则可能 会把镜头内镜头或物体的运动等情况误检测为镜头转换。不同类型的视频应该 选择不同的阈值，闽值应该根据视频的内容自适应地选定。 ( 4 ) 视频的检索反馈。基于内容的视频检索系统中，最常用的检索方式是 例子视频查询，即用户提交一部视频，系统返回相似的一系列视频，但怎样定 义的两部视频是相似的，仍然是个难题。而且由于视频内容的复杂性，不同用 户在检索过程中，即使对同一部视频，其注重的角度也有可能不同，因此接受 用户的反馈意见，当用户对查询结果不满意时可以优化查询结果，突出用户的 需要，仍需要进一步深入研究。 基于信，n 熵的视频榆索技术研究 ( 5 ) 视频多特征的综合检索方法。基于内容视频检索还要解决多种检索手 段相结合的问题，以提高检索的效率。对于单一特征检索手段，由于其约束信 息不足，在返回目标视频的同时往往会返回大量其他也满足此检索要求的视频。 采用多个检索手段相结合的方法无疑可提供更多的约束而使得返回视频中目标 视频的比率得到提高，但检索手段间的融合是所要解决的问题。 1 5 本文的研究内容及创新点 1 5 1 本文的研究内容 从上文的介绍中我们可以看到镜头检测既是视频检索中的基本问题也是视 频检索中的难点，镜头检测的效果直接影响到视频检索的成败和精度。本文研 究的重点就是如何利用信息熵进行视频检索中的镜头检测，并对信息熵在关键 帧提取中的应用做了一定的研究。 1 5 2 章节安排 本文共分七章，各章的主要内容如下： 第一章是绪论，介绍了基于内容的视频检索的基本概念和系统构成，分析 了视频检索的研究现状及存在的问题，并对本文的主要工作和研究内容以及章 节安排作了一个简要的介绍。 第二章是对现有视频检索关键技术的回顾，重点介绍了镜头检测技术，系 统地分析了各种类型的镜头转换，介绍了现有的具有代表性的镜头检测方法， 对检测结果进行了分析比较，指出各种检测方法的优缺点。 第三章是信息熵的基础理论知识，介绍了本文中用到的信息熵基础理论知 识，分析了图像中熵的表示方法，分析了熵差和互信息量作为镜头检测测度的 可行性。 第四章是基于熵差的镜头检测研究，介绍了熵差作为镜头检测测度的镜头 检测方法，使用连续帧间熵差检测突变，使用隔帧熵差扩大渐变效果，使用滑 动窗口法计算出自适应阅值可同时进行突变和渐变镜头的检测。使用熵最大化 笫节绪沦 分割法确定分段全局最佳阂值消除滑动窗口法局部极大值造成的误检。熵差作 为镜头检测的测度可有效扩大镜头转换帧与非镜头转换帧之间的对比效果，并 在试验中发现这种方法对诸如闪光灯、马赛克等t 扰有很强的抑制作用，不需 要额外处理。 第五章是基于互信息量的镜头检测研究，互信息量作为镜头检测测度是目 前围际上镜头检测方法中的热点，互信息量用于突变镜头检测具有很好的效果， 但是互信息量用于渐变镜头的检测还需要作进一步的研究。术章介绍了一种互 信息量突变检测中的自适应阂值设置方法，可以取得很好的突变检测效果；介 绍了一种用累积帧互信息量检测渐变的方法，取得了一定的效果。 第六章是信息熵在关键帧提取中的应用研究，介绍了利用信息熵熵差、互 信息量提取关键帧的方法，并可在随后用熵最大化原理约简多余的关键帧。 第七章是总结与展望。总结了本文所做的主要工作和成果，并指出了其中 的不足，进而对今后的发展方向和前景做了展望。 i 5 3 创新点 本文的创新成果主要有 1 )提出了使用帧间熵差作为镜头检测测度的方法，给出了使用熵差进行突 变和渐变镜头检测的方法，并给出了结合高斯模型滑动窗口法的熵差法 镜头检测的自适应闽值确定方法。 2 )提出了使用熵最大化分割确定分段全局最佳阂值消除滑动窗口法熵差 自适应阂值局部极大值造成的误检。 3 )提出了一种快速的r g b 颜色空间转化到h s v 颜色空间的计算方法。 4 )提出了一种使用互信息量作为镜头检测测度的方法中的结合均值和高 斯模型的突变镜头检测自适应阈值的确定方法，提出了一种使用间隔帧 间互信息量检测渐变镜头的方法。 、 5 )提出了利用熵差和互信息量作为关键帧提取测度的方法，提出了利用熵 最大化原理约简多余关键帧的方法。 基于信，口熵的视频枪索技术研究 第二章镜头检测技术回顾 镜头检测是基于内容的视频检索中的基本问题和难点问题，镜头检测的效 果直接影响到视频检索的成败和精度。镜头检测可分为基于非压缩域的镜头检 测和压缩域的镜头检测。镜头转换的检测过程一般如下：首先选取一个能够反 映出不同帧之间变化的量作为特征值，计算某一个时域内所有帧之间的这个特 征值；然后设定一个判断的标准对这些特征值进行判断，一般的方法是设定一 个或多个闽值，当镜头的变化即特征值超过某个阈值时就认为视频的内容发生 了重大改变，从而认为发生了镜头转换。 2 1 视频的分层结构 数字视频是由一系列图像帧组成的。由于人眼的视觉暂留作用，当这一系 列图像帧按一定速度播放时，人眼就感觉不到图像的不连续，而形成连续图像 运动的效果。虽然视频也是一种视觉媒体，但是它与图像的特性相差非常大， 除了有与图像相似的静态视觉特征以外，更重要的内容特征是有包括时基内容 结构和视频单元的动态视觉特征。视频是一种时基流媒体，作为信息的载体， 它具有内在的信息逻辑结构，从低层到高层，视频可以划分为帧、镜头、场景 级别的逻辑单元。视频的结构从上向下如图2 1 所示。 v i d e oi e v e l s c e n ei e v e i s h o tj e v e i f r a m el e v e i f i 9 2 1t h eh i e r a r c h i c a ls t r u c t u r eo fv i d e o 图2 - 1 视频的结构 0 笫二节镜三k 检测技术顾 下面给出在视频结构化的过程中对一些基本术语的定义1 3 】： 帧( f r a m e ) ：帧是视频流的基木组成单元。每一帧就是一副图像。视频流 就是由连续图像帧构成的。在p a l 制式的视频中，每秒中有2 5 帧；在n t s c 制 式中，帧率一般为3 0 帧秒。 镜头( s h o t ) ：镜头是指摄像机不间断拍摄的组帧序列，它常被看成一部 视频的最小结构单元。一般来说，同一个镜头中的图像帧比较接近，特征基本 保持不变。因此，通过发现相邻帧之间较剧烈的特征变化，就可以认为发生了 镜头转换。 场景( s c e n e ) ：语义上相关时间上相邻的若干镜头组成一个场景。场景反 映了视频所蕴含的较高层语义内容，如“学校运动会”这个场景可以由“运动 员入场”、“运动员比赛”和“观众呐喊”等多个镜头组成，形成个比较完整 和丰富的语义表达。 除了镜头和场景这种较一般的划分，在一些特定领域还有一些领域语义相 关的视频结构。例如，新闻视频通常有“主持人介绍”和“现场报道”交替进 行的结构；体育视频则是由个个比赛事件组成。这些特定结构的分析，通常 是和视频的语义分析结合在一起进行的。 从图2 1 可以看出，帧是视频中最小的组成单元，镜头是视频的基本组成单 元，镜头就是由摄像机一次拍摄的连续多帧组成，相似的镜头组成场景，连续 的场景组成故事单元，所有的故事单元一起构成了整个视频。 2 2 视频的运动分析 运动信息是视频数据所独有的，它表示了视频内容随时间的发展变化，对 于描述和理解视频内容具有相当重要的作用。在描述一个视频的内容时，通常 把视频中的内容分为背景和前景。对应的，在视频序列的运动分析中，也常把 运动信息分为背景运动和前景运动( 也称局部运动) 。背景运动是由摄像机的运 动造成的镜头内所有点的整体运动，又称全局运动或摄像机运动。前景运动是 指被拍摄物体在场景中的运动，又称为局部运动或物体运动。 这两种运动的性质是不同的，对视频内容的表达也是不同。由于在拍摄时 基于信息熵的视频检索技术研究 摄像机总是跟踪着视频的主要人物或事件，所以全局运动可以在一定程度上反 映丰要人物或事件的变化。在特定的应用场合，全局运动与视频的内容有比较 密切的关系，如跳水比赛中运动员的跳水动作都会伴随有很明显的摄像机运动。 全局运动的整体性使它可以用一组很少的模型参数来表示，这也是它在视频检 索中得到广泛应用的一个原因。 局部运动信息对应视频里目标在场景中的运动，这些运动通常是人们观看 视频时比较关心的内容，例如人物的手势动作等。局部运动比全局运动更为复 杂，一般只在小范围内表现出一定的一致性，需要有比较精细的方法才能刻画。 另外，物体各点的运动是由全局和局部运动叠加而成的，为了正确地提取局部 运动信息，必须首先估计出全局运动信息，并在对局部运动进行分析时将它的 影响去除。 2 2 1 全局运动估计 为了获得全局运动信息，需要对视频中的摄像机运动进行估计。一个视频 序列是由一系列时间上前后相关的图像帧构成的，这些图像帧的差异就对应视 频中包含的运动信息，提取全局运动信息，从根本上说，就是要寻找和确定背 景中各个点在不同帧上的空间位置。设( a j ) 为全局运动的一组参数，( x , y ) 为当 前帧上的一点， ，v ) 为它在下一帧上的对应点，则通用的全局模型可以表示为： i u = 丘( 工，y ，a 1 ，口2 ，) 【v = l ( x ，y ，a l ，a 2 c ) 实际中，许多不同的简化参数模型被提出并得到应用，如只考虑平移运动 的2 参数模型： u 2 j + a l v 2 y + a 2 考虑平移、缩放和旋转的6 参数仿射模型： u = d i 工+ 口2 y + a 3 v 2 a 4 工+ a 5 y4 - a 6 以及进一步扩展得到的8 参数双线性模型： 贫i 二革镜火检测技术川琐 u2 a l x y + a 2 x + a s y + ( 1 4 v = a s x y + a 6 x + 口7 y + a s 在对全局运动进行估计时，首先从相邻帧中选取足够多的观测点，接着用 一定的匹配算法求出这些点的观测向量，最后用参数拟合的方法来估计模型参 数。对全局运动模型的他计已经提出了许多方法，它们在观测点选取、匹配算 法、运动模型和估计方法等方面部各有特点。 观测点选取和匹配算法的好坏会直接影响到估计的准确性。例如，有的方 法将每帧图像分割成互不交叠的块，从中选取具有较明显纹理的块，采用块匹 配算法来计算运动向量0 4 1 ；有的方法选取图像中的边缘点作为观测