（计算机系统结构专业论文）工程监理系统中关键帧提取技术的研究.pdf

摘要当前，监理制度在国际上已成为工程建设组织管理体系中的重要环节。在我国，监理制的实施是对传统工程管理体系的改革。由于现在工程监理主要依靠有丰富经验的监理人员亲自在现场进行监督来实现，而有丰富经验的监理人员一直都是紧缺资源，这就使得监理公司的业务规模受到了限制，从而限制整个监理行业的发展。工程监理系统的开发目的就是为大型建设项目的监理工作提供信息化的支持。监理工作的性质决定了，监理公司需要保存各种形式的，大量的监理工作的记录，这样既可以保证建设项目的顺利完成，也可以避免项目进行过程中业主、施工单位以及监理单位间可能产生的纠纷。现在，随着计算机技术以及多媒体技术的发展，可视化的数据，图像、视频已经成为了最有效的信息载体。视频数据相对于传统的文本形式的信息，能够将更丰富的内容以更直观的形式表现出来，因此，视频信息成为最适合为工程监理系统服务的信息保存形式。工程监理系统结合了实时监控，视频会议以及传统的基于数据库的管理信息系统的功能和特点。通过实时监控功能，系统将现场监理人员摄制的视频数据存入数据库，再辅以一些文字和图片形式的信息，作为监理工作的记录。随着系统工作的进行，将会产生大量的视频数据。对于这些视频数据的有效处理成为工程监理系统必须要有的一个功能。目前，在多媒体处理的相关领域内，对于视频数据的处理需求集中在如何快速有效的进行检索上。基于内容的视频检索正是由此产生的，它发展自基于内容的图像检索。所谓基于内容的视频检索，即是根据视频数据中的颜色、纹理、形状以及运动等特征为视频数据建立索引，并依据这些索引进行检索。这样做的目的就是让检索的过程更接近人对各种视频数据内容的主观感受。将基于内容的视频检索技术应用于工程监理系统正是本文的创新点所在。以提取的关键帧作为视频数据的索引是现在使用最广泛的视频索引方法，关键帧提取是索引过程中最为重要的一步。本文通过学习已有的关键帧提取方法，分析它们的特点，从中来选择最适合工程监理系统的提取方法，并针对系统的实际需求，设计视频关键帧提取的流程以及系统检索模块的结构。关键词：工程监理基于内容关键帧视频检索a bs t r a c ta tp r e s e n t , t h el a wo fs u p e r v i s i o nh a sb e c o m ea ni m p o r t a n tp a r to fc o n s t r u c t i o np r o j e c t i nc h i n a ，t h ei m p l e m e n t a t i o no ft h el a yo fs u p e r v i s i o ni sar e f o r m a t i o no ft r a d i t i o n a lp r o j e c tm a n a g e m e n ts y s t e m b yn o w , t h es u p e r v i s i o no fc o n s t r u c t i o np r o j e c tm a i n l yd e p e n d so nt h ew o r ks t y l et h a te x p e r i e n c e ds u p e r v i s o r sw a l ka r o u n dt h ec o n s t r u c t i o ns i t ea n ds u p e r v i s et h ep r o j e c t s u p e r v i s o r sw i t hr i c he x p e r i e n c eh a v eb e c o m eas c a r c er e s o u r c ef o rc o n s t r u c t i o ns u p e r v i s i o n ，w h i c hl i m i t st h es i z et h es u p e r v i s i o nc o m p a n i e sa n dt h e r e b yl i m i t st h ed e v e l o p m e n to fw h o l es u p e r v i s i o ni n d u s t r y p r o j e c ts u p e r v i s i o ns y s t e ma i m e da tp r o v i d i n gi n f o r m a t i o nt e c h n o l o g ys u p p o r tt ot h ec o n s t r u c t i o np r o j e c t s u p e r v i s i o nc o m p a n i e sh a v et op r e s e r v eal a r g en u m b e ro fs u p e r v i s i o nr e c o r d s t h i sw i l lh e l pt oe l l s u r et h es u c c e s s f u l l yc o m p l e t i o no ft h ec o n s t r u c t i o np r o j e c t , a n da l s oa v o i d e dt h ed i s p u t ea m o n gt h ep r o j e c to w n e r , t h ec o n s t r u c t i o nc o m p a n ya n dt h es u p e r v i s i o nc o m p a n y n o w ，w i lt h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dm u l t i m e d i at e c h n o l o g y ，i m a g ea n dv i d e oh a sb e c o m et h em o s te f f e c t i v ei n f o r m a t i o nc a r r i e r v i d e od a t a , r e l a t i v et ot h et r a d i t i o n a lf o r mo ft h et e x ti n f o r m a t i o n ，h a sm o r er i c hc o n t e n tw h i c hc a nb ee x p r e s s e di nt h ef o r mo fam o r ei n t u i t i v ew a y t h e r e f o r e ，v i d e oi n f o r m a t i o ni st h em o s ta p p r o p r i a t ei n f o r m a t i o nf o r mf o rt h ep r o j e c ts u p e r v i s i o ns y s t e m p r o j e c ts u p e r v i s i o ns y s t e mi st h ec o m b i n a t i o no ft h er e a l - t i m em o n i t o r i n g ，v i d e oc o n f e r e n c e ，a n dt r a d i t i o n a lm a n a g e m e n ti n f o r m a t i o ns y s t e m t h r o u g hr e a l - t i m em o n i t o r i n gf u n c t i o n so ft h es y s t e m ，v i d e od a t ac a p t u r e db ys u p e r v i s o r sw i l lb es t o r e di nt h ed a t a b a s e t h e s ev i d e od a t aw i l ls e n r ea st h er e c o r do fs u p e r v i s i o nw o r k d u r i n gt h es y s t e mw o r k i n g ，t h e r ew i l lb eal o to fv i d e od a t a t h e s ev i d e od a t af o rt h ep r o j e c ts u p e r v i s i o ns y s t e mm u s tb ee f f e c t i v e l yp r o c e s s e d v i d e o - d a t a - p r o c e s s i n gm a i n l yf o c u s e so i lh o wt od or e t r i e v a lf a s ta n de f f e c t i v e l y a sar e s u l t , t h ec o n c e p to fc o n t e n t - b a s e dv i d e or e t r i e v a lw a se s t a b l i s h e d i tw a sd e v e l o p e df r o mt h ec o n t e n t - b a s e di m a g er e t r i e v a l t h ec o n t e n t - b a s e dv i d e or e t r i e v a lu s e sc o l o rt e x t u r e ，s h a p ea n dc h a r a c t e r i s t i c so ft h em o v e m e n tt oe s t a b l i s hi n d i c e sa n dr e t r i e v a lv i d e od a t ab a s e do nt h e s ei n d i c e s t h i sm a k e st h ep r o c e s sg o i n gi naw a ym o r el i k eh u m a nf e e l i n g s v i d e oc o n t e n t - b a s e dr e t r i e v a lt e c h n i q u e sa p p l i e dt op r o j e c ts u p e r v i s i o ns y s t e mi st h ei n n o v a t i v ep o i n t so ft h i sp a p e r k e yf r a m ei st h em o s t l yu s e dv i d e od a t ai n d e x k e yf r a n l ee x t r a c t i o ni st h em o s ti m p o r t a n ts t e pi nc o n t e n t b a s e dv i d e or e t r i e v a l w es t u d i e dt h ee x i s t i n gk e y f l a m em e t h o d ，a n a l y z e dt h e i rc h a r a c t e r i s t i c sb a s e do nt h en a t u r eo fp r o j e c ts u p e r v i s i o ns y s t e m , s e l e c t e dt h em o s ts u i t a b l em e t h o df o re x t r a c t i n gk e yf l r n l ea n df i n a l l yd e s i g n e dr e t r i e v a lm o d u l es t r u c t u r e k e yw o r d s ：c o n s t r u c t i o np r o j e c ts u p e r v i s i o n ，c o n t e n t - b a s e d , v i d e or e t r i e v a l ，k e yf r a m e独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得鑫鲞盘鲎或其他教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学雠文作者张守峤签字睨叩年月y 日学位论文版权使用授权书本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。特授权苤查盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作：帝呤期：抛7 年v 月y 目导师签名：考移渤汛氆锢? ：7 钆刖1第一章绪论1 1 课题的提出1 1 1 项目背景第一章绪论目前，我国的建筑行业技术水平比较落后，施工过程与管理的自动化水平、信息化水平不高。随着我国经济的进一步发展，单纯的依靠低成本的人力资源来维持建筑行业的发展已经变成越来越不现实。因此，建筑业要实现继续的发展，就要依靠于产业的技术进步。实现信息化是目前各个行业发展自身实力的一个重要手段，信息化是实现行业跨越式发展的必由之路，信息化程度的高低往往能够表现出某一行业的发展状况是否可以满足当前经济与社会发展的需求。对于建筑业这类传统产业，信息化元素的加入能够提高整个行业的活力，能够改变行业传统的工作方式，带来行业的巨大变革。提到建筑施工现场，人们想到的往往是钢筋，水泥，成堆的建筑材料，很难想象这样的场景如果能够与信息化联系起来。建筑施工现场是建筑行业的最前线，尤其是大型的建筑项目，由于变化的现场环境，复杂的施工流程，在施工现场会出现各种各样的问题。这些问题能否得到快速的解决成为决定施工现场工作效率的重要因素。现在，建筑行业中的大型企业都在进行信息化建设，但主要是针对管理与办公自动化。在实际的施工现场，通常没有网络基础设施，施工现场的各种数据不能及时、有效地传入后方的管理系统，在缺乏必要的技术手段和足够的技术人员的情况下，现场出现的问题就得不到及时的解决。因此，对于施工现场的管理成为建筑业实现全过程信息化管理的一个薄弱环节。根据国家有关规定，对于国家重点建设工程、大中型公用事业工程、项目投资在3 0 0 0 万以上的项目必须实施强制性监理l 。由于对于监理工作需求的扩大，监理已经成为建筑行业的重要组成部分。经过自1 9 8 8 年以来十多年的发展，目前我国监理单位已有5 0 0 0 多家，从业人员近2 0 万，几乎所有的大中型建设项目都实行了监理，这些都促进了我国建设事业的发展。近几年来，无论是监理从业人员、监理单位以及实行监理的项目的工程规模都在以高速度发展1 2 j 但是面对建筑工程日益庞大，环境日益复杂，新工艺、新材料、新设备等不断涌现，对监理人员的素质和手段也提出了越来越高的要求。此外，拥有高知识，高技能的监理人员的数量无法满足监理工作的实际需要，人才的匮乏，使得监理公司不能有第一章绪论效地对施工现场进行监控和管理。这样不仅对监理行业自身会产生不良的影响，而且对整个建筑业的发展都造成了不良的影响。为监理公司提供信息化支持，就能够充分发挥现有的监理人员的作用，从而提高监理工作的效率，促进监理行业的发展。1 1 2 无线网络技术和视频技术的引入随着现代建筑业的信息化与现代化的发展，建筑施工，特别是大型施工对可移动多媒体通信的需求日趋迫切。因此宽带无线移动通信技术的优势可得到体现：它可以有效的提高管理能力( 如实时可视化的管理、监督) 和管理的移动性，对施工的指挥、管理信息系统也会起到支持和完善的作用。大规模宽带无线计算机网络涉及到无线通信、互联网、计算机、软件、安全加密等多种领域的先进技术，是目前国际通信研究的一个热点问题。能够支持宽带多媒体通信的宽带无线移动通信技术不仅在军事领域发挥着重要的作用，而且在办公、生活特别是大型工程等领域有着广泛的应用。另一方面，视频技术在上世纪末开始逐渐成为了计算机应用领域的一个热门研究方向。以往的多媒体技术主要研究单机上声文图信息的输入输出与综合处理1 3 j ，9 0 年代以来的网络技术，尤其是i n t e r n e t 的发展，使得多媒体的研究与应用具有了分布性的特点，并成为多媒体的一个重要特征i 引。另外，视频压缩编码的发展促进了视频技术与无线网络技术的结合。由i s o i e c 与i t u t 组成的联合视频组t 制定的新一带视频压缩编码标准，h 2 6 4 引，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 0 o 左右的编码。同时，h 2 6 4 拥有更好的弹和无线网络信道适应性。因此，h 2 6 4 必将在数字视频通信和存储领域得到越来越广泛的应用。无线影像采集作为这两种技术的交叉研究方向，在各种实际应用领域中具有很广泛的应用需求，具有很的研究价值。但是目前无线影像采集技术的主要应用是在军事上，民用上的应用还比较少，民用应用现在主要采用的是有线影像采集。对于大型工程而言，特别是建筑工程有线影像采集存在着很多难以接受的不足：有线线路铺设的费用过于昂贵，有时甚至是不可实现的；有线影像采集设备一般是固定的，对于每一个监控对象都需要安装采集设备；固定设备的距离受限制，图像细节可能不清晰或者根本采集不到。因此，无线影像采集技术具有较高的研究意义和广泛的应用领域。将视频监视引入到工程监理中，可以实现监理公司对施工现场的远程监控，强化对施工现场的监理力度，为现场监理人员的工作提供方便，同时可以获得大量施工现场的实时影像信息，这些信息既可以作为现场监理人员的工作记录，也第一章绪论在出现质量纠纷的时候为监理过程提供依据，此外，视频监控可以提供远程诊断功能，监理中心的监理专家可以与现场的监理人员进行交流，提供帮助，指导现场监理人员处理遇到的问题，这样可以充分发挥专家的作用，提高监理工作的水平和效率，弥补现场监理人员工作能力与经验上的不足。视频监控带来的问题就是，在施工现场，监理工作的性质决定了监理人员需要在不同的施工地点间进行巡视，固定的影像采集设备无法跟随监理人员到达每一个地点，如果监理人员携带的是无线影像采集设备，就可以解除这种限制。1 1 3 问题的产生影像采集方式的丰富以及采集技术的成熟带来这样一个问题，根据基本的业务流程，系统要处理大量的视频数据，对这些视频数据进行分析，存储和检索。实时监控功能要求现场监理人员使用视频采集设备将其所看到的施工过程采集下来，并通过网络实时地传回监理总部。在监理总部，后方的监理人员通过这些视频数据对施工过程以及现场的监理人员进行实时地监控。同时，这些视频数据将会被保存到数据库，作为施工过程的记录。随着时间的推移，视频数据会越来越多。另外，视频会议功能是为了对监理现场出现的紧急情况进行处理而设计的，视频会议的内容记录了监理人员在面对突发事件时进行的处理工作。由视频会议产生的视频数据的数量相对较少，但是更加重要，也将被保存到数据库中。监理单位，业主以及施工单位都有可能查看这些视频数据，面对如此大量的视频数据，必须有一个可靠且高效的检索系统，但是对于视频数据的检索与传统的对于文本的检索有所不同。视频数据的数据量大、抽象程度低，其内容很难用文字表达。传统的检索方法使用文字标签的匹配来进行查询，也就是首先为视频加上数字编号或者一些文字的标签，在进行查询的时候，就是对这些数字编号或者文字标签的查询，这种查询实现简单，但是在对视频数据进行检索时这种方法并不适用【6 j 。首先，视频数据的内容非常丰富，很难用文字标签完全表达，简单的标签，如日期，地点等，这些虽然可以提供有用的检索标志，但是它们都不能完整地表达视频数据的内容，所以，用这种方法查询很容易出现错误；其次，文字描述是一种特定的抽象，如果描述的标准变了，则标签也得重新制作才能适合新查询的要求，由于标签只能通过人工加注，所以这样带来的后果就是，当标准改变时，需要大量的工作来重新制作标签，这不仅会严重影响检索工作的效率，而且重新制作标签也成为一个潜在的产生错误的过程；最后，文字标签是由观察者加上去的，会受到主观因素的影响，不同的观察者对于视频数据的理解是不同的，没有客观的标准，当检索进行时，不同观察者间的理解差异将会使检索产生错误【7 i 。第一章绪论为了解决传统的检索方法的不足，就需要引入一种更客观，更全面的方式来分析和检索视频数据，基于内容的视频检索技术也由此应运而生。基于内容的视频检索的基本思路是根据视频数据中的场景、镜头、帧间的关系，以及图像中的灰度，颜色，纹理等作为特征，用以查找满足用户特定需求的视频数据。基于内容的视频检索的最终目的就是能够建立一套无需人的参与，能够自动地理解和识别视频内容，建立检索标志的方法，这也正适合工程监理系统中对视频数据进行管理的需求。1 2 研究的意义本课题的研究有着两大意义；首先，本项目的开发大大提高建筑施工的数字化信息处理与传输能力，为施工提供全方位信息支持。也为实现施工现场的高水平、可视化信息管理( 监督)提供了可能，并能够使得有经验与专业知识的人员可以远程提供专家经验、协助与监督，避免施工质量问题与事故。通过本系统，可以解决施工现场的网络覆盖问题，实现现场监理人员的自由移动和实时监控。监理公司可以建立一个不受施工地域限制、可以统观全局、同时对多个施工现场、每个施工现场多个视角进行远程监控和指导的施工监理中心，实现对建筑活动的全过程管理，提高监理的信息化水平，从而提高建设工程的监理水平。本系统研究的关键技术可以广泛地应用于大型的建筑施工现场，提高施工质量，减少施工成本，降低施工事故，并快速协助事故处理，将取得良好的社会效益和经济效益。其次，基于内容的视频检索是当前信息检索研究的热点，其研究内容涉及很多领域，包括图像处理，模式识别，计算机视觉，图像理解，人工智能，信息检索等等。同样，其应用领域也非常的广泛，现在，随着计算机技术和多媒体技术的发展，以及信息需求的不断增长，视频数据已经逐渐成为众多行业的主要数据来源形式，每天都会有大量的视频数据产生，因此，对于视频数据进行有效管理和快速的查询已经成为很多行业迫切的需要。到目前为止，基于内容的视频检索已经有很多成功的应用，其进一步研究的空间很大。工程监理系统的开发正是对基于内容视频检索技术的应用领域的一个拓展。1 3 研究现状基于内容的图像检索的概念从2 0 世纪9 0 代初产生【8 】，很快得n t m 内外信息领域科技人员的广泛重视和研究，迅速成为多媒体技术的研究热点。十多年来，4第一章绪论这方面的研究和应用得到了长足的进展。随着视频信息逐渐成为信息领域最为重要的信息载体之一，基于内容的图像检索方法也被应用到视频检索中，到目前为止，国内外对于基于内容的视频检索的研究都取得了一定的成果。在国外，已经有一些初步的研究和应用，出现了一些商业产品和演示系统：q b i c 系统1 9 j ：q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统由i b ma l m a d e n 研究中心开发，是基于内容检索系统的典型代表。q b i c 是第一个商品化的基于内容的图像检索系统。作为基于内容检索系统的典型代表，其系统框架和技术对后来的图像检索系统具有深远的影响。q b i c 系统实现了基于颜色、纹理或形状的查询，以及文字关键字的查询。查询接口方式支持基于模板图像、用户构造的略图的查询。v i s u a ls e e k 系统【l o j ：v i s u a ls e e k 是由哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的，它实现了基于i n t e m e t 的基于内容的视频和图像检索。v i d e o q 系统叫：v i d e o q 是哥伦比亚大学研究的一个项目，它扩充了传统的关键字和主题导航的查询方法，允许用户使用视觉特征和时空关系来检索视频。p h o t o b o o k 系统【1 2 j ：p h o t o b o o k 系统是由美国麻省理工学院媒体研究室研究开发的，系统突出的特点是允许查询者根据应用的特点，选择某种恰当的特征进行查询，可以利用人脸、形状、纹理、相片簿等分别对人脸图像、工具和纹理进行基于内容的检索，其中的人脸识别检索技术己被应用于美国的警察机关。，在国内，基于内容的视频检索起步较晚，技术相对落后，相关领域的应用系统还不多。但现在基于内容的视频检索已经引起了国内研究人员的广泛关注，成为研究热点。随着研究力度的加大，也取得了一些成果1 1 3 j ：f i ：f i 由清华大学开发的视频节目管理系统。可提供视频数据入库、基于内容的浏览、检索等功能，提供多种模式访问视频数据，包括基于关键字的查询、基于示例的查询、按视频结构进行浏览以及按用户定义类别进行浏览等。n e w v i d e o c a r ：n e w v i d e o c a r 是由国防科技大多媒体研究开发中心研制开发的新闻节目浏览检索系统。m i r c ：m i r c 是由国防科技大学系统工程系研制开发的多媒体信息查询和检索系统。1 4 论文的组织第一章，首先阐明了本文所选课题的研究背景，课题所具有的研究意义以及国t 内# l - 的研究现状第一章绪论第二章，介绍基于内容的视频检索技术概念，以及基于内容视频检索中的关键技术。第三章，介绍j m f 技术，j m f 技术是系统开发所用的主要技术。第四章，简单介绍系统的整体设计，详细介绍视频检索模块的设计。第五章，设计关键帧提取算法，分析实验结果。6第二章基于内容的视频检索技术第二章基于内容的视频检索技术2 1 视频内容的结构化一个视频流是由成千上万的图像帧组成，帧是组成视频的最小的单位，如果对每一帧都进行单独处理，那么索引和检索的效率都会很低。但通常来说，视频是由大量的逻辑单位组成的，视频内容的结构化就是把一个视频的帧序列划分成若干段，这些段又可为成若干级的层次结构，这样做的目的就是为了更好的组织视频数据。一般来说，一般情况下，视频数据可以分为四层，由从高到低的顺序，依次为：视频层、情节层、镜头层、帧层，如图2 1 所示1 1 4 j 。图2 一l 视频分层结构前面已经说过，帧是组成视频的最小单位，一帧也就是一幅静态的图像，一个镜头是相邻帧的短序列，它是由一个摄像机连续拍摄得到的时间上连续的若干帧组，它描绘同一个场景，表示一个事件或者是连续的动作。任务视频都是由镜头衔接起来的，镜头也是对视频数据进行处理的基本单元。在镜头之上的一层称为情节层，情节是由语义上相关且时间上相邻的若干的镜头组成的，它描述的是7第二章基于内容的视频检索技术一个场景，是完整故事中的一个事件，它能表达视频所蕴涵的高层抽象语义。2 2 基于内容的视频检索关键技术2 2 1 镜头检测镜头是对视频数据进行处理的基本单元，镜头检测就是将视频自动地分割成若干个镜头的过程，它是基于内容的视频检索的基础1 1 5 j 。镜头边界检测是建立视频结构的第一步，是视频结构分析的主要内容，直接影响到视频检索的成败，因此，镜头检测成为了基于内容的视频检索的首要的也是最为关键的一步i l 引。镜头是指由一个摄像机连续拍摄得到的时间上连续的若干帧组，它描绘同一个场景，表示一个事件或者是连续的动作。镜头内相邻和相近的视频帧，它们的特征相近，变化很小，而在镜头切换前后的帧图像往往会有明显的改变。根据转换处视频编辑的特性不同，镜头间的转换主要可以分为两种方式：突变和渐变。突变是一个镜头结束后直接进入下一镜头，转换过程在前后两帧前完成，前一帧属于上一镜头，而后一帧属于下一镜头，所以突变是没有时间长度的；渐变是通过时间和空间上的编辑手段，使前一镜头逐渐进入下一镜头的转换方式，它是在一定的时间内完成，渐变又分为很多类型，如淡入淡出、慢转换，扫换等1 1 7 j ，所以对于渐变的处理更加复杂一些。镜头边界检测的关键是找到不同的镜头之间的差别，目前，已经有一些比较成熟的方法可以做到对镜头边界的检测，这些方法充分利用视频数据的时间、空间等各种信息。在连续的视频序列中，如果没有进行特殊的处理，相邻两帧间的特征差别是很小的。最传统的镜头边界检测方法就通过计算前后两帧的灰度特征差值来进行边界检测。2 2 1 1 像素比较法象素对比方法1 1 8 j 是最直观的镜头边界检测方法，对视频中相邻的两帧图像f c x ，只f ) 和f ( x ，y , t + 1 ) ，可以计算其对应位置上两个像素差：d = l f ( x ，y ，f ) - f ( x ，y ，f + 1 ) l如果这两帧图像中灰度差大于某个阈值的像素超过一定数目，则可认为在f ( x ，y ，f ) 和f ( x ，y ，f + 1 ) 之间发镜头切换，这个方法也可以计算对应象素在某种颜色上的差值来代替灰度差。这种方法的问题就是对于摄像机和物体的运动非常敏感，如果运动较大，相邻两帧间的差异就会超过设定的阈值，从而产生误检。为了解决这种问题，可以计算8 8 的像素块的灰度平均值，用这个平均值来代用上面介绍的公式中计算，第二章基于内容的视频检索技术这样做可以抵消一些运动的影响，但是如果运动幅度过大，前后两帧间的差仍会过大，误检情况严重。2 2 1 2 直方图比较法直方图比较法1 1 9 1 是一基于统计的分析方法，图像的直方图是图像的一个统计特征，一帧图像的灰度直方图实际上是一个一维的离散函数，即日 ) = 等，k = o ，l ，三一1v其中，k 代表图像的特征取值，在灰度直方图中就是灰度值，工是特征可取值的个数，n 。是图像中具有特征值为k 的像素的个数，是图像中像素的总数伽1通过比较前后两帧图像的灰度直方图特征，可以判断两帧间是否发生镜头切换。计算直方图差的方法很多，主要有绝对距离法，欧式距离法。绝对距离法的计算过程是，设视频中一帧图像的灰度直方图表示为日i f ( x ，y ，f ) ，| | 】，其中七= 0 ，l ，k l ，前后两帧间的灰度直方图差为d = l h 纱g ，y ，f ) ，七】一日【厂( x ，y ，f + 1 ) ，七】k f f i o如果这两帧图像的差大于某个预先设定的阈值，那么认为这两帧间发生了镜头切换。欧式距离法就是根据计算前后两帧灰度直方图的欧式距离作为特征差，即对需比较的直方图对应项的差先平方再求和d = 饵【厂g ，y ，t ) ，k l - h f ( x ，弘f + 1 ) ，七胪k = o直方图比较法使用整帧图像的灰度特征进行分析，它体现的是图像像素总体的灰度分布，它没有考虑像素位置变化。所以，使用灰度直方图法比较对较小的运动不敏感( 实际上灰度直方图法完全不考虑视频中的运动因素，但是较大的运动往往会带来图像整个的灰度变化) 。使用这种方法的前提就是认为有相同背景、相同目标的两帧图像的灰度直方图差异很小。但是这样就产生了一个问题，如果内容不相同的两帧图像具有相同的灰度直方图统计，就会产生漏检。为了能够更好的分析两帧间的特征差，产生了很多对直方图法的改进算法，如使用颜色代替灰度，并为某种颜色设定不同的权值，或首先对图像进行分块，然后在每一小块上计算特征差，计算后，将差最大的一块的值删去，仅考虑其余的块，等等。2 2 1 3 双阈值比较法尽管变化的直方图法可以更好的分析两帧间的特征差，但是使用一个阈值始9第二章基于内容的视频检索技术终只能检测视频中的镜头突变，为了能够检测出镜头的渐变，产生了双阈值方法1 2 l j ，首先使用一个较小的阈值，用这个阈值检测出可能产生渐变的起始帧，确定这个帧后，使用这个帧与它的后续帧进行特征比较，计算一段时间内帧序列的累积特征差，在这个过程中，这个累积的差值变化应该是单调增加的，当单调增加的过程结束，就使用累积的差值与第二较大的阈值相比，如果超过这个阈值，就认为在这个帧序列内产生了镜头的渐变。2 2 1 4 基于边缘的检测方法基于边缘的检测方法利用了边缘特征，它的基本思想是“在发生镜头转换时，新出现的边缘应该远离旧边缘的位置，同样旧边缘的消失位置应该远离新边缘的位置”1 2 引。计算前一帧图像中消失的边缘像素数，后一帧图像中进入的边缘像素数，根据它们与对应帧中全部边缘相素数的比值得到边缘变化率。根据边缘变化率可以判断镜头是否发生转换，以及转换的类型是突变还是渐变。基于边缘的检测方法的缺点是当图像较暗，边缘不清晰时会产生误检和漏检，而且使用这种方法需要很大的计算量。2 2 1 5 压缩域上的镜头边界检测以上介绍的方法只适用于非压缩的视频数据，但是现在越来越多的视频数据是以压缩的形式保存的。对于压缩的视频数据，最简单的方法就是先进行解压，然后再利用前面介绍的方法进行镜头检测。但是，这样做需要进行大量的运算。最好的方式就是对压缩的视频数据直接进行检测。已经有很多方法可以在不进行解压的情况下直接进行镜头边界检测，这其中大多针对现在最为流行的m p e g格式的视频。这些检测方法中常用的有d c 图法，宏块判别法。d c 图像是原图像中一个8 8 块的平均，仅是视频数据中的一个基本元素，但却含有大部分信息，是原图像的缩微图像，可用d c 图像进行有效地检测。可以先从各帧中提取d c 图像，再用帧间差的方法进行检测。在【2 3 j 中介绍了一种利用d c图像对m p e g 格式压缩视频数据进行检测的方法。在m p e g 视频流中存在三种帧，i 帧，p 帧和b 帧，其中i 帧采用的是帧内压缩，根据i 帧数据可以直接解码出原始的帧图像，p 帧是根据其前面的一个i 帧或者p 帧进行压缩的，而b 帧则要同时根据其前面的帧和后面帧进行压缩。在这三种帧中，b 帧的压缩率最高，但对b 帧解码时需要同时使用其前面和后面的帧，而对i 帧的解码不需要用到其他的帧。另外，在m p e g 视频流中，i 帧每隔1 2 帧出现一次，所以，这种方法只对视频流中的i 帧进行分析。这样，不仅可以减少计算量，而且不会产生太大的位置偏差。1 0第二章基于内容的视频检索技术首先，算法使用8 8d c t 块的第一个系数进行计算，这个系数就是该块的灰度平均值。定义一个拥有m n 个d c t 块的帧的行直方图与列直方图为：1 笪五= 音6 0 。o g d1 卫巧= 音6 0 舶_ ，) 其中，b o 。( f ，力表示在第研j ：，第列的d c t 块的d c 系数，行直方图和列直方图在一定程度上表现了帧图像中的位置信息。所以，使用行直方图，列直方图与整幅帧图像的直方图，可以将帧图像像素的灰度分布与位置分布同时考虑进来。获得帧的三个直方图分布特征后，分别用相邻两个i 帧的这三个特征进行比较，比较使用z 2 比较法，其定义为：z 2 = 一l ( 艘h p 一肌j + h c ) 2其中，皿和船，分别需要比较的两个直方图在第_ ，个灰度级上的值。将z 2比较法分别应用到前后两帧的三个直方图特征上，可以得到三个在0 到1 之间的差值，利用这三个差值来判断在两个i 帧之间是否发生了镜头切换。首先，将每一个差值与一个阈值进行比较，每一个差值对应i 帧图像的一个直方图特征，这样同时得到三个比较结果。使用多数的原则，可以产生第一个比较结果。将之前得到的三个差值取平均值，将这个平均值与另一个阈值进行比较，得到第二个比较结果。如果两个比较结果都是肯定的，则判定两帧之间发生了镜头的突变，如果结果是否定的而结果是肯定的，则认为两帧之间发生了镜头的渐变，如果两个值都是否定的，则认为两帧之间无镜头切换。这种方法可以判断镜头转换的方式是突变还是渐变，而且有较高的效率和较低的误检率，但由于i 帧每隔1 2 帧才出现一次，所以这种方法不能很精确地定位镜头转换的位置。另一种针对m p e g 压缩格式视频的镜头切换检测方法是宏块判别法【2 4 j 。i v i p e g 视频采用运动补偿进行帧间预测，来进行视频数据的压缩。在i v i p e g 的b帧中向前和向后进行运动补偿的宏块的个数是和该帧与其前后的i 帧或者p 帧的相关性成正比的，如果宏块的个数大于一个阈值，场景就很可能发生了变化。可以根据b 帧中进行运动补偿的宏块的数量来判别场景发生变化的位置。2 2 2 关键帧提取一个镜头的关键帧就是描述镜头主要内容的一帧或者几帧图像嘲。提取镜第二章基于内容的视频检索技术头的关键帧并用其来代表镜头，可以将视频域上的工作转化到图像域上，这样大大减少了视频检索的数据量，同时关键帧还可以作为视频数据的索引，为视频数据的保存和检索提供方便。最早提出的关键帧方法包括使用镜头的第一帧作为关键帧，或者预设关键帧位置等。这些方法都非常简单，计算量小，容易实现且速度快，但它们都无法真正保证关键帧可以正确地反应镜头内容。比较经典的关键帧提取方法有帧平均法和直方图平均法m 。2 2 2 1 帧平均法帧平均法是选取镜头中所有帧某几个位置上的像素值的平均值，然后将镜头内这些点位置的像素值最接近平均值的帧作为代表帧。这种方法的难点在于对目标位置的选定。由于两帧间的差异体现的位置并不是固定的，所以这样选取关键帧降低了关键帧提取的正确性。2 2 2 2 直方图平均法直方图平均法则是计算求镜头内所有帧的直方图平均值，然后选取镜头内直方图统计与该平均值最接近的一帧作为镜头的关键帧。直方图体现的是整帧图像的灰度分布，使用直方图进行平均计算得到的结果要比帧平均法更具代表意义。2 2 2 3 提取多幅关键帧以上两种方法的优点是计算比较简单，且考虑到了镜头的内容，选取的关键帧有平均代表的意义。但是，它们从一个镜头中只能选取一幅关键帧，当镜头内图像有较大的变化时，一幅关键帧就不能很好地代表镜头的内容，而是需要几幅关键帧。选取多幅关键帧时应该尽可能地概括镜头的全部内容，按照信息论的观点，不同或相关性较小的帧图像比类似的帧图像携带更多的信息。当一两幅关键帧不能达到完全代表镜头内容时，就需要选取多幅关键帧，用于关键帧选取的准则主要是考它们之间的不相关性。由于镜头是由时间上连续、内容上相关性很高的帧图像组成的，所以，不相关的几帧作为镜头关键帧能包含最多的信息。在实际应用中，可以根据自身的情况确定选择关键帧的方法。在【2 7 l 中提出了一种根据帧间差异自动选取1 到3 幅关键帧的方法。设用厂表示一帧图像，s = i f ，m = 1 , 2 ，) 表示具有n 帧的一个镜头，取图像石，厶，2和厶作为候选关键帧。先定义两幅图像疋和厂，间的差异距离为：d ，乃j = b ，少) 一乃b ，y ) lx j提取镜头关键帧时先计算两两候选帧之间的距离，即d ，厶，：) ，d 戗，厶) ，d 伽厶) ，关将它们与一个预定的阈值t 比较，按下列规则选取关键帧：第二章基于内容的视频检索技术1 如果它们都比t 小，说明它们之间比较接近，此时取厂，作为关键帧：2 如果它们都比t 大，说明它们之间差距较大，需要将它们都取为关键帧；3 在其它情况下，取距离最大的两帧图像作为关键帧。这种方法虽然可以根据具体的情况选取1 到3 帧关键帧来代表镜头，但是对于一个镜头内有很多变化的镜头，3 帧关键帧仍显太少，不能反映整个镜头的内容，但是人为地选取过多的关键帧，又使关键帧失去了其代表镜头主要内容的意义，不利于浏览和查询。最好的办法就是根据镜头的实际内容动态地决定选取关键的数量1 2 8 j 。因此，出现了许多自适应的提取关键帧的方法，对于变化剧烈的镜头，提取较多数目的关键帧，对于变化缓慢的镜头，即使镜头长度很长，提出的关键帧数目也较少。2 2 3 镜头聚类借助镜头分割可将视频数据分解成一系列镜头，但以镜头为单元划分视频数据所需要面对的单元个数仍显过多。因为镜头分割常基于视觉特征进行，这表明镜头内容的语义信息尚未很好地利用。聚类是一种广泛用于模式识别、语音分析和信息检索中的非常有效的技术。镜头聚类就是研究镜头之间的关系，将内容相近的镜头组合起来。镜头聚类的方式有两种，一种是只考虑镜头间的相似性，而不考虑时间上的连续性，可以看作是对镜头的分类；另一种是将属于同一场景的镜头结合起来，形成一个情节，这种方法不仅要考虑镜头内容上的相似性，还要考虑时间上的连续性。、i情节是比镜头更高一层的视频数据组织单元，一个情节由多个镜头组成，对情节提取关键帧，并将它作为视频检索的单元，可以更大程度地减少检索的工作量。对情节提取关键帧有两条准则：第一，反复出现的镜头比较重要；第二，延续时间较长的镜头比较重要。在实际操作中，可以使用聚类的方法来选取情节的关键帧1 2 引，主要是进行分层聚类和模糊分类。可以对情节内的每个镜头提取关键帧，根据镜头关键帧计算镜头间的相似程度，将内容相近的镜头合为一类。这样，组成情节的镜头就被分为几个类。对于每个镜头计算计算其样本隶属度，再根据样本隶属度计算每个聚类的加权隶属度。选出加权隶属度最高的k 个聚类，再从每一类中选取隶属度最大的镜头的关键帧和来代表该类。选出的这些关键帧就可以作为整个情节的关键帧。这种方法会产生一个问题，由于视频数据的种类种多，从互不相关的镜头中提取出的关键帧仍有可能在特征上相似，从而使本不相关的镜头被聚成一类，最终引起情节关键帧的提取错误。为了解决定个问题，可以使用限时聚类的方法，它通过定义镜头之间的时间距离，来防止将属于不同情节的相似镜头聚类第二章基于内容的视频检索技术到一起。2 2 4特征提取特征提取即提取镜头的颜色、纹理以及运动甚至高级语义等各种特征，形成描述镜头的特征空间，以此作为视频聚类和检索的依据。视频数据的特征又分为静态特征和动态特征刚。静态特征的提取主要针对关键帧，可以采用通常的图像处理方法，如提取颜色特征、纹理特征、形状特征等。颜色是用于图像相似性比较的最常用的一个特征。在目前基于颜色的视频索引技术中较为成熟的方法是直方图法；纹理是描述图像时常用的一个概念，纹理分析方法大致分为统计型和结构型两类。统计方法是找出图像的数值特征，它又可进一步分为传统统计方法( 1 l p 基于模型的方法)和基于频谱分析的方法；形状分析首先需要进行图像分割，把对象提取出来，再用各种方法进行匹配测量。事实上，在没有有关应用领域的知识时，自动的分割方法很难将相应的目标准确的提取出来；同时目标形状的描述是一个非常复杂的问题，至今还没有找到形状确切的数学定义；为进行匹配检索还应解决平移、尺度、旋转变换不变性的问题。因此，形状特征目前在视频处理领域应用的较少。动态特征是视频镜头的重要特征，反映了视频的时域变化，也是用视频例子进行检索的重要特征。对运动特征的提取、