已阅读5页,还剩53页未读, 继续免费阅读
(计算机应用技术专业论文)利用直方图累积和的视频镜头边缘检测算法研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
利用直方图累积和的视频镜头边缘检测算法研究 摘要 利用直方图累积和的视频镜头边缘检测算法研究 专业:计算机应用技术 硕士生:冯建伟 指导老师:纪庆革副教授 摘要 在基于文本的视频信息检索的基础上,上世纪9 0 年代出现了基于内容的视 频信息检索( c b v r ) 技术。由于视频镜头边缘与视频的制作方式有着不可分割 的联系,镜头边缘的检测效果决定关键帧提取、镜头聚类等后续步骤的检索效果, 因此镜头边缘检测是视频信息检索中最基础最关键的一步。 综上所述,针对视频检索技术的研究是十分必要的。视频检索中最重要的一 步便是镜头边缘检测。为了实现通用的镜头边缘检测算法,本文对各种算法进行 研究,提出自己的算法。本文的主要研究工作如下: 1 视频镜头边缘检测算法研究。首先,研究视频数据的结构,分析视频镜头 转变的各种类型,对直方图,像素值,块匹配等特征方法进行实验对比。其次, 分析不同边缘判断方法的特点,如全局阂值、双阈值和自适应阈值等。经过对国 内外研究现状以及当前关键技术的研究,总结出镜头边缘检测算法的一般框架。 最后,介绍两特征自适应阈值边缘检测算法,分析算法原理,总结算法特点。 2 利用直方图累积和的镜头边缘检测算法。通过对淡入淡出、溶解渐变、光 照突变等在直方图累积和中的不同表现进行分析,提出针对淡入淡出和溶解这两 种渐变类型和防止光照突变干扰的镜头边缘检测算法。针对这一算法,本文对阈 值、渐变特殊帧和像素点集中区域等相关重要参数的选择方法进行了讨论。 3 仿真实验与分析。首先,详细介绍评价算法性能的参数:查全率、查准率、 每帧图像计算时间和每像素点计算时间。其次,分别阐述算法在检测淡入淡出、 溶解渐变和光照突变时的实验仿真结果。给出对算法中需要用到参数的讨论。最 后,对算法实验结果与双子比较算法,两特征自适应阈值算法进行比较。 关键字:视频镜头边缘检测,镜头渐变,淡入淡出,溶解 利用直方图累积和的视频镜头边缘榆测算法研究 a b s t r a c t r e s e a r c ho nv i d e os h o tb o u n d a r yd e t e c t i o na l g o r i t h m b a s e do na c c u m u l a t i n gh i s t o g r a m m a j o r : c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n a m e : j i a n w e if e n g s u p e r v i s o r :a s s o c i a t ep r o f e s s o rq i n g g ej i a b s t r a c t b a s e do nt h et r a d i t i o n a it e x t - b a s e ds e a r c hm e t h o d s ,c o n t e n t b a s e dv i d e or e t r i e v a i ( c b v r ) w a sp r o p o s e di n 9 0 so fl a s tc e n t u r y a sv i d e os h o tb o u n d a r yh a sac l o s e r e l a t i o n s h i pw i t ht h em a n u f a c t u r i n gm e t h o d so fv i d e o ,t h ep e r f o r m a n c eo fs h o t b o u n d a r yd e t e c t i o nw i l l a f f e c tt h ef o l l o w - u pr e t r i e v a ls t e p s ,a n ds h o tb o u n d a r y d e t e c t i o ni st h ef i r s ta n dt h em o s tc r u c i a ls t e po fc b v r f i r s t l y , t h et h e s i sd o e sr e s e a r c ho nv i d e os h o tb o u n d a r yd e t e c t i o na l g o r i t h m t h et h e s i si n t r o d u c e st h es t r u c t u r eo fv i d e od a t a ,a n da n a l y z e ss o m ek i n d so fs h o t t r a n s i t i o n t h et h e s i sd o e ss o m er e s e a r c ho ns o m ec l a s s i cf e a t u r e s ,s u c ha sh i s t o g r a m , p i x e l ,b l o c km a t c h i n g , a n dc o m p a r e st h e mw i t he x p e r i m e n t a t i o n t h et h e s i s a l s o i n t r o d u c e ss o m em e t h o d so fj u d g i n gs h o tb o u n d a r y , s u c ha st h eg l o b a lt h r e s h o l d , t w i nt h r e s h o l da n da d a p t i v et h r e s h o l d a c c o r d i n gt os o m ec l a s s i c a la l g o r i t h m s ,t h e t h e s i ss u m m a r i z e sat h r e e s t e pf r a m e w o r ko fs h o tb o u n d a r yd e t e c t i o n t h et h e s i s a l s oi n t r o d u c e sat w of e a t u r e sa d a p t i v et h r e s h o l da l g o r i t h m ,a n dp r e s e n t st h e p r o c e s sc l o s e l y t h et h e s i sa l s oa n a l y z e st h ea l g o r i t h ma n d l i s t st h ec h a r a c t e r i s t i c so f i t s e c o n d l y , t h et h e s i si n t r o d u c e saf e a t u r e ,a c c u m u l a t i n gh i s t o g r a m ,a n da n a l y z e s t h ep e r f o r m a n c eo ff a d e ,d i s s o l v ea n df l a s h l i g h ti nt h i sf e a t u r e a f t e rt h a t ,t h et h e s i s p r o p o s e sa na l g o r i t h mw h i c hc a nd e t e c tf a d ea n dd i s s o l v et h e s et w ok i n d so f t r a n s i t i o na n da v o i dt h ef a l s ed e t e c t i o nc a u s e db yt h ef l a s h l i g h t t h et h e s i sa l s o d i s c u s s e st h ep a r a m e t e r su s i n gi nt h ea l g o r i t h m ,s u c ha st h em e t h o do fc h o o s i n g t h r e s h o l d ,f i n d i n gt h es p e c i a l f r a m eo f g r a d u a l t r a n s i t i o na n da r e a p i x e l s 利用直方图累积和的视频镜头边缘枪测算法研究 a b s t r a c t c o n c e n t r a t e d t h i r d l y , d u r i n gt h es i m u l a t i o ne x p e r i m e n t ,t h et h e s i si n t r o d u c e ss o m e e v a l u a t i o np a r a m e t e r s ,s u c ha sr e c a l l ,p r e c i s i o na n dc o m p u t i n gc o m p l e x i t yp e rf r a m e a n dt h ec o m p u t i n gc o m p l e x i t yp e rp i x e l t h e n ,t h et h e s i se l a b o r a t e st h es i m u l a t i o n e x p e r i m e n tr e s u l to fd e t e c t i n gf a d e ,d i s s o l v ea n df l a s h l i g h tu s i n gt h ep r o p o s e d a l g o r i t h m s o m ec r u c i a lp a r a m e t e r sa r ed i s c u s s e dd u r i n gt h ee x p e r i m e n t ,a n dt h e t h e s i sa l s oi n t r o d u c e st h em e t h o d st of i xt h e m a tl a s t ,t h ep r o p o s e da l g o r i t h mi s c o m p a r e dw i t ht h et w i na l g o r i t h ma n dt h et w of e a t u r e sa d a p t i v et h r e s h o l d a l g o r i t h m k e y w o r d ss h o tb o u n d a wd e t e c t i o nig r a d u a lt r a n s i t i o n sid i s s o l v et r a n s i t i o n f a d e t r a n s i t i o n l v 论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独 立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体,均己在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名:丛建盛 日期:型! :! i :2 至 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定,即:学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版,有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅,有权将学位论文的内容编入 有关数据库进行检索,可以采用复印、缩印或其他方法保存学位论文。 学位做作者躲) 马排 日期:2 0 p 年。6 月口z 日 翩躲版耷 日期:z o 薛厂月2 日7 利用直方图累积和的视频镜头边缘检测算法研究第一章绪论 第一章绪论 本章从信息时代高速发展这一现实出发,引出视频信息检索的必要性,阐述 了视频镜头边缘检测的研究背景和现实意义。在此基础上,总结了视频镜头边缘 检测的国内外研究现状以及课题中存在的需要解决的问题,并分析出研究前景。 最后给出全文的研究内容和章节安排。 1 1 课题的研究背景和意义 本节讲述视频信息检索这- f i i l 沿技术的背景及其研究意义,引出其中的重要 技术镜头边缘检测,并介绍课题背景和研究意义。 1 1 1 视频信息检索 处于信息时代的今天,随着互联网的高速发展,现在的信息已经高度全球化。 由于信息空间的大容量、异构性、分布性和动态性,如何快速获取所需信息是用 户面临的重大问题【l 】。所以信息检索一直是学术界的研究热点。 人们每天接触到的信息已经不只是大量的文本信息,还有图像、音频、视频 等多媒体信息,而且这些信息以其多种多样的表现形式已经逐渐成为人们主要的 信息来源。视频信息以其直观性、生动性而受到广大网民的欢迎,这从视频网站 的飞速发展就可以证明了。 在视频的传输和存储等基本问题发展比较成熟的今天,人们面临的主要问题 不再是视频信息的匮乏,而是如何在大量的视频信息当中,找出自己感兴趣的东 西进行浏览。 在传统的基于文本的视频信息检索之上,上世纪9 0 年代丌始出现了基于内 容的视频信息检索( c o n t e n t b a s e dv i d e or e t r i e v a l ,c b v r ) 技术,如图1 1 。这一 技术的目标是根据视频对象内容或上下文,在大量的视频数据库中进行检索,找 到匹配关键特征的视频信息。j w h s i e h 等在文献【2 】中提出了一个基于混合运动 的视频信息检索系统,可以通过视频轨迹匹配在数据库中检索出所需的视频片段。 利用直方图累积和的视频镜头边缘检测算法研究第一章绪论 这种混合方法包括一个以素描为基础的方案和一个基于字符串来分析和索引出 一个轨迹语义。t j a m e e l 等在文献 3 提出的方法使用基于视频帧的双树复小波变 换( 双树复小波) 的特征以达到镜头边缘检测,关键帧选择和视频索引的目的。 b j a n v i e r 等在文献 4 中提出了一个利用最小消息长度( m m l ,m i n i m u mm e s s a g e l e n g t h ) 准则和运用动态规划算法( d p a ,d y n a m i cp r o g r a m m i n ga l g o r i t h m ) 最 小化的基于信息的视频分割方法,并用此方法得到多重关键帧提取的目的。 ( 视频数据卜 一一一 、一 即时 待提取的特征信息 图1 - 1 视频检索系统 在应用方面,视频检索带来的应用前景非常广阔,如视频点播、视频搜索、 多媒体编辑应用、家庭视频娱乐等。随着视频检索,尤其是更高级的基于内容的 视频检索技术的发展,更是让视频信息个性化获取发展到了另一个高峰。人们可 以通过这一技术,在不知道视频文本特征的情况下,也可以通过如颜色、纹理、 利用直方图累积和的视频镜头边缘检测算法研究第一章绪论 目标形状、分布位置等视觉信息,方便地检索出自己需要的视频片段。 1 1 2 镜头边缘检测 视频检索通常由三部分组成:特征提取、信息组织( 信息聚类) 、视频库索 引【5 1 。而视频的镜头边缘检测是视频时空分割中最基础的任务,因为它与视频的 制作方式有内在的不可分割的联系。这是一个将视频分割成更易于管理部分的自 然选择。因此,这往往是在算法的第一步,以此为基础来完成其他视频分析任务 【6 】 o 如果用传统的手工方法来切割视频镜头边缘,不仅会耗费大量的人力物力, 而且非常耗时,所以迫切需要一种自动检测视频镜头边缘的方法。随着数字图像 处理、模式识别、智能计算等技术的发展,智能地检测视频镜头边缘已经成为可 能。 通过视频镜头边缘检测技术,人们可以方便地对视频进行智能处理。如对新 闻视频分割成新闻片段、对体育比赛视频分割出精彩画面、对电影视频分割出主 要情节片段等。m h h u n g 等在文献 7 】通过检测记分牌和镜头转变类型来对棒球 球比赛的视频中的事件进行分类,形成中层语义线索。b h a 等在文献 8 】中利用 d c ( d o m i n a n tc o l o r ) ,m v ( m o t i o nv e c t o r ) ,r c h ( r e g i o nc o l o rh i s t o g r a m ) 相结 合的方法,用s v m ( s u p p o r tv e c t o rm a c h i n e s ) 分类器的算法在足球比赛中进行 镜头边缘检测,能够分离出关键片段。s l i u 等在文献 9 q b 禾t j 用颜色直方图,运 动信息等特征,运用s v m 进行镜头边缘和场景的检测,场景的分类,达到对篮 球比赛的事件进行语义分析的目的。a h a n j a l i c 在文献 1 0 中不仅提出了通过从 视频数据中提取信息来计算内容的相关性,从而确定此帧是否出现了镜头的转变, 还利用此结果去对视频的预期分析结果进行描述和对比,并能对已获得的分析结 果进行解释和评估。 1 2 课题研究现状 本节介绍镜头边缘检测的国内外研究现状,引出近年来此领域的常用研究方 法,进而分析课题中还存在的没有解决的问题,如光照突变、物体镜头运动。 3 利用直方图累积和的视频镜头边缘检测算法研究 第一章绪论 1 2 1国内外研究现状 自上世纪9 0 年代起,就开始出现了视频镜头边缘检测( s h o tb o u n d a r y d e t e c t i o n ,s b d ) 这一研究领域,进入2 1 世纪以来,此领域更是成为一个研究 热点,发展迅速,在数字信号处理、多媒体技术、图像分析与识别、媒体数据库 的存储和检索、智能数据工程与自动化等期刊上出现了大量这方面的文章,其中 比较经典的综述性文章有文献 6 】【1 1 1 3 1 。c c o t s a c e s 等在文献 6 】中总结了s b d 的一般过程,还综述了几种解决方法,a h a n j a l i c 等在文献【l l 】中总结了s b d 的 当前遇到的一些问题,提出一种基于统计的解决方法,j y u a n 等在文献 1 2 1 中总 结了s b d 的框架、问题和分类,并提出了一种基于图像分割的方法,u g r a g i 等在文献 1 3 1 总结了4 种基于颜色,6 种基于压缩域,3 种基于块运动匹配的 镜头分割算法。 近年来,常见的研究方法主要有以下几种: ( 1 ) 运用分类器的等智能计算工具解决s b d 的问题。m c o o p e r 等在文献 1 4 】 中利用低级特征和相似度的计算,用k n n 分类器,并用相互信息的理论分析方 法去选择特征,以提高性能,降低计算要求。e n b e z e r r a 等在文献 1 5 1 通过最 长一般子序列( l c s ,l o n g e s tc o m m o ns u b s e q u e n c e ) 和最大匹配距离( m m d , m a x i m u mm a t c h i n gd i s t a n c e ) 来对帧图像的匹配信息进行表示,并利用k - m e a n s 分类器进行镜头检测。w f a n g 等在文献 1 6 】中用s v m 分类出平常帧、切变和渐 变。x g a o 等在文献【1 7 】中提出了一个基于粗糙集和模糊聚类的新闻视频镜头边 缘检测方法。p w a n g 等在文献 1 8 1 提出了谱聚类法( s p e c t r a lc l u s t e r i n gm e t h o d s ) 和基于信息理论的合作聚类法( i t c c ,i n f o r m a t i o n t h e o r e t i cc o c l u s t e r i n g ) 两个基于 聚类的视频镜头边缘检测方法。j r e n 等在文献 1 9 1 首先利用形式语言技术将 视频在等级模型中结构化,再利用自适应的聚类方法将镜头边缘分类出来。 ( 2 ) 在传统的检测过程中增加一步,使得检测效果有所提高也是常见的研究 方法。w t c h u 等在文献 2 0 】中将像素分成( 边缘像素点和平滑点) 两类以后再 分别计算直方图,检测光照突变、镜头突变和渐变,通过增加一步运动分析处理, 来防止运动错检,对检测结果进行优化。h l u 等在文献 2 1 】中对已有的渐变算法 增加一步基于运动检测的修j 下改良处理( p o s t r e f i n e m e n t ) ,争取确定尽量多的 漏检和错检,从而提高查全率和查准率( 概念参见4 1 3 ) 。 4 利用直方图累积和的视频镜头边缘检测算法研究 第一章绪论 ( 3 ) 利用数字信号处理技术对压缩域视频进行s b d 工作。r a j o y c e 等在文 献 2 2 】中利用帧间差分建立模型,求出相关性,对相关性进行阈值分离,从而确 定视频镜头溶解边缘,并给出了针对压缩视频的利用。在算法中,利用了压缩域 的若干特征( 如d f d 、d c t ) 。w f a n g 等在文献【1 6 】中通过特征信息提取得到向 量,运用小波变换得到相关小波系数。j b e s c 6 s 在文献f 2 3 】中针对m p e g 2 视频 格式,提出了一个实时的对网上m p e g 2 视频进行镜头边缘检测的系统。m y a n g 等在文献 2 4 】中首先提出利用计算复杂度低的基于镜头边缘检测技术的 m p e g 7 描述,以运用于h 2 6 4 a v c 的编码技术中。还提出了为每一个镜头边缘 建模一个自适应初始量化参数( q p ) 估计的方法。 ( 4 ) 针对某种镜头渐变类型( 常见镜头边缘类型参见2 1 2 ) 来进行算法研究, 解决某类问题。r a j o y c e 等在文献 2 2 t p 利用帧间差特征分来检测溶解渐变,利 用直方图的空间差检测擦除渐变。c w s u 等在文献 2 5 中利用连续前后帧的差值 把像素分成三类,用支持点像素的比例来检测溶解镜头边缘的出现。w j h e n g 等在文献 2 6 】中针对长渐变,本文首先理论分析了现有镜头转变和分类,进而提 出了一个与视频内容和渐变长度无关的,能够准确检测出渐变类型和渐变长度的 算法。x z h o u 在文献 2 7 】中,针对近重复镜头边缘的检测( n e a r - d u p l i c a t ev i d e o s h o td e t e c t i o n ) ,也就是在视频中检索出和需要查找的镜头边缘相似的镜头边缘。 ( 5 ) 在检测过程中的不同步骤利用不同检测方法的特点来得到一个比较好 的检测效果。c g r a n a 等在文献【2 8 】中利用像素差值和直方图卡方检验这两个特 征组合起来,建立线性转变检测器,检测需要待定的渐变和线性变化模型的相似 程度,从而确定是否出现镜头渐变。h w y o o 等在文献【2 9 】中提出了计算帧序列 中对平均边缘信息和局部块信息提取,计算标准差分布,并进行比较的方法检测 镜头边缘。 除此以外,还有一些特殊的方法。g b o c c i g n o n e 等在文献 3 0 1 5 b 利用原始的 基于视网膜中央凹代表性的视觉方法来将视频划分成镜头片段。这个镜头检测算 法是和计算有关系的,在每一个时问瞬间,计算由一序列的理想观察者产生的固 定一致的特征。j b e s c 6 s 等在文献【3l 】中通过计算从特征空间到帧间距离之问的 映射和从空问距离到决策空问之间的映射,建立一个统一模型。j n a m 等在文献 【3 2 】中重点分析了视频中潜在特殊编辑效果的特点和由数据多项式插值带来的 实际变化,还运用了b 样条插值曲线拟合技术。 5 利用直方图累积和的视频镜头边缘检测算法研究 第一章绪论 1 2 2 课题主要研究前景 近年来,随着模式识别、智能计算、图像处理等相关领域的飞速发展,镜头 边缘检测算法也有了很大的进展,并且应用到很多优秀的检索系统中,如由美国 哥伦比亚大学研究利用视觉特征实现的v i d e o q 视频检索系统【3 3 】。 可是,视频信息具有丰富的特征,在不同视频中这些特征也会丰富多样,而 且为了让视频在不同镜头下的连续性更强,出现了各种类型的镜头转变技术( 详 细参见2 1 2 ) ,这些都对镜头边缘检测提出了更高的要求。所以,要想得到一个 表现良好的镜头边缘检测算法,必须要克服镜头渐变、由光照突变引起的干扰、 物体镜头运动造成的干扰【1 2 】这三大挑战: 1 提高镜头渐变检测的精度。这是由镜头渐变的特点决定的,由于渐变镜头 的特效多种多样,通常的镜头渐变检测方法都只适用于某一种情况下或者某一种 特定的镜头渐变类型。镜头突变在两帧之间出现,而镜头渐变则可能在5 帧到几 十帧甚至百多帧中出现,如何确定渐变的出现和渐变的长度是一个挑战。镜头渐 变的时域特征变化与物体摄像头运动造成的时域特征变化具有很高的相似性【1 1 1 , 这是检测镜头渐变的最大困难所在。 2 消除光照突变造成的影响。光照条件的突然变化及闪光灯的突然变化会造 成视频帧亮度的变化,引起各种视频特征的变化,尤其会对颜色、纹理特征影响 最大,从而容易被错检测为镜头边缘。一些方法提出利用对光照强度不敏感的特 征来检测边缘,就能防止光照突变造成的影响。可是,这样的方法会面对一个难 题,就是会丢失了一些光照强度带来的特征信息,而这些信息的丢失有可能会造 成另外一些漏检的出现。 3 消除物体镜头运动造成的影响。镜头运动、视频序列中的物体运动都能造 成视频帧图像的视觉内容剧烈变化,而镜头检测的基本原理是利用视频中帧与帧 之间的视觉差异进行检测。因此运动通常会造成镜头边缘检测算法的错检。有些 方法采用了时空切片来对视频序列中的物体运动进行检测和识别【3 4 1 。镜头运动 方面也有很多的研究,如光流法【3 s 】,但是精度还有待提高。 6 利用直方图累积和的视频镜头边缘检测算法研究 第一章绪论 1 3 本文研究内容及安排 本文对视频镜头边缘检测技术进行了比较深入的分析和研究,分析了当前的 经典算法,总结出镜头边缘检测的一般框架,介绍了利用直方图累积和特征,检 测淡入淡出渐变,提出了结合支持点的检测溶解渐变的方法。本文主要研究内容 及章节安排如下: 第一章,从视频信息检索和镜头边缘检测这两个方面说明了课题的研究背景 和现实应用意义,并分析视频镜头边缘检测的国内外研究现状以及课题中存在的 需要解决的问题,对研究前景进行分析。 第二章,从视频数据的结构入手,分析各种视频镜头转变的类型,对直方图, 像素值,块匹配等方法进行研究,分析不同镜头边缘判断方法的特点,根据经典 检测算法总结出一套视频镜头边缘检测算法的框架步骤。还介绍了一个两特征自 适应阈值边缘检测算法,并对该算法进行分析。 第三章,介绍直方图累积和的特征,对淡入淡出、溶解渐变、光照突变等在 直方图累积和中的不同表现进行分析,进而对淡入淡出和溶解这两种类型的镜头 渐变进行检测,区分运动,防止错检,并利用直方图累积和防止光照突变引起的 错检。还介绍算法中运用到的一些相关参数,如选择阈值的方法、渐变特殊帧、 像素点集中区域的确认,并根据考虑因素讨论这些参数的确定。 第四章,介绍实验仿真环境,通过包含各种渐变类型的测试视频序列对算法 进行测试,将算法结果与经典的双子比较法和两特征自适应阈值算法进行比较, 讨论实验结果,给出参数的选择依据。 第五章,给出文章结论和展望未来研究工作空间。 7 利用直方图累积和的视频镜头边缘捡测算法研究第二章视频镜头边缘检测算法研究 第二章视频镜头边缘检测算法研究 本章从视频数据的结构特点入手,分析各种视频镜头转变类型,对直方图, 像素值,块匹配等方法进行研究,分析不同镜头边缘判断方法的特点,根据经典 检测算法总结出一套视频镜头边缘检测算法的框架步骤。还介绍了一个两特征自 适应阈值边缘检测算法,并对这算法进行了分析。 2 1 视频数据的特点 本节将从视频数据的一些基本特点和概念出发,阐述视频镜头转变的类型, 如突变、溶解、淡入淡出、擦除等,并对这些转变类型进行数学术语的描述。 2 1 1 视频数据的结构 相比一维数据的文本文件和二维数据的图像文件,视频文件是一个加上时域 信息的三维数据,如表2 1 ,所以视频文件有着更加丰富多样的信息f 3 6 】。下面针 对视频文件相对图像文件所增加的时域关系对视频数据结构进行分析。 表2 1 文本、图像、音频、视频信息的比较 比较标准 文本图像音频视频 信息含量少丰富丰富非常丰富 空间维数静态、一维静态、二维静态、二维动念、三维 数据量小中中大 数据关系简单复杂复杂非常复杂 按照时域可以将视频切分成如图2 一l ,下面来详细给出视频序列( v i d e o s e q u e n c e ) 、场景( s c e n e ) 、镜头( s h o t ) 、帧( f r a m e ) 以及镜头边缘( s h o tb o u n d a r y ) 的定义。 视频序列:一个由很多图像通过时间的先后顺序组成的序列,这些图像序列 能够完整地表现某一件或者某一系列的事情,如- n 新闻、一个故事、一场球赛, 8 利用直方图累积和的视频镜头边缘检测算法研究第二章视频镜头边缘检测算法研究 部电影等。 场景:指在现实世界的时间和空间中具有高度连续性,但是在摄影角度中不 具有连续性的,由某几个连续镜头组成的序n t 6 1 。 镜头:指由同一个摄像头拍摄出来的一系列相互关联的连续帧,他们能够代 表在时间和空间一系列持续的视觉信息。 图2 - 1 视频结构示意图 帧:一幅静态的图像,是组成视频的最小单位。普通视频的帧率为1 5 2 5 帧 秒,所以这一层的数据量是相当庞大的。如果视频浏览与检索建立在这一层, 检索时所耗费的时间是用户无法接受的【3 7 1 。 镜头边缘:指两个连续的镜头之间不连续的位置,如果是突变( 参见2 1 2 ) , 则只有1 帧,如果是渐变,则此边缘将持续多帧。 2 1 2 视频镜头转变的类型及数学描述 因为视频序列是为讲述一个事件服务的,用一个镜头来表现完整的一个视频 序列是不可能的,所以一个场景甚至一个视频序列的组成必须是由很多镜头经过 编辑链接而成的,而这些链接中运用的不同技术就是镜头转变的不同类型。 按照视频镜头转变持续帧还是多帧,可以把镜头转变分成突变( h a r dc u t ) 和渐变( g r a d u a lt r a n s i t i o n ) 两种,而渐变又包括淡入淡出( f a d eo u t i n ) 、擦除 ( w i p e ) 、溶解( d i s s o l v e ) 等。下面逐一介绍这些转变类型以及数学语言描述。 为了更好地用数学语言来描述这些镜头转变,我们给出一些定义:令e 化力 9 剃用盥方圈* 投和舫税额镜头边馘橙搿茸珐研宄 第二币说颈镜丑边缘幢测算往研究 为前一个镜头的帧序列,q k y ) 为后一个镜头购帧序列k ( z ,力为转变过程中 视频序列的显示效果,“力为像素点的位置,k 为帧号,并设定一个镜头转变 过程帧号为 0 ,| ,记蝎为镜头变换时的帧号,烈i ) 和觑i ) 是关于帧号女为自 变量的一元函数。 现在,我们可以定义镜头转变的一般数学模型: k 0 ,力= 口( 女) 只( x ,力+ 口( t ) q 忆,)k 【0 目 ( 2 1 ) 1 突变;也称直接切割( s t r a i g h tc u t ) ,是镜头间的突然变化,常在两帧图像 间完成,如图2 - 2 。镜头交变是犀常见的镜头转变类型,占了所有镜头转变中的 9 0 0 o 3 s l 。 削炉 。! 篙落扣= 1 喾竖盘蝴:钔表示在鸲 时突变的视频序列。 帧号 8 4 8 58 69 7 圈2 - 2 镜头突变 渐变:也称光学切割( o p t i c a lc u t ) ,是从一个镜头缓慢地变化到另一个镜头, 在这个变化过程中加入一些光学技巧,常延续十几或几十帧。 2 溶解:前一镜头的结尾几帧逐渐变暗,直至消失同时后一镜头的起始几 帧逐渐显现,如图2 - 3 。当叫 ) 为在七【o ,姻中从l 单调递减到0 韵函数,芦仲) 为在k 阻q 中从0 单调递增到1 的函数,则式( 2 1 ) 表示经历了持续帧数为 l 的溶解新变。 因圈园圈因 帧号2 2 7 2 3 02 3 32 3 6 2 3 9 幽方凹祟识的视颤镜丑边缘撩铡算月f 咒第= 视频镜头边缘恃测算瞧日f 究 帧号2 4 22 4 52 4 8 幽2 - 3 说头盯 解 3 淡入淡出。 淡出:静一镜头的结尾儿帧缓慢均匀地变暗直至变为单色图像( 通常为黑色 幽像) ;淡八:后一镜头的起首几帧缓慢均匀地从单色图像中逐渐显现。封f 幽2 - 4 , 是一个淡入淡出的组合变化。 当a ( 女) 为在k e 【o ,a 】p 从i 单调递减到0 的函数,并记单色图像的像素值 为c ,则浈出渐变可表示为: k ( z ,y ) = d ( n 扛,y ) + ( 1 一d ( ) j c ,k 【o ,她j ( 2 - 2 ) 当卢( t ) 为在【a ,叫中从0 单调递增到1 的函数,则淡出渐变i 表示为: k 亿,) = ( 1 一p ( i ) ) c + 口( 女) q k ,) ,【她,址】 ( 2 3 ) 上面定义的是先渍入再淡出的组合渐变,可有的时候淡入和淡出处理只会 出现种,叩a = 0 时只出现被入渐变,= 址时只出现浃出渐变。 帧号2 1 7 0 2 1 8 12 1 8 22 1 8 32 1 8 4 帧号2 1 8 52 1 8 6 2 2 4 5 附2 - 4 镜头演八,漩出 4 擦除:后一镜头的首帧逐渐穿过( 可以从不同的方向进行) 并覆盖前镜 头的胤如舭5 圳咖髓监:乏,表示的肛个擦除的镜头 利用直方吲累积和的观颧镜头边缘持测算往w f “第= 章视频镜头边缘怜测算眭日f 兜 边缘- 其中r 为后一镜头通过擦除“入侵”前一镜头的区域。 帧号6 2 36 2 66 2 9 6 3 26 3 5 二i ;l l :;:了”:i j i ! :r 二! ! j e :r i :! j :i 一“? :i 7 ,j。,jj。,j 帧号6 3 86 4 16 4 46 4 76 5 0 幽2 - 5 镜土的掾除 5 其它特殊的渐变形式:有些特殊的电影工作者运用的光学特效,这些转变 非常罕见,也难以检n t 6 i 。 帧号2 5 6 瑚畦堋睦司潦 2 6 42 6 82 7 2 图2 - 6 特殊的渐变 在这些转变模型的基础上,详细地从前后两镜头在空问域和时域两方面的独 立性来分析这些转变类型的特点p q : 表2 - 2 并种镜头转变的对比 前后两个镜头的视频序列关系 镜头转变的类型 空间独立的 时日j 独立的 突变是 是 淡入淡出否 是 擦除 是否 溶解 否 否 从表2 2 可以看出,因为溶解将前后两镜头序列在空间域和时域都混合起来 黑,带可 利用直方图累积和的视频镜头边缘检测算法研究第二二章视频镜头边缘榆测算法研究 所以是众多镜头转变类型中较难检测出来的一种。 2 2 镜头边缘检测算法的一般框架 根据文献 1 2 1 介绍,视频镜头边缘检测的算法过程主要由视觉信息特征提取、 计算相似性、镜头边缘判断这三个步骤组成,见图2 7 。近几年的镜头边缘检测 算法可以分别根据这三个步骤中运用了不同方法来进行分类。 图2 7 视频镜头边缘检测的一般步骤 2 2 1 特征提取与相似性计算 在第一步视觉信息特征提取中,常见的主要方法有直方图、运动信息和像素 值。在第二步计算相似度包括做差,卡方测试等。虽然特征提取和计算相似性是 两个步骤,但在实际操作中通常会统一在一起。以下就这几种特征给出常见的计 算相似性做法及实验比较结果。 1 利用像素点的方法:图像中像素点的像素值是表现视觉特征的最直接来源, 所以利用像素点特征也是最基本最普遍的方法。最基本的计算方法是,计算第j | 帧和第七+ 1 帧中所有像素点的像素差值。 对于黑白视频,第k 和第k + 1 帧的帧间差尸d ( 厶,厶) 为: 肋( 厶,2 面l1 缶v l - - t 缶i v - 1 瞰圳) 一p k ( x , y ) i ( 2 - 4 ) 其中m 、分别为视频图像的宽和高,5 ( x ,y ) 为视频序列第k 帧图像在像 利用直方图累积和的视频镜头边缘检测算法研究第二章视频镜头边缘检测算法研究 素点( 墨力上的像素值。 对于彩色视频,第七和第k + l 帧的帧i n 差p d ( i k ,厶+ 1 ) 为: 删厶,厶+ 。) = 高嘉1m 萎- i 丢n - i ( i 磁y ) 一形( 五y ) h 爱亿力一砰阮y ) h 呓。“力一芹y ) i ) ( 2 5 ) 由于上面的计算方法具有很高的敏感度,容易受到噪声的影响,所以文献 3 5 提出了改进,只计算差值达到某阈值的像素点的比例,比例越高则两帧差越大, 定义如式( 2 6 ) 。 。:挚枷。 6 , 其螂w ) = 曩“之就州汀 ( 2 - 7 ) 文献 4 0 提出了一个利用像素差值来检测镜头的方法,文献 2 5 利用像素在 时域上的差值来对像素进行分类,从而检测溶解类型渐变;文献 4 2 提出了一种 时空像素块的方法。 2 利用直方图特征的方法:图像的直方图是图像的重要统计特征,它是一个 离散函数,表示数字图像每一级狄度或颜色与之出现频率之间的对应关系。假设 将帧图像的颜色空间分成g 个,记i 为颜色空间g 中的一个颜色值,则第k 和第 k + 1 帧间直方图差值h d ( h i ,巩+ 1 ) 为: h d ( h k ,吼+ 。) = i 风+ 。( i ) - h k ( i ) i ( 2 - 8 ) 文献 4 3 用灰度直方图进行检测,用颜色直方图进行排除错检,文献 4 4 】讲 述了一个利用帧图像直方图差和概率的镜头边缘检测方法,文献 2 2 1 , 1 j 用直方图 的空间差检测擦除类型的渐变。 3 利用块匹配运动信息的方法:帧图像中的块是指一个m n ( 或m m ) 的矩阵块,利用块匹配运动信息特征,通过计算前一帧某一个块与后一帧的搜索 空间内的块的匹配度,来表示差值。则第k 和第k + 1 帧间块运动信息差值 b m d ( k , k + i ) 为: b m d ( 毛n 1 ) 。专军阳 p 的 ( 2 - 9 ) 1 4 利用直j 酗累积目的w 频镜头边缘掩耐算眩目f 究 第一帝说额镜又边摊榆测算法研究 其中印( ,舻一患击丢丢( 唰x + u , y + v , k + l h ( w , 2 ( 2 _ 式中k 为帧号,f 为帧内块的标号,瓴力表示像素点,“和v 分别表示水平 和礓直的位移,n = x y m3 表示在帧内的块数t 肖和r 分别表示帧图像的宽 和高。 文献 4 5 提出了对式( 2 9 ) 的改进,柬排除快速运动的干扰: b m d ( 也“1 ) 2 寿军珥“一扛) 。1 1 其巾, 吼一2 黜篇;,厢矿。淼。 而”和v 分别为匹配块的水平偏移量和垂直偏移量。 文献【4 6 】介绍了基于特征跟踪的视频镜头分割算法,文献 2 0 结合颜色特征 和基于运动的预操作柬对镜头进行检测,文献1 4 7 利用了压缩域的p 帧、运动向 嫩信息柬进行镜头边缘的检测。 这三种常用的视觉特征各有优缺点,下面简单地通过一个视频片段的实验结 粜柬晚明。 图2 - 8 像素筹、直方幽差、块匹配差比较 在圈2 - 8 中,实线( h d ) 表示直方图特征,点虚线( p w ) 表示像索点特征, 短虚线( b m ) 表示块匹配特征。从图中可以分析出,针对运动造成的帧闻不连 续,基于像素点的特征信息( 图中点虚线) 罐敏魑块匹配特征( 圈中短虚线) 表现最好。而对于镜头转换区域的检测上,直方圈特征( 图中实线) 表现晟好, 利用直方图累积和的视频镜头边缘检测算法研究第- 二章视频镜头边缘检测算法研究 像素点特征遗漏了发生在帧1 6 8 0 附近的镜头转换,块匹配特征对帧1 6 8 0 附近的 镜头转换也没有明显的表现。 表2 3 像素差、直方图、块匹配计算差值用时 特征类型 像素直方图块匹配 用时( 毫秒帧) l0 3 5 2 4 8 1 1 3 9 8 7 74 3 5 0 9 4 8 从表2 3 这3 种常见特征的用时可以看出,计算像素差和直方图特征用时都 是同一个数量级的,而计算像素差用时更少。而块匹配运动特征,虽然对运动造 成的干扰不敏感,可是时间复杂度明显大很多。 通过检测效果和计算用时等性能的综合,可得基于颜色直方图的方法具有比 较好的性能表现。 2 2 2 判断镜头边缘 在镜头边缘检测的第三步中,需要利用特征和相似性判断镜头边缘是否出现, 常用的做法有全局或局部阈值、双阈值、自适应阈值,还有最近出现的利用分类 器做判断。 1 运用全局阈值:是指在整个检测镜头边缘的过程中,都只运用同一个阈值 来判断是否出现镜头转换。文献 2 0 】 4 4 4 8 运用了全局静态阈值来检测镜头边 缘。从图2 8 可以看出,如果只用一个全局阈值进行检测,将很难区分帧8 5 0 附 近运动
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 小学一年级道德与法治“相亲相爱一家人”第2课时教学设计
- 区块链+智能制造系统:构建可信数据资产与溯源新闭环
- 八年级历史期末复习资料:2025年世界古代史综合测试卷全解
- 电信客服人员响应速度与问题解决效率考核表
- 2026年春季新品上市推广邀请函(5篇)
- 车企供应链智能化升级路径指引
- 统编版语文五年级上册《习作:介绍一种事物》教案教学设计
- 合作伙伴续签意向函7篇范本
- 旅游目的地环境容量评估手册
- 请求补充产品检测报告的函(5篇)范文
- 中建八局《技术质量专项治理~施组方案管理》
- 2026年保安员考试题库及答案(1000题)
- 郑克鲁外国文学史课件
- 口腔出血的局部止血与感染预防
- 七年级数学上学期数轴上的动点问题40题含答案
- 吴亚丽公开课
- GB/T 9989.2-2025搪瓷耐化学侵蚀的测定第2部分:耐沸腾酸、沸腾中性液体、碱性液体及其蒸气化学侵蚀的测定
- DB3302∕T 001-2018 名优绿茶生产技术规程
- 【《龙力生物业绩预告造假的案例分析报告》8900字】
- 施工环保知识培训课件
- 企业车队维修管理制度
评论
0/150
提交评论