（计算机应用技术专业论文）新闻视频中广告的自动检测研究.pdf

t o d e t e c t i o ni nn e w sv i d e o d i s s e r t a t i o ns u b m i t t e dt o h o h a iu n i v e r s i t y i nf u l f i l l m e n to ft h er e q u i r e m e n t f o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g b y h a ol i ( i n s t i t u t eo fc o m p u t e ra n di n f o r m a t i o ne n g i n e e r i n g ) d i s s e r t a t i o ns u p e r v i s o r ：p r o f e s s o rs h i j i nl i j u n e2 0 0 8 n a n j i n g ，p r c h i n a l i i i i ii ii ii l l l li l l lill y 1819 6 4 3 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均己在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ：堡是山宫年 月 日 ( 注：手写亲笔签名) 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 论文作者( 签名) ：力笑 ( 注：手写亲笔签名) 小退年衫月， 日 河海大学硕士研究生毕业论文新闻视频中广告的自动检测研究 摘要 近些年来，随着计算机技术的快速发展，人们所需的信息能够被更加方便的 采集与存储，这就导致了信息膨胀问题。在这种情况下，基于内容的信息检索技 术成为了信息处理领域的一个研究热点。 电视新闻节目作为商业广告的重要载体，在国民的消费导向中起着非常重要 的作用。但是，目前对新闻视频中插播广告进行自动检测的技术相对比较滞后。 商业广告视频种类繁多，不利于建立统一模型，所以想要精确的检测出新闻中插 播的所有广告片段变得十分困难。论文在对新闻视频进行大量观察，并参阅了大 量的参考文献基础上，提出了一种由粗取精的两步广告自动检测机制。 本文主要研究工作如下： 1 ) 在新闻主持人口播帧检测方面，本文提出一种子块自动加权的主持人口 播帧检测算法，可以自动的对主持人口播帧建立8 x 8 的加权模板，从而提高了 对演播室动态背景的口播帧的检测效率。 2 ) 在广告粗定位方面，提出了基于镜头集聚类的广告片段粗定位方法。该 方法首先分析新闻视频镜头与广告镜头在时序分布上的差距，接着利用k 均值聚 类方法将所有镜头聚为4 类。其中，属于广告的镜头被提取出来。最后将聚类结 果与主持人口播帧集相交得到广告检测片段，从而将新闻视频中插播广告的自动 检测问题简化为将一个新闻报道与插播广告片段相区分的问题。 3 ) 在广告精确检测方面，通过对插播广告与新闻报道在边界处视觉与时序 上的特征进行分析，提出了一种主色调与时序特征融合的广告检测算法。接着从 自然图像与合成图像分类的研究领域出发，提出了一种新的基于镜头分类合并的 广告检测算法。两种广告检测算法都取得了较好的检测效果，最后将两种检测算 法相结合，进一步提高了广告检测算法的鲁棒性。 【关键词】基于内容信息检索、新闻视频、广告自动检测、主持人口播帧、主色 调与时序特征融合、自然图像与合成图像 新闻视频中广告的自动检测研究 a b s t r a c t m p a n y i n gb yt h ef a s td e v e l o p m e n to fc o m p u t e rt e c h n i q u e ，t h e i n f o r m a t i o np e o p l er e q u i r e dc o u l db ec o l l e c t e da n ds t o r a g e dm o r ea n dm o r ec o n v e n i e n t ， w h i c hd u et ot h ei n f o r m a t i o ne x p l o s i o n i ns u c hac a s e ，t h ec o n t e n t - b a s e di n f o r m a t i o n r e t r i e v a li sb e c o m i n gah o tt o p i ci nt h ef i e l do fi n f o r m a t i o np r o c e s s i n g a st h em a i nm e d i u mo fc o m m e r c i a li n f o r m a t i o nd u r i n gd i g i t a lw o r l d ，n o w a d a y st v n e w sp l a y sam o r ea n dm o r ei m p o r t a n tr o l ei nt r a n s f e r so fc o m m e r c ei n f o r m a t i o n h o w e v e r , t h er e s e a r c ho fc o m m e r c i a ld e t e c t i o ni nn e w sp r o g r a mi sl a g g e di nt e c h n o l o g y t h ed i v e r s i t yo fc o m m e r c i a l sm a k e si tn o te a s yt ob em o d e l e d ，s op r e c i s e l yd e t e c t i n ga l l t h ec o m m e r c i a lb l o c k si nan e w sv i d e ob e c o m e sad i f f i c u l tp r o b l e m a f t e ro b s e r v i n g l o t so fn e w sp r o g r a ma n dr e a d i n gp l e n t yo fr e l a t e dr e s e a r c hp a p e r s ，t h i sp a p e rp r o p o s e s a2 - l e v e l sa n ds t e p w i s er e f i n i n gd e t e c t i o ns c h e m e t h ew o r ko ft h i sp a p e rm a i n l yi n c l u d e s ： ( 1 ) i nt h es t a g eo fa n c h o r p e r s o nd e t e c t i o n ，t h i sp a p e rp r o p o s e sa na u t o m a t i c a l l y b l o c kw e i g h i n gd e t e c t i o na l g o r i t h m a8 8w e i g h t e da n c h o r p e r s o nt e m p l a t ec o u l db e b u i l ta u t o m a t i c a l l y , a n dt h u st h ed e t e c t i o nr e s u l ti sp r o m o t e dt ot h en e w sp r o g r a mw h i c h h a sa g l o b a ld y n a m i ca n c h o r - b a c k g r o u n d ( 2 ) i nt h es t a g eo fl o c a t i n gc o m m e r c i a lb l o c k sr o u g h l y , ag l o b a lc l u s t e r i n gb a s e d l o c a t i n ga l g o r i t h mi sp r o p o s e d f i r s t l y , t h ed i f f e r e n c eo nt h et i m eo fd u r a t i o nb e t w e e n t h ec o m m e r c i a ls h o t sa n dn e w ss h o t si sa n a l y z e d s e c o n d l y , t h ek - m e a n sc l u s t e r i n g a l g o r i t h mi su s e dt oc l u s t e ra l lt h es h o t si n t o4c l a s s e s t h es h o t sw h i c hb e l o n gt ot h e c o m m e r c i a lc l a s si se x t r a c t e d a f t e ri n t e r s e c t i n gw i t ht h es e to fa n c h o r p e r s o n s ，t h e c o m m e r c i a l - d e t e c t i o n - b l o c k si so b t a i n e d t h e nt h e p r o b l e m o fc o m m e r c i a l s a u t o d e t e c t i o ni ss i m p l i f i e da sd i f f e r e n t i a t ean e w s r e p o r ta n d ac o m m e r c i a lb l o c k ( 3 ) i nt h es t a g eo fd e t e c t i n gc o m m e r c i a l sp r e c i s e l y , f i r s t l yt h i sp a p e ra n a l y s e st h e b e h a v i o ro fc o l o rf e a t u r ea n dt e m p o r a lf e a t u r eo nt h eb o u n d a r yo fn e w sr e p o r ta n d c o m m e r c i a lb l o c k ，av i s u a la n dt e m p o r a lf u s e dd e t e c t i o na l g o r i t h mi st h e np r o p o s e d s e c o n d l yr e f e r e n c e di nt h ef i e l do fd i f f e r e n t i a t et h en a t u r a li m a g ea n dt h es y n t h e t i c i m a g e ，an e wc o m m e r c i a ld e t e c t i o na l g o r i t h mb a s e do nt h es h o t sc l a s s i f y i n g a n d m e r g i n gi sp r o p o s e d b o t ho ft h et w od e t e c t i o na l g o r i t h m sa c h i e v eg o o dd e t e c t i o n r e s u l t s f i n a l l y , t h em e r g i n go ft w oa l g o r i t h m sa c h i e v e sab e t t e rd e t e c t i o nr e s u l t k e y w o r d s ：c o n t e n t b a s e dr e t r i e v a l ，n e w sp r o g r a m ，c o m m e r c i a l sa u t o - d e t e c t i o n ， a n c h o r p e r s o n ，v i s u a la n dt e m p o r a lf u s e d ，n a t u r a li m a g ea n ds y n t h e t i ci m a g e 闻视频中广告的自动检测研究 1 1 论文研究意义及背景1 1 1 1 论文研究背景。1 1 1 2 论文研究意义2 1 2 研究现状5 1 3 本文研究内容与成果6 1 4 本文的组织结构7 第二章视频结构分析及广告检测综述8 2 1 视频的逻辑层次结构8 2 2 新闻视频特点及解析流程1 0 2 2 1 新闻视频特点1 0 2 2 2 新闻视频解析流程1 1 2 3 广告检测研究综述1 2 2 3 1 广告视频特征1 2 2 3 2 基于识别特征的广告检测方法1 5 2 3 3 基于场景边界的广告检测方法1 7 2 3 4 基于镜头分类合并的广告检测方法1 8 2 3 5 本文广告检测方法概述2 0 2 4 本章小结2 2 第三章广告片段的粗定位2 4 3 1 镜头检测及关键帧提取2 4 3 1 1 切变镜头检测2 4 3 1 2 关键帧提取2 7 3 2 主持人口播帧检测2 7 3 2 1 现有口播帧检测算法存在的问题2 8 3 2 2 子块自动加权的口播帧检测算法3 l 3 2 3 实验结果分析3 5 3 3 广告片段粗定位方法3 8 3 3 1 基于切变率分析的广告片段粗定位3 8 3 3 2 基于镜头集聚类的广告片段粗定位3 9 3 3 3 实验结果分析4 0 3 4 本章小结4 2 第四章插播广告的精确检测4 3 4 1 概述4 3 4 2 基于场景边界的广告检测方法4 3 4 2 1 主色调不连续性的广告检测4 3 4 2 2 主色调与时序特征融合的广告检测算法4 5 4 2 3 实验结果分析5 0 4 3 基于自然与合成图像分类的广告检测方法5 6 4 3 1 自然图像与合成图像的差异分析5 6 i i i 河海大学硕上学位论文新闻视频中广告的自动检测研究 4 3 2 基于自然与合成图像特征差异的广告检测5 7 4 3 3 实验结果与分析6 6 4 4 本章小结6 9 第五章总结与展望7 0 5 1 全文的总结7 0 5 2 对今后工作的展望71 参考文献7 2 致谢7 6 附录攻读硕士期间论文发表情况7 7 i v 河海大学硕士学位论文 新闻视频中广告的自动榆测研究 第一章绪论 近年来，随着计算机技术的迅猛发展，高效的数据采集方法以及大容量存储 技术得到了广泛的普及。人们所需的各种类型数据信息可以被大量的采集和存储， 并通过互联网络进行传输和分配。 信息的快速增长和流通给社会带来了巨大的效益，但在很多情况下人们所获 的信息没有得到有效的识别和理解，因此难以进行有效的管理。随着信息不断的 积累，日益膨胀，以至于要超过人的接受能力了。 为了解决上述问题，不仅要有大容量存储技术和信息快速传输技术，还要能 够对信息进行自动查询和选择。这就导致了基于内容的信息检索( c b r ) 技术的兴 起。 1 1 论文研究意义及背景 1 1 1 论文研究背景 视觉信息是人们日常生活中接触最多，也是最重要的一种信息源。视觉信息 包括了静止图像信息、计算机图形及动画信息、视频及序列图像信息等等。 视觉信息普遍有着信息量大、难以抽象化等两个特点： 1 ) 信息量大。对于一幅6 4 0 4 8 0 像素的真彩色b m p 图像，存储每个像素 信息需要2 4 b i t ，所以整幅图像需要6 4 0 4 8 0 2 4b i t 0 8 8 m b 的空间来存储。 而视频的数据量则更加惊人：一段持续时间为半小时、像素大小为6 4 0 4 8 0 、p a l 制式( 2 5 帧秒) 、未经压缩的a v i 视频，其大小达到数十g b 。 2 ) 抽象程度低。视觉信息作为一种感官信息，可以被人眼及大脑快速的分析， 并直接进行语义理解。但是它无法用简单的特征向量来描述，因此要对这些视觉 信息进行语义建模则十分困难。 视觉信息抽象程度低，导致了检索的难度加大。传统的视觉信息检索方法是 通过人对信息的语义理解，进行手工语义标注，检索时根据关键字匹配进行。然 而随着视觉信息量的日益膨胀，这种手工标注方法显得越来越耗时，同时又由于 标注的语义信息因人而异，导致关键字匹配时错误层出不穷。因此，传统的检索 方法必然要被基于内容的视觉信息检索技术( 隙) 淘汰。 基于内容的视觉信息检索技术通过对视觉信息从低层特征到高层特征进行处 理、分析和理解，从而对视觉信息进行结构化归纳，最后得到其内容的一种新的 表示方式。检索时根据该表示方式进行自动检索。因此和传统检索方法相比，基 于内容的视觉信息检索方法具有更高的检索效率和更好的检索结果。 河海大学硕七学位论文新闻视频中广告的自动检测研究 基于内容的视觉信息检索涉及对图像和视频等视觉信息中相关内容进行有效 的检测、查询、索引、浏览和提取，而且这些工作都是直接基于视觉信息中的内 容含义而开展的1 1 。图1 1 即为一个完整的视觉信息检索系统的工作框图： 至亘贯一哆瓢罐= l 吐墨耱曲一 图1 1 一个完整的视觉信息检索系统框图1 新闻视频节目是一种重要的视觉信息，它在人们生活中起到了举足轻重的作 用。调查数据显示：中国每日通过阅读报刊获取新闻信息的人数不足3 亿，而中 国电视人口的综合覆盖率是9 4 6 1 ，潜在收视人口是1 1 5 4 亿，每日通过观看电 视节目得到新闻信息的人数超过了1 0 亿。与其它视觉信息相比，视频所包含的信 息量非常巨大，以中国的中央电视台为例，2 0 0 7 年有4 0 多万小时的节目资源存贮， 据a c 尼尔森统计，目前全球有至少2 0 亿小时的媒资数据，而且这个信息量每年还 在高速递增。然而，在所有电视台的节目资源中，信息量最大是新闻视频节目， 而收视率平均最高的也是新闻节目。 在新闻视频节目的制作以及播放过程中，电视台出于商业目的都会插播广告 视频。为了更有效的对新闻视频节目进行查询、索引、浏览和提取，对于新闻视 频中插播广告的检测，成为了近年来基于内容的视觉检索领域的研究热点之一。 1 1 2 论文研究意义 对新闻视频中插播的广告进行检测，有着非常重要的意义和实用价值。 1 ) 便于新闻节目的重剪辑与重编排 随着网络通讯技术的不断发展，以及电视台之间收视率竞争的日益加剧，全 国各大电视台开始举办越来越多的栏目，以丰富频道资源。以中央电视台为例， 几年前只有不到1 0 个频道，而目前已经拥有了1 6 个频道及数百个栏目资源。节 目的增多带来了收益，但是也为电视台带来了沉重的负担，需要归档的视频信息 越来越多，如何对这些视频信息进行存储管理成为了电视台的耽误之际。另外， 电视台的编辑们制作与编排新的节目时，需要时不时的从以前录制的电视节目中 提取有用的信息。因此对于媒体资产管理员来讲，对于将要存档的视频进行重新 剪辑和重新编排，对节目建立索引，不但可以对视频信息进行更加有效的存储管 理，还可以满足一定的检索需求。 相对于其它视频节目，在信息量上，新闻视频是电视台节目中信息容量最大 2 河海大学硕士学位论文新闻视频中广告的自动检测研究 的视频资源；在结构上，新闻视频具有更强的结构性，即不同的新闻视频之间在 结构上具有一致性，因此易于建立统一逻辑模型。这就使得新闻视频自动重剪辑、 重编排相对比较便利。 目前新闻视频节目的重剪辑与重编排，大多依靠人工方式不断浏览和操作， 这使得时间和效率面临一个大难题。虽然很多文献【4 】- 【引也提出了各自的基于内容的 新闻检索系统，来实现新闻节目的自动索引，但是这些系统基本上都忽略了新闻 节目中存在广告片段的事实。新闻视频信息在整体上强调宏观语义，而插播的广 告片段为了吸引观众，更多强调低层的视听特征。可以说两者属于不同类型的视 频。而对这两种视频采用统一模型，将使得系统的检索效果大打折扣。 因此，如果能将广告片段从新闻节目中的检测出来，将会大大有利于新闻节 目的重剪辑与重编排。 2 ) 便于i p t v 的推出与发展 当今电视产业，电视、网络、数字将融为一体，传统的电视概念正在被新生 的i p t v 打破，即以计算机服务器为中心进行录制、编辑、检索、播出。i p t v 最 鲜明的特点就是媒体提供商必须按照消费者的需求，选择提供广泛的多媒体服务 功能。如网上新闻视频点播和手机电视新闻，观众的需求已不再是完全接受一个 长达数小时的新闻节目，而是倾向于细节化、专题化。对于用户而言，点播的节 目中被插播广告，是他们最不希望出现的。 为了使节目的点播率得到提高，作为节目的提供商，电视台有必要将新闻节 目中插播的广告检测出来并予以剔除。 3 ) 便于建立商业广告索引 商业广告视频是一种重要的视觉信息，对人们的日常生活、购物导向、消费 策略有着日渐深远的影响，也最能影响企业形象和国民的消费行为。 在媒体资产管理系统中，需要对商业广告建立索引。如同新闻视频有着一定 的关注群体( 如电视观众，信息提供商等等) 和对应的查询要求一样，广告也有自 己的关注群体和查询要求。这些关注群体及他们的查询要求包括： 广告投放商：他们关注广告的目的，主要是为了了解电视台是否履行了广 告播放合同。对于广告投放商，一个广告检测系统可以满足广告播放日志 等应用需求，从而对投放广告的播出时段、广告长度压缩程度、广告播放 次数是否被减少等与广告播放合同相关的信息进行及时跟踪。另外，在广 告市场竞争中，为了打赢漂亮的胜仗，也有必要对商业竞争对手的广告进 行跟踪和分析，从而制定自己广告投放策略。 一广告公司：不同的广告对观众购买习惯产生不同的影响，广告公司对各种 广告如何影响销售市场非常感兴趣。因此他们关注广告的目的，是了解广 告的播放效果，对广告的总体规划和效果进行评估学习。另外，对于某些 广告公司而言，对当前热播的广告进行研究和分析，可以激发出更有灵感 3 河海人学硕士学位论文新闻视频中广告的自动检测研究 的创意，从而制作出更有影响力的广告。 视频设备生产厂家：通常大部分观众在观看电视节目时，都不喜欢广告的 出现，因为它打断了之前节目的连续性。传统的电视设备，使得观众们必 须被动的跟着电视播放顺序观看，特别是在新闻节目时。不过这种情况目 前已经大不一样，电视已经向数字化、网络化方向发展，例如i p t v 、w e b t v 等新技术成为了当前电视技术的主流。这些技术支持观众自主的选择节目 播放顺序，以及定制相关节目摘要等等。因此对于家庭数字录像机以及数 字电视机顶盒( s e t - t o pb o x ) 等视频设备，如果能提供对视频节目进行语义分 析，并根据用户的喜好对节目进行分类检测，将用户不感兴趣的节目( 如 插播的广告视频) 剔除的功能，则会大大的提高设备的销量，从而抢占市 场。 _ 广告监管部门：当前电视广告产业存在着很多弊端，如虚假广告泛滥，侵 害消费者权益，同时一些广告格调低劣，造成视觉污染；部分电视台为了 增收，违规加大广告播放量，在新闻等节目播放中过量插播广告，有些插 播时间可以长达十几分钟，严重影响观众正常收看。广告监管部门要求对 插播广告进行检测，就是为了对其内容、播放总量进行监管，对违法、违 规行为进行打击。除早已颁布和实施的广告法、广播电视管理条例、 广播电视广告播放管理暂行办法等政策法规，对广播电视广告内容、 播放时间等进行管理之外，新的医疗广告管理办法、新的药品广告 审查办法分别于2 0 0 7 年1 月1 日、2 0 0 7 年5 月1 日实施。2 0 0 7 年 9 月2 5 日，国家广电总局再次严令禁播八类涉性药品、医疗、保健品广 告及有关医疗资讯、电视购物节目。这些新的管理办法的出台，标志着广 告行业发展将越来越规范 9 1 。但随之而来的广电监测的任务，也越来越重 要，工作也越来越繁重。各地广电监测中心都承担着多套电视、广播节目 监测的任务，需要把多个频道中各个栏目中相关新闻舆论监督的内容及时 采集上报给有关领导单位，工作任务相当繁重。这样，如何在数量众多的 电视节目中，寻找到插播广告就具有了其实际意义。 因此，如果能将新闻节目中插播的广告片段予以检测，将会大大满足以上四 大群体的需求。 对视频节目中插播的广告进行检测，传统方法通过人工检测手段实现。该方 法要求检测人员首先对广告视频进行长时间录像，通过手工来回播放录像找到广 告播出的时刻、长度、名称、类型等信息，然后再将这些信息人工标注为文本， 伴随节目视频一起存储。为了完成该检测工作，在硬件上需要耗费大量的录像带， 进行录的每路信号都需配备s v h s 录像机设备。 央视咨询中心的研究数据显示，一个广告检测员若要真实可信地处理前2 4 小 4 河海大学硕上学位论文新闻视频中广告的自动榆测研究 时的广告录象数据，就必须花2 6 - - - 3 0 小时的时间。这样，一个电视台一个频道每 天的监测数据处理，需要3 4 个人来完成( 按每人每天工作8 小时来算) ，然后还需 要人员录入、校对、最后生成文本信息，这样一个电视台一个频道2 4 小时的数据 处理至少要4 5 个人来完成【l 引。同时在硬件上，s v h s 录像机设备价格昂贵，使 用磁带备份录像时间短，每隔1 、2 小时必须手工换带，磁带回放速度很慢。 由此可见：人工检测方法耗费了大量的人力物力资源，检测人员长时间连续 观察大量广告，工作枯燥而且易于身心疲劳，导致对画面失去敏感，很难保证检 测质量。因此，如果能将这些工作完全交给计算机，实现无人守护的自动检测， 不但可以大大提高工作效率，还可以极大的节省开支。 本文的研究课题：新闻视频中广告的自动检测，即是在基于内容的视觉检索 领域( 珊) 领域中找出这样一种方法，它可以将新闻节目中插播的广告，无人 工干预全自动的检测出来，并且希望可以达到实用的效果。 1 2 研究现状 由于广告视频具有特殊内容，种类繁多，不利于建立统一模型，因此想要实 现自动检测并不是一件容易的事。 从上个世纪九十年代中旬开始，国外的专家学者们就开始关注新闻视频中广 告自动检测技术。由于应用需求问题，国内的对应研究相对滞后，于近两年来刚 刚起步。 最早提出的一种广告自动检测方法的是r l i e n h a r t 的黑帧序列检测【1 。该方法 依赖于一个先验知识：德国电视台在新闻中插播广告片段前后会添加黑帧序列作 为标志。因此通过新闻视频中的黑帧序列的定位来得到广告片段的大致位置。该 方法简单且易于实现，较好的解决了当时的需求。但并不是所有电视台在广告片 段边界处都添加黑帧序列。另外在新闻报道中也有可能出现黑帧，会造成一定的 误检现象，因此该方法具有很大的局限性。 之后很多研究者相应地提出了各自的新闻视频广告自动检测算法，比较有代 表性的有： a l b i o l ，a t l 2 】注意到某些电视台在插播广告时会屏蔽掉屏幕角落的电视台台标 这个先验知识，通过建立台标模板，对整个新闻视频进行台标模板匹配检测，该 方法最后的检测效率很高，但同样不具备通用性。 g a u c h ，j m 【1 3 】贝0 提出了一种基于重复镜头序列检测的新颖方法，它是基于这 样的先验知识：基于广告投放的规则，同一个广告在长时的新闻节目中会重复出 现。该种方法最后对视音等多特征进行了融合，取得了很好的检测结果。但整个 系统实现复杂，并且只适用于持续时间很长的视频节目。 河海大学硕上学位论文 新闻视频中广告的自动检测研究 文献1 1 4 j 中提出了一种结合镜头切变率分析与视觉记忆模型的方法，首先利用 滑动窗1 3 技术，提取新闻视频的切变率特征。通过设定阈值，找到满足要求的连 续视频窗口，使其成为候选广告片断。最后使用了一种视觉记忆模型机制来模拟 观众记忆，计算出关注范围内的镜头间在主色调上的相关性并分析，从而得到了 广告片段的位置。该方法有较高的查全率，且适用于大部分新闻视频，但方法的 查全率不尽如人意，最终仍需要部分人工干预来提高检测准确度。 还有其它一些方法利用到了广告片段与其他节目衔接处( 黑帧) 静音【1 5 】、在 广告片段中封闭字幕会中断【1 6 】等特征。这些方法实现简单，在各自的应用背景下 也都取得了不错的检测效果，但都有着通用性不强的缺陷。 综上所述，从适用性角度来看，目前广告自动检测算法的大致分为两类。第 一类利用黑帧、台标等特定的先验知识。这些方法在各自应用背景下都取得了很 高的检测效果，但只能解决特定问题。另一类则利用新闻报道与广告片段在视觉， 音频和文本等特征的差异来进行检测，该类方法从基于内容分析角度出发，适用 于各类新闻节目，目前已经成为了研究主流。 到目前为止，还没有一种通用算法能完美的检测出各类新闻视频中所有插播 的广告片段。因此如何从新闻与广告内容的差异上发掘特征及如何融合这些特征 将成为今后的研究热点之一。 1 3 本文研究内容与成果 本文研究工作的目的是对于新闻节目中插播的广告进行自动检测，并精确定位 广告出现的位置。本文的实验素材来自江苏电视台的南京零距离，1 8 6 0 新闻眼以 及绝对现场等新闻视频。这些视频均为完整的新闻节目，时长约为4 5 分钟左右。 它们在播出时间、新闻编排方式上大致包含了当前我国各个省台以及地方电视台 的新闻节目模式，具有着较强的代表性。 本文研究的主要内容与成果如下： 1 ) 为了更有效的对新闻视频进行分割，本文对新闻主持人口播帧检测方法进 行了研究。针对当前新闻节目中普遍存在的主持人演播室动态背景情况， 提出了子块自动加权的主持人口播帧检测算法。对比实验显示该算法的查 全率与查准率均接近1 0 0 ，具有很高的鲁棒性，同时该算法还具有计算 速度快，适用性强等优点。 2 ) 对新闻节目中广告的自动检测进行了深入的研究。根据新闻报道与广告片 段镜头在时序分布上的异同，提出了基于全局聚类的广告片段粗定位方 法，并结合主持人口播帧得到了广告检测片段，从而将广告检测的范围大 大缩小。对比实验证明，基于全局聚类的广告片段种子探测方法，可以找 6 河海大学硕上学位论文 新闻视频中广告的自动榆测研究 到了一个新闻视频节目中几乎所有插播广告片段的大致位置。 3 ) 对于基于场景边界的广告检测方法进行了研究，借鉴了当前具有代表性的 主色调不连续性检测算法，提出了一种主色调与时序特征融合的广告检测 算法。对比实验证明该算法在查全率与查准率上都有较大提高，同时避免 了人工干预。 4 ) 从自然图像与合成图像的差异这种新的思考角度出发，提出了一种基于自 然与合成图像分类的广告检测方法。该检测方法中使用的大多数特征为以 前广告检测研究领域中所没有采用过的。实验结果显示，该方法具有较好 的查全率以及很高的查准率。最后，利用启发式规则，将该方法的检测结 果和前面主色调时序特征融合算法的检测结果进行并集，从而进一步提高 了查全率，同时保留了高查准率优点，在8 段新闻节目中检测达到了接近 1 0 0 的效果。 1 4 本文的组织结构 本文共分六个章节，组织如下： 第一章：绪论。介绍了论文的研究背景，以及新闻视频中广告检测的研究意 义。同时介绍了广告自动检测的研究现状，并从广告自动检测算法的通用性角度 对当前国内外的研究成果进行了简单分类。最后简要介绍本文的研究内容和成果。 第二章：视频结构分析及广告检测综述。首先对视频节目普遍存在的逻辑层 次结构进行了分析，引入了镜头、关键帧及场景等概念。接着对新闻视频的特点以 及新闻视频中插播广告的编排方式进行了对应分析，并对新闻视频的自下而上解 析过程进行分析。最后对广告检测研究进行了较详细的综述，并对当前研究方法 进行了分类。 第三章：广告片段的粗定位。首先简要介绍了本文研究使用的镜头检测以及 关键帧提取方法，随后重点介绍了主持人口播帧检测算法以及广告片段种子粗定 位算法，分析了传统算法的缺陷并在其基础上提出了对应的新算法，最后进行了 对比实验，并对实验结果进行了分析和总结。 第四章：广告片段的精确检测。提出了一种主色调与时序特征融合的广告检 测方法，并通过对比实验与主色调不连续性的广告检测算法进行了比较分析。最 后从一种新的思考角度，提出了基于自然与合成图像分类的广告检测算法，并对 该算法的实验结果进行了分析与总结。 第五章：总结了本论文的研究工作，以及本课题进一步的研究与发展方向。 7 河海大学硕上学位论文 新闻视频中广告的自动检测研究 第二章视频结构分析及广告检测综述 视频不仅仅是静止图像序列的简单组合，它还包括了拍摄场景中各目标的运 动信息和客观世界随时问推进而变化的信息。视频数据与图像数据在逻辑结构等 方面截然不同，它是一种复杂的时空二维数据。 由于拍摄装备与摄影技术的共性，大多数视频的逻辑结构非常类似。对视频 建立统一的逻辑层次结构，将有利于视频的浏览与检索。逻辑层次结构中每一层 都是对视频数据的一种描述，层次越高越接近人的理解方式。新闻视频相对于其 它视频节目，其具有着更加严谨规范的逻辑层次结构。对新闻视频进行分析，首 先必须要对其进行解析，即对新闻视频的层层分割，将视频帧序列分割成镜头序 列、场景序列以及故事单元序列等。 在新闻视频中插播的广告通常以连续的片段形式存在，而这些广告片段与前 后的新闻报道在内容上有着很大的不同。目前对插播广告的检测可以分为基于识 别特征的检测、基于场景边界的检测以及基于镜头分类合并的检测等三类方法。 2 1 视频的逻辑层次结构 为直观表示起见，通常都用树状结构组织来表达视频的逻辑层次结构。 如图2 1 所示：整个视频被分为了五层结构，从树根到叶节点分别为：视频节 目、故事单元层、场景层、镜头层和帧层。 图2 1 视频层次化树状图 从人的语义理解顺序看，一个视频节目由多个故事单元构成，每个故事单元 讲述了一个故事情节。而每个故事单元由若干个场景组成，这些场景通常为拍摄 8 厂，弋l l i， n 景 景 景 场； 场 ； 场 厂j、l 一兀 一兀 一兀 单 单 单 事 ； 事 ； 事 故 故 故 目 节频视 河海大学硕士学位论文新闻视频中广告的自动检测研究 场景。一个场景由该场景内多次拍摄的镜头组成，最后每个镜头是连续的帧序列。 但对视频抽象化的顺序，和人语义理解的顺序相反，输入的视频就是帧序列，因 此必须从底层的帧开始，逐层聚合，最后得到高层语义。 1 ) 帧层 帧( f r a m e ) 是视频的最小结构单元，每一帧都可看成一个独立的图像。一帧相 当于一个二维数组“j ，力，其中x 和y 表示帧图像中每个像素的横坐标与纵坐标， 取值范围为：x 以- 1 ，y 以- 1 ， ：和彤分别是帧图象在x 和y 方向的像素 数。而，描述了( x ，力位置像素点的颜色特征，它可以是个多维数据，取值范围 与帧图像的所使用的颜色空间有关。颜色空间分为面向硬件设备的颜色空间与面 向视觉感知的颜色空间。面向硬件的颜色空间包括r g b 空间，c m y k 空间等，而 面向视觉感知的颜色空间包括m u n s e l l 空间，h s v 空间等。 2 ) 镜头层 镜头( s h o t ) 一般被认为是视频的基本物理单元。一个镜头是由一个摄像机从开 到关一次性拍摄得到的或者通过其它编辑效果得到的连续帧序列。 通过镜头检测可以将视频分割成为镜头序列。一般情况下，前后两个镜头之 间的过渡方式为切变与渐变。 一切变：镜头间的切变没有采用任何摄影编辑特效，它是将两个镜头直接连 接在一起得到的，即在两帧之间发生。切变前的帧属于前一个镜头，切变 后的帧属于后一个镜头。目前，镜头切变检测技术已比较成熟，大都采用 类似图像分割中基于边界的方法，即利用镜头间的不连续性l l j 。 _ 渐变：和切变不同，镜头间的渐变是从一个镜头缓慢地变化到另一个镜 头，常延续数十帧。渐变的类型很多，而渐变检测主要针对某种或几种渐 变类型如淡入淡出、叠化、擦除等进行的。 镜头内各帧图像在前后保持着一定相关性，而且存在着一些重复信息。因此 用关键帧( k e y f r a m e ) 来代表镜头，不仅得到对于镜头的更简洁表达，还可以使得 检索更加方便。关键帧必须提供一个镜头的全面概要，它不一定是一帧，也许是 多帧的集合。 3 ) 场景层 场景处在视频层次结构中的较高层次，它具备了高层抽象概念和语义的表达。 场景( s c e n e ) 是一组镜头集合。这些镜头在时序上不一定是连续的，但它们都是在 同一环境下拍摄，可能拍摄的角度不同或者拍摄的焦点不同。因此，这些镜头在 语义上有着很重要的关联，或多或少表现为背景的似曾相识，人物的重复再现等。 为了将视频分割为场景，需要将镜头序列进行聚类。常用的镜头聚类方法包括：基 于分割的方法、基于模式分类的方法以及一些针对特定视频的聚类方法。 4 ) 故事单元层 9 河海大学硕士学位论文新闻视频中广告的自动检测研究 故事单元( s t o r y ) 是对视频节目的纯语义划分。一个故事单元由多个场景组成， 它有一定的情节，描述一个完整的故事。故事单元在表达形式上未必是连续的， 即组成故事单元的场景不一定连续。但是其内在的语义线索等能保证意义上的连 续，它们在视频片段不连续时仍能保存下来。 故事单元完全依赖于人对于节目的理解。对于故事单元的检测，仅从低层特 征入手，通过聚类等方法，所得到的结果与视频的语义描述还有一定距离。目前 对于故事单元的检测，大都针对某种特定的视频节目，利用基于边界的方法，同 时结合一些高级先验知识。 2 2 新闻视频特点及解析流程 2 2 1 新闻视频特点 新闻节目和其它电视节目不同，新闻视频在剪辑时就已经按照内容对镜头进 行了编排，属于同一个报道主题的场景又被聚集在一起。因此新闻视频是高度非 线性的，其在编排结构上相对于其它视频节目更加严谨规范，且易于建立逻辑模 型及进行解析。 1 ) 新闻视频的时序编排方式 新闻视频节目的编排特征比较明显，而且各类型新闻节目在结构上具有较好 的一致性。到目前为止，有很多学者对新闻视频典型的时序编排结构进行过研究 【1 7 1 。f 1 9 1 ，其中文献【1 7 1 采用了树状结构图，如图2 2 所示，描述了一个简单的新闻视 频时序编排方式。可以看出，新闻节目有一系列新闻条顺序连接起来，中间可能 插播了一些商业广告。而每个新闻报道都是由主持人口播帧开始，后面紧随其后 的是相关新闻报道镜头。 图2 2 新闻视频节目的树状编排结构刚1 7 1 。 a s h o t s 表示主持人1 2 1 播帧，n s h o t s 表示新闻报道镜头 本文研究的新闻视频对象的时序编排方式与图2 2 所描述的类似。以本文实验 视频中江苏城市频道的南京零距离节目为例，其时序编排结构如下图2 3 所示： 1 0 iiliiiij 河海大学硕士学位论文新