（计算机应用技术专业论文）面向图像的电视广告自动监播系统的研究与实现.pdf

哈尔滨理工大学工学硕士学位论文 面向图像的电视广告自动监播系统的研究与实现 摘要 电视广告监播一般来讲需要了解广告的播放时间、播放质量、播放长 度。为了对播放质量进行检测，应该从图像的角度监播。而根据调查，目前 应用中的电视广告自动监播系统中，主要是从声音角度监播，并没有技术成 熟的真正意义上的图像监播系统。本文介绍了一个面向图像角度的电视广告 监播系统。该系统结合图像采集、二值化预处理等技术，以图像模式识别的 方式实现对电视广告的监播。 系统使用视频采集卡，采用d i r e c t s h o w 技术对电视信号进行采集并捕 捉特定的帧用于后期识别。为了减少计算量。本文采取了固定时间间隔提取 关键帧的办法。 在收集到原始的数据后，为了简化运算，需要对选取的关键帧进行二值 化处理。系统的二值化模块中，针对电视画面多样性的特点，对均值法与 0 t s u 算法进行了改进，并在这两种改进算法的基础上提出了一种二值化算 法，以实现在保证二值化质量的前提下，尽量减少运算量。 由于需要识别的对象，也就是需要监播的广告是事先已知的，因此可以 事先提取样本，采用基于模板的匹配方法进行识别，本文选择了s s d a 算 法。由于在识另口模块中，待识别的对象都是二值图像，本文对s s d a 算法 进行了适当的调整，使其在识别二值图像时效率更高，并且加入了绝对误差 值最低累加次数这一限制，以保证图像识别的准确性。 关键词图像识别；关键帧提取：二值化；s s d a 算法 竺查堡矍三奎兰三兰堡圭兰堡兰兰 r e s e a r c ha n di m p l e m e n t a t i o no fa na u t o m a t i c p i c t u r e0 r i e n t e dt e l e v i s i o na d v e r t i s e m e n t m o n i t o r i n gs y s t e m a b s t r a c t c o m m o n l y , t h et e l e v i s i n gl e n g t h ，p i c t u r eq u a l i t y , a n dt h et e l e v i s i n gt i m eo f t h ea d v e r t i s e m e n ts e g m e n t sa r ew o n d e r e di nt e l e v i s i o na d v e r t i s e m e n tm o n i t o r i n g t om o n i t o rt h ep i c t u r e s q u a l i t y , w es h o u l df o c u so nt h ea d v e r t i s e m e n t s i m a g e s h o w e v e r , a m o n gt h et e l e v i s i o na d v e r t i s e m e n tm o n i t o r i n gs y s t e m si nu s ea tt h e p r e s e n tt i m e ，t h e r ei sn ov e r i e s tp i c t u r eo r i e n t e ds y s t e m ，t h ee x i s t i n gs y s t e m sa r e m a i n l yf o c u so nt h ea u d i o t h i sa r t i c l ei n t r o d u c e sa na u t o m a t i cp i c t u r eo r i e n t e d t e l e v i s i o na d v e r t i s e m e n tm o n i t o r i n gs y s t e m t h es y s t e mi m p l e m e n t st e l e v i s i o n a d v e r t i s e m e n t sm o n i t o r i n gi nt h ew a yo fp a t t e r nr e c o g n i t i o nt o g e t h e rw i t hi m a g e c a p t u r i n ga n di m a g eb i n a r i z a t i o nt c c h n o l o g i e s t h e s y s t e mc a p t u r e s t e l e v i s i o n s i g n a l w i 也v i d e o c a p t u r e c a r d b y d i r e c t s h o wt e c h n i q u e t or e d u c ec o m p u t a t i o n a lc o m p l e x i t y , t h es y s t e mc a p t u r e s t h ek e y f r a m e si nf i x e dt i m ei n t e r v a l a f t e rt h eo r i g i n a ld a t ac o l l e c t i o ns t e p ，b i n a r i z i n gt h ec a p t u r e di m a g e si s n e e d e dt om a k et h ef o l l o w i n gs t e p sm o r ee f f i c i e n t i nt h eb i n a r i z a t i o nm o d u l e ， a i m i n ga tt h ev a r i e t ) ，o ft h et e l e v i s i o np i c t u r e s ，t h i sa r t i c l ea m e l i o r a t e st h em e a n a l g o r i t h ma n do t s ua l g o r i t h m b a s e do nt h e s et w oa m e l i o r a t e da l g o r i t h m s ， p r e s e n t san e wb i n a r i z a t i o na l g o r i t h mt h a tr e d u c ec o m p u t a t i o n a lc o m p l e x i t yi n t h ep r e c o n d i t i o no fh i g h q u a l i 够b i n a r i z a t i o n s i n c et h em o n i t o r e do b j c o t s ，t h ea d v e r t i s e m e n t s ，a r ek n o w n ，t h es y s t e mc a l l e x t r a c ts a m p l e so ft h ea d v e r t i s e m e n t s ，a n du s ea l g o r i t h m sb a s e do nt e m p l a t e m a t c ht or e c o g n i z et h e s ea d v e r t i s e m e n t s s s d aa l g o r i t h mi sa d o p t e di nt h i s s y s t e m b e c a u s et h ep i c t u r e sa r ea l lb i n a r yi m a g e s ，t h i sa r t i c l ea d j u s t ss s d a 一 啥尔滨理工大学工学硕士学位论文 a l g o r i t h ms ot h a ti tc a d p r o c e s sb i n a r yi m a g e sm o r ee f f i c i e n t l y , a n da l la d d i t i o n a l l i m i t a t i o n ，t h ea b s o l u t ee r r o ra c c u m u l a t i o nt i m e s ，a r ea f f i l i a t e dt oi n s u r et h e r e c o g n i t i o nc o r r e c t n e s s k e y w o r d si m a g er e c o g n i t i o n ；k e y f r a m ee x t r a c t i o n ；i m a g eb i n a r i z a t i o n ；t e m p l a t e m a t c h i n g 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文面向图像角度的电况广告自动监播系 统的研究与实现，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进 行研究工作所取得魄陂果。据本人所知，论文中除已注明部分外不包含他 、已发表或撰 写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在文中以明确方式注 明。本声明的法律结果将完全由本 、承担。 一。j 主辱 日期：易司年；月7 日日期：易一年；月日 哈尔滨理工大学硕士学位论文使用授权书 面向图像角度的电视广告自动监播系统的研究与姗系本人在哈尔滨理工大学 攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工 大学所有，本论文的研究内容不得以其它单位的名义发表。本 、完全了解哈尔滨理工大 学关于保存、使用学位论文的规定，同意学皎保留并向有关部门提交论文和电子版本， 允 牟论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影印、缩印或其他复制手段 保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密雁籀用授权书。 不稞密团 ( 请在以e 相应方框内打4 ) 作者签名： 导师签名； 一，纤 4 亿峙 纠带埤 日期：跏刀年易剧7 日 日期：矽9 7 年月，7 日 哈尔滨理工大学工学硕士学位论文 1 1 电视广告监播概述 第1 章绪论 1 1 1 电视广告监播的研究背景 电视广告是一种多媒体信息，它对人们的日常生活、购物导向、消费策略 有着日渐深远的影响，可以说电视是目前中国最重要的媒体，也是最能影响企 业形象和消费行为的媒体。有关调查表明：中国每日看报的人数不足3 亿，而 每日看电视的人却超过1 0 亿。对普通观众来讲，他们关心的是广告对他们的 冲击以及随之而来的消费欲望。从电视台的角度来讲，创收的主要来源是广 告，而对广告播出情况和计划外广告的监管是广告监管的最后一个环节，也是， 最重要的环节之一。从广告主角度来讲，通过广告可以扩大产品的影响，产生 相应的社会效益，并直接带来显著的经济效益。因此，很多企业不惜重金刊登 广告。作为被服务方，广告主希望其在广告上的投资能产生相应的广告效果， 因此十分关心自己的广告是否按要求进行了正常播出。由于电视台在播出工作 中可能会遇到一些特殊的情况，产生误播、延播，甚至漏播等；另外，部分广 告公司不规范操作，误导广告主，故意少播、漏播，这些都将给广告主带来经 济损失。因此，各电视台和广告主都希望由监测中心作为第三方部门，能够提 供权威性的、完整的广告监测报告【1 】。 根据国家广电总局1 7 号令，加强对广播电视广告节目监管也是一项工作 内容。2 0 0 5 年初，国家工商总局发文，要求各地工商部门加强广告监管力度， 加强对违法广告的查处。利用现有的网络优势和技术优势，提供原始的广告样 本数据，以作为其执法的直接依据也是非常必要的。随着我国广播电视产业的 发展和开放，广电监测的任务越来越重要，工作也越来越繁重。各地广电监测 中心都承担着多套电视、广播节目监测的任务，需要把多个频道中各个栏目中 相关新闻舆论监督的内容及时采集上报给有关领导单位，工作任务相当繁重。 这样，如何在数量众多的电视节目中，寻找到某特定广告就具有了其实际意 义。 要实现上述应用，如果采用传统的v h s 录像机的模式，显然是不现实 的，因为v h s 录像机存在着很大的缺点，如磁带不宜保管、易磨损、查询效 哈尔滨理工大学工学硕士学位论文 率低等。如果采用硬盘录像机，虽然能暂时满足存储上的要求，但同样存在着 工作量大、操作人员多、检索和统计不方便等困难。如果采用基于声音识别技 术的电视广告监播系统，所反馈的结果中只含有声音信息，是不完整的监播结 果，而且这种方法在只有视频图像没有语音信号的电视广告中不能应用。如果 可以借助图像识别技术，实时地对电视节目自动分析、统计、标定特定广告内 容，将相关的历史信息进行记录、存储，形成监播纪录，通过该系统简便直观 地浏览节目和广告的监播纪录，生成各种用户需要的统计报表和分析结果，就 可以避免人工监听时的耗时、费力等弊端，并能降低劳动强度，及时准确地将 舆论监督的内容反映到有关单位，为工商部门执法提供了有力的技术保证，这 将是未来广告行业现代化发展的必然趋势1 2 1 。 1 1 2 实现图像角度监播的研究意义 对于同一广告，我们可同时得到两类信息：图像和声音。相对而言，人类 通过视觉渠道所获得的信息往往更加形象和具体，图像信息给人的印象也更为 深刻，因此图像的监播结果较声音完整，而且在只有视频图像没有语音信号的 广告中同样适用。因此，在利用计算机进行实时监控的过程中选择图像信息作 为切入点，更有利于全面实现实时监测。由此可见，利用对视频信号的监控来 实现实时监播是一个值得研究和深入探讨的课题，是一个前沿的、具有很好的 发展前景的课题。而本课题的研究结果对于广告商以及监测中心来说，可以使 其节省下用于人工监播的人力资源1 3 1 。 对本课题的研究结果也可在实际应用中进一步推广，例如：在某类大型多 媒体文件中寻找某些片断的出现次数；对电视节目的部分内容进行监测以统计 某特定内容的重复率：如广告等；在大型的视频数据库中快速寻找待检索内容 等。由于本课题研究对象的实时性和连续性的特点，对本课题的解决方法和思 路会有助于图像识别、视频场景分割、随机图像的自适应阈值二值化处理等研 究方向，对从本课题的研究中获得的知识和技术同样可以应用于其他的诸如对 各种图像或视频数据库的信息检索等处理领域。 综上所述，对图像信息检索的研究不仅有其重要的实际意义，而且从将理 论送至实践中检验，再以实践为依据，进一步深化理论的角度来讲，本课题的 研究成果又有其重要的理论意义。可以肯定，随着图像信息处理技术的不断成 熟，图像信息检索技术将为越来越多人所关注。 哈尔滨理工大学工学硕士学位论文 1 2 电视广告监播发展现状 ， 国民经济运行的良好态势直接推动了电视广告市场的健康发展。从当前的 国民经济各行业发展态势来看，汽车、房地产、医药医疗器材、旅游、通讯产 品等行业的发展具有长足的持续性，这种良好的发展势头是广告市场增长的基 本条件。随着行业内竞争的不断升级，广告主对消费市场的争夺也将白热化。 广告主研究表明，被访企业首先就是强调策略组合的重要性，其次在被访企业 当前最为侧重的营销策略中，促销策略的选择率排名仅次于产品策略。也就是 说，在竞争格局中要保持领先，除了产品策略外，广告战役等各种促销大战将 作为重要的营销利器被竞争者争相采用。 1 2 1 电视广告的特点 电视广告具有以下特点1 4 1 ： 1 重复性任何广告在电视台的播放都具有重复性的特点。任何通过审 批的广告都不可能只播放一次，时间短的可能会重复播放一个星期，时问长的 可能会播放半年以上，这就为广告自动识别系统提供了空间： 2 可比。| 生相同版本的广告，播放时都具有类似的特征。基于电视广告 的上述特点，使用计算机来自动、快速、有效的监视、记录、存储、查询电视 ( 或广播) 的广告节目内容、播出时间、质量、内容，已经成为广告监测行业的 新锐技术，出现了不少这方面的技术。 3 覆盖域电视媒体的传播范围是相当广泛的，在电视跨入太空传播时 代更是如此。从世界范围看，电视传播所到之处，也就是广告所到之处。但就 某一具体的电视台或某一具体的电视栏目或电视广告而言，其传播范围又是相 对狭窄的。电视媒体传播范围的广泛性的同时也就衍生出传播对象构成的复杂 性。不论性别，年龄，职业，民族，修养等，只要看电视都会成为电视媒体的 传播对象。 4 到达率到达率是衡量媒体广告效果的重要指标之一。它是指向某一 市场进行广告信息传播活动后接受广告信息的人数占特定消费群体总人数的百 分比。在消费群体总人数一定的情况下，接触广告信息的人数越多，广告到达 率越高。电视广告的媒体覆盖域广泛，是人们日常生活中获得各类信息的主要 途径，广告主在这些媒体上投放广告，其到达率是比较高的。 5 并读性并读性是指同一媒体被更多的人阅读或收看( 听) 。电视是并 啥尔滨理工大学工学硕士学位论文 读性较高的媒体。一场奥运会比赛的现场直播可吸引全球数十亿的电视观众， 其广告信息并读性是相当高的。 6 注意率注意率即广告被注意的程度。电视广告由于具有视听形象丰 富、传真度高、颜色鲜艳等特点，给消费者留下深刻印象，并易于记忆而注意 率最高。 ， 7 权威性媒体的权威性对广告效果有很大影响，即”光环效应”。对媒 体的选择过程中应注意人们对媒体的认可度。不同的媒体因其级别，受众群 体，性质，传播内容等的不同而具有不同的权威性；从媒体本身看，也会因空 间和时间的不同而使其权威性有所差异。比如电视媒体，中央电视台与地方 电视台的广告相比，前者比后者具有更明显的权威性。权威性同时是相对的， 受专业领域，地区等各种因素的影响。 8 感染力从现代广告信息的传播角度来分析，广告信息借助于电视媒 体，通过各种艺术技巧和形式的表现，使广告具有鲜明的美感，使消费者在美 的享受中接受广告信息，因此电视对于消费者的影响高于其它媒体，对人们的 感染力最强。 9 实时性电视和广播是最适合做时效性强的广告的媒体，但电视由于 设备等因素制约，时效性不如广播。 1 0 易逝性电视广告具有易逝性特点。广告信息转瞬即逝，不易保存。 因而广告需要重复播出，资金投入巨大。 1 2 2 电视广告监播的主要手段 现有的广告监播手段主要有以下几种： 1 传统人工监播这是目前采用最多的一种广告监播手段，通过这种技 术对监播的广告节日采用人工长时间监看并记录，必要时可以采用v h s 录象 机、录音机、硬盘录像机等完成监播节目的录制和保存，手工记录播出广告的 时刻、长度、名称、类型等信息，然后再将监看的数据递交到监测中心处理， 由监测中心进行汇总后整理成监测报告i s 。 央视咨询中心的研究数据显示，一个广告监测员若要真实可信地处理前2 4 小时的广告录象数据，就必须花2 6 3 0 b 时的时间。这样，一个电视台一个频 段每天的监测数据处理，需要3 4 个人来完成( 按每人每天工作8 d , 时来算) ，然 后还需要人员录入、校对、最后生成报告，一个电视台一个频段2 4 小时的数据 处理至少要和5 个人来完成。 哈尔滨理工大学工学硕士学位论文 由此可见这种方式的监播存在许多不足：人工监视需要大量的监播人员长 时间连续观察大量广告，工作枯燥而且易于身心疲劳，导致对画面失去敏感， 很难保证监播质量；需要耗费人力和大量的录像带，检索繁琐；模拟录像机进 行录像需要每路信号使用一个录像机，设备价格贵；使用磁带备份录像时间 短，每隔1 、2 d , 时必须手工换带，磁带回放慢：为广告主提供的广告监播报告 不能准确地反映广告的播出时间和是否少播、延播和误播等情况；监播费用比 较高。 2 硬盘录像监播硬盘录像系统从以基于微处理器的视频监控系统，到 以数字硬盘录像设备为核心的监控系统，进化到最新的c r t 视频输出方式，经 过繁长的演变，它是利用视频压缩卡把节目压缩成数字信号，直接存放在硬盘 中。数字硬盘录像系统可分为两类：一类是基于计算机多媒体工作方式，另一 类是嵌入式数字监控录像系统。硬盘录象系统有模拟录象和数字硬盘录象。 ( 模拟录象技术已渐渐淘汰) d i g i t a lv i d e or e c o r d e r ( 简称d v r ) 即数字图像监控系 统。d v r 设备在监控领域中，已经成为关注的焦点产品之一，它在图像的传 输、存储、检索、打印、等方面带来了传统设备无法比拟的方便性和优越性。 以d v r 为核心组成的数字图象监控系统，以其录像数字化、操作简单、可以网 络控制等优势在安防领域成了广泛关注的热点，其将会成为传统录像监控系统 的替代产品。d v r 集视频画面分割器、视频切换器、磁带录像机的所有功能于 一体，可以连接报警探头、警号，进行移动侦测、通过解码器控制云台和镜 头。并可通过网络传输控制信号和图像等。目前对大型电视台而言，也有采用 电视广告节目硬盘录像监播系统进行监播的，但这种监播系统是从数字视频监 控系统演变而来( 只是视频源不同) ，主要解决了电视节目的定时自动硬盘录象 问题。主要实现方式是基于i n t e m e t i n t r a n e t 网络、采用b s 架构、使用采集压缩 卡在采集音频视频信号后选用m p e g 4 格式进行压缩、使用磁盘阵列进行存储 柳。 硬盘录像监播具有以下优点：可以多路采集，集中存放，节约设备数量和 成本；硬盘录像时间长，不用经常换盘；回放很快。但硬盘录像监播还不能实 现特定广告节目的自动跟踪识别，监播过程需要人工参与完成，并存在工作量 大、操作人员多、检索和统计不方便等困难，设备一次性投资较大。硬盘录像 系统的应用对象一般是中小型电视台，而不是广告主。 3 基于声音识别技术的电视广告监播系统基于声音识别的电视广告监 播系统通过语音识别引擎将某套节目中首次出现的某广告的音频特征信息提取 出来，制作为该广告的音频识别样本，通过语音识别引擎用该样本对后续数据 哈尔滨理工大学工学硕士学位论文 进行连续自动识别，并将识别出的广告播出情况记录到数据库中，从而实现基 于音频的广告自动监播。 。 哈尔滨工业大学的李海峰教授、韩纪庆教授等人采用声音识别技术，提出 了基于分段的音频检索算法和基于响度主分量的模糊直方图音频检索方法，成 功地应用于广播电视广告的实时自动监播上，实现了从声音角度对电视广告 进行自动跟踪并识别。该系统使用普通微机可以同时对8 个广播或电视频道上 1 5 0 余条广告进行实时监播，查全率和正确率达到9 9 以上，并可以一天2 4 d x 时自动搜索指定广告。记录播出时间、播出长度等，同时将相应内容录音到计 算机中存储备档。自动监播系统彻底改变了人工监播的弊端，具有监播成本 低、自动化程度高、快速可靠、稳定性好等优点。 基于声音识别的电视广告监播系统面i 临的技术难题主要有：广告识别准确 度高的算法的计算量非常大，普通的c p u 难以负担，只能采用专用d s p 硬件实 现的方案；实际的应用系统一般都需要同时监播数十套电台、电视节目，这对 识别引擎的硬件设计提出了很高的要求。 李海峰教授等人所实现的系统主要技术指标为：( 1 ) 可对单一电视频道上 的少于1 0 秒的电视广告内容进行识别、监测；( 2 ) 监播的查全率和正确率大于 9 5 ；( 3 ) 响应时间小于0 5 秒；( 4 ) 提供相应的方式，使用户能根据自己的需要 选择设定需要监播的广告内容m 。 基于声音识别的广告监播系统实现了特定广告的跟踪识别，但其反馈的结 果中只含有声音信息，是不完整的监播结果。丽且，有一些电视广告的语音信 号很少或者甚至没有语音信号，只有视频图像，在这种倩况下，基于声音信号 识别的系统就不再适用。 4 基于图像识别技术的电视广告监播系统随着图像识别技术的发展， 电视广告监播系统的技术手段也在不断进行创新改革，如何将图像识别算法应 用到电视节目中的广告自动识别上，实现电视节目中播出广告的自动识别和分 析统计，满足用户了解广告播放质量的需求，已经成为了监播行业的迫切需 要。 图像识别是利用获取的视频广告样本的特征参数，使用样板匹配的方法来 对要检测的电视视频图像进行识别。基于图像识别的智能广告监播系统能够分 别根据电视节目的视频信号，准确地识别出某个视频图像广告的相关信息并根 据用户要求，自动生成广告监播报告。该方向的有关研究处于刚刚起步阶段， 目前并没有真正意义上的面向图像角度的电视广告自动监播系统。 在实时视频流检测的研究中，n i c o l a sd i a k o p o u l o s 和s t e p h e nv o l m e r 等人采 哈尔滨理工大学工学硕士学位论文 取了首先对视频流进行分段，然后提取片段中视频关键顿的颜色信息作为特征 对视频进行识别的方式嘲；j u n s o n gy u a n 、q it i a n 等人根据视频检索中对图像 的采样频率远低于声音采样频率这一特点，首先使用图像样本对视频流进行一 轮粗匹配，再使用音频特征进行进一步验证州； 1 3 本课题的主要工作 本文研究的是多模板的实时状态下的图像信息检索。研究的切入点是电视 广告，研究的目标是要建立一个基于图像信息检索的电视广告监播系统，该系 统的具体功能是给定几个电视广告，能将它们从实时的电视节目中监测出来。 本文将从理论和系统设计开发两个方面对电视广告自动监播系统中的关键技术 进行深入研究，并对面向图像角度的电视广告监播进行尝试。主要研究内容包 括： 1 应用d i r e c t s h o w 技术为电视广告监播系统采集电视信号。 2 视频检索中的关键帧提取算法理论。 3 图像二值化预处理算法理论。 4 基于模板匹配的图像识别技术。 5 选择合适的关键帧提取算法、二值化算法和图像识别算法，把它们结 合并应用于电视广告监播系统中，以实现图像角度的电视广告监播。 1 4 本文的结构安排与主要内容 1 4 1 本论文的课题来源 本论文的项目背景是黑龙江省计算中心下属单位啥尔滨申宜科技科技有限 公司的研发项目s v 越，x 电视广告节目自动监播系统，课题号s y n 0 6 0 2 - h 3 1 ，该项目以小型局域网构建成c s 架构的监播环境，对有线电视信号进行 监播。 1 4 2 本文主要内容 本文就过去国内外电视广告监播系统研究工作进行总结和比较，根据电视 广告监播的需求，研究了相关的技术理论，提出了一个电视广告自动监播系 哈尔滨理工大学工学硕士学位论文 统。 该套系统的设计与实现是建立在前人工作的基础上，对前人的工作做出了 一些改动并提出了一些自己的思想。该套系统经过实验证实效果较好，达到了 预期的效果。 全文共分为五章及结论，主要内容安排如下： 第1 章为绪论部分，简单介绍了本课题的背景、意义以及电视广告监播的 发展现状，并分析了本文要做的工作； 第2 章对图像角度广告监播的核心技术关键帧提取以及图像匹配技术 的研究现状迸行了介绍，并阐述了电视广告监播系统的要求和要实现图像角度 的电视广告监播所需要解决的问题，最后介绍了监播系统的核心工作流程并对 主要的功能模块进行了介绍； 第3 章主要对电视广告监播系统中用到的相关理论和技术做出了详细的介 绍，并对其进行了理论上的研究。由于系统所处理的实时图像以及广告样本所 采用的模板都是位图图像，所以同时也对数字图像的概念以及位图的结构进行 了详细的研究； 第4 章详细介绍了s y - a v x 系统各个模块所采用的核心算法。针对s y - a v x 系统的特点，对前文介绍的关键帧提取、图像二值化及图像识别等算法 进行了改进与调整，使其更加适应系统的需要； 第5 章介绍了系统的开发环境和整体架构，并对系统的各个模块进行了功 能测试，最后对一段视频进行了监播实验，给出了实验结果： 结论部分主要总结了本文所做的工作，并对进一步的研究方向进行了展 望。 啥尔滨理工大学工学硕士学位论文 2 1 引言 第2 章实现图像角度广告监播的问题 要实现图像角度的电视广告监播，归根结底是要解决对电视信号中具有代 表性的图像的识别，因此在本文提出的监播系统中，关键帧提取和图像匹配将 是系统中最为核心的技术。本章分别对这两种技术的研究现状进行了简要的介 绍，并提出了实现图像角度广告监播的关键问题和要求，最后介绍了s y - a v x 系统的核心工作流程。 2 2 关键帧提取技术概述 2 2 1 关键帧的概念 所谓关键帧，就是从原始视频数据中抽取的静态图像帧，以概括的方式表 示镜头的内容。过去，关键帧常常作为原始视频的辅助材料，是用手工制作 的。关键帧的有效性取决于如何从视频序列中选取它们。视频序列中的图象帧 并非同等重要，一些帧可能提供更多的有关对象和运动的信息。基于关键帧的 镜头表示就是要把一个视频镜头( 包含静态和运动内容) 映射为几幅具有代表性 图像的问题。其中的难点是要以自动和基于内容的方式抽取关键帧，保留重要 的视频内容，尽可能去掉冗余的数据。 2 2 2 关键帧的选取目的 关键帧在图像序列中具有代表性，能够反映一个镜头序列内容梗概的图像 帧。通过对镜头分界点进行检测，将视频片段分割成其基本单元一镜头的集 合。在此基础上，对每个镜头选取关键帧，并用关键帧表达镜头的内容。因为 每个镜头都是在同一个场景下拍摄的，同一个镜头中的各帧图像有相当的重复 信息，所以，镜头关键帧能较好的反映该镜头的主要内容。依据镜头内容的复 杂程度，可以从一个镜头中选取一个或多个关键帧。 选取关键帧有两个目的：一是希望用它来表示视频节目的主题和部分内 容，而不是动态的细节：二是关键帧选取可以把对动态视频的研究转变成对静 哈尔滨理工大学工学硕士学位论文 态图像的分析上，使问题研究更为简化，同时还可利用图像分析的方法从关键 帧中提取颜色、纹理和形状等特征作为视频摘要数据库索弓l 的数据源。 当前一般采用的是保守原则来选取关键帧，即关键帧的选取“宁愿错，不 能少”。同时，在代表特征不具体的情况下，一般以去掉重复或冗余帧图像为 原则。基于这一基本原则，不同的选取算法可以依据不同的原则，建立适合自 身情况的判定标准。有时，针对不同的视频事件，我们还可以选择不同的判定 标准。实际应用时，由于场景中目标的运动，一个镜头仅用幅关键帧不能很 好的代表该镜头的内容，常需要用几幅关键帧。原则上讲，关键帧应能提供一 个镜头的全面概要，或者说应能提供一个内容尽量丰富的概要。从这个角度 说，关键帧的选取可看作一个优化过程。按照信息论的观点，不同( 或相关性 较小) 的帧图像比类似的帧图像携带更多的信息。当一两幅关键帧不能达到完 全代表镜头内容时，我们需要选取多幅关键帧，用于关键帧选取的准则主要是 考虑它们之间的不相似性f l o 】。 2 2 3 关键帧提取的主要方法 由于关键帧提取在基于内容的视频检索中具有重要的作用，因此一直受到 国内外学者的广泛关注，进行了大量的研究，也取得了一定的成果。关键帧的 提取方法主要有以下几类： ( 1 ) 基于镜头边界提取关键帧该方法是当一段视频被分割成一系列的镜头 之后，将每个镜头的首帧( 或末帧作) 为镜头的关键帧【l l 】。此方法实现起来比较 简单，无论镜头的内容如何，关键帧的数量都是一定的( 1 帧或2 帧) 但效果不 是很稳定。因为每个镜头的首帧和末帧不一定总是能够反映镜头的主要内容， 即提取的关键帧不一定具有代表性1 1 2 l 。 ( 2 ) 基于运动分析提取关键帧w o l f 通过光流分析来计算镜头中的运动 量，在运动量局部最小值处选取关键帧，它反映了视频数据的静止。在视频流 中摄像机通过在一个位置上停留或在某一人物的某一动作的短暂停留来强调其 本身的重要性i u j 。然而该方法在分析运动时，所需的计算量较大，而且局部最 小值也不一定准确【1 4 1 。 ( 3 ) 基于图像信息提取关键帧这种方法基于每一帧的颜色、纹理等视觉信 息的改变来提取关键帧，当这些信息有显著变化时，当前的帧即可作为关键 帧。z h a n g ，w u 等人依据帧间的显著变化来选择多个关键帧，首先把镜头的第 一帧作为关键帧，然后计算前一个关键帧与剩余帧之差，如果差值大于某一阈 哈尔滨理工大学工学硕士学位论文 值，则再选取一个关键帧。此方法可以根据镜头内容的变化程度选择相应数目 的关键帧，但是选取的帧不一定具有代表意义，而且在有物体快速运动时，容 易选取过多的关键帧【”】。 ( 4 ) 基于镜头活动性提取关键帧g r e s l e 和h u a n g 提出基于镜头活动性提 取关键帧的方法。首先计算内部帧和参考帧的直方图，然后计算活动性标志。 根据活动性的曲线，局部最小值的帧作为关键帧( i 6 1 。 2 3 图像匹配技术概述 2 3 1 图像匹配的概念 图像匹配研究作为计算机视觉和图像处理中的一个重要内容，近几十年来 一直是研究的热点和难点。在机器识别事物的过程中，常需要把不同传感器或 者同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或者多幅图 像在空间对准，或者根据已知模式到另一幅图像中寻找相应的模式，就口q 做图 像匹配。目前图像匹配方法研究取得了很大进展，很多新方法已用于民用和军 事领域【”1 。 2 3 2 影响匹配性能的因素 实时摄取的景物图像与参考图像相比，由于图像摄取时几何条件及辐射条 件差异等方面的原因将会产生各种误差。各类误差的性质及其对匹配性能的影 响如下： 几何失真：属于此类的误差有图像旋转、图像比例变化、透视方向变化 等。这些误差均使两图像不匹配的重叠区域增大，从而使匹配概率减小，定位 精度降低。可选择较小的实时图尺寸( 或相关窗口) 以减小此类误差的影响。 灰度畸变：引起灰度畸变的原因大致有：摄取实时图时辐照条件及景物自 身反射率或辐射率的变化，灵敏度的差异，环境条件变化等。 上述误差中的几何失真对图像的影响属于全局性的，灰度畸变中有对图像 全局产生影响的( 如辐射条件的变化，相机灵敏度的变化等) ，也有只对图像的 某些区域产生影响的( 如灰度量化误差，相机类型的变化而引起的图像性质的 变化，环境条件的某种类型的变化等) ，还有只对图像的局部产生影响的( 如附 加的噪声及斑点) ：当于扰物部分地覆盖目标区时，则属于非结构性误差。在 哈尔滨理工大学工学硕士学位论文 选择图像匹配算法时，要很好地考虑实际图像的误差性质【l s 】。 2 3 3 图像匹配的发展与现状 早期的图像匹配技术主要用于几何矫正后的多波段遥感图像的匹配，借助 于求互相关函数的极值来实现。匹配算法是基于像元灰度的算法，这些算法大 部分以相关函数或相关系数作为图像匹配的判别准则。因此，习惯上称图像匹 配为图像相关或数字相关。其研究始于1 9 5 9 年至1 9 6 3 年期间，由m m 公司 为美军研制成一个全数字化的自动测图系统d a m c s ，首次采用离线数字相 关。1 9 8 0 年以来，研究工作转入到提高图像匹配的精度和可靠性方面，德国的 a c k e n n a n n 教授提出的最小二乘图像匹配是一种高精度的匹配算法，其精度达 几分之一至几十分之一个像元的数量级，是目前精度最高的一种匹配算法1 1 9 j 。 为了提高可靠性，人们又开始研究利用图像固有的特征，提出了一些基于 特征的图像匹配算法，并研究了一些基于特征与基于灰度相结合的图像匹配算 法。随着人工智能在图像匹配中应用的研究，将来的图像匹配将是基于对图像 的理解和解释的图像匹配算法。它应该能够象人类视觉一样，不仅可以识别同 名像点，而且可以自动判读其属性。这要求研究一些算法，同时也要依赖于各 种高速的硬件和计算技术的发展。 基于以上描述，我们可以把图像匹配方法分为三类： 1 基于图像灰度的图像匹配此方法研究最早。目前的大多数情况下， 此类算法仍然是最有效的。以参考图像和输入图像上含有相同兴趣点的区域为 基础，以某种相关度量，例如协方差、相关系数，取最大值来判断两图像中的 同名像点。参考图像和输入图像中的相应区域称为目标区域和搜索区域，它们 可以用二维窗口，也可以用一维窗口。本类方法中以最d x - - 乘法精度最高。在 基于图像灰度的基础上，同时顾及目标窗口和搜索窗口的几何变形及辐射畸变 的影响，使相关的精度达到了子像元的精度【2 0 】。 2 基于图像特征的图像匹配该类算法利用了数字图像处理中的边缘特 征提取技术、首先检测出参考图像和输入图像中的特征，如特征点、线、区 域、结构等。这些特征的集合称为特征空间，是匹配的基础。然后用匹配算法 在特征空间中进行匹配，从而确定两图像的对应关系。这类方法可靠性高，但 精度低于最小二乘法。在实用中较好的方法是将基于特征和基于灰度的算法结 合起来，并形成由粗到精的分层匹配方案。这样既利用了基于特征的算法的较 高的可靠性，又利用了基于灰度的匹配方法的高精度。由于基于特征的算法精 - 1 2 - 哈尔滨理工大学工学硕士学位论文 度一般在l 2 个像元内，正好为基于灰度的算法提供了很好的近似，从而使结 果的精度和可靠性都很高【2 l l 。 3 基于对图像的理解和解释的图像匹配这类算法不仅能自动识别相应 的像点，而且还可以由计算机自动识别多种目标的性质和相互关系。具有极高 的可靠性和精度，这种基于理解和解释的匹配涉及到诸如计算机视觉、模式识 别、人工智能等许多领域，不仅依赖于上述领域的理论上的突破，而且有待于 高速并行计算机的研制与发展】。 一般说来，基于特征的方法因它们不直接依赖于像素值，所以经常需要较 复杂的图像处理以抽取特征，因此不利于硬件实现。 由于f o u r i e r 变换具有独特的优点，所以k u g i 和h i n e s 提出了位相相关 法，a l l i n e y 提出了一维f o u r i e r 变换的方法，l e e 提出了谱方法。 w a n g 等先用s o b e r 算子对图像进行分割，并用图像上的以中心作为特征 点组成线段，用线段的方向和线段的长度得到二维直方图，然后进行图像匹配 鲫。 c o r v i 用聚类方法得到变换模型的旋转和平移参数的初始值。并进一步对 特征点用最小距离方法匹配1 2 4 l 。 s t o c k m a n 采用闭区域的中心作为控制点，对具有几何变换关系的图像，利 用线交叉点和线段端点匹配，并且用聚类方法进行图像匹配渊。 d a n a 用多分辨率边缘检测得到不同分辨率下的图像边缘，然后采用分层 优化得到图像变换参数1 2 “。 l i 将轮廓检测与灰度局部统计特性结合起来提取特征点。并对特征点进行 初始匹配和精确匹配，最后得到真实匹配。另外“利用形状相似性规则，并 且检测角点，利用区域边界和其他强边缘作为特征，来进行匹配鲫。 t o n 和j a i n 也是利用中心作为控制点，并利用松弛算法来进行图像匹配。 b o u r r e t 采用多尺度边缘检测和边缘闭合过程，并计算图像分割后的能量函数 进行图像分割，并用模拟退火算法极小化能量函数完成图像匹配1 2 8 】。 u n s e r 应用二维三次连续样条函数的多分辨率结构，由粗到精用迭代策略 和最速下降方法寻找图像仿射变换的参数进行图像匹配1 2 9 】。 d j a m d j i 对两幅图像用“at r o u s ”算法进行小波分解得到特征点，进行匹配 运算【3 0 1 。 h s i e h 等用图像分解的局部模极大值作为侯选特征点，并筛选得到真实特 征点。然后，用相关系数法得到补偿后的两幅图像之间的特征点对，最后根据 仿射变化条件下，同一幅图像中两点距离保持不变的特点消除错误匹配点p “。 哈尔滨理工大学工学硕士学位论文 特征点的匹配时，在常规方法是先得至u 匹配控制点对，再确定变换函数， 但它要求已精确得到一组匹配点对。当特征匹配比较困难时，可用带反馈的点 匹配方法，其中特征匹配和最优变换的确定是同时进行的，通过迭代方式考察 所有可能的匹配点对。特征点匹配常用的方法有：互相关系数法，松弛法、聚 类分析方法等。 2 4 面向图像的广告监播的关键问题 2 4 1 广告监播的问题描述 面向图像的电视广告监播可以描述为如下问题： 设实时视频数据为公式( 2 - 1 ) ： x = ，- l ，t ， ( 2 - 1 ) 其中】c 是t 时刻的实时视频数据。 设待监测广告集为公式( 2 2 ) ： y = 涉l f - y k ，y l 1 s k s k ( 2 - 2 ) 其中k 为待测广告个数，y k 是时长为n 的广告； 定义f ( 如) 为a 与b 之间的相似性度量。监播的目的就是要从x 中找出一 个子集，满足公式( 2 3 ) ： ft r = 讧，“l v f ，s t 厂( “，j 气) 占，ter + ，y k y ( 2 3 ) 其中，集合r 中的任一元素z ”是从时刻t 到时刻t + n 的视频片段，它满足 厂( z ，t + n ，y 。) s 的条件，即该段视频信号和y 中某一元素之间的相似性度量大 于预先给定的阈值占，其中s 的值根据不同的相似性度量而不同。 2 4 2 图像角度广告监播的关键问题 要从电视视频信息流中检测到待监播的广告，首先需要解决两个关键问 题： 1 如何选择合适的特征使其能很好的体现电视广告视频信息的特点 由 式( 2 3 ) 知，确定一段电视视频信号是否是待监测广告取决于它们之间的相似 性度量，决定相似性的关键是所选择的特征。因此，要想准确地进行相似性度 量，就要选择尽可能体现电视广告视频特点的特征。在选择特征时不仅要考虑 哈尔滨理工大学工学硕士学位论文 计算相似度的算法复杂性，更应该考虑特征是否具有代表性，是否利于实时分 析等。 2 如何确定当前实时内容与待监测广告的相似度在确定了使用何种特 征之后，还需要决定用什么方法进行相似性度量。是否检出了待监测广告由当 前视频片段和待监测广告y k 之间的相似性度量，( 舻“，y d 决定。当 厂( z ”，) ，。) 足够大时，可以认为己经检测到该广告。 在确定了使用何种特征后，还应决定应用何种方法进行相似性度量。在图 像信息处理领域常用模式匹配技术来判断相似度。模式匹配是根据一定准则， 使未知模式与模板库中某一模板获得最佳匹配，即相似性度量最大。通常在模 式匹配前要进行模板训练，