违法广告监测系

1、 广告监测系统技术方案中国北京2016电视广播广告监测系统食药监工商版技术方案ZGHPC正高集群目 录1背景、目标和需求11.1广告监测的重要性11.2自动广告监测的意义11.3项目建设目标21.4需求分析21.4.1总体需求21.4.2功能需求31.4.3技术需求32总体设计52.1系统设计思想及技术原理52.1.1智能识别技术原理52.1.2基于视音频综合判断的设计思想52.2技术选型62.3总体网络架构设计73应用系统功能93.1系统功能概述93.2系统功能103.2.1信号的实时压缩录制功能103.2.2广告样本制作模块103.2.3广告分类123.2.4广告对比、识别模块123.2.

2、5数据存储系统143.2.6系统配置模块143.2.7统计分析模块164详细技术架构设计174.1网络系统设计174.2软件系统和数据库系统设计174.3硬件系统设计184.4本项目中推荐配置195系统优势215.1先进的广告判别算法215.2合理的系统架构设计215.3完备的系统功能215.4稳定强壮的系统22- ii -1 背景、目标和需求1.1 广告监测的重要性广播电台、电视台一直是目前最重要媒体工具，电视广告和电台广告在国内经过了多年的发展，也已经成为一个巨大的产业。出于整顿规范市场经济秩序，打击非法广告的目的，国家广电总局先后颁发了广播电视广告播放管理暂行办法（61号令）、广电总局进

3、一步加强广播电视广告内容管理的通知、于2015年4月又修订了中华人民共和国广告法，规范了各类广告的播放原则。因此，对广告播出内容进行监测和分析已经成为工商、药食监等行业管理部门的重要任务之一。目前，大部分相关单位部门对广告播出的监管方法仍然十分落后，使用传统的录像机进行录像，用人工的方式进行识别记录，技术含量低、劳动强度大、监测的数据错误率高、而且缺乏简便有效的证据记录措施。需要大量的人力物力才能得到广告播出的相关数据。1.2 自动广告监测的意义1.3 项目建设目标本系统根据广告监测、统计、分析的实际需求，设计并实现以下功能：从而实现提高广告监测工作的自动化程度，建立完备的广告监测体系。系统能

4、够快速准确地识别的广播电视中的广告，自动录入数据库，自动完成广告播出数据的分类统计。1.4 需求分析根据目前各个使用部门的实际情况，针对广告监测系统的需求大致可分为以下几部分。1.4.1 总体需求各工商系统用户希望广告监测系统建成后将成为一个高度自动化的网络监测系统，通过该系统可随时查阅所监测的广播电视的广告播出记录，查询、复听/复看电视录像录音，自动统计各台站广告播出的完整情况，形成监测统计，并自动生成各打印报表，以最少的人员做好广播、电视广告的监测工作，符合当前技术发展的要求。当前电视监测中心面临的监测任务是数据处理量大、对自动识别的准确率、对系统运行的稳定性、数据安全性、可靠性及一致性要

5、求高的特点，在考虑整体设计过程中遵循以下原则：先进性：在通用和实用的基础上，充分利用目前最前沿的DSP硬件技术，结合先进的H.264视频压缩算法以及音视频处理技术，保证系统的技术层次能满足现在的广告监测任务的要求。准确性：广告自动识别的准确率是广告监测系统的最重要的指标，本系统对广告监测的识别率超过99，完全可以满足工商行政管理各部门用户的商用需求。高效性：计算机自动识别的效率也是广告监测系统的一个重要指标，效率高但又不影响系统运行的稳定性和准确度，才能充分适应业务发展的需要。开放性：采用开放式操作系统、开放式网络结构及其协议、和开放式的WEB模式，从而实现充分的资源共享，使系统具有良好的互操

6、作性(上级可操作下级)和可移植性。扩充性：系统采用模块化结构，当监测任务增加，可以通过广告识别工作站的增加、用户操作工作站的增加，就能方便地扩大系统规模，满足系统功能、容量等方面的需求。可靠性：要求采用多种安全性设计技术，重点可考虑冗余备份容错和故障恢复等问题，以保证在任何情况下，不至于丢失数据、损坏数据，以及在系统出问题时能够有必要的挽救手段和措施。1.4.2 功能需求广告监测系统主要具备以下监测功能。采用数字匹配技术实现电视、广播广告与电视、广播节目的自动分离，并自动生成广告监测串播单和违法广告单。广告的自动识别：通过专用的监测设备和数据采集传输设备，实现对广播、电视信号中的播出广告自动识

7、别，能够以最少的工作量，高效完成监测。记录存储：能够实现24小时不间断对广播、电视信号进行记录存储，并且随时可以调看。数据的统计分析：根据广告监测机构的具体监测要求，对需要监测的项目进行统计、查询、分析、打印，并且可以导出监测数据。根据广告法，工商行政相关法规、广电总局的61号令为准绳，分析非法播出的广告。1.4.3 技术需求目前工商部门对监测系统的技术需求大致包括：1、硬盘录像采用MPEG-4压缩算法，具有高压缩比，并可根据图像进行动态调节。2、监测禁播广告：准确反映广告播出情况（根据样本自动筛选出违法广告的播出）3、可设定需要监测的节目时间段，检测精度、门限可自行设定。4、对违反食品安全法

8、，新广告法，和广电总局61号令的各项内容进行自动统计检测。5、对违反工商行政管理相关法规的各项内容进行自动统计检测。6、可以根据频道或、播出时间段、广告名称等进行组合条件查询，可播放相应各时段音视频节目，即广告录像。7、可人工指定输入新的广告样本，可以自定义广告的开始时间、长度、广告类别等信息。8、能够对数据库中的全部或部分数据进行统计、分析和打印，可灵活设置各种选项。9、应该具有电视信号、广播信号全程实时硬盘录音录像功能，对监测信号进行独立，形成独立的磁盘音视频文件。10、软件开发平台选用Visual Studio，包括Visual Basic、Visual C+、或PHP等作为网管系统和应

9、用程序的开发工具，以保证系统的安全、高效和界面的友好性。12、数据库平台建议选用大型分布式数据库管理系统MY SQL或ORACLE数据库。2  总体设计2.1 系统设计思想及技术原理2.1.1 智能识别技术原理在电台或电视节目中播放的广告普遍具有下列特点：同样的广告播出时间上具有重复性和连续性，至少重复播放一周，每天都会播出数次,部分广告播出多达几个月。重复播放的广告都具有相同的音频特征、具备相同的电视画面、以及视频和音频相互关联同步。目前市场上的自动广告监测系统一般采用视频信号对比、音频信号对比两种模式。这两种方式都存在一定的局限性。单纯通过图像识别进行广告识别，如果选择对每一帧图

10、像都进行高精度对比，而且要对比多至上千条标准的广告视频样本，由于图像数据的信息量非常大，在计算能力方面会不堪重负，如果降低精度则会影响广告识别的准确度。而只通过语音识别进行广告识别，能够达到一定的识别率，但是仍然会存在一定的漏报和误报。由于广告播出的数量非常多，尤其是对多个电台、电视频道进行监测，即使是有1的错误率，也会对使用部门造成较大的困扰。操作者有可能仍然需要人工查看系统是否有漏报的现象。2.1.2 基于视音频综合判断的设计思想考虑到电视广告基本都是有声广告，并且通过音频识别可以达到95以上的识别率。系统能够通过语音识别引擎将节目中的某段广告的音频特征信息提取出来，制作成音频识别样本，就

11、可以通过语音识别引擎进行自动的比对识别。广告识别系统，就是以音频的对比判断为主，同时配合动态关键区域的视频采样对比，从而最大限度地提高判断的准确性。并且在运行效率上仍然能够保证一个工作站完全可以处理8路节目全天24小时的工作量。用户在定义标准广告模板时，系统同时记录广告的音频特征、视频特征，并且系统可以通过音频和视频的配比吻合度，自动智能调整判断模式。因此，本系统和目前其他类似系统相比，拥有更高的准确率和运行效率。系统最后将识别出的广告记录到数据库中，用于进一步地进行数据分析。2.2 技术选型通过我们对整体工商行政管理针对广告监测系统的需求分析，我们在实现本系统时采用通用流行的、客户机/服务器

12、体系架构与特色技术相结合的应用解决方案。最终公司确定使用以下的技术来架构本系统。B/S网络开发技术B/S模式，即浏览器/服务器模式，是一种从传统的两层C/S模式发展起来的新的网络结构模式，其本质是三层结构的C/S模式。在用户的计算机上安装浏览器软件，在服务器上存放数据并且安装服务应用程序，服务器有WWW服务器和文件服务器等。用户通过浏览器访问服务器，进行信息浏览、文件传输和操作指令等服务。 B/S模式有以下特点：1.系统开发、维护、升级方便 每当服务器应用程序升级时，只要在服务器上升级服务应用程序即可，用户计算机上的浏览器软件不需要修改，系统开发和升级维护方便2.B/S模式具有很强的开放性 在

13、B/S模式下，用户通过通用的浏览器进行访问，系统开放性好3.B/S模式的结构易于扩展 由于Web的平台无关性，B/S模式的结构可以任意扩展，可以从包含一台服务器和几个用户的小型系统扩展成为拥有成千上万个用户的大型系统4.用户使用方便 B/S模式的应用软件都是基于Web浏览器的，而Web浏览器的界面是类似的。对于无用户交换功能的页面。用户接触的界面都是一致的，用户使用方便MPEG-4技术MPEG组织于1998年11月首次公布MPEG-4技术，其第二版于2000年正式由ITU（InternationalTelecommunicationsUnion）与ISO（InternationalStan鄄d

14、ardsOrganization）两个组织审核后，成为国际视频影音标准。与以往标准相较之下，除惊人的压缩率外，MPEG-4更具备了众多优异的特点，其中最吸引目光焦点的，应该算是交互式访问与可调式视频访问。交互式访问是指使用者不再只是被动观赏影片，更进一步能参与图像交互；可调式视频访问使得图像质量能依频带变化而传送，不会在频带稍微不足时就产生阻断（Cutoff），同时MPEG-4也能通过工具，在因特网上开发出统一的视频编解码器，不像现在使用者必须在微软与QuickTime等公司中选择不同的播放器，而这些公司的产品文件格式并不完全互相支持。此外，MPEG-4对传输过程中发生错误有新的解决方案，考虑

15、到各种格式的访问以及加强容错能力，故较能在有干扰的环境下传输而不影响质量，使得MPEG-4在网络传输上更具优势。MPEG-4视频编码另一个特色是彻底对象导向。例如视频对象可分别编码传送后再加以组合，把网球场上打球者与其余背景分开编码，再在解码端加以组合。MPEG-4不仅在无线传输上可以运用，在一般网络上也可以用串流视频的方式来处理动态图像。由于这个新规格是以对象方式对图像做编码，故而大幅提升动态图像的自主性，就连使用者也能控制动态图像的内容。而MPEG-4在压缩率的表现上也让人耳目一新，通常可以比DVD有数倍到10余倍的压缩倍率。以MPEG-4的视频压缩技巧，配上MPEG-1的音频压缩方式（M

16、P3），生成了图像质量接近DVD，声音质量接近CD，却有着更高的压缩比，因而在MPEG-4标准尚未定案前，就已迅速在多媒体领域掀起狂澜，故而口语相传的MPEG-4，其实是指MPEG-4简易版（SimpleProfile）或深层简易版（AdvancedSimpleProfile），配上MP3的音效，称为DivX。H.264视频压缩技术MPEG-4架构与先前MPEG-1、MPEG-2大不一样,当前MPEG-4先进图像编码系统部分的标准，是由MPEG机构与ITU组织共同制定。MPEG-4除承袭压缩率比旧有标准提高外，所适用的数据速率范围也可从128Kbps到38.4Mbps，采用早期标准ITU-H.

17、261/H.263与ISO/IECMPEG-1/2的优点；再加上支持对象型态编码及合成图像的压缩、适用于高阶交互功能与特殊视频制作、容错性编码技术及细微式可调性编码技术，可适用于频宽变化剧烈的网络。MPEG-4的标准朝高分辨率继续演进，H.264将是MPEG-4发展的下一个趋势，H.264的压缩能力比H.263更强，但相对H.263有更惊人的运算量，连带影响省电、散热等议题，因此，H.264或许可以在数字电视、DVD、机顶盒（STB）领域和MPEG-4竞争，但在小型手持装置市场的发挥空间，恐怕不如H.263；H.264是以MediaGateway、个人录像机（PVR）、HDTV为目标市场的MP

18、EG-4厂商必须持续研发的领域。H.264是由国际电信联盟（ITU）与国际标准化组织（ISO）的视频联合工作组（JVT）负责开发。据称H.264能以略低于1Mbps的数据速率，通过因特网传送，在视频质量、压缩效率和数据包恢复与丢失等方面，均超过现有的MPEG-2、MPEG-4和H.26X等视频通讯标准。仍处于发展过程中的H.264标准已引起服务提供商和消费电子厂商的注意，目的是为下一代数字娱乐服务和消费电子设备寻求频宽效率和质量都很高的VideoCodec。2.3 总体网络架构设计广告监测系统的主要牵涉到了视音频信号捕获、视音频计算机处理、MPEG-4压缩处理、等主流技术，作为工商行政管理领域

19、的完整应用系统案例提供商，对需求进行了深入的分析后，提供了如下的网络解决方案。3 应用系统功能3.1 系统功能概述广告监测系统以广告监测识别服务器一体机作为核心设备，以WEB技术作为访问协议，这种设计思想，能够让系统更加稳定，更加易于维护，且不受操作端PC系统升级或者病毒感染的影响，从而保证系统运行的稳定性。DOLPHIN 广告监测软件是 正高 DOLPHIN 广告监测平台的核心部件，它由多个功能部件组成：3.2 系统功能3.2.1 信号的实时压缩录制功能根据用户设置的信号类型、名称，广告识别工作站首先将采集到的视频图像数据进行A/D转换，采用DSP芯片进行实时的压缩、保存。并且能够在对应的播

20、放窗格区域中进行实时播放，使用户可以看到各个频道的内容。打开文件后，系统建立录像文件的数据库信息索引，方便用户随时调看录制的节目。本系统还能起到硬盘录像系统的作用，长时间保存节目录像数据，能够为电视台播出提供广告播出的证据。3.2.2 广告样本制作模块在用户操作终端上可以直观的调看已经录制的节目，并且可以从中选取一段音视频数据，将其制作成为一条新的广告样本。用户可以指定广告所属的大类别(日用品、汽车、医药)、小类别（洗发水、饮料），指定广告的特殊性质，是否为禁止播出的广告、烟草广告、影响进食类广告等等。用户对某条新广告只需要进行一次录入，在后续的日期中，对当天、历史的、未来播出节目中出现的此条

21、广告，系统将自动识别，无需人工干预。建立广告样本时，能自动保存样本的视音频文件，文件可以使用Media Player播放。注意：如果原来有广告样本，可以不用重新制作，可以直接导入系统中。下面将说明如何定义样本：Figure 1 在广告的首帧处双击，输入 新添加名称，点击确定得到如下画面：或2副画面的区别是：左边的“蓝枸”标签是黄色的，代表选中状态，可以匹配和拉伸右边的“蓝枸”标签是蓝色的，代表非选中状态，不能进行操作Figure 2 点击“蓝枸”标签，将它变成黄色，挪动鼠标到标签右端，直到鼠标箭头指示器变成可拉伸 指示器，按住右键，往右拉到广告的尾帧Figure 3 得到下图，注意样本长度指示区的数值，点击匹配按钮，开始匹配样本：一般样本的长度是5的倍数，常见的为5，10，15，30秒长度。：如果您知道广告的时长，可以在双击选择好广告的首帧后，直接输入广告的时长，然后回车开始匹配。3.2.3 广告分类广告分类方式可以由用户自行定义，也可以采用国家统计局的标准行业分类方式。