MPEG-7标准及应用市公开课一等奖省赛课获奖课件

MPEG-7标准及应用

姓名：康剑

学号：310081203012

指导教师：魏维10月10日多媒体计算与内容分析MPEG-7标准及应用第1页

Outline多媒体与我们生活MPEG-7诞生背景MPEG-7标准介绍MPEG-7相关概念MPEG-7工作原理MPEG-7应用MPEG-7前景展望10月10日多媒体计算与内容分析MPEG-7标准及应用第2页多媒体技术与我们生活在当代社会中，多媒体技术与我们生活息息相关。10月10日多媒体计算与内容分析

图1当代化多媒体教室MPEG-7标准及应用第3页10月10日多媒体计算与内容分析图2国庆60周年多媒体视频展示MPEG-7标准及应用第4页10月10日多媒体计算与内容分析

图3上海世博会水晶屏幕多媒体视频MPEG-7标准及应用第5页10月10日多媒体计算与内容分析图4德国多功效语音电子书MPEG-7标准及应用第6页

多媒体视频技术在生活中也广泛应用，下面为多媒体艺术在艺术中应用。多媒体技术让艺术新生：蒙娜丽莎讲汉语.flv10月10日多媒体计算与内容分析MPEG-7标准及应用第7页

MPEG:ABriefHistory(1)10月10日多媒体计算与内容分析MPEG:MovingPictureExpertsGroupISO/IEC/JTC1/SC29/WG11AWorkingGroupofISO/IECinchangeoftheDevelopmentofStandardsforCodedRepresentationofDigitalAudioandVideoEstablishedin1988MPEG-7标准及应用第8页MPEG:ABriefHistory(2)MPEG-1:InteractiveCDandMP311/1992MPEG-2:DTV,STB,DVD 11/1994MPEG-4:WebandMobilityver1:09/1998

ver2:11/1999MPEG-7:

???

08/MPEG-21:MultimediaFramework 11/10月10日多媒体计算与内容分析MPEG-7标准及应用第9页

WhydoweneedMPEG-7?

10月10日多媒体计算与内容分析NeedContentManagementFast&AccurateAccessPersonalizedContentProductionConsumptionAutomation+SupportforAdvancedQueryVisualAudioSketchMPEG-7标准及应用第10页MPEG-7诞生背景

伴随计算机通信以及多媒体技术发展，人们能够从网上取得很多文本和试听信息。但随之带来问题是：伴随网上各种信息增多，寻找所需要信息越来越困难。当前，基于文本WWW搜索引擎，如Yahoo、搜狐、Google等都已广泛使用，但基于视听内容检索，如“从一段足球比赛录像片中找出有精彩射门镜头”这种形式检索还是很困难。这种情况不但限于数据库检索应用中，在其它领域，如在快速增加数字广播频道点播中，要选择出感兴趣频道也是比较困难。这种基于内容检索一个关键要定义一种描述视听内容格式，而MPEG-7正是在这种需求下应运而生，它意在处理对多媒体信息描述标准问题。10月10日多媒体计算与内容分析MPEG-7标准及应用第11页MPEG-7:WhatIsIt?10月10日多媒体计算与内容分析THEMPEG7STANDARD

ContentDescriptionofVariousAudioVisualInformationISNOTaCOMPRESSIONStandardsimilartoMPEG-1/2/4ortheirExtensionISNOTaSTANDARDforFEATUREEXTRACTION/MATCHINGTypesofAudioVisualInformation

Audio,SpeechMovingvideo,stillpictures,graphicsInformationonhowobjectsarecombinedinscenesMPEG-7标准及应用第12页MPEG-7标准介绍MPEG-7教授之组制订MPEG-1、MPEG-2、MPEG-4标准处理了在多媒体环境下存放、传输和处理声音图像问题之后，为了处理多媒体信息检索问题，教授们又发展了MPEG-7标准，正式名称是多媒体内容描述接口（multimediacontentdescriptioninterface)。其目标就是产生一个描述多媒体信息标准，并将该描述与所描述内容相联络，以实现快速有效检索。只有首先处理了多媒体信息规范描述，才能更加好实现信息定位。该标准不包含对描述特征自动提取。10月10日多媒体计算与内容分析MPEG-7标准及应用第13页

MPEG-7标准能够独立于其它MPEG标准使用，但MPEG-4中所定义音频、视频对象描述使用于MPEG-7。MPEG-7使用范围广泛，既能够应用于存放，也能够应用于用于流式应用，它能够在实时或非实时环境下应用。MPEG-7既不一样于基于波形和基于压缩表示方式，如MPEG-1和MPEG-2，又不一样于基于对象表示方式，如MPEG-4。这一表示方式允许对信息含义给以描述，它能够被一个设备或计算机解码器存取。10月10日多媒体计算与内容分析MPEG-7标准及应用第14页

MPEG-7标准内容主要包含以下部分。MPEG-7系统部分

这部分要确保MPEG-7各种描述能够快速传送和存放，而且要确保内容与描述之间同时性。同时包含管理和保护知识产权问题。10月10日多媒体计算与内容分析MPEG-7标准及应用第15页MPEG-7描述定义语言（DDL）DDL语言是MPEG-7标准关键部分，是一个允许产生新描述方案（DS）和描述符（D）语言，它也允许现存描述方案扩充和修正。在此基础上，用户就可以依据自己来定义新描述方案和描述符。DDL必须能够对DS单元和多个DS之间时间、空间、结构和概念上关系进行描述，同时必须提供各种描述之间及它所描述数据之间链接与参考；而且能够确认描述符数据类型，包含原作平台和应用相互独立且人机可读。考虑到XML（ExtensibleMarkupLanguage）语言通用，MPEG-7将其作为内容描述文本表示，这有利于描述工具扩展，同时有利于互操作性提升。10月10日多媒体计算与内容分析MPEG-7标准及应用第16页MPEG-7音频MPEG-7详细对音频数据描述符合描述方案有以下要求：※特征类型：包含频率轮廓线、音频对象、音色、和声、频率特征、振幅包络、时间结构、文本内容，声波近似值、原型声音、空间结构、生源和它特征、模型。※描述数据听觉化：MPEG-7数据描述应该允许被索引数据初略听觉话。※音频数据格式：音频数据支持格式包含数字音、模拟音频、MIDI、基于模型音频、产品数据。※音频数据类：包含声音轨迹、音乐、原子声音效果、语言、符号音频表示、混音信息。10月10日多媒体计算与内容分析MPEG-7标准及应用第17页MPEG-7视频MPEG-7详细对视频方面描述符合描述方案有以下方面要求：※特征类型：颜色、视觉对象、纹理、轮廓（草图）、形状、静止和动态图像、体积、空间关系、运动、变形、视觉对象源和它特征、模型。※利用描述进行数据可视化：MPEG-7数据描述应该容许被索引数据粗略可视化。10月10日多媒体计算与内容分析MPEG-7标准及应用第18页※视频数据格式：支持可视数据格式包含数字视频电视和电影，模拟视频和电影，电子形式静态图像或打印图像、图形、3D模型以及与视频关联编辑数据。※视频数据类型：能够是自然视频、静态图像、图形、动画、三维模型、编辑信息。10月10日多媒体计算与内容分析MPEG-7标准及应用第19页MPEG-7通用实体和多媒体描述方案

通用实体即是特征，可用在音频、视频和文本描述中，所以称为对全部媒体“通用”。比如，矢量、直方图、时间等。多媒体描述方案就要标准化一系列描述工具（描述符或描述方案）。这些描述工具能够详细分为以下4类：※内容描述：比如，话音内容，讲话者脸部图像。※内容管理：比如，对媒体描述（压缩类型、文件格式等）。※内容组织：对多媒体数据进行分析和分类。※导航与接口：用来详细说明多媒体文档改变，如修正等。10月10日多媒体计算与内容分析MPEG-7标准及应用第20页参考软件—校验模型（experimentationmodel）MPEG-7校验模型是描述符、描述方案、编码方案和描述定义语言仿真平台。这个平台只有一部分是标准化。非标准化部分主要是将数据结构形成程序代码，二者一起组成应用软件。应用软件分为两部分：服务器应用软件和用户应用软件。10月10日多媒体计算与内容分析MPEG-7标准及应用第21页MPEG-7相关概念数据：MPEG-7描述多媒体信息，不考虑他们存放、编码、显示、传输媒介或技术，它们包含图形，静止图像、视频、音乐、语音、文本和其它相关媒体。特征：指数据特征。特征本身不能比较，而要用有意义特征表示（描述子）和它实例（描述值）。比如，图像颜色，语言声调，音频旋律等。描述子：是特征表示。它定义特征表示语法和语义，能够赋予描述值。一个特征可能有多个描述子，比如，颜色特征可能描述子有颜色直方图，频率分量平均值，运动场描述，标题文本等。描述值：是描述子实例。描述值与描述模式相结合，形成描述。10月10日多媒体计算与内容分析MPEG-7标准及应用第22页描述模式DS（DescriptionScheme）：说明其组员之间关系结构和语义。组员能够是描述子和描述模式。描述模式和描述子区分是：描述子仅仅包含基本数据类型，不引用其它描述子或描述模式。比如，对于影片，按时间结构化为场景和镜头，在场景级包含一些文本描述子，在镜头级包含颜色、运动和一些音频描述子。描述：有一个描述模式和一组描述值组成。编码描述：是对已完成编码描述，满足诸如压缩效率、差错恢复和随机存取相关要求。描述定义语言DDL（DescriptionDefinitionLanguage）：一个允许产生新描述模式和描述子语言，允许扩展和修改现有描述机制。10月10日多媒体计算与内容分析MPEG-7标准及应用第23页MPEG-7工作原理MPEG-7目标是对音频、视频信息进行描述，而不用考虑信息存放、编码、显示、传输、媒体和技术。它将包括广泛媒介类型，比如，静止画面、图形、三维模型、音频、话音、视频以及他们组合。MPEG-7数据能够是MPEG数据流，录像带，CD中音乐，声音或语言，打印图像和网络上交互式多媒体装置。MPEG-7重点在于提供一个文本描述方法之外新音频、视频描述方法，所以要为音频、视频内容描述和文本内容描述提供适当、必要接口。10月10日多媒体计算与内容分析MPEG-7标准及应用第24页MPEG-7应用

MPEG-7应用范围非常广泛，其应用主要包含能够进行Pull（检索/定位）即“拉”应用和Push（过滤）即“推”应用。Pull应用指客户经过检索方式从服务器取得所需资料。而Push应用指对网上广播信息进行过滤和有效接收。同时MPEG-7能够应用在实时（图像和描述同时产生）或非实时环境。这些应用主要包含：数字图书馆，图像目录，音乐词典等；多媒体目录服务(MultimediaDirectoryServers),如黄页；广播媒体选择，如无线电频道、TV频道等；多媒体编辑，如个人电子新闻服务、多媒体创作等。10月10日多媒体计算与内容分析MPEG-7标准及应用第25页

下列图为MPEG-7应用模型10月10日多媒体计算与内容分析内容的描述产生描述定义语言（DDL）描述模式（DS）描述子（D）MPEG-7描述编码器MPEG-7编码的描述解码器搜索/查询引擎过滤MPEG-7标准及应用第26页“拉”应用

（1）视频数据库存放与检索

电视和电影档案中保留有大量各种各样多媒体资料，如数字、模拟磁带和胶片、CD等，这些资料不一定有描述信息（元数据），即使有也大都是简单文本描述，它们以专用格式存放在数据库中，所以，需要按照国际标准格式进行存放和交换。另外，要对大量旧模拟视听资料进行数字化，在数字化和压缩阶段，可以在数据库中使其包含基于内容索引特征。对于新视听媒体，在视频生产各个阶段能够把描述信息附加在视频流上，从而极大地提升用手工进行有限词汇注释质量和生产率。

10月10日多媒体计算与内容分析MPEG-7标准及应用第27页（2）专业媒体制作方面图片和视频提交

演播室需要向电视频道提交适当视频，另外还需要编辑一段库中视频，如编辑纪录片和广告片。在这个应用中，用户是专业，演播室人员能够基于元数据和视频片段来提交一个完整视频，能够基于客观特征和主观特征来查询出想要视频片段并用于编辑。查询也能够作用于分布数据库，以取得视觉、版权和价格信息，以及源视频资料技术质量数据。10月10日多媒体计算与内容分析MPEG-7标准及应用第28页（3）商业音乐应用（卡拉OK和音乐销售）

卡拉OK在亚洲及其流行。普通是依据歌名和原唱姓名检索，但也有常记不清歌名情况。这时能够利用音频内容检索技术，业余歌手哼几句记忆曲调，让计算机查找对应歌曲（或给出相同歌曲列表）。10月10日多媒体计算与内容分析MPEG-7标准及应用第29页（4）声音效果库

对于要使用大容量声音效果数据库艺术家和声音设计人员，常规数据库管理和搜索方法是不够。一个声音设计人员要求从声音效果库中选择出要求声音效果，其选择方式可能是由设计人员提供原型化声音和音频特征，甚至能够发出类似要查找声音，经过拟声方式查询。10月10日多媒体计算与内容分析MPEG-7标准及应用第30页（5）历史语音数据库

能够经过口头关键词、关键事件、说话人、地点、日期或以上属性组合来搜索历史数据库中音频录音和视听演讲。这种应用也能够辅助教育或新闻业应用。比如，用户说一句关键词：Ihaveadream,系统把语音转换成文本关键词，查找出马丁路德金录音和演讲文本。10月10日多媒体计算与内容分析MPEG-7标准及应用第31页（6）经过视听信息进行电影场景检索

许多视听场景是与声音事件相关。比如在喜剧电影或电视场景中，人们能够经过记忆对话和合词来检索电影场景。另外，还能够经过显著声音事件来检索，比如经过观众欢呼声和讲解员讲解词检索足球进球场景，经过爆炸声来检索战斗和破坏场景等。音轨中听觉事件也一样含有这么检索能力。该应用利用语音描述和声音效果描述来实现检索。10月10日多媒体计算与内容分析MPEG-7标准及应用第32页（7）商标库注册和检索

通常情况下，商标是二维图像，包含文本、图画或图片以及象征性颜色。二维商标能够分为3类：文字商标（仅仅包含文字，适合用于文本注释来描述）、图案商标（仅仅包含图形或象征性标志，需要形状描述)、组合形式商标（包含字符和图形）。10月10日多媒体计算与内容分析MPEG-7标准及应用第33页“推”（Push）应用（1）用户代理驱动媒体选择和过滤

过滤与搜索恰好相反，搜索设计“拉”信息，而过滤意味着“推”信息。搜索请求“包含”那些信息，而过滤“排斥”制订数据，但二者都是从相同元信息中取得好处。广播媒体这种形式正向WWW转移，使WWW这种经典“拉”媒体同时含有广播能力。10月10日多媒体计算与内容分析MPEG-7标准及应用第34页（2）个人化电视服务

在广播领域，内容描述能够辅助广播数据选择，所选择广播数据形式能够是即时或以后观看，或录像形式。对于个人化广播提供给用户数据能够按照自己喜好对广播进行过滤，其形式能够是自动方式，比如依据地理位置、年纪、性别或以前选择行为自动选择，或是半自动方式（基于预定设置）。10月10日多媒体计算与内容分析MPEG-7标准及应用第35页（3）智能多媒体表现

伴随可获取信息大量增加，人们正在寻找一个新方式自动表现这些数据。它能够经过把上下文、用户、应用和设计标准知识与显示信息知识结合起来完成。灵活地适应这些知识就能够设计一个智能多媒体表现系统。10月10日多媒体计算与内容分析M