MPEG-7协议.ppt

MPEG 7标准及应用 姓名 康剑学号 310081203012指导教师 魏维 2020年1月21日 多媒体计算与内容分析 Outline 多媒体与我们的生活MPEG 7诞生背景MPEG 7标准简介MPEG 7相关概念MPEG 7工作原理MPEG 7应用MPEG 7前景展望 2020年1月21日 多媒体计算与内容分析 多媒体技术与我们的生活 在现代社会中 多媒体技术与我们的生活息息相关 2020年1月21日 多媒体计算与内容分析 图1 现代化的多媒体教室 2020年1月21日 多媒体计算与内容分析 图2 国庆60周年多媒体视频展示 2020年1月21日 多媒体计算与内容分析 图3 上海世博会水晶屏幕多媒体视频 2020年1月21日 多媒体计算与内容分析 图4 德国多功能语音电子书 多媒体视频技术在生活中也广泛的应用 下面为多媒体艺术在艺术中的应用 多媒体技术让艺术新生 蒙娜丽莎讲汉语 flv 2020年1月21日 多媒体计算与内容分析 MPEG ABriefHistory 1 2020年1月21日 多媒体计算与内容分析 MPEG MovingPictureExpertsGroup ISO IEC JTC1 SC29 WG11 MPEG ABriefHistory 2 MPEG 1 InteractiveCDandMP311 1992MPEG 2 DTV STB DVD11 1994MPEG 4 WebandMobilityver1 09 1998ver2 11 1999MPEG 7 08 2001MPEG 21 MultimediaFramework11 2001 2020年1月21日 多媒体计算与内容分析 WhydoweneedMPEG 7 2020年1月21日 多媒体计算与内容分析 Need SupportforAdvancedQuery VisualAudioSketch MPEG 7诞生背景 随着计算机通信以及多媒体技术的发展 人们可以从网上获得很多文本和试听信息 但随之带来的问题是 随着网上各种信息的增多 寻找所需要的信息越来越困难 目前 基于文本的WWW搜索引擎 如Yahoo 搜狐 Google等都已广泛使用 但基于视听内容的检索 如 从一段足球比赛的录像片中找出有精彩射门的镜头 这种形式的检索还是很困难 这种情况不仅限于数据库检索的应用中 在其它领域 如在迅速增长数字广播频道点播中 要选择出感兴趣的频道也是比较困难的 这种基于内容检索的一个关键要定义一种描述视听内容的格式 而MPEG 7正是在这种需求下应运而生 它旨在解决对多媒体信息描述的标准问题 2020年1月21日 多媒体计算与内容分析 MPEG 7 WhatIsIt 2020年1月21日 多媒体计算与内容分析 THEMPEG7STANDARD TypesofAudioVisualInformationAudio SpeechMovingvideo stillpictures graphicsInformationonhowobjectsarecombinedinscenes MPEG 7标准简介 MPEG 7专家之组制定的MPEG 1 MPEG 2 MPEG 4标准解决了在多媒体环境下存储 传输和处理声音图像问题之后 为了解决多媒体信息检索问题 专家们又发展了MPEG 7标准 正式名称是多媒体内容描述接口 multimediacontentdescriptioninterface 其目的就是产生一种描述多媒体信息的标准 并将该描述与所描述的内容相联系 以实现快速有效的检索 只有首先解决了多媒体信息的规范描述 才能更好的实现信息定位 该标准不包括对描述特征的自动提取 2020年1月21日 多媒体计算与内容分析 MPEG 7标准可以独立于其他MPEG标准使用 但MPEG 4中所定义的音频 视频对象的描述使用于MPEG 7 MPEG 7使用的范围广泛 既可以应用于存储 也可以应用于用于流式应用 它可以在实时或非实时的环境下应用 MPEG 7既不同于基于波形和基于压缩的表达方式 如MPEG 1和MPEG 2 又不同于基于对象的表达方式 如MPEG 4 这一表达方式允许对信息含义给以描述 它可以被一个设备或计算机解码器存取 2020年1月21日 多媒体计算与内容分析 MPEG 7标准内容主要包括以下部分 MPEG 7系统部分这部分要保证MPEG 7各种描述能够快速传送和存储 并且要保证内容与描述之间的同步性 同时包括管理和保护知识产权问题 2020年1月21日 多媒体计算与内容分析 MPEG 7描述定义语言 DDL DDL语言是MPEG 7标准的核心部分 是一种允许产生新的描述方案 DS 和描述符 D 的语言 它也允许现存描述方案的扩充和修正 在此基础上 用户就可以根据自己来定义新的描述方案和描述符 DDL必须能够对DS单元和多个DS之间的时间 空间 结构和概念上的关系进行描述 同时必须提供多种描述之间及它所描述的数据之间的链接与参考 并且能够确认描述符的数据类型 包括原作平台和应用相互独立且人机可读 考虑到XML ExtensibleMarkupLanguage 语言的通用 MPEG 7将其作为内容描述的文本表示 这有利于描述工具的扩展 同时有利于互操作性的提高 2020年1月21日 多媒体计算与内容分析 MPEG 7音频MPEG 7具体对音频数据的描述符合描述方案有以下要求 特征类型 包括频率轮廓线 音频对象 音色 和声 频率特征 振幅包络 时间结构 文本内容 声波近似值 原型声音 空间结构 生源和它的特征 模型 描述数据的听觉化 MPEG 7数据描述应该容许被索引数据初略听觉话 音频数据格式 音频数据支持的格式包括数字音 模拟音频 MIDI 基于模型的音频 产品数据 音频数据类 包括声音轨迹 音乐 原子声音效果 语言 符号音频表示 混音信息 2020年1月21日 多媒体计算与内容分析 MPEG 7视频MPEG 7具体对视频方面的描述符合描述方案有以下方面的要求 特征类型 颜色 视觉对象 纹理 轮廓 草图 形状 静止和动态图像 体积 空间关系 运动 变形 视觉对象的源和它的特性 模型 利用描述进行数据可视化 MPEG 7数据描述应该容许被索引数据粗略可视化 2020年1月21日 多媒体计算与内容分析 视频数据格式 支持的可视数据格式包括数字视频电视和电影 模拟视频和电影 电子形式的静态图像或打印的图像 图形 3D模型以及与视频关联的编辑数据 视频数据类型 可以是自然视频 静态图像 图形 动画 三维模型 编辑信息 2020年1月21日 多媒体计算与内容分析 MPEG 7通用实体和多媒体描述方案通用实体即是特征 可用在音频 视频和文本描述中 所以称为对所有媒体 通用 例如 矢量 直方图 时间等 多媒体描述方案就要标准化一系列的描述工具 描述符或描述方案 这些描述工具可以具体分为以下4类 内容描述 例如 话音内容 讲话者的脸部图像 内容管理 例如 对媒体的描述 压缩类型 文件格式等 内容组织 对多媒体数据进行分析和分类 导航与接口 用来详细说明多媒体文档的变化 如修正等 2020年1月21日 多媒体计算与内容分析 参考软件 校验模型 experimentationmodel MPEG 7的校验模型是描述符 描述方案 编码方案和描述定义语言的仿真平台 这个平台只有一部分是标准化的 非标准化部分主要是将数据结构形成程序代码 二者一起构成应用软件 应用软件分为两部分 服务器应用软件和用户应用软件 2020年1月21日 多媒体计算与内容分析 MPEG 7相关概念 数据 MPEG 7描述的多媒体信息 不考虑他们的存储 编码 显示 传输媒介或技术 它们包括图形 静止图像 视频 音乐 语音 文本和其他相关的媒体 特征 指数据的特征 特征本身不能比较 而要用有意义的特征表示 描述子 和它的实例 描述值 例如 图像的颜色 语言的声调 音频的旋律等 描述子 是特征的表示 它定义特征表示的语法和语义 可以赋予描述值 一个特征可能有多个描述子 例如 颜色特征可能的描述子有颜色直方图 频率分量的平均值 运动的场描述 标题文本等 描述值 是描述子的实例 描述值与描述模式相结合 形成描述 2020年1月21日 多媒体计算与内容分析 描述模式DS DescriptionScheme 说明其成员之间的关系结构和语义 成员可以是描述子和描述模式 描述模式和描述子的区别是 描述子仅仅包含基本的数据类型 不引用其他描述子或描述模式 例如 对于影片 按时间结构化为场景和镜头 在场景级包括一些文本描述子 在镜头级包含颜色 运动和一些音频描述子 描述 有一个描述模式和一组描述值组成 编码的描述 是对已完成编码的描述 满足诸如压缩效率 差错恢复和随机存取的相关要求 描述定义语言DDL DescriptionDefinitionLanguage 一种允许产生新的描述模式和描述子的语言 允许扩展和修改现有的描述机制 2020年1月21日 多媒体计算与内容分析 MPEG 7工作原理 MPEG 7目的是对音频 视频信息进行描述 而不用考虑信息的存储 编码 显示 传输 媒体和技术 它将涉及广泛的媒介类型 例如 静止画面 图形 三维模型 音频 话音 视频以及他们的组合 MPEG 7数据可以是MPEG数据流 录像带 CD中的音乐 声音或语言 打印图像和网络上的交互式多媒体装置 MPEG 7的重点在于提供一种文本描述方法之外的新的音频 视频描述方法 因此要为音频 视频内容的描述和文本内容的描述提供合适的 必要的接口 2020年1月21日 多媒体计算与内容分析 MPEG 7的应用 MPEG 7的应用范围非常的广泛 其应用主要包括可以进行Pull 检索 定位 即 拉 的应用和Push 过滤 即 推 的应用 Pull应用指客户通过检索的方式从服务器获得所需的资料 而Push应用指对网上的广播信息进行过滤和有效的接收 同时MPEG 7可以应用在实时 图像和描述同时产生 或非实时的环境 这些应用主要包括 数字图书馆 图像目录 音乐词典等 多媒体目录服务 MultimediaDirectoryServers 如黄页 广播媒体的选择 如无线电频道 TV频道等 多媒体编辑 如个人电子新闻服务 多媒体创作等 2020年1月21日 多媒体计算与内容分析 下图为MPEG 7应用模型 2020年1月21日 多媒体计算与内容分析 拉 的应用 1 视频数据库的存储与检索电视和电影档案中保存有大量的各种各样的多媒体资料 如数字 模拟磁带和胶片 CD等 这些资料不一定有描述信息 元数据 即使有也大都是简单的文本描述 它们以专用的格式存储在数据库中 因此 需要按照国际标准格式进行存储和交换 另外 要对大量旧的模拟视听资料进行数字化 在数字化和压缩阶段 可以在数据库中使其包含基于内容的索引特征 对于新的视听媒体 在视频生产的各个阶段可以把描述信息附加在视频流上 从而极大地提高用手工进行有限词汇注释的质量和生产率 2020年1月21日 多媒体计算与内容分析 2 专业媒体制作方面的图片和视频提交演播室需要向电视频道提交适当的视频 另外还需要编辑一段库中的视频 如编辑纪录片和广告片 在这个应用中 用户是专业的 演播室人员可以基于元数据和视频片段来提交一个完整的视频 可以基于客观特性和主观特性来查询出想要的视频片段并用于编辑 查询也可以作用于分布数据库 以获得视觉 版权和价格信息 以及源视频资料的技术质量数据 2020年1月21日 多媒体计算与内容分析 3 商业音乐应用 卡拉OK和音乐销售 卡拉OK在亚洲及其流行 一般是根据歌名和原唱姓名检索 但也有常记不清歌名的情况 这时可以利用音频内容检索技术 业余歌手哼几句记忆的曲调 让计算机查找相应的歌曲 或给出相似歌曲的列表 2020年1月21日 多媒体计算与内容分析 4 声音效果库对于要使用大容量声音效果数据库的艺术家和声音设计人员 常规的数据库管理和搜索方法是不够的 一个声音设计人员要求从声音效果库中选择出要求的声音效果 其选择方式可能是由设计人员提供原型化的声音和音频特征 甚至可以发出类似要查找的声音 通过拟声方式查询 2020年1月21日 多媒体计算与内容分析 5 历史语音数据库可以通过口头关键词 关键事件 说话人 地点 日期或以上属性组合来搜索历史数据库中的音频录音和视听演讲 这种应用也可以辅助教育或新闻业的应用 例如 用户说一句关键词 Ihaveadream 系统把语音转换成文本关键词 查找出马丁路德金的录音和演讲文本 2020年1月21日 多媒体计算与内容分析 6 通过视听信息进行电影场景检索许多视听场景是与声音事件相关的 例如在喜剧电影或电视场景中 人们可以通过记忆的对话和合词来检索电影的场景 另外 还可以通过明显的声音事件来检索 例如通过观众的欢呼声和解说员的解说词检索足球进球的场景 通过爆炸声来检索战斗和破坏场景等 音轨中的听觉事件也同样具有这样的检索能力 该应用利用语音的描述和声音效果的描述来实现检索 2020年1月21日 多媒体计算与内容分析 7 商标库的注册和检索通常情况下 商标是二维图像 包含文本 图画或图片以及象征性的颜色 二维商标可以分为3类 文字商标 仅仅包含文字 适用于文本注释来描述 图案商标 仅仅包含图形或象征性标志 需要形状描述 组合形式的商标 包含字符和图形 2020年1月21日 多媒体计算与内容分析 推 Push 应用 1 用户代理驱动的媒体选择和过滤过滤与搜索正好相反 搜索设计 拉 信息 而过滤意味着 推 信息 搜索请求 包含 那些信息 而过滤 排斥 制定的数据 但二者都是从相同的元信息中获得好处 广播媒体这种形式正向WWW转移 使WWW这种典型的 拉 媒体同时具有广播的能力 2020年1月21日 多媒体计算与内容分析 2 个人化电视服务在广播领域 内容的描述可以辅助广播数据的选择 所选择的广播数据形式可以是即时的或以后观看的 或录像形式的 对于个人化广播提供给用户的数据可以按照自己的喜好对广播进行过滤 其形式可以是自动方式的 例如根据地理位置 年龄 性别或以前的选择行为自动选择 或是半自动方式 基于预定的设置 2020年1月21日 多媒体计算与内容分析 3 智能多媒体的表现随着可获取信息的大量增加 人们正在寻找一种新的方式自动的表现这些数据 它可以通过把上下文 用户 应用和设计原则的知识与显示信息的知识结合起来完成 灵活地适应这些知识就可以设计一种智能多媒体表现系统 2020年1月21日 多媒体计算与内容分析 4 个人化浏览 过滤和搜索这种应用背景是在消费者家里 使用一种灵巧装置将浏览