MPEG-7及-21的技术进展与发展方向.doc

南京师范大学研究生课程学习考试成绩单（试卷封面）院 系物理科学与技术学院专 业光学工程（硕士）研究生姓名杨振宇学 号101002038课 程 名 称数字视频图像处理授 课 时 间10-11学年度第二学期周学时3学分3简要评语考 核 论 题MPEG-7及-21的技术进展与发展方向总评成绩（含平时成绩）备注 任课教师签名： 批 改 日 期：注：1、以撰写论文为考核形式的，填写此表，综合考试可不填；2、本成绩单由任课老师填写，填好后与作业（试卷）一并送院（系）研究生秘书处；3、学位课总评成绩须以百分制记分。MPEG-7及-21的技术进展与发展方向杨振宇101002038摘 要: 为了实现基于内容的多媒体信息检索, 活动图像专家组MPEG 制订了多媒体内容描述接口 MPEG -7 标准, 与MPEG-1、2、4 不同, MPEG-7 不是一种新的编码标准, 它独立于其它标准, 运用MPEG-1、2 、4 中的工具和 手段, 同时为其服务。介绍了MPEG-7 及-21的研究背景、目标、研究内容以及技术进展与发展方向。关键词: MPEG -7;MPEG -21;多媒体信息; 特征提取;描述定义语言 DDL; 可扩展标记语言 XML1 MPEG-7的应用背景 随着信息时代的发展, 信息的量呈现爆炸式的增长, 同时信息的种类也愈趋丰富,例如静态图像、图形、3D模型、音频、视频以及最普遍的多媒体数据等等。面对海量的多媒体信息,传统的基于关键词或文本的检索方法已不再能满足人们对于多媒体信息获取的需求,对多媒体信息进行组织、建库,达到快速、有效地检索,成为信息时代人们急待解决的问题。M PEG-7正是在这种背景下应运而生。 1996 年 10 月, 活动图像专家组MPEG 开始着手制定M PEG-7标准, 正式名称是多媒体内容描述接口,它将为各种类型的多媒体信息规定一种标准化的描述,这种描述与多媒体信息的内容本身一起, 支持用户对其感兴趣的各种资料进行快速、 有效地检索。MPEG-7的标准化描述可以加到任何类型的多媒体资料上,不管多媒体数据的表达格式或压缩形式如何,只要加上了这种标准化描述的多媒体数据就可以被索引和检索了。因此,它也可以被用在现有的M PEG-1、MPEG -2和 MPEG -4系统中,甚至可以用于一段电影胶片。2 MPEG-7 的目标MPEG-7的主要目标包括: 描述多媒体内容; 灵活管理数据;实现数据源的通用化。 2. 1 多媒体内容的描述 MPEG -7最重要的目标就是提供一套用于描述所有类型的多媒体内容的方法和工具。当讨论描述类型时, 实际上指的是视听内容的某种描述可能覆盖不同的层面。要清楚一个关键的概念,就是描述一个实体有多种不同的方法, 这取决于具体的应用场合和使用方式, 因此, MPEG -7 要做的就是包容所有的方法,使它们互为补充。 针对不同的描述对象, MPEG -7的基本数据类型包括:( 1) 感知的: 通过感知把对象分割,诸如颜色、纹理、形状以及材质等特性的描述; ( 2) 物理的:包含所有与人类感知不相符的计算特征; ( 3) 基于媒体的: 描述表示数据的媒体; ( 4) 转录:这种描述类型表示的是对由数据捕获的客观结构的重构或代码转换, 例如音乐中的音符。在这些类型之上还有一种体系结构描述, 它描述各类数据之间的关系以及其下层的描述之间和描述内部的关系。另外,还有注释性描述, 对数据本身进行人为注释, 它位于所有描述层的上部并与每个描述层相接触。 2. 2 数据管理中的灵活性 MPEG-7 旨在提供一个允许查找信息的整体、 部分或相关的框架, 这就意味着要以一种灵活性的方式来描述多媒体内容, 比如根据视频描述查询检索音频数据, 反之亦然。灵活性还意味着可扩展性, 为某一任务设计的描述方案应能够针对不同但相关的应用进行修正。 2. 3 数据源的通用化 MPEG -7 描述可以与相关联的视听内容设置于相同的存储系统中, 但也可以放在其他地方。当内容与其描述处于不同位置时, 链接视听内容及其 MPEG-7描述的机制被证明是有效的。数据源的通用性允许人和机器对相关内容进行交换、 检索和再利用。对于实现一种允许各描述间的互操作性的方法而言, MPEG -7 的存在是必不可少的。标准化首要的目标就是寻求不拘泥于任何单一的、 专有的解决方案的前提下实现,并且不仅提供框架, 还提供各业界解决方案藉以共同工作的具体方法。如果 MPEG -7 变得过于通用或侧重于某一项应用, 那么它在这方面将是失败的。3 MPEG-7 的内容 在基于内容的多媒体信息检索中, 可以用图 1 说明。 我们对图中的各个部分作简要的说明:l 用户 用户提出检索要求并通过搜索引擎得到检索结果。为了能检索到所需的多媒体信息, 检索要求的表达非常重要。为此,要求在终端上为用户提供功能强大的检索表达机制和丰富、 灵活的检索方式, 以提高检索的有效性。l 搜索引擎 搜索引擎的功能是接受用户的搜索请求,计算出用户请求与多媒体信息内容的相似程度,并根据相似度从数据库中取出对应的多媒体信息送给用户。搜索引擎的核心问题是如何提高搜索的速度而又不至于遗漏满足相似度要求的信息。l 多媒体数据库 多媒体数据库的核心是多媒体信息的组织与管理。l 对象分割与特征提取 对象分割与特征提取是基于内容检索的关键技术之一,它涉及到信息的理解问题。只有对多媒体数据库中的媒体信息进行正确的分割和完备的特征提取后,才有可能对信息的内容进行描述。l 内容描述 内容描述是在对象分割和特征提取的基础上对内容进行描述。对内容的描述要求尽可能的完备, 并且要有层次。这主要是因为同样的特征在不同的应用场合,对不同的人而言可能有不同的含义( 多义性) , 如果内容描述不完备, 就会减少多媒体信息被检索到的途径。从图中可以看到, MPEG -7 是建立在对象分割与特征提取之上的, 但是它只对信息特征进行描述, 得到信息的内容描述,它本身并不关心这些特征是如何得到的。顾名思义,多媒体内容描述接口 MPEG -7 的研究范围仅限于对多媒体信息的内容描述,它并不考虑特征提取和搜索引擎是如何进行的。为了对多媒体内容进行标准化的描述, MPEG -7 定义了一系列的标准化工具和方法, 它将标准化一个描述符集、 一个描述方案集、 一种描述定义语言以及对描述进行编码的一种或多种方法。MPEG-7标准的基本要素有:( 1) 描述符 D( Descr iptors) ,对实体特征进行描述。( 2) 描述方案 DS ( Description Schemes) , 规定了描述方案中各元素之间的结构和语义关系,这些元素既可以是描述符也可以是描述方案。( 3) 描述定义语言 DDL ( Description Definition Lan guage) ,规定描述方案和描述符的语言, 描述定义语言允许现有的描述方案进行修改和扩展。( 4) 系统工具, 支持二进制编码表示进行有效的存储和传输,转输机制( 文本和二进制格式) , 多路描述,描述与内容同步,管理和保护 MPEG-7 描述中的知识产权, 等等。描述定义语言 DDL、 描述方案 DS 和描述符 D 之间的关系,可以通过图 2 来解释。 MPEG-7标准的内容主要分为八大部分: ( 1) MPEG -7 系统( Systems) , 为 MPEG-7 描述的传输和存储以及终端服务; ( 2) M PEG-7描述定义语言( DDL) , 定义 MPEG- 7 描述工具的语法, 定义新的描述方案; ( 3) M PEG-7视频( Visual) ,专门处理视频描述; ( 4) M PEG-7音频( Audio) , 专门处理音频描述; ( 5) M PEG-7多媒体描述方案( MDS) , 处理普通的多媒体描述; ( 6) M PEG-7 参考软件( Reference Software) , 用标准化的步骤对制订的标准进行软件测试; ( 7) M PEG-7 一致性测试( Conformance Testing ) , 对MPEG-7标准的执行情况进行一致性检验。 ( 8) MPEG-7 描述提取和使用( Ex traction and use ofdescriptions) , 以技术报告的形式对描述工具的提取和使用提出注释。 可以看到, DDL 的设计构成了整个MPEG-7内容的核心部分。因此假定 DDL 将为用户提供一个坚实的描述基础以形成它们自己的描述方案和描述符, 这样将获得巨大的灵活性并确保标准的长期有效性。为此, MPEG-7 确定了 DDL应包含的一些要素, 其中最重要的是: ( 1) 组合能力, DDL 应提供构成新描述方案和描述符的能力; ( 2) 交换能力, DDL应允许现有描述符和描述方案的重用、 扩展和继承; ( 3)唯一标识, DDL 应提供用以对描述方案和描述符进行唯一标识的机理以便于对它们进行明确的表示; ( 4) 数据类型, DDL应提供一组基本数据类型( 如文本、 整数、 实数、 日期、 时间、版本、 等等)以对有可能由处理数字信号而产生的复合数据类型( 如直方图、 图形、 RGM 值) 进行简要描述; ( 5) 描述方案内部的关系和描述方案之间的关系, DDL 提供了一种用以表达描述方案之间关系和某一描述方案的各要素之间关系的能力,DDL 表达这些关系的语义; ( 6) 描述和数据之间的关系, DDL 应提供一个用于一个( 或若干个)描述和描述数据之间的链接或基准的丰富的模型。这些要素表达了 DDL 的某些要求, 但并非完备。为了实现 DDL 的功能,众多的描述性语言被开发出来, 如 SGML、 可扩展标记语言 XML、 HyTime、多媒体和超媒体专家组 MHEG- 5 等。在 Noordwijkerhout 举行的第 51 次 MPEG -7 大会上, DDL 特别小组决定将国际万维网组织 W3C开发的 XML 模型语言 作为 MPEG-7的描述定义语言。但是由于当前的 XML 模型语言不能满足多媒体内容描述的某些特定特征, 需要对其进行扩展,加入 MPEG-7 特有的一些特征以满足多媒体内容的描述。4 MPEG-7的应用可以这么说, 凡是跟多媒体相关的 领域就能应用到M PEG-7,未来社会人们的生活将与其息息相关, 这些领域包括:( 1) 建筑、 房产以及装潢(例如寻求方案) ;( 2) 广播媒体( 例如无线电频道、 电视频道) ;( 3) 文化服务( 例如历史博物馆、 艺廊等) ;( 4) 数字图书馆( 例如图像目录、 音乐字典、 生物医学图像集、 电影、 电视、 广播档案) ;( 5) 电子商务( 例如个人广告、 在线导航服务、 电子商店名录) ;( 6) 教育( 例如多媒体课程数据库、 帮助信息的多媒体搜索) ;( 7) 家庭娱乐(例如个人多媒体收集管理系统, 像家庭视频制作、 搜索游戏、 卡拉 OK 节目等) ;( 8) 调查服务( 例如人的特征识别等) ;( 9) 新闻业( 例如通过姓名、 声音或者面部查找某位政治家的发言) ;( 10) 多媒体目录服务(例如黄页、 旅游信息、 地理信息系统) ;( 11) 多媒体编辑(例如个人电子新闻服务、 媒体创作) ;( 12) 遥感( 例如绘图、 生态学、 自然资源管理) ;( 13) 网上购物( 例如查找喜爱的衣服) ;( 14) 社会( 例如日期服务) ;( 15) 监督系统( 例如交通控制、 运输、 敌对环境下的非破坏性测试等) 。以上只是 MPEG-7应用领域的一部分,实际上其应用的广泛性可以说是无所不包。虽然到目前为止, M PEG-7仍然存在许多需要解决的技术难题以及实际应用需要协调多方面关系所存在的分歧和障碍, 但是我们坚信这一标准必将推行下去,因为多媒体信息的基于内容的检索是大势所趋, 可以设想,在不远的将来 MPEG-7标准的推广将给社会和生活带来革命性的变化。5 MPEG的新发展MPEG-21 随着互连网的飞速发展，越来越多的设备通过互联网的主干线、本地的宽带或窄带网、高速局域网或家庭网以及正在发展的无线网互连到一起，共享和交换信息。直到满足各种消费要求的问题尚不能解决。怎样能使这些无处不在的多媒体信息高效地、安全可靠地通过极大范围的各种不同类型网络和用户设备漫游？这是当前流媒体安全发展中的一个挑战性的问题。解决这个问题需要综合地利用不同层次的多媒体技术标准。然而，现在的标准是否能真正做到匹配衔接？在各个标准之间是否存在缺漏？是否还需要一个综合性的标准来加以协调？面对这些问题，于1991年10月的MPEG会议上提出了多媒体框架（multimedia Framework）这一概念。这个新的工作方向被确定为MPEG-21。MPEG-21的主要研究目标是：分析是否需要将协议、标准、技术等不同的技术元素有机地结合在一起；分析是否需要新的规范；分析如果具备前面的两个条件，如何将不同的标准集成在一起。MPEG-21的范围可以描述成一些关键技术的集成，其功能包括：内容表示、内容创建、内容发布、内容消费、内容识别与描述、知识产权管理和保护、财政管理、用户的隐私权、终端和网络资源的内容提取、事件报告等。用这些技术可以实现多媒体资源通过和访问极大范围的网络和设备。6 结束语 以上介绍MPEG-7及-21的技术进展与发展方向概况。用MPEG标准创建的数据可在不同媒介中传输和存储。视频、计算机和多媒体工业已广泛采用了MPEG压缩标准。MPEG标准正向内容描述、综合框架和提高编码效率、从播放型向互操作型发展