第8章 多媒体信息的管理与查询.ppt

1、第8章 多媒体信息的管理与查询,超文本与超媒体,超媒体系统是作为一种复杂的信息管理 系统而出现的。这些系统允许人们从各种 媒体如文本、图形、图像、音频、视频、 动画和程序等创建、互连和共享信息。与 传统的以自然顺序的信息系统不同。超文 本系统提供了一种全新的非线性信息访问 方式。,“超文本（HyperText）”与数学家F.Klein在1704年提出并流行 于19世纪的hyperbolic space有关。Klein用hyperbolic描述了一个 多维几何空间，而人类的思维结构也是一个多维空间。,人类的记忆是一种联想式的记忆，它构成了人类记忆的网状结 构，对联想、记忆的探索形成了人类思维概念

2、化的基础。人类的这 种联想结构不同于文本结构。文本结构最显著的特点是它在组织上 是线性和顺序的。,超文本与超媒体概述,通常超文本被定义为：由信息节点和表示信息节点 间的相关性的链构成一个具有一定的逻辑结构和语义的 网络。节点可以包含文本、图形、图像、音频、视频、 源程序或其他形成的数据。包含多媒体的超文本被称为 “超媒体”。超媒体的目的是为了产生巨大、复杂、丰富链 接和交叉引用的信息体。,一个小型的超文本结构,超文本系统的基本特征,（1）图形用户接口,（2）向用户给出一个网络动态总貌图，使用户在每一时刻都可以得到当前节点的邻接环境。,（3）在超文本系统中一般使用双向链，这种链应该支 持跨越各种

3、网络。,（4）包含管理节点和链信息的引擎。,（5）尽可能不依赖它的具体特性、命令或信息结构， 而更多强调其用户界面的“视觉”和“感觉”。,超文本系统 的组成,超文本系统是节点（Node）和链（Link）组成的。一 个节点通常表示一个单一的概念或围绕某一特殊主题组织 起来的数据集合，是表达信息的一个基本单位，可以包含 文本、图形、图像、音频、视频、动画或者一段计算机程 序。不同的系统中表达节点的方式可能是不同的。在超文 本系统中，节点分成不同的类型来表示不同的信息。,（1）文本节点,（2）图形节点和图像节点,（3）动画节点和视频节点,（5）混合媒体节点,（4）音乐节点和数字化语音节点,（6）动作

4、与操作节点,（7）组织型节点,（8）推理型节点,链的结构,链可以分为以下几 种类型：,（1）基本链,（2）移动链,（3）缩放链,（4）全景链,（5）视图链,（6）索引链,（7）Is-a链,（8）Has-a链,（9）蕴含链,（10）执行链,超文本的节点通过链链接起来的示意图,宏节点,通过链连接在一起 的节点群成为宏节点。 实际上，一个宏节点 就是超文本网络的一 部分子网。右图 中虚线框中的节点和 链组成了宏节点，宏 节点和宏节点之间用实线连接，表示它们之间的物理 关系。实际上，位于不同宏节点内的节点在逻辑上可 以任意连接（图中的虚线）。,典型的超文本系统,1Augment/NLS,2KMS,3G

5、uide,4NoteCards,5Hypercard,超文本系统的用户接口,超文本的目的是提供一个复杂的、具有丰富连接和交 叉的信息系统。但是，如果没有一个合适的用户界面， 它也可能成为一个复杂混乱的、使人产生困惑的系统。 迷失（Disorienation）和认识开销（Cognitive Overhead） 是两个与超文本相关的最富挑战性的问题。这两个问题 的解决最终会影响文本系统的应用。,计算机的研究人员进行了大量的研究，并开发了一些 很好的工具以解决上述两个问题。,1图形浏览器,2Web视图,3地图和概貌图,4路径和形迹,HTML语言简介,HTML（HyperText Markup Lan

6、guge）语言，称为超 文本标记语言。它不仅用来编写Web网页，而且也越来越 多地适应HTML来制作光盘上的多媒体节目。HTML可用来 编排文档、创建列表、建立链接、插入声音和影视片段。,HTML发展历史,HTML语言结构,HTML标签和属性,超链接,用HTML实现多媒体,设计超文本的工具,1、JavaScript,JavaScript语言的发展,JavaScript的特点,JavaScript的编程,JavaScript 的语法描述,支持JavaScript的浏览器,（6）JavaScript 的安全问题,2、动态网页设计,ASP技术,JSP技术,PHP技术,Flash,XML简介,XML（

7、Extensible Markup Language，可扩展标记语 言）是一套定义语义标记的规则，这些标记将文档分成 许多部件并对这些部件加以标识。它也是元标记语言， 即定义了用于定义其他与特定领域有关的、语义的、结 构化的标记语言的句法语言。,1、 XML是元标记语言,2、XML的严格格式,3、 XML文档的组成,4、VoiceXML,VoiceXML,VoiceXML是由IBM、Lucent、Motorola、AT&T四家公 司于2000年提出的一种应用于语音浏览的标记语言，它 建立与XML标记语言规范的基础之上，是语音浏览技术 的核心。因为它同样是一种XML描述语言，它与数据库、 HTM

8、L、WML以及其他文档处理和发布系统交换资料时 几乎没有障碍。,VoiceXML语音浏览器，由以下几个部分组成：,1VoiceXML解析器,2语音识别引擎,3语音合成引擎,4语音通道,多媒体数据库,传统的数据处理中所处理的数据类型主要是整型、实型、布尔型和字符型,而多媒体数据处理中的数据类型除了上述常规数据类型外,还要处理图形、图像、声音、文字及动画等复杂数据类型。 多媒体数据与常规数据有许多差别,主要表现在以下几方面:数据量 、数据长度 、数据模型 、数据定义及操作 、数据的时间特性和版本概念 、数据传送,多媒体数据的特点,多媒体数据的存储问题,1、巨大的数据量,2、存储技术,3、多媒体的存

9、储对象,4、多媒体文档检索,多媒体数据的管理,1传统的数据管理,2多媒体带来的问题,3多媒体数据的管理,传统的数据库系统有3种类型：关系型、层次型和网 络型。Codd关于关系数据库的开创性工作，建立了关系 数据库的坚实理论基础，给出了清晰的规范说明，加上“表 格”的概念直观易懂，使得关系数据库在理论和产品开发上 都获得了巨大的成功，在数据库市场上占有明显的主导地 位，特别是中小型数据库系统。关系数据库采用关系框架 来描述数据之间的关系，通过把数据抽象成不同的属性和 相互的关系，建立起数据的管理机制。,（1）数据库的组织和存储 （2）媒体种类的增加 （3）数据库的查询问题 （4）用户接口的支持

10、（5）多媒体信息的分布对多媒体数据库体系所带来的巨大影响 （6）处理长事务增多 （7）多媒体数据库对服务质量的要求 （8）多媒体数据管理还要考虑版本控制的问题,应用程序开发者和数据库管理者面临的最大挑战是，要把不同 形式的信息，包括文本、图像和视频组合在他们的应用程序中。即 使是压缩了的多媒体对象，容量也是非常大的。另外，目前大多数 多媒体应用都与网络通信相结合，因此，数据库系统必须是完全分 布式的。现在有若干数据库存储方法可供选择，这些方法将决定整 个方案的灵活性和性能。可选的方法如下： 、对现有关系数据库管理系统（RDBMS）进行扩展。 、把关系数据库中基本二进制对象扩展为继承和类的概念。

11、 、将数据库和应用程序转换为面向对象的数据库，并使用C+或 对象使能的SQL这样的面向对象的语言进行开发。,多媒体数据库体系结构,1、组合型多媒体数据库结构 针对各种媒体单独建立数据库，每一种媒体的数据库都有自己独立的数据库管理系统。用户既可以对单一的媒体数据库进行访问，也可以对多个媒体数据库进行访问以达到对多媒体数据进行存取的目的。这种多媒体数据库系统的体系结构示 意图如左图所示。在这种数据库体系结构中，对多媒体数据的管理是分开进行的，该体系结构对多种媒体的联合操作、合成处理和概念查询等都比较难于实现。如果各种媒体数据库设计时没有按照标准化的原则进行，它们之间的通信和使用都会产生问题。,多媒

12、体数据库体系结构,2集中型多媒体数据库结构 只存在一个单一的多媒体数据库和单一的多媒体数据库管理系统。各种媒体被统一地建模，对各种媒体的管理与操纵被集中到一个数据库管理系统之中，各种用户的需求被统一到一个多媒体用户接口上，多媒体的查询检索结果可以统一地表现。由于这种多媒体管理系统是统一设计和研制的，所以在理论上能够充分地做到对多媒体数据进行有效的管理和使用。但实际上这种多媒体数据库系统是很难实现的，目前还没有一个比较恰当而且效率很高的方法来管理所有的多媒体数据，虽然面向对象的方法为建立这样的系统带来了一线曙光，但要真正做到还有相当长的距离。如果把问题再放大到计算机网络上，这个问题就会更加复杂。

13、结构示意图如左图所示。,多媒体数据库体系结构,各种单媒体数据仍然相 对独立，系统将每一种媒 体的管理与操纵各用一个 服务器来实现，所有服务 器的综合和操纵也用一个 服务器完成，与用户的接 口采用客户进程实现。客 户与服务器之间通过特定 的中间系统连接。该体系 结构的示意图如左图所示。,3客户服务器型多媒体数据库结构,多媒体数据库体系结构,4多媒体数据的层次结构 多媒体数据的层次结构是从最低 层增加对多媒体数据的控制与支持， 在最高层支持多媒体的综合表现和 用户的查询描述，在中间增加对多 媒体数据的关联和超链接的处理。 如左图所示。这种对多媒体数据库 的层次划分当然是非常概念化的， 也是很初步的

14、。多媒体数据库的结 构应该能够包含像图像数据库、视 频数据库、全文数据库等一系列的 专业数据库类型，并能统一地管理 和使用，但目前离这一目标还很远。,多媒体数据库的基于内容检索,随着多媒体技术的迅速普及，我们将大量接触和处理 多媒体信息，而每一种媒体数据都具有难以用符号化方法 描述的信息线索，例如，图像中的颜色、对象分布，视频 中的运动、事件，音频中的音调等。当用户希望利用这些 信息线索对数据进行检索时，由于传统的数据库检索采用 基于关键词的检索方式，一方面，在许多情况下媒体内容 难以用仅仅几个关键词来充分描述，而且作为关键词的图 像特征的选取也有很大的主观性；另一方面，用户很难将 这些信息线

15、索转化为某种符号的形式。因此，要求数据库 系统能够对多媒体数据进行内容语义分析，以达到更深的 检索层次，这就是所谓的基于内容的检索。,基于内容检索的特点,（1）从媒体内容中提取信息线索,（2）提取特征的方法多种多样。,（3）人机交互进行。,（4）基于内容的检索是一种近似匹配。,基于内容的检索突破了传统的基于关键词检索的局限， 直接对图像、视频、音频进行分析，抽取特征，使得检索 更加接近媒体对象。,以图像的特征提取为例，可以提取形状特征、颜色特征、 纹理特征、轮廓特征等。,一般来讲，人对于特征比较敏感，能迅速分辨出目标 的轮廓、音乐的旋律等，但对于大量的对象，一方面难 以记住这些特征，另一方面人

16、工从大量数据中查找目标 效率非常低，而这正是计算机的长处，因此，使用基于 内容检索的系统时，人与计算机相互分工配合进行检索。,在检索过程中，采用逐步求精的办法，每一层的中间 结果是一个集合，不断减小集合的范围，直到定位到目 标。这一点与数据库检索的精确匹配算法有明显不同。,多媒体数据库的基于内容检索,1基于内容检索系统的体系结构,2基于内容检索的关键技术,3基干内容检索系统的设计和实现,基于内容检索系统的体系结构,基于内容的检索作为一 种信息检索技术，接入或 嵌入到其他多媒体系统中， 如超媒体（浏览器）系统、 会议系统、多媒体信息系统、 关系数据库系统等，提供基 于多媒体数据内容的信息查 询和

17、检索。因此，将基于内 容的检索设计为多媒体数据 库的检索引擎结构，在体系 结构上划分为两个子系统， 特征抽取子系统和查询子系 统，如左图所示。,基于内容检索的处理过程,基于内容的查询和检索是 一个逐步求精的过程，存 在着一个特征调整，重新 匹配的循环过程。,1）提交查询要求,2）相似性匹配,3）返回候选结果,4）特征调整,基于内容检索的关键技术,基于内容检索需要解决两类关键技术： 多媒体的提取和匹配。 相似检索技术。,（1）基于内容检索的索引方法,（2）内容描述技术,1）图像的特征描述,颜色特征的提取,形状特征的提取,纹理特征的提取,2）视频检索,视频信号的结构化,视频分割,镜头组织,描述建立,主运动估计,层描述,镜头代表帧生成,基干内容检索系统的设计和实现,随着多媒体技术的迅速普及，Web上将大量出现多媒体信息，例如，在遥感、医疗、安全、商业等部门中每天都不断产生大量的图像信息。这些信息的有效组织管理和检索中都依赖基于图像内容的检索。目前，这方面的研究已引起了广泛的重