多媒体数据库ppt讲解

2023/10/171多媒体数据库2概述

多媒体数据库1

多媒体数据库系统2

多媒体数据库的数据模型3多媒体数据库系统的同步机制4

多媒体数据压缩技术

56

多媒体数据压缩常用的标准3一、概述1.1多媒体数据与多媒体数据管理字符数据：同关系数据库中的字符数据。多媒体数据库仍然需要对其进行管理。文本数据：书籍、文献、档案等。声音数据：音乐、语音等。图形数据：GIS/CAD等。通常是用符号或特定的数据结构表示的。图像数据：照片、图片等。指位图式图像。视频数据：引入了时间属性，在时间空间上进行管理只包含某种媒体的数据称为单媒体。单媒体可以看作是特殊的多媒体。多媒体数据可以分为两大类：（1）离散型多媒体数据。如：文本数据、图像数据和图形数据。（2）连续型多媒体数据。如：音频数据、视频数据。41.1多媒体数据与多媒体数据管理计算机的世界真实世界设计者的映射表示法传统数据库51.1多媒体数据与多媒体数据管理计算机的世界真实世界投影表示法多媒体数据库图像声音视频6多媒体数据的特点：从数据管理的角度来看，多媒体数据主要有下列4个特点：数据量大等时性和同步非结构化数据特殊的用户接口及操作72.等时性和同步 多媒体数据中的连续数据在演播时需按一定的稳定速率传送，这叫等时性。例如演播音乐或讲话时，数据需按规定速率连续传递，速率慢了、快了，或抖动都会引起声音的失真，更不能中断或较长时间的丢失数据。在演播电视时，每帧必须按时、按序到达，不得前后抖动。此外，影视数据和配音数据、字幕数据必须同步，发音和口型在时间上必须对准。当然，这些等时性和同步并不一定要十分准确，以人的感觉器官不能觉察为度即可。84．特殊的用户接口及操作对于声音、影视数据，除了需要提供一般数据都有的增、删、改和查询等操作外，还需要提供与媒体有关的接口和操作，例如演播、倒退、快进，按内容、序号或时间选播等接口和操作。91.1多媒体数据与多媒体数据管理

多媒体数据带来的问题：数据量大媒体种类多

多解查寻(非精确匹配/相似性查询)用户接口的支持(操作与表示技术。不同的媒体与数据库有不同的交互接口。每种媒体均有自己存取和表现方法，用户对同一种媒体可能有不同的表现要求，如不同图像尺寸，不同的播放帧率)服务质量的要求(及时、逼真或满意)版本控制问题（版本控制的作用是为了解决在一个持续性数据对象被一个应用程序修改时，其它应用要使用修改前的数据对象所产生的矛盾。多媒体数据优于数据量大，以及媒体的复合性，对版本管理提出了新问题）101.2多媒体数据库多媒体数据库是存储多种媒体的数据库，不仅包含数字、字符等类型数据构成的结构化数据，还包括文本、图形、图像、视频、音频等非结构化数据。多媒体数据库体系结构多媒体数据库的一般结构形式：组合型集中统一型客户/服务器型超媒体型11组合型结构用户图像数据库图像DBMS视频数据库视频DBMS声音数据库声音DBMS文本数据库文本DBMS用户应用程序12组合型结构

每一种媒体的数据库都有自己独立的数据库管理系统：每一种媒体数据库的设计不必考虑与其他媒体的匹配和协调。用户既可以对单一媒体数据库进行访问，也可以对多个媒体的数据库进行访问。用户有灵活性对多个媒体数据库的联合操作等都比较难以实现，用户的应用程序设计相对复杂13集中统一型结构用户声音数据文本数据多媒体数据库管理系统视频数据图像数据其它媒体数据14集中统一型结构单一的多媒体数据库和单一的多媒体数据库管理系统：各种媒体被统一地建模对各种媒体的管理与操纵被集中到一个数据库管理系统之中多媒体的查询检索结果可以统一地表现实际上，这种多媒体数据库系统是很难实现的，目前还没有一个比较恰当而且效率比较高的方法来管理所有的多媒体数据。面向对象方法为建立这样的系统带来了一线曙光15客户/服务型结构用户图像数据库图像服务器视频数据库视频服务器声音数据库声音服务器文本数据库文本服务器用户接口客户进程用户用户接口客户进程用户接口客户进程用户多媒体数据库服务器及中间件16客户/服务型结构各种单媒体数据仍然相对独立系统将每一种媒体的管理与操纵各用一个服务器来实现所有服务器的综合和操作也用一个服务器完成与用户的接口采用客户进程实现客户与服务器之间通过特定的中件系统连接这种体系结构必须采用标准化的和开放的接口界面，否则，对多种媒体的联合操作、合成处理和概念查询等都比较难以实现17超媒体型结构强调对数据时空索引的组织。依据如下：数据库分散在网络上（信息空间）没有必要建立一个统一多媒体数据库系统能够通过超链建立起各种数据的时空关系目前的WWW使我们看到了这种数据库的雏形18多媒体数据库的层次结构传统数据库的层次结构对抽象化的字符和数值进行比较、排序、查找和增删改等操作数据库物理模式概念模式外部模式外部模式外部模式用户用户用户数据库物理模式概念模式外部模式外部模式外部模式用户用户用户19多媒体数据库的层次结构多媒体用户接口层用户第4层概念数据模型层第3层存取与存储数据模型层第2层媒体支持层第1层20多媒体数据库的层次最高层支持多媒体的综合表现和用户的查询描述：多媒体用户接口层：完成查询描述和结果描述中间层增加对多媒体数据的关联和超链的处理。（建立数据模型)概念数据模型层：对现实世界用多媒体数据信息进行的描述。为上层的用户接口、下层的多媒体数据存储和存取建立起一个在逻辑上统一的通道。存取与存储数据模型层：通过存取与存储数据模型，描述媒体数据的逻辑位置安排、相互的内容关联、特征与数据的关系以及超链的建立等。完成多媒体数据的逻辑存储与存取底层增加对多媒体数据的控制与支持:媒体支持层:建立在多媒体操作系统之上,对不同性质媒体分别进行相应的分割、识别、变换等操作。21多媒体数据库的特点多媒体数据库与传统数据库的不同特征：信息媒体的多样性多媒体数据的冗余性处理过程的交互性和时序性多媒体的分布性多种技术的集成性22多媒体数据库管理系统（MMDBMS）多媒体数据库由于其管理数据的特殊性，其系统要复杂的多。对于多媒体数据库到底应该具有哪些功能，还没有一个统一的标准，但从实际考虑应该具备如下基本功能：系统应能够有效地表示多媒体数据系统应能够处理多媒体数据，正确识别和表现多媒体数据的特征，多媒体时间或空间的关联多媒体数据库应该提供传统数据库可以实现的搜索、浏览、删除等操作，同时多媒体数据库还应该提供针对各种媒体的特殊操作。多媒体数据库管理系统应该具有开放的功能，能够通过多媒体数据的接口编写自己的应用程序。此外，系统还应该提供特种事务处理和版本管理功能。23多媒体数据库管理系统的的查询方式多媒体数据管理系统是一个以多媒体数据库为基础的多媒体应用。该应用能够完成对多媒体数据库的各种操作及管理功能，如对MMDB的定义、创建、访问、删除等。MMDBMS的查询方式针对多媒体应用的灵活性，人们希望MMDBMS能够提供多种方式的“模糊”查询手段，具体描述如下：基于元数据的查询基于注释的查询基于特征的查询用实例查询24基于元数据的查询

元数据在这里是指数据库条目的外在属性。比如作者姓名、创建时间以及标题等。在VOD（视频点播）应用中，这种方式的查询可以是：“请列出由XXX在2012年出息的重要会议”这种类型的查询可以用传统的DBMS技术来实现。基于注释的查询

注释是指对数据库条目内容的文字描述。查询时一般给出关键字或一些自由文本，而检索是基于查询与内容注释的相似性。这种方式的查询可以是：“请放映一下2008年北京奥运会开幕时的视频片段。”这种类型的查询要求事先对所有数据库条目都恰当地进行注释，然后用传统的IR技术进行处理。视频数据、脚本和字母均可作为注释。25基于特征的查询

特征是多媒体数据的统计信息。如音量、颜色分布及纹理等。这种方式的查询实例可以是：“请放映一个音量分贝在XX至XX的视频帧。”处理这类查询，传统的DBMS已无能为力了，数据库条目的有关统计信息事先手机、整理并存储。用实例查询

用多媒体数据对象来进行查询，这个对象可以是一个静止的图像、一张草图或一个声音片段。这种类型的查询中如果包含有数据对象的空间和时间关系，处理时可能会非常复杂，要支持这么多种复杂的查询方式，多媒体数据库引擎需要有全新的体系结构。26多媒体数据库管系统的体系结构根据前面描述的MMDBMS所支持的查询方式，给出下图所示MMDBMS的体系结构：27多媒体数据库管系统的体系结构用户图形接口

MMDBMS的用户接口可以通过Internet或图形界面访问。这个用户接口支持用户用图形方式进行基于内容的查询，同时也支持传统的文本查询方式。索引子系统

索引子系统以多媒体数据及相关文本注释作为输入，通过数据分析子系统，提取低层多媒体特征信息（如颜色、纹理、形状等），加上一些重要的文本买哦书信息（如作者姓名、类属、主题等），并将这些内容存储在特征数据库中。

28数据分析子系统

数据分析子系统的功能是提取重要的低层多媒体数据特征，如音量、颜色、纹理、形状等。特征数据库

特征数据库中的条目内容包括低层特征数据以及高层的文字描述数据。29查询处理器查询处理器从图形用户界面接受查询语言，通过特征数据库进行计算评估，然后向用户返回匹配最好的多媒体数据。这里所指的查询语言必须能利用低层特征数据及文字描述来表达复杂的查询方式，传统的SQL肯定不能胜任。存储子系统存储子系统完成对文本、图像、音频、视频等数据库数据的定义、创建、查询、访问、删除等管理功能与操作。30多媒体数据模型常用的三种多媒体数据模型三种多媒体数据库的数据模型:扩充的关系模型（NF2数据模型）面向对象数据模型对象-关系模型超文本数据模型31多媒体数据模型NF2(NonFirstNormalForm)数据模型对关系数据库的要求：第一范式（1NF）在关系模式R中的每一个具体关系r中，如果每个属性值都是不可再分的最小数据单位，则称R是第一范式的关系。（不允许表中表）多媒体数据库：NF2(NonFirstNormalForm)数据模型在关系模型的基础上通过扩展来提高关系数据库处理多媒体数据的能力----打破关系数据库中关于1NF的要求，允许在表中可以有表。

32属性CGeneral属性A属性B带结构数据对关系进行扩展例如：给人员档案添加人员的照片、声音33

NF2数据模型实现的主要手段是在关系数据库中引入抽象数据类型，使得用户能够定义和表示多媒体信息对象。对大多数关系数据库来说都采用的方法是利用标准的扩展字段，例如：Foxpro的通用General字段；Paradoxforwindows的动态注释，格式注释，图形，BLOB（大二进制对象BinaryLargeObject）等特点：建立在关系数据基础之上，比较容易实现建成模能力不强（在定义抽象数据模型，反映多媒体数据各成分间的空间关系、时间关系和媒体对象的处理方法仍有困难）特殊媒体的基于内容查询、存储效率实现较难34面向对象模型

面向对象的方法最适合描述复杂对象，通过引入封装、继承、对象、类等概念，用面向对象观点来描述实体的逻辑组织、对象间限制、联系等。但面向对象数据模型尚未形成统一标准，实现技术还不够成熟。35对象-关系模型对象-关系模型结合了面向对象和关系模型的特点，允许用户定义新的数据类型和操作，可以定义抽象数据类型表示具有内部结构的复杂的多媒体数据以提供对复杂对象的描述，用户自定义函数为操作不同媒体类型的数据提供了方便。同时对象-关系模型又可以利用关系数据库技术提供对数据的存取管理功能，是目前多媒体系统可采用的一种实用的和有效的数据模型。36超文本数据模型

超文本是一种由结点以及结点之间的关系链构成网状结构的信息管理技术。其中超文本结点是信息的基本单位，它可以是文本，也可以是图形、图像或声音等；关系链描述了数据间的各种语义和组织结构上的联系，把结点链接成网状结构。超文本数据模型的常用操作包括编辑和浏览等。

编辑不仅指对节点信息的编辑，还包括对网络中节点和链的创建、修改和删除。浏览则是指用户在超文本中网络中能够快速定位，查询所需信息。由于超文本在逻辑上采用了与一般文本有本质的非线性结构，其每个节点的一个起始链和多个目标链分别指明了上个结点和下一个需检索的结点，从而可以实现快速浏览。37

根据所支持的任务不同，采用超文本数据模型的系统有多种结构。典型的超文本系统由编辑器、超文本库和浏览器组成。

编辑器实现对文本、图形、图像、声音等对象实体的编辑及登录。

超文本库包括超索引和对象库两部分，超索引为对象库的索引文件，对象库存放多媒体对象实体信息。

浏览器是一个基于窗口和菜单的三维视图显示系统。

从本质上看，超文本数据模型等价于一种语义网络加上浏览机制，只要是用于教学、信息查询、图书情报检索或问题探索等只读型应用系统。38多媒体数据库与传统数据库的区别1.所管理的数据类型不同2.数据库体系结构不同3.检索方法不同39多媒体数据库的应用

多媒体数据库目前已经广泛应用于许多领域中，例如办公自动化、信息系统、教育、CAD、CAM和医疗等应用中都涉及大量的文本、图形、图像、声音等多媒体数据；还有犯罪现场录像，犯罪嫌疑人相片、声音和指纹信息的犯罪嫌疑反跟踪系统等。40多媒体数据库系统的同步机制

同步是一个与时间相关的概念，多媒体系统中的同步主要指各媒体对象间的时序关系，广义的多媒体同步包括媒体对象之间的内容、空间、时间关系。多媒体同步类型静态类型：即来自不同(或相同)存储位置，但无时间变化和约束的静态图象、文本等动态模型：即时间、空间都变化的视频、音频、动画等媒体；41一般的多媒体应用系统中，一个节点实例本身可能包含多个媒体数据，由于动态数据的引入，不可避免地要考虑各个媒体数据在时间上的相互依赖关系。例如对一段录像进行记录时，不仅需要记录其中一系列的视频数据和音频数据，同时还需要考虑两者之间的时序关系（图1）。例如：在一个餐饮服务系统中，有一项介绍菜肴的服务，对每一道菜的介绍内容包括有关该菜肴的图片以及对菜肴的文字介绍和语音讲解，在时序上要求同时显示图片和文字，再进行语音，形成下图的时序关系（图2）：Audio1Audio2

……AudionVideo1Video2

……Video3图1显示菜肴图片显示文字介绍语音讲解图2多媒体数据库系统的同步机制42动态类型同步和混合类型同步

在展示动态类型和混合类型的媒体时,必须考虑媒体内部及媒体之间在时间上的同步关系。媒体对象间的同步包括时间相关和时间无关的媒体对象之间的同步。

时间无关同步时间无关媒体则是指像文本、图像任何一种传统的媒体对象，其各自的内容含义及其表现不依赖于时间。时间相关同步时间相关的媒体现为媒体流中，在媒体流中，各连续的单元之间存在时序关系，各单元的表现间隔完全相同，则称之为连续媒体对象，如视频它包括一系列的有序帧，每一帧有一固定的表现间隔。43多媒体同步类型（按照涉及对象分类）内同步它涉及的对象是同一个媒体内部的不同子序列，例如连续播放的Video媒体的多个视频帧。外同步它涉及的对象是多个媒体,对于静态类型媒体(如文本、图片等)一般只涉及起始点和终止点的同步,对于动态类型媒体(如图像、声音等)还需对各多媒体流内部之间的同步进行控制。人机交互同步它涉及不同媒体对象、多媒体外部设备与用户之间的同步,如支持用户用鼠标或键盘控制反向展示、快进、快退、暂停及重放等功能。44多媒体同步模型

由于多媒体同步涉及对象的复杂性以及同步类型的多样性,建立统一的同步模型来描述多媒体的同步机制是十分困难的。通常的做法是根据不同的需求选择采用不同的同步模型,而且在该模型中尽量改善模型的描述能力,吸收其它模型的优点,提高模型的通用性。下面给出几种在分布环境下的多媒体同步模型及其适用范围。基于缓冲的多媒体同步模型1基于反馈的多媒体同步模型2基于时标的多媒体同步模型3基于时间片的多媒体同步模型445基于缓冲的多媒体同步模型基于缓冲的多媒体同步模型主要适用于单一媒体的同步控制。其基本思想是：将多媒体数据流划分成若干个数据块,

通过设置传输缓冲区,并根据网络传输和主机处理的延迟确定缓冲区管理机制。在媒体数据传输较快时,将超前的数据先存于缓冲区中；而在媒体数据传输较慢时，从缓冲区中取数据,从而实现连续媒体流数据的平滑、稳定播放,使各数据块严格按规定的时序约束展示。

例如,设Video媒体的录制速率为30帧/秒,则其播放速率必须相同才能达到播放效果。为此,需根据网络传输特性确定缓冲区的大小、各数据块的发送时间和预取数据块的个数,以保证该连续媒体的平滑播放。46基于反馈的多媒体同步模型基于反馈的同步模型也是一种用于单个媒体同步控制的方法。其基本思想是:将多媒体数据流划分成若干个数据块,通过把已到达的媒体数据块的有关信息反馈到发送方,发送方接收到反馈信息后根据一定的原理和算法,确定将要传输的数据块,以此来控制数据的稳定传送。发送方接收方发送反馈47基于时标的多媒体同步模型基于时标的多媒体同步模型可适用于描述在网络环境下多种媒体间及媒体内的同步关系。其基本思想是:在多媒体数据生成过程中，为数据流中的数据块赋予时标,具有相同时标的多媒体对象必须保持同步。

在网络环境下,存储在文件服务器上的多媒体对象的各个组成部分是由位于网络不同地点的信息源在不同的时间产生的。由于没有全局同步时钟,需要引入统一的相对时间系统,并在该系统中设置多媒体对象的时标。相对时间系统可以选用时间轴同步模型或参考点同步模型。

时间轴同步模型：如果采用时间轴同步模型,则各媒体对象均彼此独立地依赖于同一时间轴,它适合于起始时间点固定的多媒体对象,但不适合于由于人机交互而导致起始时间点不定的场合;

48基于时标的多媒体同步模型参考点同步模型：如果采用参考点同步模型,则是将连续媒体视为由离散的子单元构成的序列,起始处的媒体单元位于时间系统的零点,一个媒体单元在相对时间系统中的位置称为一个参考点,其相对时间即为时标,不同媒体对象之间的同步通过将其在同一时刻的媒体单元相连接来进行控制。在具体实现时,一般选定主设备对时标进行驱动。主设备上的第一个媒体单元被赋予启动时标,以后的媒体单元被赋予时标递增。当文件服务器从不同的设备接收到媒体单元时,首先判定这些媒体单元是否位于一个有界的时间窗口内。如果是,则这些媒体单元被赋予相同的时标,并要求播放时同步,这些媒体单元组成的集合称为同步集合。在播放时,同步控制机制采用了反馈法,即由播放设备定时向文件服务器发送一个包含有媒体单元时标的反馈信息,文件服务器据此进行同步控制。49基于时间片的多媒体同步模型时间片是由某一时间单位表示的非零时间段,定义为两个时刻构成的二元组[T1,T2]。基本的多媒体对象可以用基本时间片来表示,它开始于一个起始点，结束于一个终止点，在起始点和结束点之间与其它多媒体对象没有同步关系;而复合的多媒体对象是由基本的多媒体对象组合而成,它可以分解后分步展示,也可以用组合时间片来表示。

对于任意给定的的两个时间片,它们之间基本的时间同步关系有七种:before(先于)、meets(衔接)、overlaps(重叠)、during(包含于)、starts(同始)、ends(同终)、equals(等于),此外还有前六种关系的逆关系:before-1、meets-1、overlaps-1、during-1、starts-1、ends-1。50基于时间片的多媒体同步模型图1给出了七种基本的时间同步关系的示意图,其中A和B为给定的两个时间片。ABABABBAABBAABAbeforeBAmeetsBAoverlapsBAduringBAstarts

BAendsBAequalsB图151多媒体同步机制的实现图2给出在分布式环境下一种实现多媒体同步控制方法的基本思想,该同步机制采用了时标法，其中还综合使用了缓冲、反馈和中断等技术。网络的拓朴结构如下图所示。其中：FS为文件服务器，Si(i=1,2,…,n)为工作站,它们分别是产生媒体单元mi(i=1,2,

…,n)的源;ti为媒体单元mi在源Si产生的时间,ri为媒体单元mi到达FS的时间;△min、△max分别为网络通信的最小和最大延迟。r1m1FSS2SiSnS1t1r2m2t2rimitirnmntn图252多媒体同步机制的实现实现多媒体同步控制方法的基本思想如下：（1）媒体单元的存放在文件服务器FS上开辟n个缓冲队列,用来存放借助于网络通信协议从n个主/从设备传输来的媒体单元。（2）时标RTS的计算设主设备为Sk，从设备为Sj，Sj∈{S1,S2,…,Sn}-{Sk}；mk和mj分别为由Sk和Sj产生的媒体单元，mk

和mj的最早和最晚产生时间分别记为Tek(mk)、Tlk(mk)、Tej(mj)、Tlj(mj)，则:Tek(mk)=rk-△maxTlk(mk)=rk-△minTej(mj)=rj-△maxTlj(mj)=rj-△min设α为指定的媒体单元间最大允许的非同步区间，若max[Tlk（mk）-Tej（mj），Tlj（mj）-Tek（mk）]≤α，则mk和mj属于同一同步集合，这些媒体单元应赋予相同的时标RTS，播放时要求同步。53多媒体同步机制的实现（3）时标RTS的赋予文件服务器FS以中断方式实时地接收源站点产生的媒体单元信息,按上述方法计算其RTS，并将RTS赋予媒体单元,进入相应的缓冲队列,RTS值的自动递增。（4）媒体单元的播放文件服务器主程序根据缓冲队列的队首信息,比较其RTS,对于具有相同RTS

的媒体单元同时出队列并发送到播放设备;否则,选择具有最小RTS的媒体单元出队列并发送到播放设备,其处理流程如图3所示。（5）反馈信息播放设备在播放时,定期向文件服务器FS发送反馈信息,其中包含正播放的媒体单元的RTS。文件服务器主程序以中断方式接收反馈信息,并据此调整设备队列中的媒体单元,以保持由RTS描述的媒体单元间的同步关系。54多媒体同步机制的实现图3给出了在分布式环境下文件服务器主程序的处理流程：图355多媒体数据压缩技术多媒体数据库系统的核心任务是实时地综合处理图、文、声信息。数字化的图像、声音信号数据流庞大，要实时地处理、传输和存储这些数据必须进行压缩和解压缩技术。因此，数据压缩和解压缩技术是实现多媒体数据库系统的关键技术。多媒体数据为什么要压缩数据量大存在着大量的信息冗余分辨率为640*480的NTSC制式全彩色，每分钟的数据量大约为1.6GB56多媒体数据压缩技术数据压缩的必要性数据通信数据存储…24BitBitmap(193k)JPE