多媒体技术原理及应用.ppt

第6章 多媒体数据库及基于内容检索,多媒体数据管理 多媒体数据库管理系统 面向对象技术与MDBMS 基于内容的检索技术,6.1 多媒体数据管理环境,多媒体应用系统关键问题就是对系统中数据进行有效地管理： 对多媒体数据的有效管理能尽量减少开发费用； 便于综合利用、数据共享，降低成本、提高效益； 对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义。,1.多媒体数据的存储环境,对多媒体数据的存储环境总的要求是： 容量大、质量好、存取速度快、价格合适。 主要有4类存储介质： (1)可更换的硬盘； (2)磁带备份介质； (3)光盘档案介质； (4)磁盘阵列。,2.多媒体数据的传输环境,一般有3种传输方法： (1)使用可更换的介质进行人工传输。使用软盘、磁带、光盘、可更换硬盘等工具； (2)使用串行端口实行点对点传输。成本低， 但难以实现多台计算机之间数据传输； (3)使用网络系统，实现计算机之间传输。,3.多媒体数据管理的软件环境,对多媒体数据资源的有效管理方法： (1)文件管理系统 。 (2)建立特定的逻辑目录。 (3)传统的字符、数值数据库管理系统。 (4)多媒体数据库管理系统 。 (5)超文本和超媒体 。,图6.1 用传统的DBMS管理多媒体数据,6.2 多媒体数据库管理系统 6.2.1 多媒体数据库管理系统特点,依据独立性原则， DBMS按层次划分为3种模式： 物理模式、概念模式和外部模式。 物理模式定义数据存储组织方法， 如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等(存储模式)。 概念模式借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。 外部模式又叫视图，它是概念模式对用户有用的那一部分。,图6.2 DBMS的3层模式,数据库,物理模式,概念模式,外部模式,用户,用户,用户,多媒体数据对数据库的影响,(1)数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。 (2)媒体种类增多增加了数据处理困难。 (3)多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。 (4)传统的事务一般都是短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断，MDBMS应增加这种处理长事务的能力。 (5)多媒体数据库管理还有考虑版本控制的问题。,6.2.2 MDBMS的功能要求,(1) MDBMS必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法。 (2) MDBMS必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。 (3) MDBMS除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。 物理数据独立性指当物理数据组织改变时，不影响概念数据组织。 逻辑数据独立性指概念数据组织改变时，不影响用户程序使用的视图。,媒体数据独立性指在MDBMS的设计和实现时，要求系统能保持各种媒体独立性和透明性。 (4) MDBMS的数据操作功能。 (5) MDBMS的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。 (6)MDBMS应具有开放功能，提供MDB的应用程序接口API，并提供独立于外设和格式的接口。 (7) MDBMS还应提供事务和版本管理功能。,6.2.3 MDBMS的组织结构,MDBMS的组织结构一般可分为3种： 集中型。 主从型。 协作型 。,1. 集中型MDBMS,由单独一个MDBMS来管理和建立不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。,图像 数据库,图形 数据库,音频 数据库,文本 数据库,视频 数据库,图6.4 集中型MDBMS的组织结构,2. 主从型MDBMS,每个数据库都有自己的管理系统， 称为从数据库管理系统，它们各自管理自己的数据库。 这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理 。,MDBMS,某种MDB,某种MDB,某种MDB,某种MDB,多媒体数据库,图6.5 主从型MDBMS的组织结构,3. 协作型MDBMS,协作型MDBMS也是由多个数据库管理系统来组成， 每个数据库管理系统之间没有主从之分。 要求系统中每个数据库管理系统(称为成员MDBMS)能协调地工作，但因每一成员MDBMS彼此有差异， 所以在通信中必须首先解决这个问题。,MDBMS,某种MDB,某种MDB,某种MDB,附加软件,附加软件,附加软件,多媒体数据库,图6.6 协作型MDBMS的组织结构,6.2.4 MDBMS的数据模型,数据模型的概念 扩充的关系数据模型 应用实例,1. 数据模型的概念,数据模型通常由数据结构、数据操作和完整性约束三部分组成， 也称数据模型三要素。 数据结构是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象是数据库的组成成分。 数据库系统通常按数据结构的类型来命名数据类型， 如层次模型、网状模型、关系模型和面向对象模型。,数据操作是对数据库系统动态特性的描述，如数据库中各种对象的实例、允许执行的操作集合。 数据的约束条件是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化， 以保证数据库数据的正确、有效、相容和一致。 数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束条件。,2.常用的数据模型,早期DBMS采用层次模型，它利用树型结构来表示实体及实体之间联系。模型中节点为记录型，表示某种类型的实体；节点之间的连线表示它们之间的关系。 层次模型构造简单，易于实现。典型的应用如公司、大学的行政架构表示。 基于层次模型的数据库称为层次数据库，它支持用户以浏览方式完成对数据访问，对子节点记录的访问需经过父节点。 层次模型的限制是：任何非根节点的节点有且仅有一个父节点； 父子节点只能是1：n关系， 不能表示两类实体间的m：n关系。,利用网状结构来表示实体与实体之间联系的数据模型称为网状模型， 其节点为记录型， 用于表示某类实体。 允许节点有多个父节点， 比层次模型更通用。基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录的访问，但由于节点可有多个父节点， 对网状数据库中某节点的访问路径可以有多条。,层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。 关系模型克服了上述两种模型的缺陷， 利用二维的表来表示实体及实体之间的关系， 每张二维表又称为一个关系。 二维表每一列代表实体以及实体之间关系的某种属性。属性名的集合如C1， C2， ， Cn表示某种记录类型。每一列除了具有属性名外， 还具有类型特征， 该特征决定了属性的取值范围，称为域。这种表可直接描述两个实体类型间的m： n关系。,关系模型可通过关系代数严格定义。一张二维表可定义为一组域的笛卡儿积的子积。域D1， D2， ， Dn的笛卡儿积定义为： D1D2Dn=(C1，C2， ， Cn)|CiDi， i=1，2，n 关系R可表示为： R D1D2Dn， n为关系的度。一个关系的结构可表示为 R：(C1：D1， C2：D2，Cn：Dn) 其中Ci(i=1，2，n)为属性名。,RDBMS对数据的各种操作归结为各种集合运算。 除了支持传统的集合运算之外， 还定义了专门的关系运算，如投影、选择、连接等。 它还利用一阶谓词逻辑来判断表中元组是否满足用户定义的条件。用户定义的条件由逻辑运算符(and)、(or)、(not)连接各算术表达式组成。 关系代数和一阶谓词演算构成了RDBMS支持的数据库接口语言SQL的基础,扩充的原因： 传统的关系模型结构简单，是单一的二维表， 数据类型和长度也被局限在一个较小的子集中，又不支持新的数据类型和数据结构， 很难实现空间数据和时态数据，缺乏演绎和推理操作， 因此表达数据特性的能力受到限制。 在MDBMS中使用关系模型， 必须对现有的关系模型进行扩充，使它不但能支持格式化数据，也能处理非格式化数据。,模型扩充主要有3种策略： (1)使关系数据库管理技术和操作系统中文件系统功能相结合， 实现对非格式化数据的管理。其主要方法是以存放非格式化数据的文件名代替。 (2)将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组，存放在数据页面或数据页面组中，统一管理(大系统采用)。 (3)将元组中非格式化数据分成两部分，一部分是格式化数据本身，另一部分是对非格式化数据的引用(小系统采用)。 3种策略的关键是要扩充数据类型， 解决非格式化数据的语义解释。,Paradox是由Borland公司开发的，Paradox增加了4种数据类型： 动态注释、格式注释、图形和大二进制对象(Blob)。 OLE类型是Blob的一种特殊格式， 可使Paradox用作一个OLE主机。 FoxPro是Microsoft公司的产品，它是在DBase基础上发展起来的。为了处理多媒体数据，FoxPro2.5引入一个新的属性类型General，它可以容纳任何一种多媒体数据，包括文本、图形、图像或声音数据。在Windows中， FoxPro相当于一个OLE客户，通过在表中定义一个类型为General的字段，可以为链接或嵌入任何对象预留空间。,6.2.5 关系型多媒体数据库的应用,某公司需要用Oracle8.1.6数据库管理雇员资料， 雇员信息包括工号、年龄、性别、月工资、所在部门、该部门经理、雇员的免冠照片等属性。 对这样比较复杂结构的实体(雇员)，关系数据库需要把它分解成最简单实用的关系(雇员和部门)表示，实体的结构语义隐性地包含在两个关系的相同属性中， 只有通过联结、投影等操作才能体现出结构语义 。 此例中雇员照片属性的存储可利用Oracle数据库提供的LOB属性类型实现的。LOB (Large Object)就是存储大对象的属性类型， 当数据量过大不能直接存入数据库中时， 可以使用LOB属性类型。,图6.9 关系实例,关系雇员,关系部门,6.3 面向对象技术与MDBMS,面向对象的基本概念 面向对象的数据库模型 面向对象数据库系统的实现方法,6.3.1 面向对象的基本概念,(1)对象 是问题领域中的事物的表示或描述，世界上任何事物都是对象。对象具有名字标识，并具有自身的状态和功能。 (2)属性 组成对象的数据称为对象的属性。对象的属性可以是系统或用户定义的数据类型，也可以是抽象数据类型。状态由属性描述。 (3)方法 定义在对象属性上的一组操作称为对象的方法，方法体现了对象的行为功能。 (4)对象类 类描述的是具有相似性质(属性)的一组对象， 这组对象具有一般行为(操作)， 一般关系(对象之间的)及一般语义.,(5)子类和超类 类可以分成若干子类，这个被分成若干子类的类称为超类，子类和超类在层次上可理解为“被概括”与“概括”的关系。 (6)消息 在面向对象系统中，对象间的通讯和请求对象完成某种处理工作是通过消息传递实现的，消息传递相当于一个间接的过程调用。 (7)继承性 子类不仅可以继承超类对象的部分或全部属性和方法， 还可以拥有自己的属性和方法。继承性具有双重作用，一是可以减少代码冗余； 二是可以通过协调性来减少相互之间的接口。,6.3.2 面向对象的数据库模型,(1)面向对象模型支持“聚合”与“概括”的概念，从而更好地处理多媒体数据等复杂对象的结构语义。 (2)而向对象模型支持抽象数据类型和用户定义的方法，便于系统支持定义新的数据类型和操作。 (3)面向对象系统的数据抽象、功能抽象与消息传递的特点使对象在系统中是独立的， 具有良好的封闭性， 封闭了多媒体数据之间的类型及其他方面的巨大差异， 并且容易实现并行处理， 也便于系统模式的扩充和修改。,(4)面向对象系统的对象类、类层次和继承性的特点，不仅减少了冗余和由此引起的一系列问题，还非常有利于版本控制。 (5)面向对象系统中实体是独立于值存在的，因而避免了关系数据库中讨论的各种异常。 (6)面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的，避免了大量的查询优化工作。,6.3.3 面向对象数据库系统的实现方法,面向对象数据库和扩展关系数据库系统不同，它倾向于以数据模型入手，重新考虑不同于传统DBMS的系统整体结构、对象类层次的存储结构、存取方法和继承性的实现方法、用户定义的数据类型和方法的处理策略、必要的版本控制和友好的用户界面，建立一个全新的 DBMS。,1. 对象类型的建立,图6.10 多媒体类型系统,2. 面向对象数据库系统结构,根据系统模型的功能，设计适当的系统结构是面向对象的DBMS实现的重要环节。 由MCC公司研制的ORION系统由4个子系统构成： (1)消息处理子系统 ； (2)对象子系统 ； (3)存储子系统 ； (4)事务管理子系统。,2. 面向对象数据库系统结构,图6.11 ORION系统结构图,消息处理子系统,对象子系统,事务子系统,存储子系统,ORION,ORION-1SX是一个客户机/服务器数据库系统，它有一个专用的服务器管理整个数据库系统，而应用系统运行的所有其他节点(客户)同这个服务器进行通信来存取数据库。 对象子系统和消息子系统完全放置在客户机上。另一方面，通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中，通讯子系统负责打开、关闭和控制连接， 接收和传递客户机和服务器之间的消息。 ORION-2是一个基于网络的分布式数据库系统， 它由一个以上的节点进行管理，使得数据库的物理布局对用户来说是透明的。,图6.12 ORION系统的功能单元,消息处理子系统,对象子系统,事务子系统,存储子系统,通信子系统,服务器事务子系统,服务器存储子系统,服务器,客户机,面向对象系统Iris,除了一般的数据永久性、控制共享、后缓和恢复的需求之外，新需求的功能包括：丰富的数据建模结构、对推理的直接数据库支持、新的数据类型、长事务处理以及数据的多版本。 数据共享必须在对象级别上以并行共享和串行共享两者的意义上实现，允许一个给定的对象能够由用不同的面向对象的编程语言编写的应用来操作。Iris正是面向上述需要进行设计。,图6.13 Iris系统结构,3.面向对象的数据库系统的存储结构 和存取方法,(1) 基于关系系统的方法。 (2) 更适合多媒体数据特点的存储结构和存取方法 。比较适合多媒体数据特点的存储结构和存取方法有EXODUS系统的B+树索引结构、适合多维空间对象的R+树索引结构等。,6.4 基于内容的检索技术 6.4.1 相关概念,数据库系统中，数据检索是一种频繁使用的任务。多媒体数据库数据量大，数据种类多，给数据检索带来了新的问题。 多媒体数据库包含大量的图像、声音、视频等非格式化数据，对它们的查询或检索比较复杂，往往要根据媒体中表达的情节内容进行检索。 基于内容的检索(CBR)就是针对多媒体信息检索使用的一种重要技术 。,1.基于内容的检索技术的特点,(1) 从媒体内容中提取信息线索， 直接对媒体进行分析， 抽取特征(如基于表达式)。 (2) 提取特征方法多种多样。如图像特征有形状、颜色、纹理、轮廓等特征。 (3) 人机交互。人能迅速分辨要查找的信息， 但难以记住信息， 人工大量查询费时、重复， 而这正是计算机的长处， 人机交互检索可大大提高多媒体数据检索的效率。 (4) 基于内容的检索采用一种近似的匹配技术。 提取媒体对象内容属性的方式一般有手工方式、自动方式和混合方式。,2. 媒体特征,音频 常利用的音频特征包括基音，共振峰，线性预测倒谱系数、Mel倒谱系数(基于高斯混合模型的语音识别)等音频低层特征，和声纹、关键词等高层特征。 静态图像 其底层特征包括颜色，纹理，几何形状，灰度统计特征； 高层特征包括人脸部特征，表情特征，物体和景物特征。 视频 包含的信息最丰富复杂，其底层特征包括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景图等；高层特征包括描述镜头内容的事件等。 文本 关键词常被选为文本对象的内容属性。 图形 几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。,6.4.2 基于内容的检索实现方法,一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容并表达为属性(关键词)集合，再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象，留给用户选择余地小，查询方式和范围有所限制。 二是基于信号处理理论， 即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性，但全自动地抽取特征和识别时间开销太大，并且过分依赖于领域知识，识别难度大。,系统实现,在CRB系统中采用的有效方法包括相似性、模糊值、分段化等技术，下面以视觉信息管理系统(VIMS)为例介绍CRB系统的实现 。,图6.14 基于内容的检索系统结构,用户,图6.15 检索方法,图像插入,查询图像,被存储的特征值,查询特征,计算,相似性,图6.16 基于内容的检索过程,6.4.3 图像内容分析及其检索,基于颜色直方图检索 基于轮廓的检索 基于纹理的检索 视频检索,6.4.4 MPEG-7标准,MPEG-1，2，4解决在多媒体高效存储、传输和处理声音图像信息问题。但还没有能解决多媒体信息检索问题的工具。 MPEG-7标准即“多媒体内容描述接口”。其目标就是产生一种描述多媒体信息的标准， 满足实时、非实时以及推-拉应用的需求。并将该描述与所描述的内容相联系， 以实现快速有效的检索。 MPEG-7标准可独立于其他MPEG标准使用，但MPEG-4所定义的音频、视频对象的描述适用于MPEG-7。MPEG-7适用范围广泛， 既可应用于存储，也可用于流式应用。可在实时或非实时环境应用。,1. MPEG-7的相关概念,数据(Data) MPEG-7描述的多媒体信息， 包含图形、静止图像、视频、音乐、语音、文本和其他相关的媒体。 特征(Feature) 指数据的特性。特征本身不能比较，而要用有意义的特征表示(描述子)和它的实例(描述值)。如图像的颜色、语音的声调、音频的旋律等。 描述子(Descriptor，D) 是特征的表示。它定义特征表示的句法和语义，可以赋予描述值。一个特征可能有多个描述子，如颜色特征可能的描述子有：颜色直方图、频率分量的平均值、运动的场描述、标题文本等。 描述值(Descriptor Value) 是描述子的实例。描述值与描述模式结合， 形成描述。,描述模式(Description Scheme，DS) 说明其成员之间的关系结构和语义。成员可以是描述子和描述模式。DS和D的区别是：D仅仅包含基本的数据类型，不引用其他D或DS。如影片从时间上结构化为场景和镜头，在场景级包括一些文本描述子，在镜头级包含颜色、运动和一些音频描述子。 描述(Description) 由一个描述模式和一组描述值组成。 编码的描述(Coded Description) 是对已完成编码的描述，满足诸如压缩效率、差