多媒体信息管理技术

1、多媒体信息管理技术School of ManagementTianjin University第1页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术多媒体信息管理的问题多媒体应用系统关键问题就是对系统中数据进行有效地管理：对多媒体数据的有效管理能尽量减少开发费用；便于综合利用、数据共享，降低成本、提高效益；对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义。第2页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin Unive

2、rsity多媒体信息管理技术1.多媒体数据的存储环境对多媒体数据的存储环境总的要求是：容量大、质量好、存取速度快、价格合适。主要有4类存储介质： (1)可更换的硬盘； (2)磁带备份介质； (3)光盘档案介质； (4)磁盘阵列;第3页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术2.多媒体数据管理的软件环境对多媒体数据资源的有效管理方法：(1)文件管理系统 。(2)建立特定的逻辑目录。 (3)传统的字符、数值数据库管理系统。(4)多媒体数据库管理系统 。(5)超文本和超媒体 。第4页，共46

3、页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术多媒体数据库管理系统依据独立性原则， DBMS按层次划分为3种模式： 物理模式、概念模式和外部模式。物理模式定义数据存储组织方法， 如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等(存储模式)。概念模式借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。外部模式又叫视图，它是概念模式对用户有用的那一部分。 第5页，共46页，2022年，5月20日，13点47分，星期二School of

4、 ManagementTianjin University多媒体信息管理技术数据库物理模式概念模式外部模式用户用户用户DBMS的3层模式第6页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术多媒体数据对数据库的影响(1)数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。(2)媒体种类增多增加了数据处理困难。 (3)多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍，在多媒体数据库管理系

5、统中也应尽可能采用短事务。为保证播放不致中断，MDBMS应增加这种处理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。第7页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术MDBMS多媒体数据库管理系统的功能要求(1) MDBMS必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法(2) MDBMS必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。(3) MDBMS除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。 物

6、理数据独立性指当物理数据组织改变时，不影响概念数据组织。 逻辑数据独立性指概念数据组织改变时，不影响用户程序使用的视图。第8页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术媒体数据独立性指在MDBMS的设计和实现时，要求系统能保持各种媒体独立性和透明性。(4) MDBMS的数据操作功能。(5) MDBMS的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。(6)MDBMS应具有开放功能，提供MDB的应用程序接口API，并提供独立于

7、外设和格式的接口。(7) MDBMS还应提供事务和版本管理功能。第9页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术集中型MDBMS由单独一个MDBMS来管理和建立不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。MDBMS 图像数据库 图形数据库 音频数据库 文本数据库 视频数据库第10页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术2. 主从型MDBMS每个数据库都有

8、自己的管理系统， 称为从数据库管理系统，它们各自管理自己的数据库。这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理 。第11页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术从MDBMS从MDBMS从MDBMS从MDBMSMDBMSMDBMS某种MDB某种MDB某种MDB某种MDB多媒体数据库主从型MDBMS的组织结构 第12页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术3.

9、协作型MDBMS协作型MDBMS也是由多个数据库管理系统来组成， 每个数据库管理系统之间没有主从之分。要求系统中每个数据库管理系统(称为成员MDBMS)能协调地工作，但因每一成员MDBMS彼此有差异， 所以在通信中必须首先解决这个问题。第13页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术 成员 MDBMS 成员 MDBMS 成员 MDBMSMDBMS 某种MDB 某种MDB 某种MDB 附加软件 附加软件 附加软件 多媒体数据库协作型MDBMS的组织结构第14页，共46页，2022年，5月

10、20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术MDBMS的数据模型数据模型的概念数据模型通常由数据结构、数据操作和完整性约束三部分组成， 也称数据模型三要素。数据结构是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象是数据库的组成成分。数据库系统通常按数据结构的类型来命名数据类型， 如层次模型、网状模型、关系模型和面向对象模型。第15页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术数据操作是对数据库系统

11、动态特性的描述，如数据库中各种对象的实例、允许执行的操作集合。数据的约束条件是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化， 以保证数据库数据的正确、有效、相容和一致。数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束条件。 第16页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术常用的数据模型早期DBMS采用层次模型，它利用树型结构来表示实体及实体之间联系。

12、模型中节点为记录型，表示某种类型的实体；节点之间的连线表示它们之间的关系。 利用网状结构来表示实体与实体之间联系的数据模型称为网状模型， 其节点为记录型， 用于表示某类实体。层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。第17页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术关系模型克服了上述两种模型的缺陷， 利用二维的表来表示实体及实体之间的关系， 每张二维表又称为一个关系。扩充的原因： 传统的关系模

13、型结构简单，是单一的二维表， 数据类型和长度也被局限在一个较小的子集中，又不支持新的数据类型和数据结构， 很难实现空间数据和时态数据，缺乏演绎和推理操作， 因此表达数据特性的能力受到限制。 在MDBMS中使用关系模型， 必须对现有的关系模型进行扩充，使它不但能支持格式化数据，也能处理非格式化数据。 第18页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术模型扩充主要有3种策略：(1)使关系数据库管理技术和操作系统中文件系统功能相结合， 实现对非格式化数据的管理。其主要方法是以存放非格式化数据的

14、文件名代替。 (2)将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组，存放在数据页面或数据页面组中，统一管理(大系统采用)。 (3)将元组中非格式化数据分成两部分，一部分是格式化数据本身，另一部分是对非格式化数据的引用(小系统采用)。3种策略的关键是要扩充数据类型， 解决非格式化数据的语义解释。第19页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术Paradox是由Borland公司开发的，Paradox增加了4种数据类型： 动态注释、格式注释、图形和大二进制对象(Blob)。

15、对它们的处理采用应用程序处理，专门的OLE等方法。FoxPro是Microsoft公司的产品，它是在DBase基础上发展起来的。为了处理多媒体数据，FoxPro2.5引入一个新的属性类型General，它可以容纳任何一种多媒体数据，包括文本、图形、图像或声音数据。在Windows中， FoxPro相当于一个OLE客户，通过在表中定义一个类型为General的字段，可以为链接或嵌入任何对象预留空间。 第20页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术关系型多媒体数据库的应用某公司需要用数据

16、库管理雇员资料， 雇员信息包括工号、年龄、性别、月工资、所在部门、该部门经理、雇员的免冠照片等属性。 对这样比较复杂结构的实体(雇员)，关系数据库需要把它分解成最简单实用的关系(雇员和部门)表示，实体的结构语义隐性地包含在两个关系的相同属性中。此例中雇员照片属性的存储可利用Oracle数据库提供的LOB属性类型实现的。LOB (Large Object)就是存储大对象的属性类型， 当数据量过大不能直接存入数据库中时， 可以使用LOB属性类型。 第21页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管

17、理技术Main or virtual memoryTransformation and type checkingSecondary storage第22页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术面向对象的数据库模型(1)面向对象模型支持“聚合”与“概括”的概念，从而更好地处理多媒体数据等复杂对象的结构语义。(2)而向对象模型支持抽象数据类型和用户定义的方法，便于系统支持定义新的数据类型和操作。(3)面向对象系统的数据抽象、功能抽象与消息传递的特点使对象在系统中是独立的， 具有良好的封

18、闭性， 封闭了多媒体数据之间的类型及其他方面的巨大差异， 并且容易实现并行处理， 也便于系统模式的扩充和修改。第23页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术(4)面向对象系统的对象类、类层次和继承性的特点，不仅减少了冗余和由此引起的一系列问题，还非常有利于版本控制。(5)面向对象系统中实体是独立于值存在的，因而避免了关系数据库中讨论的各种异常。(6)面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的，避免了大量的查询优化工作。第24页，共46页，2022年，5月20日，13

19、点47分，星期二School of ManagementTianjin University多媒体信息管理技术面向对象数据库和扩展关系数据库系统不同，它倾向于以数据模型入手，重新考虑不同于传统DBMS的系统整体结构、对象类层次的存储结构、存取方法和继承性的实现方法、用户定义的数据类型和方法的处理策略、必要的版本控制和友好的用户界面，建立一个全新的 DBMS。第25页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术1. 对象类型的建立第26页，共46页，2022年，5月20日，13点47分，星期

20、二School of ManagementTianjin University多媒体信息管理技术Main or virtual memorySecondary storage第27页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术2. 面向对象数据库系统结构根据系统模型的功能，设计适当的系统结构是面向对象的DBMS实现的重要环节。 由MCC公司研制的ORION系统由4个子系统构成：(1)消息处理子系统 ；(2)对象子系统 ；(3)存储子系统 ；(4)事务管理子系统。第28页，共46页，2022

21、年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术ORION-1SX是一个客户机/服务器数据库系统，它有一个专用的服务器管理整个数据库系统，而应用系统运行的所有其他节点(客户)同这个服务器进行通信来存取数据库。对象子系统和消息子系统完全放置在客户机上。另一方面，通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中，通讯子系统负责打开、关闭和控制连接， 接收和传递客户机和服务器之间的消息。 ORION-2是一个基于网络的分布式数据库系统， 它由一个以上的节点进行管理，使得数据库的物理布局对用户来说是透明的

22、。第29页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术消息处理子系统 对象子系统 事务子系统 存储子系统通信子系统服务器事务子系统服务器存储子系统服务器客户机第30页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术多媒体信息检索技术基于内容检索如何使多媒体应用系统直接从各种媒体中获取信息线索，并将这些线索用于数据库中得检索操作，帮助用户从数据库中检索合适的多媒体信息对象基于内容检索（Con

23、tent-based Retrieval）定义：基于内容检索就是从媒体数据中提取特定的信息线索，根据这些线索从大量得存储在数据库中的媒体中进行查找，检索具有相似特征的媒体数据第31页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术具体说基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特

24、征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成第32页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术与传统的信息检索相比，CBR有如下特点：(1) 相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。(2) 直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然

25、后利用这些内容特征建立索引并进行检索。第33页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术(3) 满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。(4) 大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。第34页，共46页，

26、2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术媒体特征音频 常利用的音频特征包括基音，共振峰，线性预测倒谱系数、Mel倒谱系数(基于高斯混合模型的语音识别)等音频低层特征，和声纹、关键词等高层特征。静态图像 其底层特征包括颜色，纹理，几何形状，灰度统计特征； 高层特征包括人脸部特征，表情特征，物体和景物特征。第35页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术视频 包含的信息最丰富复杂，其底层特征包

27、括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景图等；高层特征包括描述镜头内容的事件等。文本 关键词常被选为文本对象的内容属性。图形 几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。第36页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术 多媒体内容的处理分为三大部分：内容获取、内容描述和内容操纵。 也可将其看成是内容处理的三个步骤，即先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，以支持各种内容的操纵第37页，共46页，20

28、22年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术基于内容检索系统的一般结构插入子系统特征提取子系统媒体数据库和特征数据库查询子系统：提供给用户检索接口检索过程是一个逐步求精的过程初始检索相识性匹配特征调整重新检索第38页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术多媒体信息关联技术超媒体技术超文本的概念超文本结构类似于人类的联想记忆结构，采用一种非线性的网状结构组织块状信息，没有固定顺序。超文本由若干个文

29、本块（信息单元）组成，每个信息单元称为一个节点（node）每个节点都有指向其它节点或从其它节点指向该节点的指针，称为“链”（link）用户主动激活这些链时，将迁移到目的节点第39页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术下面是超文本结构示意图ABCDEFGH第40页，共46页，2022年，5月20日，13点47分，星期二School of ManagementTianjin University多媒体信息管理技术什么是超媒体（hypermedia）?多媒体+超文本把多媒体信息引入超文本，有助于信息的表达和交互，可以增强和改善信息的交互程度和表达思想的准确性超媒体的组成要素节点（Node）:是围绕一个特殊主题组织起来的数据集合节点的分类媒体类节点：存放各种媒体信息的来源、属性和表现方法等。第41页，共46