多媒体课件第6章.ppt

第6章多媒体数据库及基于内容检索,多媒体数据管理环境多媒体数据库管理系统基于内容的检索技术,6.1多媒体数据管理环境,多媒体应用系统关键问题就是对系统中数据进行有效地管理：对多媒体数据的有效管理能尽量减少开发费用；便于综合利用、数据共享，降低成本、提高效益；对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义。,1.多媒体数据的存储环境,对多媒体数据的存储环境总的要求是：容量大、质量好、存取速度快、价格合适。主要有4类存储介质：(1)可更换的硬盘；(工作介质、档案介质）(2)磁带备份介质；（多次使用）(3)光盘档案介质；(4)磁盘阵列。(存储海量数据）,2.多媒体数据的传输环境,一般有3种传输方法：(1)使用可更换的介质进行人工传输。使用软盘、磁带、光盘、可更换硬盘等工具；(2)使用串行端口实行点对点传输。成本低，但难以实现多台计算机之间数据传输；(3)使用网络系统，实现计算机之间传输。,3.多媒体数据管理的软件环境,对多媒体数据资源的有效管理方法：(1)文件管理系统。(2)建立特定的逻辑目录。(3)传统的字符、数值数据库管理系统。(4)多媒体数据库管理系统。（功能）(5)超文本和超媒体。,图6.1用传统的DBMS管理多媒体数据,6.2多媒体数据库管理系统1多媒体数据库管理系统特点,依据独立性原则，DBMS按层次划分为3种模式：物理模式、概念模式和外部模式。物理模式定义数据存储组织方法，如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等(存储模式)。概念模式借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。外部模式又叫视图，它是概念模式对用户有用的那一部分。,图6.2DBMS的3层模式,数据库,物理模式,概念模式,外部模式,用户,用户,用户,多媒体数据对数据库的影响,(1)数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。(2)媒体种类增多增加了数据处理困难。(3)多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断，MDBMS应增加这种处理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。,2MDBMS的功能要求,(1)MDBMS必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法。(2)MDBMS必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。(3)MDBMS除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。物理数据独立性指当物理数据组织改变时，不影响概念数据组织。逻辑数据独立性指概念数据组织改变时，不影响用户程序使用的视图。媒体数据独立性指在MDBMS的设计和实现时，要求系统能保持各种媒体独立性和透明性。,(4)MDBMS的数据操作功能。(5)MDBMS的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。(6)MDBMS应具有开放功能，提供MDB的应用程序接口API，并提供独立于外设和格式的接口。(7)MDBMS还应提供事务和版本管理功能。,3MDBMS的组织结构,MDBMS的组织结构一般可分为3种：集中型。主从型。协作型。,1).集中型MDBMS,由单独一个MDBMS来管理和建立不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。,图像数据库,图形数据库,音频数据库,文本数据库,视频数据库,图6.3集中型MDBMS的组织结构,2).主从型MDBMS,每个数据库都有自己的管理系统，称为从数据库管理系统，它们各自管理自己的数据库。这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理。,MDBMS,某种MDB,某种MDB,某种MDB,某种MDB,多媒体数据库,图6.4主从型MDBMS的组织结构,3).协作型MDBMS,协作型MDBMS也是由多个数据库管理系统来组成，每个数据库管理系统之间没有主从之分。要求系统中每个数据库管理系统(称为成员MDBMS)能协调地工作，但因每一成员MDBMS彼此有差异，所以在通信中必须首先解决这个问题。,MDBMS,某种MDB,某种MDB,某种MDB,附加软件,附加软件,附加软件,多媒体数据库,图6.5协作型MDBMS的组织结构,4MDBMS的数据模型,数据模型的概念扩充的关系数据模型,1).数据模型的概念,数据模型通常由数据结构、数据操作和完整性约束三部分组成，也称数据模型三要素。1）数据结构是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象是数据库的组成成分。数据库系统通常按数据结构的类型来命名数据类型，如层次模型、网状模型、关系模型和面向对象模型。,2）数据操作是对数据库系统动态特性的描述，如数据库中各种对象的实例、允许执行的操作集合。3）数据的约束条件是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化，以保证数据库数据的正确、有效、相容和一致。数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束条件。,2).常用的数据模型,（1)层次模型：早期DBMS采用层次模型，它利用树型结构来表示实体及实体之间联系。模型中节点为记录型，表示某种类型的实体；节点之间的连线表示它们之间的关系。层次模型构造简单，易于实现。典型的应用如公司、大学的行政架构表示。,基于层次模型的数据库称为层次数据库，它支持用户以浏览方式完成对数据访问，对子节点记录的访问需经过父节点。层次模型的限制是：任何非根节点的节点有且仅有一个父节点；父子节点只能是1：n关系，不能表示两类实体间的m：n关系。,(2)网状模型利用网状结构来表示实体与实体之间联系的数据模型称为网状模型，其节点为记录型，用于表示某类实体。允许节点有多个父节点，比层次模型更通用。基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录的访问，但由于节点可有多个父节点，对网状数据库中某节点的访问路径可以有多条。,层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。,(3)关系模型关系模型克服了上述两种模型的缺陷，利用二维表来表示实体及实体之间的关系，每张二维表又称为一个关系。二维表每一列代表实体以及实体之间关系的某种属性。属性名的集合如C1，C2，Cn表示某种记录类型。每一列除了具有属性名外，还具有类型特征，该特征决定了属性的取值范围，称为域。这种表可直接描述两个实体类型间的m：n关系。,关系模型可通过关系代数严格定义。一张二维表可定义为一组域的笛卡儿积的子积。域D1，D2，Dn的笛卡儿积定义为：D1D2Dn=(C1，C2，Cn)|CiDi，i=1，2，n关系R可表示为：RD1D2Dn，n为关系的度。一个关系的结构可表示为R：(C1：D1，C2：D2，Cn：Dn)其中Ci(i=1，2，n)为属性名。,RDBMS对数据的各种操作归结为各种集合运算。除了支持传统的集合运算之外，还定义了专门的关系运算，如投影、选择、连接等。它还利用一阶谓词逻辑来判断表中元组是否满足用户定义的条件。用户定义的条件由逻辑运算符(and)、(or)、(not)连接各算术表达式组成。关系代数和一阶谓词演算构成了RDBMS支持的数据库接口语言SQL的基础。,6.3基于内容的检索技术1相关概念,数据库系统中，数据检索是一种频繁使用的任务。多媒体数据库数据量大，数据种类多，给数据检索带来了新的问题。多媒体数据库包含大量的图像、声音、视频等非格式化数据，对它们的查询或检索比较复杂，往往要根据媒体中表达的情节内容进行检索。基于内容的检索(CBR)就是针对多媒体信息检索使用的一种重要技术。,1).基于内容的检索技术的特点,(1)从媒体内容中提取信息线索，直接对媒体进行分析，抽取特征(如基于表达式)。(2)提取特征方法多种多样。如图像特征有形状、颜色、纹理、轮廓等特征。(3)人机交互。人能迅速分辨要查找的信息，但难以记住信息，人工大量查询费时、重复，而这正是计算机的长处，人机交互检索可大大提高多媒体数据检索的效率。,(4)基于内容的检索采用一种近似的匹配技术。检索中，长采用逐步求精的方法，每一层的中间结果是一个集合，不断减少集合的范围，直到定位到查找的目标。一般数据库检索采用格式化信息精确匹配的方法。(5)提取媒体对象内容属性的方式一般有手工方式、自动方式和混合方式。,2).媒体特征,音频常利用的音频特征包括基音，共振峰，线性预测倒谱系数、Mel倒谱系数(基于高斯混合模型的语音识别)等音频低层特征，和声纹、关键词等高层特征。静态图像其底层特征包括颜色，纹理，几何形状，灰度统计特征；高层特征包括人脸部特征，表情特征，物体和景物特征。视频包含的信息最丰富复杂，其底层特征包括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景图等；高层特征包括描述镜头内容的事件等。文本关键词常被选为文本对象的内容属性。图形几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。,2基于内容的检索实现方法,一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容并表达为属性(关键词)集合，再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象，留给用户选择余地小，查询方式和范围有所限制。二是基于信号处理理论，即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性，但全自动地抽取特征和识别时间开销太大，并且过分依赖于领域知识，识别难度大。,图6.6基于内容的检索过程,3图像内容分析及其检索,基于颜色直方图检索基于轮廓的检索基于纹理的检索视频检索,基于颜色直方图检索,若一副图像的颜色有N级，具有每种颜色的像素数为h1，h2，hN，这组像素统计值称为图像的颜色直方图。它反映了图像关于颜色的数量特征，但失去了颜色的位置特性。欧式距离反映两图像颜色的相似性。,利用基于颜色直方图检索，其示例可以由如下方法给出：1）指明颜色的构成；2）指明一副图像，从而也得到它的颜色直方图，然后用该颜色直方图与数据库中的图像颜色直方图进行匹配，最后确定所要找的图像集合；3）指明图像的一块子图，利用这个子图确定相应的颜色直方图，再从数据库中确定具有相似图像颜色特征的目标图像集合。,基于轮廓的检索,基于轮廓的检索使用户通过勾勒图像的大致轮廓，从数据库中检索出轮廓相似的图像。取轮廓线的方法：采用图像自动分割的方法结合识别目标的前景和背景模型来得到比较精确的轮廓。,基于纹理的检索,纹理是通过色彩或明暗度的变化体现出来的图像表面细节，其特征包括粗糙性、方向性、对比度等。统计法：分析木纹、沙地、草坪等细密而规则的对象，并根据像素间灰度的统计特性对纹理规定出特征，以及特征与参数的关系。,结构法：适于布纹图案、砖墙表面等排列规则对象的纹理，可根据纹理基元及其排列规则描述纹理的结构和特征，以及特征与参数的关系。,视频检索,视频数据是连续的图像序列。一个故事的视频序列主要由镜头组成，每个镜头的内容发生在一个场景中，一