（管理科学与工程专业论文）基于内容多媒体数据库引擎及其体系结构研究.pdf

国防科。学技术人学研究生院学何论文 摘要 近几年来，由于多媒体技术和网络技术的飞速发展，多媒体数据已成为用户所需信息资源 的重要组成部分。同传统数据库管理系统支持的简单数据类型相比较，多媒体数据具有信息 关联度大、数据结构复杂、数据量巨大、媒体处理要求高等特点。此外，在实际应用中，用 户希望数据库管理系统不仅能够对多媒体数据实施有效的管理，如存储、海量索引，还希望 能够对多媒体数据的内容进行自动或半自动化处理，如结构化分析、内容分析、语义分析、 摘要生成等等，帮助用户快速获取相关信息。因此，如何扩充现有的数据库管理系统，使它 在不损失原有性能的基础上，能管理大量的多媒体信息，从而为用户开发多媒体应用提供了 良好的数据库支持，已成为信息时代人们迫切需要解决的问题。 本文通过分析多媒体数据序管理系统的特点，并结合系统的文际需要，针对基于内容多 媒体数据库管理系统，提出了一种新的构建方法：“基于内容多媒体数据库引擎一对蒙天系数 据库管理系统( o r d b m s ) = 基于内容多媒体数据库管理系统”。经过实验验证，证明浚方法能 够对多媒体数据进行有效的管理。 本文的主要工作在于： 1 提出并研究了基于内容多媒体数据库引擎的体系结构。研究了基于内容多媒体数据崩! 引擎与数据库管理系统的结合力式以及o r d b m s 中为基于内容多媒体数据库引擎提供的 各种技术支持，例如：数据类型扩氍、继承、规则和大对象。 2 研究了基于内容多媒体数据库引擎中的关键模块- - d a t a t o o l ，并以o r a c l e 数据库为犟 础设计和实现了d a t a t o o l 模块。 3 设计禾j 实现了基丁内容多媒体数据库引擎。通过实骑验，证明新的构建方法能够别 多媒体数据进行有效的管理。 关键词：多媒体数据库系统基于内容多媒体数据库系统( c d b ) 基于内容多媒体数据库0 擎对象关系数据库管理系统( 0 r d b m s ) d a t a t o o l 模块 锄1 - 国防科学技术火学研究生院学何论文 a b s t r a c t w i t hg r e a td e v e l o p m e n to f m u l t i m e d i at e c h n o l o g yi nr e c e n ty e a r s ，m u l t i m e d i ad a t ab e c o m e sa v e r yi m p o r t a n tp a r to fu s e r si n f o r m a t i o nr e s o u r c e s c o m p a r e dw k ht h et r a d i t i o n a lr e l a t i o n a l d a t a b a s em a n a g e m e n ts y s t e m ，w h i c hs u p p o r t ss i m p l ed a t at y p e ，m u l t i m e d i ad a t a b a s eh a st h e c h a r a c t e r so fc l o s ei n f o r m a t i o nr e l a t i o n s h i p ，c o m p l e xd a t at y p e ，g r e a tc a p a c i t yo fd a t aa m o u n t h i 曲l ye f f i c i e n t l yp r o c e s s i n ga b i l i t y , e t c w h a l sm o r e ，i na p p l i c a t i o n ，u s e r sh o p ed a t a b a s e m a n a g e m e n ts y s t e mc a nn o to n l ym a n a g ed a t ae f f i c i e n t l y , s u c ha ss t o r i n g i n d e x i n go fg r e a tc a p a c i t y b u ta l s oh a v et h ea b i l i t yt op r o c e s sm u l t i m e d i ac o n t e n ta u t o m a t i co rs e m i a u t o m a t i c ，s u c ha s s t r n c t u r i z i n ga n a l y s i s ，c o n t e n ta n a l ) s i s s y n t a xa n a l y s i s ，a b s t j a c tg e n e r a t i n g e t c ，t oh e l pa s e i st o c a p t u r et h er e l a t e di n f o r m a t i o nq u i c k l y s oh o wt od e v e l o pt h ee x i s t i n gd a t a b a s em a d l a g e m e n i s y s t e m ，t om a k ei tr e s t o r em o r em u l t i m e d i ai n f o r m a t i o no i lt h eb a s eo fi n h e r i t i n gt h ee x i s t i n g f u n c t i o a s ，a n dt os u p p o ad a t a b a s em a n a g e m e n ts y s t e mf o ru s e r st od e e l o pm u l t i m e d i aa p p l i c a t i o n h a v eb e e ni ni n s t a n tn e e di nt h ee r ao f i n f o r m a t i o n i nt h i st h e s i s ，a f t e rs t u d i e dm a n ) k i n d so fm u l t i m e d i ad a t a b a s em a n a g e m e n ts y s t e m s m a dt a k e t h ep r a c t i c ed e m a n d si n t oc o n s i d e rx v e p r o p o s ean e wm e t h o do f c o n t e n t - b a s e dn m l t i m e d i a d a t a b a s ee n g i n e + o b j e c t r e l a t i o n a ld a t a b a s e m a n a g e n r e n ts y s t e m t oc o n s t r u c tc o n t e n t b a s e d m u l t i m e d i ad a t a b a s em a n a g e m e n ts js t e m t h r o u g he x p e r i m e n t st e s t i f 3i n g i ti sp r o v e dt h a it h e m e t h o dw ep r o p o s e dc a i lb ec o m p e t e n tf o rt h em a n a g e m e n tt a s ko ft h ec o n t e n t - b a s e dm u l t i m e d i a d a t a b a s e t h em a i nw o r ko f t h i st h e s i sc o n s i s t s ： 1 b r i n gf o r w a r dt h ea r c h i t e c t u r eo fc o n t e n t b a s e dn m l t i m e d i ad a t a b a s ee n g i n e s t u d i e dt h e c o m b i n a t i o nm e t h o d so fc o n t e n t b a s e dm u l t i m e d i ad a t a b a s e e n g i n e a n dd a t a b a s e m a n a g e m e n ts y s t e m a n dt h e 、u r i o u ss u p p o r t i n g t c c h n o l 0 9 3 f o rc o n t e n t b a s e dm u l t i m e d i a d a t a b a s e e n g i n ei no b j e c t r e l a t i o n a ld a t a b a s em a n a g e m e n ts j j s t e m s u c ha sd a t at y p e e x t e n d i n g ，i n h e r i t i n g ，r u l e b i go b j e c t 2 s t u d i e dt h ek e ym o d u l eo fc o n t e n t - b a s e dm u l t i m e d i ad a t a b a s ee n g i n e d a t a t o o lm o d u l e t h e nd e s i g na n dc o m p l e t ed a t a t o o lm o d u l eo nt h eb a s eo fo r a c l ed a t a b a s e 3 d e s i g na n di m p l e m e n t c o n t e n t b a s e dm u l t i m e d i ad a t a b a s e e n g i n e a n dt h r o u g h e x p e r i m e n t s i t i s p r o v e dt h a t t h em e t h o dw ep r o p o s e dc a nb e c o m p e t e n tf o r t h e m a n a g e m e n tt a s ko f t h ec o n t e n t b a s e dm u l t i m e d i ad a t a b a s e 辩1 v 虬 国防科学技术火。学研究生院学位论文 k e yw o r d s ：m u l t i m e d i ad a t a b a s es y s t e m ，c o n t e n t b a s e dm u l t i m e d i ad a t a b a s es y s t e m ( c d b ) ， c o n t e n t - b a s e dm u l t i m e d i ad a t a b a s ee n g i n e ，o b j e e t - r e l a t i o n a ld a t a b a s e m a n a g e m e n t s y s t e m ( o r d b m s ) ，a n dd a t a t o o lm o d u l e 国防科学技术大学研究生院。学恃论文 第一章绪论 1 1 研究背景 随着计算机以及通信技术的迅速发展，以图像、视频、音频为代表的多媒体信息出现了 信息量急剧增长的趋势。由于多媒体数据具有信息关联度大、数据结构复杂、数据量巨大、 媒体处理要求高等特点，很难直接应用于现有的实际系统中。因此，迫切需要研究不同于传 统数据库的多媒体数据库系统，以支持各类多媒体数据的管理。 多媒体数据库系统并非传统数据库系统对多媒体数据的扩腱，它将多媒体数据作为主要 处理对象，以可视化查询接口的方式支持用户对多媒体数掘的检索，消除了人们在描述多媒 体数据时的障碍。 多媒体数据库管理系统是多媒体数据库的一个重要组成部分。目前大多数的多媒体数扼 库管理系统只是在原有的关系型数据库管理系统基础i ：j i l l 以扩允，使之能够带有多媒体的初 步表现能力，例如显示文档- 1 t 的照片、播放一一段录像等。对丁非格式类媒体( 如图像、视频 等) 多是基于文本进行索引和检索无法真正反映媒体本身的信息线索。随着未来数字化信 息的逐渐增多，势必有大量的多媒体数据将被应用于决策和指挥过程中，例如卫晕图片、各 类新闻、3 s 信息等等。面对这潮水彀的多媒体信息，r 湘的多媒体数据库管理系统已远远不 能满足应用的需求。主要体现在： 缺乏对多媒体数据的内容提取与分析融合的方法，使得决策人对信息应接不暇，j m 其中许多信息不是毫1 i 相干，就是早已过时。这便是“信息过载”现象。 缺乏有效的工具对多媒体数据及其内容进行管理， h j c f ；支持信息内容的查询和检索， 小能满足信息结构化和语义存耿的要求，造成这些信息得小到有效地利用。 针对这些需求，我们有必要对原有数据库管理系统进行扩充，在其上添加多媒体数据管 理层，从而有效管理多媒体数据及其内容，这就是我们所提j 十i 的拱n 勺容多靠某体数据库引擎。 引擎即发动机，它装在各种汽车上汽车就能够启动。| _ i _ | 样埋勾容多媒体数据阼引擎， 装赴任何数据库管理系统中，则该数据库管理系统就具有利多媒体信息的处理与管理、榆索 与查询的能力，如图1 i 所示。凼此，引擎是整个项目研究的黏合剂。 鹅1 血 其他数据 库 兰嫌熊蜇掇瘁瑟统 基于内容多媒体数据库一j i 擎的作用 1 2 国内外研究现状 9 0q 一代，汁算机应用开始步入，l 网络勾f 、的1 蚧段。数j ) w m f i g 符信息爆炸1 t 9 = i l i 设，数 抛刈琢不仅仅“限j 文本数据等 ；_ i 誊j 0 数掘炎j 1 i i i 曩拟迷荆i 豫j + 各种符样的媒体干奠火 ? 扛4 也多媒体数据座管理系统此t 羔渐成为 再跃的j f l l 】。允m 或，建，? 了不少研究州商门系 统。其中只有代表性的有： t1 ) d i s i m a 、它 妇a l b e r t a 又学丌发并提山r 1 、| 4 吲像和卒问的数据校啦危l i 朋钊刈小司的图像? 耋式j 于1 、同的语义，劁像拈j 尘的【1 ：山1 、会影响判j m 刚w 吩， 它j 0 盔1 可j 等。；m ( ) q 【允l l i 州# 。查n u ( 2 ) s m o o 】_ h 4 6 j 。它由趸二三刊k l a g e n f u r t 大学亿息披术。、j j 院 发并提出j 7 个逋 索。_ 摸i u v i d f = 二1 1 j _ 见丈雌释女, i i i 山川讯义炎技讯义炎之n j i 门父系 一3 m u l t i m e d i a d a t a b a s e 。l n i n g m a l e r i a l s 它1 jm a s o u dy a z d a n i 干b ii ? ” 起j 1 发，1 婴川f 视m m 的滓1 ；。吣l j 放。川一lj 以通j h 4 】- w e b 站j l i 水j 刘毙影媒体 数抛怍中的观剀 数拒：m e d i a b a s e m e d i al 】、v ca cu k 。视蛳往存进多媒体数刑哗， 壬二媒f 4 蹲_ 芟州j 平铃ig 乐= 二：一三分青0j 戊多个t 1 儿，m 乃k 个，尊几分n i _ ，个奠；理j 1 4 ，o d y s s e t j s 。一| | i k f 、l 。j 刊女水j j ：i 钾“lqi 。，；景发，j 亡个多j j 1 、 | _ i j 利缘的影媒体数拟一：。训系鳓：一以多媒f 木刈缘】+ f l * 系统【c o s m o s ) 乃! + 国防科学技术大学研究生院学位论文 提供了面向对象查询语言( o o s q l ) 。它的系统结构如图1 2 所示 图1 2o d y s s e u s 体系结构 ( 5 ) u v a 5 0 。它由v i r g i n i a 大学开发，保存着大量的数字化的二维和二维矧像( 例如： x 光或者m r j 图像) 。 ( 6 ) c o m e t 5 1 。它由n o 姐、n w s 、n m o c 、a f w a 、n e s d i s 、n p o e s s 和m s c 资助多所美国人学联合丌发，保存着大量的高维空问图像，当酊 要用于天气 预报。 只有代表性的基于内容多媒体数据库管理系统包括： ( 1 ) o r a d e9 i 3 2 ，3 3 ，3 4 3 5 ，3 6 。它的i n t e r m e d i a 模块辅助o r a c l e9 i 存储、管理和 榆索图像、音频、视频、地理信息等多种媒体数据，并实现j 7 简币的基勺容愉 索通过颜色、纹理、形状和位置来确定两幅图像的十目似度。i n t e r n 1 e d i a 的体 系 构如图卜3 所示。 筑39 国防科学技术大学研究生院学位论文 图l 一3i n t e r m e d i a 体系结构 ( 2 ) i b md b 2u d b ( u n i v e r s a id a t a b a s e ) 。它的c o n t e n tm a n a g e r 模块和e x t e n d e r 模块 辅助i b md b 2u d b 存储、管理和检索各种多媒体资源，并可基j 二不同的查询条 件进行搜索，包括关键字、全文和图像内容。 相对而苦，围内基于内容多蝶钵数据库管理系统还处j 午j j 级阶段，从事基于内容多媒体 数据库引擎这方面研究工作的机构也不多。目前研究较女，的主要自清。# 人学、东& - k 学以及 崮防科技大学等。当前，虽然有不少单位声称已经 发出多媒体数据库系统，例如：东大阿 尔派丌发的多媒体数据库管理系统o p e n b a s e ；武汉华1 一达梦数据库有限公司丌发的分布式 多媒体数掘库管理系统d m 2 ：r i r s r = 发的数字化图书馆竹删系统，”在罐| 勾容方面距离兵 i j 实用，特别是而向一般应用，还有很大荠距。 第4 血 国防科学技术人学研究生院。7 - 忙论文 1 3 本文研究的主要内容与论文结构 1 3 1 本文研究的主要内容 针对多媒体数据库管理系统的发展现状及发展趋势，尽管构造多媒体数据库管理系统的 方法已有不少，但仍然缺乏适合实际应用的基于内容多媒体数据库管理系统。现有的多媒体 数据库管理系统构造方法，普遍不能适应基于内容的需要。 本文的研究主要针对基于内容多媒体数据库管理系统的要求，在研究现有的多媒体数据 库管理系统构造方法的基础上，设计了一种用于构造基于内容多媒体数据库管理系统的方法， 即“基于内容多媒体数据库引擎斗对象一关系数据库管理系统= 基于内容多媒体数据库管理系 统”。经过实验验证，证明该方法能够对多媒体数据进行仃效的管理。本文研究的主要内容包 括： l 、提出和研究了基于内容多媒体数据库引擎的体系结构。研究了基于内容多媒体数抛 库引擎与数据库管理系统的结合方式，以及它的工作原理。 2 、研究了埘象一关系数掘库管理系统为基于内容多媒体数拱： 阼引擎提供的技术支持，例 如：数据类型扩展、继承、规则和大对象。 3 、研究和设计基于内容多媒体数据库引擎中关键模块：d a t a i b o l 的构造。 4 、设计和实现了基于内容多援体数据序引擎。 1 3 2 论文结构 本文包括f 1 章，后续章节是按薏上述研究内容逐展玎的。第：章研究了多媒体数据坪 管理系统，提m 了一种构建多媒体蓑氛嗥管理系统的新心、路罐0 一内容多媒体数据库引擎，、 第三章研究了基于内容多媒体数杯耋引擎，其中包含基勾容多媒体数据库引擎的体系结构、 工作原理、与数掘库管理系统的各乇结合方法，以及对象关系数掘库管理系统为基j 了二l j 容多 媒体数据库，引擎提供的支持。第1 川吾讲究并设计了基于内容多媒体数据库引擎- 巾的关键模块： d a t a t o o l ，实现了基j ：内容多蝶f i 嬲库引擎。第垃审总结和评价了论文的伞部f m ，”刈 未来还要研究的一作进行了展望、 国防科学技术人学研究g i 院学位沦文 第二章多媒体数据库管理系统 近年来，随着多媒体数据的引入，对数据的管理方法又开始酝酿新的变革。我们知道， 传统数据库模型主要针对的是整数、实数、定长字符等规范数据。数据库的设计者必须把真 实世界抽象为规范数据，这要求设计者具有一定的技巧，而且在有些情况下，这项工作会特 别的困难。即使抽象完成了，抽象得到的结果往往会损失部分的原始信息，甚至会出现错误。 当图像、声音、动态视频等多媒体信息引入计算机之后，可以表达的信息范围大大扩展，但 又带来许多新的问题。因为多媒体数据不规则，没有一致的取值范围，没有相同的数据量级， 也没有相似的属性集。在这种情况下，如何用数据库系统来描述这些数据呢? 表格还适用吗? 另一方面，传统数据库可以在用户给出查询条件后迅速地拎索到诈确的信息，但那是钉对使 用字符数值型数掘的。现在，我们面临着这样的问题：如果皋本数据不冉是字符数值型，而 足i 訇像、声音，甚至视频数据，那将怎样进行检索? 如何表达多媒体信息的内容? 该如何组 织这些数据呢? 查询该如何进行呢? 这些都是在多媒体数据库管理系统中不得不考虑的。下 面我们从多媒体数据管理的问题、多媒体数摒库的结构形式、多媒体数据模型、彩媒体数抓 库的体系结构和关键技术这几个方面对多媒体数据库管理系统进行研究，从1 j 找出一条构建 多媒体数据库管理系统的新思路，解决卜而提出的问题。 2 1 多媒体数据管理的问题 在传统的数据库中引入多媒体的数据和操作，是一个撇大的挑战。这0 ；是个j 1 要把多 媒体数据加入到数掘库中就可以完成的问题。传统的宁钓数值型数据虽然可以对很多的信息 进行管理，但由于这一类数据的抽象特性，应用范r 爿毕竟十分有限。为了构造小符合啦 j 需 要的多媒体数据库，必须解决从体系结构到用户接口一系列的问题。多媒体列数据晦设计n 1 影响主要表现在以下几个方面： l 、媒体信息的数据量巨人且媒体之问量的差异也板火。动态陶像信号、每秒u j i 墨数兆j ： 节一段几秒钟的音乐数掘量也有上百k 字节，即使经过压缩旭卜分恒大。而字符数值等数捌 玎能仅有几个字节。只有组织好多媒体数据库中的数据，选择设汁好合适的物j q ! 结构f 【j 逻辑 结构，4 能保证存储空间的充分利嗣和应用的快速存取。 ! 、媒体种类的增多增加了数挺处理的困难。多f 8 i ! 体n 0 数扒类型很多使，：i 者制纠像敬 报它们也各有多种形式，再加上结掏差异大擞据长度玎i 定，这就使得处理这些数掘川 啦，这馊要求多媒体数掘库管理系统能不断扩充新的媒体类型及其相膨的操作刀。法新增i j i j 国防科学技术大学研究生院学化论义 的媒体类型对用户应该是透明的。 3 、媒体的复合、分散、时序性质及其形象化的特点，使得非精确匹配和相似性查询在 多媒体数据库中将占相当大的比重，这也就决定了多媒体数据库不能只通过字符进行查询， 而应是通过媒体的语义进行查询。然而，我们却很难了解并且正确处理许多媒体的语义信息。 这些基于内容的语义在有些媒体中是易于确定的( 如字符、数值等) ，但对另一些媒体却不易 确定，甚至会因为应用的不同和观察者的不同而不同。 4 、对多媒体内容的描述、空问的描述和时间的捕述使得多媒体数据库的用户接口肯定 不能用一个表格来描述，这就要求开发浏览、查找和表现多媒体数据库内容的新方法，使得 用户可以很方便地描述他的查询需求，并得到相应的数据。存很多情况下，面对多媒体数据， 用户有时甚至不知道自己要查找的是什么，不知道如何描述自己的查询。所以，要求多媒体 数据库的用户接口不仅仅是接收用户的描述，而是要协助用户描述出他的想法，找到他所要 的内容，并在用户接r 上表现出来。多媒体数据库的查询结果将小仅仅是传统的表格，叮将 足丰富的多媒体信息的表现，甚至是由计算机组合出来的结果“故事”。 5 、某些多媒体信息处理时间要求高。多媒体信息中的声音和动态图像对时j 可特别敏感。 在使用这些信息时必须保证其时间上的要求，否则将会使这些信息失真甚至变得毫无意义，因 此在多媒体数据库管理系统中必须增加处理长事务的能 。 由此可见，多媒体数据对数据库的影口向涉及数据库的用户接】、数据模型、体系结j | = j 、 数据操纵以及应用等许多方面。 2 2 多媒体数据库的结构形式 1 、联邦型结构 2 ，3 针对各种媒体单独建正数据晖每一种媒体的数据j = 1 部有；。jl 独立的数据库管理系统： 在这种数据库体系结构中，对多媒体数据的管理是分丌进行的，可以利用现有的研究成果随 接进行组装，每一种媒体数据库的设计也不必考虑与其它媒体的匹配和协调。这种多媒体数 据库系统的体系结构如图2 1 所不：但是，由于这种多媒体数据库对多媒体的联合操作实恸、 上是交给用户去完成的，给用广带来灵活性的同时，也为川广增n 1 1 了负担。恢体系结f ! j 对多 种媒体的联合操作、合成处理和概念查询等都比较难于吱现。如果各种媒体数摒库设计时没 有按照标准化的原则进行，它们之削的通信和使用都会，p 问题、 围防科。学技术大学研究生院1 学似论文 图像 数据j 年 视频声音 数撬 库数据眸 图2 1 联邦型多媒体数据库结构 文木 数据眸 2 、集中统。型结构f 2 3 1 只存在一个单一的多媒体数据库和单一的多媒体数掘庠管理系统。各种媒体被统一地建 模，对各种媒体的管理与操纵被集中到一个数据库管理系统之中，各种用户的需求被统一至j 一个多媒体用户接口上，多媒体的套询检索结果可以统地表现。这种多媒体数据库系统的 体系结构如图2 2 所示。山于这种多媒体管理系统是统设计和研制的所以在押论上二能够 充分地做到对多媒体数据进行有效的管理和使用。f 日实际j ：这种多媒体数据库系统是很雄实 现的，目前还没有一个比较恰当而上i 效率很高的方法术管理所有的多媒体数据。 用户 声h 数据 旧像数捌 若蝶体数州 图2 2 集中统一型多媒体数据库 辨8 血 国防科学技术入学研究生院。学何论文 3 、客户n 务型结构f 2 ，3 减少集中统一型多媒体数据库系统复杂性的一个很有效的办法是采用客户朋展务器结构。 各种单媒体数据仍然相对独立，系统将每一种媒体的管理与操纵各用一个服务器来实现，所 有服务器的综合和操纵也用一个服务器完成，与用户的接口采用客户进程实现。客户与服务 器之间通过特定的中件系统连接。使用这种类型的体系结构，设计者可以针对不同的需求采 用不同的服务器、客户进程组合，所以很容易符合应用的需要，对每一种媒体也可以采用与 这种媒体相适合的处理方法。同时，这种体系结构也很容易扩展到网络环境下工作。但采用 这种体系结构必须要对服务器和客户进行仔细的规划和统一的考虑，采用标准化的和开放的 接口界面，否则也会遇到与联邦型相近的问题。 ( 用户l( 用户 】( 用户 ： j 用户接口 i 用户接口 i 用户接口 客户进程l 客户进程 i 客户j 苎程 -_ 多媒体数据库服务器及中件 图像j 视频声音l 文本 服务器k 务器服务器峨务器 向闻闰隔i 图2 - 3 客户服务器体系的多媒体数据库 4 、超媒体型【2 ，3 】 这种多媒体数据库体系结构强溻对数据时空索引的组织，柏：它看术世界卜，i f l - 的i f _ 钟机 ，的信息和其它系统中的信息都虚：掘主接一体，而且能乜也要能够随意扩胜利沩 此， 也就没何必要建立个统的多媒：j 数据库系统，丽足把数卦分散剑网络h 把它舀成为 一一个信息空问，只要设计好访问t 具就能够访问和使嗣这嵝信，味，”外， ：多媒体的数 ：l l ：模 国防科学技术大学研究生院学俯论文 型上，要通过超链建立起各种数据的时空关系，使得访问的不仅仪是抽象的数据形式，而且 还可以去访问形象化的、真实的或虚拟的空间和时间。目前的w w w 已经使我们看到了这种 数据库的雏形。 2 3 多媒体数据模型 数据模型是数据库的描述机制，它从不同的角度和级别描述数据库结构和信息组织方式。 数据库模型由三种基本要素组成：数据对象类型的集合、操作的集合、通用完整性规则的集 合。数据对象类型的集合描述了数据库的构造，如关系数据库的关系和域；操作的集合给出 了对数据库的运算1 奉系，如关系数据库中对关系的查询、修改、定义视图和权限等；通用完 整性规则给出了一般性的语义约束：多媒体数据库的数掘库模型是恨复杂的，不同的媒体仃 不同的要求，小l 司的结构有不同的建模方法。当前的关系模型已经不能有效地描述多媒体之 间的特化( i s a ) 与构成( p a r t o f ) 关系、多媒体的时空特性和动态刻画新的类型。现有 的图像数据库、全文数据库等的建摸方法都是以专有媒体的特性为基本出发点，超媒体数抓 库等又与其具体的信息结构有关。 目前，一般采用以下模型【5 解决多媒体数据的管理问题。 l 、n f = 模型 属性a属性b尾性cg e n e r a 1 带鲒构浆据 图2 - 4n f 。模型 n f ! 数据库模型( 见图2 - 4 1 是在关系模型的基础i ：通过更般的扩展来提高关系数3 1 , t ： 库处理多媒体数掘的能力。主要手段是在关系数据库中引入抽象数据类型，使得用广能句多j 义和表小多媒体信息对象。它打破丁i n f 的限制，解决了多媒体数据的表示和处理问题。虽 然n f 2 数掘库模，型相埘于传统的关系数掘库模型具有描述史复杂信息结构的能力，世在定义 抽象数据类骂9 、反映多媒体数搬各吱分问的时空关系、媒体对象的处理方法以及特殊媒体| _ | f j 基于内容存储与检索等疗皿都存在- 蔓大的困难。 2 、m 列象陵弘 面向列象的方法对蝰n 却容多文体数据库进行建模，对多媒体数据的管理其有显】nj 易见 的好处。封装允汁多媒体类型通迂个公共的界面进fj 二访i j f l j 操纵：继承能句多们效地碱少媒 撕i fj j 国防科学技术_ 人学硎冗生j 筑学位论文 体数据的冗余存储，同时它也是聚集分层和特性传播的基本方i 去；对象类与实例的概念有效 地维护了多媒体数据的语义信息，也为聚集抽象提供了一种可行的方案；复合对象根据复合 引用的语义，对象间的引用只是被引用对象的标志符放在引用对象的属性中，从而实现共享 引用、依赖引用和独立引用，为多媒体数据的关系表示提供了一种很好的机制。 3 、其它模型 ， 其它还包括超媒体数据库模型、文献模型、专有媒体数据库模型、叙事数据库模型等。 超媒体模型采用网状结构，是由节点和链组成的有向图。在多媒体数据库中使用超媒体数据 库模型是为了建立多媒体数据之间的联系，包括时间、空问、位置、内容的关联，支持信息 节点网的开放性，支持对信息结构的建模，支持浏览和搜索等新的操作：文献模型的基本结 构是层次状的，其主结构为树形，这种结构符合一般的文献或文章的组织：专有媒体数据库 ( 如图像数据库、视频数据库、全文数据库等) 针对特定领域的数掘库，根据自己的需要建 立符合自己特性的体系结构和数据；叙事表现模型支持多媒体刈象之间的语义关系、时态戈 系和空间关系的描述，即支持多媒体的表现建模。 2 4 多媒体数据库系统的体系结构和关键技术 2 4 1 多媒体数据库系统的体系结构 根据多媒体数据库系统的基本特征，以及i n t e r n e t 网络i 数据库应用的发展趋势，我们 设计了基于内容多媒体数据库( c d b ) 的框架结构，如图2 - 5 所1 i 。其中包括数掂库服务器、 数据库创建和维护、w e b 服务器、用户存取前端。 i jf j 仃驭前瑞 w e b 服务器 数据库服务嚣数掘库创建和维护 _ - - - - - - - - - - - - - - - - - - - 剖览器- 9卜w eb 服务器卜 1 h t h l d b m s 内幕j ：内容多蝶卜 援引擎一体数捌库0 i 擎 、存储管碑 图2 - 5c d b 基于i n t e r n e t 环境的结构 l 、数引席服务器：由d b m s 内核引擎( 包括事务管理、陶优化、。f 狄复铝辉和常姚数 掘的存储管理等) 、基于内容多媒体数掘库引擎和层次型存储管理j 二系统构成。实用的多媒体 数据怍系统也应其确管理常舰数据的能力。 国防科学技术人学研究生院学仲_ 论文 2 、数据库创建和维护：创建和定义数据库，并对数扼席进行插、删、改等维护t 作。对 于多媒体数据，要经过特征提取处理，特征和原始数据分别插入到数据库中，并针对多维特 征建立索引。 3 、w e b 服务器：提供i n t e r n e t 服务，管理h t m l 构成的信息空间，并提供对数据库的存 取接口。 4 、用户存取前端：在i n t e m e t 网上，最常用的信息访问工具就是浏览器。通过浏览器， 不仅可以访问丰富的w e b 信息，而且通过j a v a 接口、c g i 接口或a p i 接口对数据库进行存 取，获得动态的w e b 数据，扩展可访问的信息源。 2 4 2 多媒体数据库系统的关键技术 多媒体数据库系统要求能够处理包括文本在内的图像、视频、音频等多种媒体信启、，根 据其体系结构图2 5 ，总结出多媒体数据库系统将涉及到以卜关键技术。 1 、特征抽取 特征抽取是多媒体数据库最基础的技术，为基于内容检索提供底层支持。对于图像， 要抽取颜色、纹理、形状等视赏特征：对于视频，抽取代表帧等特征：列j 言频，抽取音调、 响度、亮度、带宽、过零率等特征 2 、图像检索 颜色检索 颜色是基于内容图像检索所采目的主要手段之一。它县有- 定的稳定性，对大小、力们 都不敏感，表现出相当强的鲁棒性，通常h j 颜色直方倒来描述图像的整体特仆，但它不能反 映图像的窄问特性，困此采用颜色对的疗法来膜型化只有- 定刈象位霄和明显对象边界的i 割 像。 纹理检索 纹理是图像中个重要而又难，l 描述的特性，很多图像在局部区域内可能! 王现 不规则 性，而在整体上表现出某种规律性习惯上把图像中这利，j 。j 部玎i 规则而宏观有规律的特。r ：称 之为纹理。纹理特别适合于描述诸如山脉、水纹、树、砖瓦、纤维等图像。纹理作为物体的 一个重要特征，是图像媒体的一条重要信息线索。 3 、视频检索 视频分割 视频分割即将视频分成一段段捡索单元的过程，包括场景分 4 , ：i j , 1 ：1 1 镜头分割。场景分害j l i j 将视频t 一个有意义的故寸；情节作勾 个检索单位向独组钐 柬，镜火分割则将视颁俭索 国防科学技术人学研究生院学位论文 的最小单位镜头检测出来。 关键帧提取和表示 关键帧是用于描述一个镜头的关键图像，它反映镜头的主要内容。在基于内容的视频检 索中，关键帧可以作为静态图像处理，也可用于视频浏览。关键帧的抽取必须在场景变换寸 既不错过镜头，又不错过场景变换，并且能够提供给用户一个镜头内的场景运动。 4 、音频检索 包括基于声学特征( 即音量、基频、亮度、带宽、谐音等) 的检索、基于逻辑特征( 如 语义的描述) 的检索以及基于模板的分类与检索等，要求能够检索出指定的声音，区分出语 音( 包括男声与女声) 、音乐或其它声音。亦可根据音频特征埘音频数据进行分段，以配合视 频检索的进行。 5 、索引机制 对于大型媒体数据，还必须对各种媒体特征和结构建、，高效的索引机制，包括索引的表 达、索引的组织以及索引的提取等：多媒体数据库的索引比字符数据库的索引史加复杂，i r 它所处理的信息均为具有高维特征的媒体，因而更具近似性、无序性、多重性等特点。 2 5 基于内容多媒体数据库引擎 我们已经存多媒体数掘库所涉受到的多媒体数据摸弘多媒体数据摹勾容的检索、多 媒体数据特征提取，大容量多媒体数据的索引技术等力面进行j 7 大量的研究工作，取得了 定的成果。我们将这些研究成果以基于内容多媒体数掘库r j i 擎f 15 1 的形式与数据库管理系统 集成起来，形成基 i 内容多媒体数据审管理系统，为h jj 、j ：发多媒体应用提供，良好的数扒 库支持。 基于内容多媒体数据库引擎是对数据库管理系统功能的扩展，f 的是为各种多媒体i 、j 川j 提供数据库支持，简化多媒体应圈。发的复杂度。因此，琏于内容多媒体数据晖引擎县仃以 f 的特点： l 、与数据库管理系统无缝结合、基于内容多媒体数据库引擎n q 存任对数榭晖h j 采晚址 透明的，片jj o 通过数据库管理系统朗各种接口就可以实现埘视频、图像、声音等多媒佛数州 进行增、删、改、查等操作。多嫫唪数据象其它传统的数值、产符等数抓类型的数据样仃 储在数据库l j t 不仅可以单独进 j 处理，还可以和其它数捌类掣划司使抖j 。 2 、媒f 水类型的l j 扩展性。现实世界中的媒 奉种类多种彭样，符刚t i j 的需求世r 馊j 化。 凼此，多媒体数据库引擎应具有良：j = 的可扩展性，小仪能够支持备种新的彩媒体数州炎删r 的 现，还j 、i 儿仃刊新的媒体处理0 三的呵扩展。一：。 捷i3 叽 国防科学技术人学硼f 宄生院学何论文 3 、支持多媒体数据的基于内容的检索。基于内容多媒体数据库引擎在数据库存储多媒体 数据的同时，能够自动地抽取多媒体数据的各种特征；在进行数据查找时，能通过基于内容 的检索方法获取多媒体的数据。 4 、支持多媒体数据内容特征的索引。对数据的索引技术是数据库管理系统中的一项关键 技术，它是提高数据查询效率的重要因素。对于多媒体数据的基于内容的检索，同样需要对 多媒体数据的各种特征建立索引以提高检索速度，特别是在大容量的多媒体数据库中，索引 技术显得十分重要。多媒体数据的特征是一种多维特征，因此必须采用与传统数据不同的索 引方法。 5 、适于多媒体应用开发的用户接口。基于内容多媒体数据库引擎要想更好地为多媒体应 用提供支持，就必须为应用开发人员提供易于使用的用户接口。这种接口不仅能够处理存储 在数据库中的多媒体数据，而且应能够和数据库中的传统数据处理良好地结合使用。因此， 我们设计的基于内容多媒体数据库引擎，向用户提供扩充的s q i 。接口。 2 6 本章小结 本章对多媒体数据管理的问题、多媒体数据库的结构形式、多媒体数据模型、基于内容 多媒体数据库体系结构及其关键技术进行了初步研究，提出了一种构建多媒体数据库管理系 统新思路一基于内容多媒体数据晖引擎。接下来将在后续章节详细介绍基于内容多媒体数据 库引擎的体系结构、工作原理、与数据库管理系统的各种结合方法，以及对象一关系数j l jj 4 二 管理系统为基r 内容多媒体数据唪引擎提供的支持。 国防科学技术大学研究生院学何论文 第三章基于内容多媒体数据库引擎的研究 3 1 基于内容多媒体数据库引擎的体系结构 多年以来，数据库管理系统的研究重点主要集中在对简单字母数字信息如何快速访问和 操作上。这主要和当时的商业需求及受限的计算机硬件支持相关，使得复杂数据( 例如：图 像、视频和音频) 的处理无法进行。近年来，硬件支持不断提高、由独立软件开发商( i s v ) 提供的扩展数据库管理功能的成熟技术( 例如：人脸识别、视频摘要等) 不断涌现，现扫：的 问题是需要一种方法将这些i s v 提供的技术与现有的数掘库管理系统进行无缝和有效集成， 并且1 i 损害原有模型的性能。在这样的前提下，我们提出用基于内容多媒体数据库引擎的方 式来扩展数据库管理系统，使原有数据库能较好的支持各种多媒体应用，这也是现阶段实现 多媒体数据库管理系统的一条j j 丁行而实用的途径。 基于内容多媒体数据库引擎的体系结构如图3 1 所示。我们希望借助基于内容多媒体数 据库引擎能解决下面的问题：( 1 ) 采用流行语言和工具编写的应用程序可以非常容易地北享 数据库中的数掘和对象；( 2 ) 采用原有数据库的管理技术，可以容易地管理数据库中的多媒 体数据，并且可以在支持几千个用p 的服务器上提供【内容和数掂。在十血预研项闩中，我们 将独市软件开发商提供的技术称为d a t a t o o l 。将基于内容多媒体数据库引擎和d a t a t o o l 结合 在一起就可以解决上面提出的问题：d a t a t o o l 是+ 些很容易插入到基于内容多媒体数据库引 擎中的软件模块。通常，我们为普通的工具添加特殊配什就可以完成不同的工作。与之相似， 在摹r 内容多媒体数据库引擎中捶1 ：同的d a t a t o o l 模块，就可以对基于内容多媒体数据坪 引擎进行扩展，管理新的数抓类型r 列如：视频数据、音频数据和：维地形数掘等) 。这样味 有数据库就可以有效地存储，检索更新和操作任何类型的数据，i 司时也简化了多媒体应j j 程j 芋的编写。最重要的是，对于新的应用需求，d a t a t o o l 模块技术为定制满足j j 1 需求的数 掘庠提供了灵活性。 圜防利学技术人学研究生院1 学位论文 墩甄亭垂j 至素豌 图3 - 1 基于内容多媒体数据库引擎的体系结构 3 2 基于内容多媒体数据库引擎的工作原理 基于内容多媒体数据库引擎将把对多媒体数据的处理能力紧密地嵌入到数掘席管型系统 中。通常，新的多媒体数据类型被定义为个或多个用户定义类型( u d t ：u s e ld e f i n et y p e ) ， 这样建立的数据库表q 1 的