（系统分析与集成专业论文）面向宽带网络应用的多媒体文档建模及其实现.pdf

学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经 发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在 文中作了明确说明并表示谢意。 作者签名：j 她口期：! 到 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权保 留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权 将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有 权将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要 汇编出版。保密的学位论文在解密后适用本规定。 一虢盛蛹瓤翮躲终穗 日期日期迦堡1 9 型 华东师范大学 计算机系 硕士学位论文 摘要 随着信息技术的发展、网络带宽的不断增加，基于宽带网络的各种应用中包 含越来越多的语音、图像、视频等多媒体数据。从而，为用户提供方便存取、易 于操作、灵活性强的网络多媒体数据已成为迫切需要解决的重大问题。 目前常用的多媒体文档模型具有明显的缺点：只能支持简单的多种媒体数据 组织，不能充分显示多媒体数据的特点和优势，不利于多媒体数据的进一步应用 和推广；只能支持多媒体数据最基本时空需求，难以满足逐渐发展的高级需求。 随着多媒体文档在宽带网络中应用的日益广泛，数据模型的不完备性很大程度限 制和阻碍了应用的发展。 据此背景，作者通过研究现有模型的优缺点结合用户需求，提出一个更完善 的多媒体文档模型m d m ，并设计和基本实现其原型系统。 论文结构如下： 作者首先研究用户对多媒体文档的主要需求及多媒体文档的特点，分析现有 多媒体文档模型的优缺点，提出面向宽带网络应用的多媒体文档模型m d m ，分 析其可行性、完备性和优越性。m d m 模型为层次结构，由内容层、逻辑层、表 现层和语义层组成，具有良好的可扩展性。该模型具有以下特点：比现有模型更 好的支持用户需求，尤其对文档片断的重用需求、文档结构的重用需求以及对文 档适应性渲染需求。然后分析了m d m 模型关键实现技术，并设计实现了基于 m d m 模型的原型系统，从而验证该模型的可行性，正确性。 作者的主要贡献是： 1 针对目前多媒体文档缺乏对语义关系的描述，提出了多媒体文档定义 的改进思路。 2 比较现有多媒体文档模型的优缺点，结合用户需求和多媒体文档特点 提出多媒体文档模型( m d m ) ，给出形式化描述及其基本操作描述， 并分析了该模型的特点。 3基于提出的m d m 模型，分析了其关键实现技术，实现了“基于m - d m 模型的网络多媒体信息管理系统原型”。该原型系统应用于上海市重大 科技攻关项目“网络多媒体信息管理平台”，从而验证该模型的可行性， 正确一性。 华东师范大学计算机系 硕士学位论文 a b s t r a c t n o w a d a y sw i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n dt h e g r o w t ho fn e t w o r kb a n d w i d t h ，a p p l i c a t i o nf o rb r o a d b a n dc o n t a i n sm o r ea n d m o r em u l t i m e d i ad a t as u c ha sa u d i o ，i m a g e ，v i d e o ，e t e a ni m p o r t a n ti s s u e e m e r g e s t h a tl s ，h o wt op r o v i d em u l t i m e d i ad a t at h a tc a nb ec o n v e n i e n t l y s a v e d l o a d e d ，a n df l e x i b l yo p e r a t e d c u r r e n t l y ，t h ec o m m o nm u l t i m e d i ad o c u m e n tm o d e l sh a v eo b v i o u sd e f e c t s t h e yc a n n o tf u l l ye x p r e s st h e s em e d i ad a t a sf e a t u r e s ，a n dt h u sd e b a s e d t h ep e r f o r m a n c eo fm u l t i m e d i ad a t aa p p l i c a t i o n t h e yo n l yf u l f i l lt h e b a s i c r e q u i r e m e n t s o fm u l t i m e d i a d o c u m e n t s ：t h e y c a n n o t p r o v i d e s u f f i c i e nlm o d e l i n gs u p p o r tf o ra d v a n c e dr e q u r e m e n t s w i t ht h eg r o w i n g a p p l i c a t i o n o fm u l t i m e d i ad o c u m e n t si nn e t w o r k ，t h er e f e r e n c e d d i s a d v a n t a g e sd e p r e s s t h e a p p l i c a t i o n a n d p r o g r e s s o fm u l t i m e d i a d o c u m e n t s t h et h e s i si sb a s e do nt h ea b o v e t h ea u t h o rp r o v i d e sab e t t e r m u l t i m e d i ad o c u m e n tm o d e la n dd e s i g n st h ep r o t o t y p eo ft h em o d e lt h r o u g h t h er e s e a r c ho na d v a n t a g e sa n dd i s a d v a n t a g e so fe x i s t i n gm o d e l sa n d r e q u i r e m e n t sf r o l nu s e r s t h es t r u c t u r eo ft h et h e s l sa sf o l l o w s ： a tf i r s t ，t h ea u t h o rr e s e a r c h so nt h er e q u i r e m e n t sa n dc h a r a c t e r i s t i c s o fm u l t i m e d i ad o c u m e n t ，a n da n a l y z e sa d v a n t a g e sa n dd i s a d v a n t a g e so ft h e e x is t i n gm o d e l s t h e n ，t h ea u t h o rd e s i g n sm d mt h a ti sam u l t i m e d i a d o c u m e n tm o d e lf o rb r o a d b a n da p p l i c a t i o n ，i n t r o d u c i n gi t sf e a s i b i l i t ya n d p u t t i n g f o r w a r di t sf o r m a l s p e c i f i c a t i o n a n d a d v a n t a g e s m d mi s h i e r a r e h i c a lw i t hc o n t e n tl a y e r ，1 0 9 i c a ll a y e r ，r e p r e s e n tl a y e ra n d s e m a n t i c 1 a y e r t h e n ，t h e a u t h o r a n a l y z e s t h ek e y t e c h n o l o g y o f i m p l e m e n t a t i o n ，a n dd e s i g n sap r o t o t y p e ，a n dt h e nc o m p l e t e st h em a i n f u n c t i o n a i t i e s a c c o r d i n gt ot h ep r o t o t y p ew et e s t i f yi t sf e a s i b i l i t y m a t u rit ya n do t h e ra d v a n t a g e so fm d m t h em a i nc o n t r i b u t i o no ft h ist h e s i sc a nb ec o n e h d e da sf o l l o w s 2 1 # 东师范大学 计算机系 硕士学位论文 3 关键词 a m i n ga tt h el a c ko fs e m a n t i cd e s c r i p t i o no fm u l t i m e d i ad o c u m e n t s t h et h e s e sp u t sf o r w a r da ni m p r o v e dw a yt od a f i f i et h e m a c c o r d i n gt ot h er e q u i r e m e n t sa n dc h a r a c t e r i s t i c so fm u l t i m e d i a d o c u m e n t ，c o m p a r i n ga d v a n t a g e sa n dd is a d v a n t a g e so ft h ee x i s t i n g m o d e ls ，t h ea u t h o rd e s i g n sm d mt h a ti sam u i t i m e d i ad o c u m e n t m o d e lf o rb r o a d b a n da p p l i c a t i o n ，a n dp u t sf o r w a r di t sf o r m a l s p e c i f i c a t i o na n db a s i cm a n i p u l a t i o na n df e a t u r e s b a s e do nm d m ，t h ea u t h o ra n a l y z e st h ek e yt e c h n 0 1 0 9 i e so f i m p l e m e n t a t i o na n dc o m p l e t e sj t sp r o t o t y p e t h ep r o t o t y p eis u s e dint h e p r o j e c t o f“n e t w o r km u l t i m e d i ai n f o r m a t i o n m a n a g e m e n tp l a t f o r m ”t e s t i f y i n gi t sf e a s i b i l i t ya n dv a l i d i t y 多媒体文档，宽带网络，多媒体文档模型，m d m ，n f 2 ，m h e g ，w e bs e r v i c e s u d d i ，w s d l ，s o a p ，s m i l k e y w o r d s m u l t i m e d i ad o c u m e n t ，b r o a d b a n d ，m u l t i m e d i ad o c u m e n tm o d e l ，m d m n f 2 ，m h e g ，w e bs e r v i c e s ，u d d i ，w s d t ，s o a p ，s m i l 华东师范大学 计算机系硕士学位论文 第一章绪论 近些年来，宽带网络迅猛发展，给我们的：f 作和生活带来巨大的变化。最能体现宽带网 络优势的是它所能支持的多媒体数据应用。 但是，目前常用的多媒体文档模型只能支持简单的多种媒体数据组织，不利于多媒体数 据的进一步应用。本文重点研究面向宽带网络应用的多媒体文档建模，提出更完善的多媒体 文档模型，并设计和基本实现其原型系统。 本章接下来首先介绍多媒体文档的相关定义，定义的变化反映出其发展方向的变化和关 注重点的深入和按展，其次分析多媒体文档的特点，然后提出目前存在的问题，最后介绍本 文主要研究和l 解决的问题。 1 1 一些基本概念 1 1 1 多媒体文档 对多媒体文档的定义甚多产业界和学术界对于它并没有统一的定义，诸多机构或个人 从不同的角度提出不同定义，而且仍在不断发展中。早期的定义只是把多媒体文档看成由多 个媒体文件( 单元) 简单合成的一个文件。到9 0 年代初，逐渐重视各组成媒体单元之间联 系。如dc a b u l t e n n a n 、( 3 v a nr o s s u m 、r v a i ll i e r e 等人提出的定义：多媒体文档是由许 多共享时间和空间的离散数据成员组成一个协调的整体呈现给用户或读者。( m u l t i m e d i a d o c u m e n t sc o n s i s to fas e to fd i s c r e t ed a t ac o m p o n e n t st h a ta t ej o i n e dt o g e t h e ri nt i m ea n ds p a c e t op r e s e n tau s e r ( o rr e a d e r ) w i t has i n g l ec o o r d i n a t e dw h o l e ) 3 9 0 年代末，多媒体文档的时空关系和交互性已经得到公认，如r h o s c h k a 、sb u g a j 、 db u l t e r m a n 等人给出的定义：多媒体文档将许多独立的多媒体对象合成一个同步多媒体表 现，它描述该表现的时间行为( 关系) 、表现的空间布局、币i 媒体对象被赋予的超链接。 ( m u l t i m e d i ad o c u m e n t si n t e g r a t i n gas e to fi n d e p e n d e n tm u l t i m e d i ao b j e c t si n t oas y n c h r o n i z e d m u l t i m e d i ap r e s e n t a t i o nt h a td e s c r i b et h et e m p o r a lb e h a v i o ro ft h ep r e s e n t a t i o n ，t h el a y o u tf o rt h e p r e s e n t a t i o no nas c r e e n ，a n da s s o c i a t eh y e r l i n k sw i t hm e d i ao b j e c t s ) 3 】 本世纪初，对多媒体文档的定义又更进了一步，如s b o l l 、wk l a s 等人提出的：多媒体 文档是一个媒体元素，它将连续和离散媒体元素成员组成一个逻辑一致的多媒体单元。( a m u l t l m e d ad o c u m e n ti sam e d i ae l e m e n tt h a tf o r m st h ec o m p o s i t i o no fc o n t i n u o u sa n dd i s c r e t e m e d i ae l e n m n t si n t oal o g i c a l l yc o h e r e n tm u l t i m e d i au n i t ) 3 】 进一步考虑到多媒体文档除了时间、空i n i 交互性以外，语义关系也是必不可少的一个 要素。 华东师范大学 计算机系 硕= l 学位论文 这里，我们对多媒体文档定义为：由一个或多个连续和离散媒体元素合成的逻辑一致且 语义明确的多媒体单元。逻辑一致表示内部元素时间空间关系不互相矛盾，语义明确是指多 媒体文档有高层语义层( 文档含义明确) ，这点在后文详细解释。 1 1 2 多媒体文档的特点 早期对多媒体文档的研究，主要集中在对多媒体文档内多媒体源数据的存储方式和显示 方式上，目前都已经有较满意的研究成果。在基本解抉了两个基础问题后，目前的研究焦点 已经深入到对多媒体文档综合模型上。本文将重点讨论有关面向宽带网络应用的多媒体文档 建模问题。在此之前，必须对多媒体文档特点有所了解，即它与普通数据的主要区别。从前 面的定义看出其特点主要体现在以下几个方面：文档带有逻辑结构、文档表达一定的语义、 文档呈现给用户时需要渲染( r e n d e r i n g ) 等。详细解释如下： 逻辑结构：多媒体文档常常由多个媒体数据元素按某种结构组成，其逻辑结构主要指其 组成结构，从数据绷成和现有知识抽象而米，逻辑结构说明数据内各元素的组织结构和逻辑 关系。 语义关系：通过语义关系描述的是数据阃语义关系而非结构关系。语义关系是最近才受 到人们关注的特点。它有勘于准确描述文档表达的真正内容，而不拘泥于结构。 表现结构：指多媒体文档的表现特点，如：多态性、交互性、适应性和与硬件相关性等， 它是多媒体文档的重要特点，也是我们建模关注的重点之一，多媒体文档的渲染特点支持多 媒体文档能够灵活应用于不同软件和硬件环境。 多媒体文档的特点必须得到模型的支持才能体现，目前的多媒体文档模型，往往只是在 原有模拟中加入些对多媒体文档的简单处理，并不是从多媒体文档特点的角度，重新考虑对 它的建模，所以难以支持多媒体文档复杂的逻辑结构、明确语义和渲染等特点，已经不能适 应多媒体文档的应用需求。 1 2 存在的问题 随着i n t e r n e t 的发展和普及，多媒体文档从单机应用迅速发展到网络应用。平面向普通 网络应崩不同，面向宽带网络应削的多媒体文档更多的包含了视频和音频媒体元素，它更关 注和用户的交互以及文档的渲染等。如：远程教学中，图文并茂的多媒体文档可承载各种交 互式教学内容，如上深、答疑、考试甚至实验，使教学过程丰富有趣。远程医疗中，通过多 媒体文档可以实现远程诊断、开方和会诊等，极大方便了患者。 但是在实际应用中，面向宽带刚络应用的多媒体文档受到多方面条f i 邛制，存在许多不 足，在很多场合无法充分满足面向宽带网络应用的这些需求，突出表现在以下几个方面： 华东师范大学 计算机系硕士学位论文 对文档重用性支持不够，造成资源浪费。 对交互性支持不够，使得多媒体文档灵活性较差。 对适应性渲染和对与碗件相关性渲染支持较差，导致多媒体文档的表现有时因此而失 败。 对数据问语义关系的支持不够明确，从而降低多媒体数据信息表达能力。 作者分析以上问题产生的根源是没有完善的面向宽带网络应用的多媒体文档模型支持， 传统的数据模型只是对数据本身的信息内容进行建模，以表达一定的语义，但面向宽带网络 应用的多媒体信息系统不同于一般系统，它还存在特有的交互性、适应性、创作重现性等。 本文主要研究的是多媒体文档的建模，通过建立合理的数据模型，提高在宽带网络环境 中对多媒体数据应用和管理效率。 1 3 本文重点研究和解决的问题 本文关注的是多媒体文档的建模问题。重点研究如何建立一个较完善的面向宽带网络应 用的多媒体文档模型使应用该模型实现的多媒体文档能更合理的组织和表现多媒体数据， 充分实现其多媒体特点。在一定程度上解决基于宽带网络的多媒体数据应用和管理问题。 在本文中，作者首先详细分析用户对多媒体文档的需求，以便有的放矢的解决其目前存 在的问题。随后简单介绍目前存在的多媒体文档模型，并从满足用户需求的角度对它们进行 简单分析。 其次提出多媒体文档模型m d m ，介绍该模型结构、形式化描述和l 基本操作。 分析该模型如伺满足用户的基本需求和高级需求，并将m d m 模型和前面介绍过的儿种 模型做比较分析。 随后介绍m d m 模型的一个原型系统：已经基本完成的“网络多媒体信息管理平台”项 目，及其支撑技术w e bs e r v i c e s 技术和表现语言s m i l 等。 最后总结已经做的研究，并提出下步研究方向。 本文的内容主要包括以下儿个部分： i 分析用户对多媒体文档的需求； 2 研究目前已有多媒体文档模型； 3 提出多媒体文档模型m d m ； 4 从需求角度分析所提出的m d m 模型，并和前面介绍过的模型做比较； 5 介绍m d m 模型实现及其原型系统： 6 总结和展望。 华东师范大学计算机系 硕士学位论文 第二章多媒体文档模型分析 由第一章定义知道，一个多媒体文档是其模型的实例，本文主要研究多媒体文档建模。 本章首先详细分析现阶段用户对多媒体文档的基本和高级需求；其次介绍两种已有的较有代 表性的多媒体文档模型并分析它们的优缺点。 2 1 多媒体文档需求分析 研究多媒体文档模型，首先需要分析用户对多媒体文档的需求，只有在分析清楚需求后 才能有的放矢解决这些需求。下图为参考文献【1 中提出的多媒体文档系统结构图： 图2 1 多媒体文档系统结构图( m u l t i m e d i ad o c u m e n ta r c h i t e c t u r e ) 根据系统结构图和我们的研究，将多媒体文档的需求大致分为两类：基本需求和高级需 求。除了常规的数据需求外，我们把n , t f 司、空间和交互性称为基本需求。 此外的一些应用方面需求，例如重用性和渲染称为高级需求。 重用性是目前倍受关注的需求之一，它可以减少资源重复带来的巨大浪费、降低创建多 媒体文档的代价。我们这里所指的文档重用，是指对那些格式化可处理的文档( f o r m a t t e d p r o c e s s a b l ed o cl l l l l e n t i , 这类文档可以被打印或显示且内容可以被修改) 】1 ，不包括那些本 身集成性高难以处理的多媒体文档，如通过a u t h o r w a r e 、1 ) i r e c t 等建立的多媒体文档，后面 讨论多媒体文档重用性均指格式化可处理的文档。 。al b r m a t t e dd o c u m e n ti n c l u d e st h es p e c i f i cl a y o u ts t r u c t u r e ，a n de v e n t u a l l yt i l eg e n e r i cl a y o u ts t r u c t u r ei tc a l l b ep r i n t e dd i r e c t l yo rd i s p l a y e d ，b u ti tc a n n o tb ec h a n g e da p r o c e s s a b l ed o c u m e n tc o n s i s t so f t h es p e c i f i cl o g i c a l s t r u c t u r e ，e v e n t u a l l yt h eg e n e r i cl o g i c a ls t r u c t u r e ，a n dl a t e ro f t h eg e n e r i cl a y o u ts t r u c t u r et h ed o c u m e n tc a n n o tb e p r i n t e dd i r e c t l yo rd i s p l a y e dc h a a g eo f c o n t e n ti sp o s s i b l ea f o r m a t t e dp r o c e s s a b l ed o c u m e n ti sm i x e df o r mi t c a l lb ep r i n t e do rd i s p l a y e da n dt h ec o n t e n tc a r lb ec h a n g e d 9 华东师范大学计算机系硕士学位论文 支持重用性要求多媒体文档模型具有比普通数据模型更强的信息组织能力。目前多媒体 文档模型对重用性的支持较差，尤其是对部分重用和结构重用。 渲染可以减少同一文档仅仅由于表现不同带来的二次开发，支持渲染要求多媒体文档模 型支持良好的适应性，并能明确表达文档语义，目前的模型对它支持很不理想。 用户对多媒体文档的需求将随着技术的发展而不断变化，目前我们主要分析重用性和渲 染这两种高级需求。 2 1 1 基本需求 2 。1 1 1 时间 一个多媒体文档内，其组成的各媒体元素 体文档内各媒体元素的时间依赖关系。要描述 基本要素。 般都有自己的时间属性，时间关系描述多媒 个多媒体文档，表达清楚其时间关系是一个 通常说的时间主要包括两种：绝对时间和相对时间。绝对时间的描述如：格林威治时间、 北京时间等；相对时间的描述有：基于间隔和基于事件等。下面主要介绍相对时间。 基于间隔的时间模型是基于一根一维的时间轴，以文件表现开始时间为原点，每个媒体 元素有自己的坐标( t ；，t 。) ，t 。为开始时间( 单位秒) ，t 。为结束时间。 基于间隔的时间模型通常包含7 种时间关系b e f o r e 、o v e r l a p 、s t a r t 、e q u a l 、m e e t 、d u r i n g 、 f i n i s h 等，详细含义如图示，实际情况中的时间关系可能要复杂的多，但通常都可由这7 种 关系表示。 驰坤舳 l 皿 b ) ao v a r l a 严b i ；l 0 a 咖，台b 砷a 。掣扫目 e ) a m b 蚰臣乇 肚蛾s 芒马 画蛳鼬8 丑 酗2 2 多媒体文档时间关系 例如，一一个多媒体文档由一段录像和一段音乐组成，那么录像和音乐如何播放，可以根 据二者的时间坐标决定，如果录像坐标( 0 ，1 0 ) 、音乐( 1 0 ，2 0 ) ，即先放录像1 0 秒后停止 录像开始放音乐，时间关系为录像m e e t s 音乐；如果录像和音乐同时橘放，如录像坐标( 0 ， 1 0 ) 、音乐( 0 1 0 ) ，则时间关系为录像e q u a l s 音乐。 兰型堕! ! 堂 生竺垫墨 堡主兰垡堡苎 基于事件的时间模型，顾名思义是通过事件触发，主要定义两个事件：b e g i n 、e n d 。例 如：先放一段录像，结弓| 再放段音乐( 上例中的m e e t 关系) 用基于事件的时间模型表示 为：o nv i d i ae n dd oa u d i ob e g i n 。 虽然采用的时间模型可能不同，但现有模型基本都能够支持多媒体文档的时间需求。 2 1 1 2 空间 当多媒体文档中有可视媒体( 如：录像、图像等。) 时，就要考虑通过空间模型描述其 布局及空间关系，为了简化，在此只讨论二维平面。 例如：空间布局中每个可视媒体元素有一对坐标：左上和右下顶点坐标，坐标值为离原 点2 的距离( 单位可以是象素、磅等) ，每个媒体元素被看作为一个矩形框。 如下图： ( 0 ，0 1l2 3 45x 图2 3 多媒体文档的空问关系 如图示：媒体元素m 1 的空间坐标为( 1 e f t ( 1 ，2 ) r i g h t ( 4 ，4 ) ) ，m 2 ( 1 e f t ( 3 ，3 ) ， r i g h t ( 5 5 ，5 5 ) ) ，l e f t ( ) 和r i g h t ( ) 为m 1 左上和右下顶点坐标。描述媒体元素之间的空 间关系通常分为方向关系和拓扑关系。方向关系比较复杂，如：正北，偏北( 3 0 度) ，在参 考文献 4 】中详细介绍1 6 9 种方向关系。拓扑关系较简单常用，通常有：相离、相交、重叠、 覆盖、被覆盖、包含、内部等，例如例中m l 与m 2 为相交。 空间也有相对和绝对空间，以上讨论的m l 和m 2 坐标参照点都是原点，称为绝对空间 坐标。若采用相对空问坐标，例如：国中m 2 对m 1 的相对坐标为( 1 e f t ( 2 ，1 ) ，r i g h t ( 4 5 ， 35 ) ) 且m 2 覆盖与m i 相交的部分，即m 2 的坐标修改成以m 1 的l e f t ( ) 为原点的相对坐 标，并在与之相交的地方表现m 2 。 2 1 1 。2 交互性 多媒体文档的结构包括文档定义的交互选项，由用户选择不同浏览顺序，交互性为用户 提供更灵活的文档浏览方式。多媒体文档的交互性义分为两类：静态和动态。 2 原点：此处的原点，不是指中点而是饵! 幕左上角的顶点。 华东师范大学计算机系硕士学位论文 静态交互通常指作者或编辑等人在建立多媒体文档时预先定义所有可能选择项目，也称 为导航式交互。如常用的菜单选项、超文本链接、热区等，这种交互方式只是在媒体元素之 间或到指定的目的地址的跳转，仅仅改变浏览顺序，并不真正改变多媒体文档表现形式。 动态交互是可以由用户在表现时动态设置的交互式选项，也称为设计式交互。可以动态 改变空间布局或其他参数，是一种更复杂的交互，往往不仅需要多媒体模型的支持，还需要 表现机制的支持。例如：手动设置视频显示的宽度和调整音量的大小，或者改变文字的字体、 颜色甚至语言等。 上面讨论的三种基本需求，在目前的多媒体文档应用中基本能够得到满足。下面继续讨 论多媒体文档的高级需求。 2 1 2 高级需求 重用性是我们重点关注的高级需求之一一，它可以从颗粒重用和结构重用等角度讨论。颗 粒重用指对文档不同颗粒度的重用，结构重用指将文档的内容和结构分离，仅仅对文档结构 的重用。 渲染，我们从适应性和与硬件相关性两方面分析它，适应性支持根据不同的用户侧面和 上下文表现不同内容。与硬件相关的渲染支持文档在不同硬件上的不同表现形式。 下面详细分析这两种高级需求： 2 1 2 1 重用性 多媒体文档的重用性越来越受剑重视，由于多媒体文档的重用不像普通数据，通过简单 的复制数据难以满足用户需要。用户对多媒体文档的重用是多角度，多颗粒度的。目前，创 建新的多媒体文档希望重用已有的文档或文档片断，代价十分高，甚至不低于重建。在多媒 体文档资源大量增艮和用户的需求急剧增加的同时，重用的难度却没有减少，所以重用性成 为多媒体文档研究的重要方面之一。 如何止用户方便的重刷已有多媒体文档及其内部媒体元素甚至只重用文件结构，成为目 前信息共享研究方面的热点。我们从下面几个角度来分析多媒体文档的重用性问题： 重刚颗粒：重剧颗粒表示重用的范围，无论多媒体文档是采用什么模型建立的，它的重 用大体都可以从重用颗粒角度划分为三层：对整个文档( 整颗粒重用) 、对文档片断( 中颗 粒重用) 和对原子媒体元素( 小颗粒重用) 的重用。举例说明，如下图： 华东师范大学 计算机系 硕士学位论文 音乐象介绍 匡舅要至王 蛩 重用 1文档片断重用 图2 4 多媒体文档重用 如上n 所示，现有多媒体文档某“专辑”，和“照片”文档。用户要制作一个介绍某音 乐家的多媒体文档。希望包含他的照片和代表作歌曲等。图中的虚线框表示要建立的新文档， 实线框表示已有文档。刚户从音乐家“照片”文档中选择图片媒体元素“音乐家照片2 ”( 小 颗粒重用) ，和“专辑”文档的片断“歌曲a ”( 文档片断“歌曲a ”包括歌曲媒体元素、歌 词文本、作词作曲等，属于中颗粒重用) ，再添加一些其他信息，共同组成新的“音乐家介 绍”文档。对重用性支持要求多媒体文档模型支持三种颗粒度的重用。 从另一个角度划分重用类型：分为完全重用、内容重用和结构重用。完全重用指重用的 新文档包含旧文档、文档片断或原子媒体元素的所有特点( 时间、空间、交互性等等) 。结 构重用指将数据和结构分开，仅仅重用文档的组织结构。内容重用则相反，只重用其数据。 随着多媒体文档应用的不断发展，结构重用逐渐成为重用的另一。个热点之一。 现有多媒体文档模型对中颗粒重用和结构重用的支持都不够理想。 2 1 2 2 渲染 渲染指多媒体文档的表现特点，目前主要关注其适应性和与硬件相关性，即通过适应性、 与硬件相关性实现多媒体文档渲染的多样性、灵活性、节约仅仅由于表现不同带来的二次开 发代价。 适应性渲染指文档根据上f 文的不同，以不同内容或形式表现。适应性和交互性的区别 在于：交互是由用户通过交互选项改变显示文件的顺序或形式，由用户自己选择的。而适应 是由作者创建或表现引擎定义系统根据不同上下文显示不同内容或形式，对用户是透明的。 适应性通常根据用户侧面的不同，为不同用户以文档的不同表现形式表现。例如用户登 陆身份为学生时显示文档的学习内容部分，身份为教师显示文档的教学内容部分。 与硬件相关性演染，指在不同硬件上自动转换文档的表现形式。适应性和与硬件相关性 的区别在于，适应性是创建文档时已知可能遇到的不同用户或上下文，静态设定不同表现形 式。与硬件相关性是创建时不知道可能的表现硬件，在具体表现时将文档自动转换表现形式。 华东师范大学计算机系硕士学位论文 由于宽带网络的建设，要求多媒体文档必须能满足不同硬件或网络环境需求，在不同设 备上能表现多媒体文档。基于宽带网络的多媒体文档越来越关注与硬件相关的渲染需求，当 多媒体文档经过宽带网络传输到其他环境或设各表现时，一些矛盾和问题相应产生。因此， 多媒体文档结构应该与具体表现行为分离，实现这一点必须得到数据模型的支持。另一个影 响文档与硬件相关渲染的因素是：文档语义层的高低。语义层如果文档含义明确，而不 是仅仅约束其最终表现，说明该文档的语义层较高，即有清晰的语义。只有语义明确的文档 才能被自动转化成“另一个”文档，二者仅仅表现形式有所不同，数据的含义完全一样，即 原文档表现过程格式被合理抽取并被转换成目标格式。语义层的高低与其数据模型有直接的 关系，希望建立高语义层的文档，只有其模型支持对文档内容详细定义和文档结构详细定义 才可能实现。如果躁文档语义层较低，转换表现格式就需要关于对该多媒体文档的内容和结 构附加知识( 信息) ，而通常这些知识只有作者才知道，转化方并不一定知道，最终导致转 化操作失败或不完全。支持结构和具体表现分离以及支持文档语义明确是多媒体文档模型支 持与硬件相关性渲染的关键。 2 2 现有模型介绍： 从前面的分析得出，多媒体文档模型是支持文档满足用户需求的关键因素，支持用户基 本需求是模型的基础。在对多媒体文档进行了近二十年研究后，目前的多媒体文档模型大都 能支持文档的基本需求，而对于高级需求各模型的支持程度不一，目前还没有能完全支持用 户高级需求的成熟模型。 各个机构提出的多媒体文档模型很多，下面介绍较具代表性的两种：n f 2 模型和m h e g 一对象模型，并分析其优缺点以及对需求的支持晴况。 2 2 1n f 2 数据模型 n f 2 ( n o nf i r s tn o r m a lf o r m 非第一范式，简称n 产) 数据模型 5 】的原理是对关系模型 做扩充，在传统关系模型 2 】中增加一个多媒体属性字段，其属性包括图像、声音、动画和 视频等，这些多媒体文档的原子媒体可以被存放在文件中，而在多媒体属性字段上存放相应 媒体数据的物理地址，通过一张扩展关系型表将各媒体元素组织起来形成多媒体文档。 2 2 1 1 设计思想和关系操作 n f 2 模型的没计思想是将数据分为格式化数据( 如字符串，数值等) 和非格式化数据( 如： 图像，声音，动画和视频等。) ，结合关系数据库和文件系统的功能，实现对多媒体文档的简 单组织。概况的说，即通过关系数据库管理数据，当关系元组中某一数据项所定义的是非格 4 华东师范大学计算机系 硕士学位论文 式化数据，则将其作为数据库中一个指定的文件，在其响应的位置上存放对应的文件名( 包 含网络服务器路径) 。通过这种策略，模型并没有对非格式化数据本身进行直接管理，而只 是借助于数据库系统和文件管理系统相结合的功能对其进行嵌入调用。对于简单的多媒体文 档来说，这种扩充方法简单实用。 对t - i - 格式化数据即多媒体文档的数据元素，n f 2 对传统关系模型进行扩展，扩展方法 通常为以下两种： 对关系的属性类型进行扩展，使其支持多媒体文档。设r 为一关系，a 、b 为其属性值 r ( a ，b ) ，类型扩展后：r ( aa si n t e g e r ，ba sm s ) ，其中m s 为不等长的多媒体串，其值 域为：d o m a i n ( m s ) = f p i c t u r e ，i m a g e ，s o u n d ，v i d e o ，) 对关系模型进行嵌套关系的扩展，将第一范式扩展为n f ) ，扩展关系一属性的组织形式， 使关系可以成为另一个关系的属性。在n f 2 模式中，m 3 = r ( a ，r 1 ) ，其中r i ( c ，r 2 ) 依此类推r 2 ( d r 3 ) ，r n 一1 ( n ，r n ) ，即m = r ( a ，r 1 ( c ，r 2 ( d rr 3 ) ) ) 。 进行了以上两种扩展后， n f 2 数据模型基本能解决多媒体文档内原子媒体元素的存储利对 简单元数据查询问题。 在具体实现时n f 2 的管理结构通常包括四个层次，如下图所示： n f 2 数据库管理系统 图2 5n f 2 的管理结构 用户操作界面完成与用户间信息交流，n f 2 数据库管理系统将格式化数据和非格式化的 网络多媒体文档，通过嵌套结构类型数据分解为若干个关系表格记录，物理组织层完成数据 存储。嵌套关系是n f 2 模型的主要特征 2 1 ，设r 1 和r 2 为两个n f 2 模型的嵌套关系，e 为 关系的基类，经过扩展后的n f 2 模型主要包括以下7 种基本操作运算： 华东师范大学 计算机系硕士学位论文 集合并【li ) v o 条件：e ( r 1 ) e ( r 2 ) 或e ( r 2 ) e ( r 1 ) r ：一r 1 u 。r 2 = t t r lvt r 2 r 的基类为： e ( r ) _ j e ( 尉) 【e ( r 2 ) e ( r 2 ) e ( r 1 ) e ( r 1 ) e ( r 2 ) 集合交( n ，) 条件：e ( r 1 ) e ( r 2 ) 或e ( r 2 ) e ( r 1 ) r ：= r 1 n 。r 2 = t i ( e l l r 1 ) ( 3 t 2 e r 2 ) ( t - t l a t = - t 2 ) r 的基类为： e ( r ) 一e ( 尺1 ) e ( r 2 ) e ( r 1 ) 【e ( 8 2 ；e ( r 1 ) e ( r 2 ) 集合差( ) 条件：e ( r 1 ) e ( r 2 ) 或e ( r 2 ) d s u c c ( n i ) ，且n i + ie d s u c c ( n i ) ，_ - 1 ，j 则n j 为n 1 的后继，记做n i s u c c ( n 1 ) ，且d s u c c ( “】) s u c c ( “1 ) 。 2 9 华东师范大学计算机系硕士学位论文 定义6 ：语义关系 s n ；，n 。，s t ：n ；e n ，语义关系的起点，n 。e n ，语义关系的终点，且n ；n 。，s t s ， 表示语义关系为两个元素的语义关系元素，s t e s t 为语义关系种类。注意：语义关系s 与连 接c 不同，c 是形成文档的逻辑树的边，它连接了不同节点形成逻辑父子关系，而s 只是表 示语义层两元素的语义关系，并不真正将两个元素连接起来。 定义7 ：逻辑树 f l e e ： n e ，c e ，s 【e e ，1 1 b n 。= r n 。u 【。n 。表示树中所有节点集合， c 眦 ( n ；n 。，c t ) in 。，n 。n t 呲，1 1 。n 。，c t c t ) ，树中所有边的集合， s l e 。曼 ( n 。，u 。，s t ) in ；，n 。n 。，t l 。n 。， s t es t ，树中所有语义关系集合， r l b 。n 。，且vn u b 都有n es h c c ( n b o o t ) ，树中唯一的根元素，树中所有其他元 素都是它的后继。 逻辑树的基本约束条件： vi l l , n 2 e n 慨且n 1 n 2 ，若有n 2 s h c c ( n 1 ) ，则n l 仨s u c c ( n 2 ) ，树中无环连接 vc l ，c 2 c 【f e e ，若c 1 ： n s l ，n e l ，c 日，c 2 ： n 。2 ，h e 2 ，c t ，若有n e l = h e 2 则必有n 。产n 。 且c l = c 2 ，即每个节点只能有唯一的父节点。 定义8 ：表现形态的属性 a p ： p ，a ， 若p - t e x t 且pep ，则a _ fs p