多媒体技术课件----第8章.ppt

第八章多媒体系统的数据模型 多媒体系统数据模型概述超文本系统的形式化模型信息元模型表现与同步模型 8 1多媒体系统数据模型概述 数据模型就是在计算机数据世界中建立的计算机能接受的对现实世界中所要研究对象的抽象描述 多媒体系统的数据模型的主要任务 表示各种不同媒体数据构造及其属性特征 指出不同媒体数据之间的相互关系 多媒体数据时空关系的建模是多媒体系统研究的重要特色 这种时空关系主要由多媒体系统表现模型刻划 多媒体系统表现模型 多媒体表现是多媒体数据的合成再现 多媒体合成主要包括空间和时间合成 空间合成是同一表现空间域中共存的一系列媒体对象之间的空间特性 位置关系的描述 时间合成是在某一时间域内并发 包括顺序和并行 表现的一系列媒体对象之间的时序关系的描述 多媒体同步是指采用进程来协调时序关系的机制 亦即实现时间合成方法的描述 多媒体系统数据模型的层次结构 内容 表现 表现模型从 表现 入手 根据多媒体表现强烈的时空特性 往往以时间为线索来组织安排多媒体活动 同步指对多个对象间的时间关系的协调控制 同步模型是以时间为线索来组织多媒体表现 同步也是有层次的 一般分为用户级同步 复合对象内部的同步及系统同步 8 2超文本系统的形式化模型 形式化描述就是用数学概念或类数学概念来精确定义和描述信息系统的基本特性的一种方法 优点 精确定义和描述 便于模型性质的分析 有利于研究新模型 指导系统实现 形式化语言或工具 如Petri网 时序逻辑语言 和Z语言 形式化语言既是正规性语言又是描述性语言 在软件的系统建模 概念设计中起着重要作用 集合论和一阶逻辑 定义1序偶 这里S是一个集合 R是从S到S一种关系 如果满足下列条件称它为偏序集 1 R是不对称的 2 R是自反的 3 R是传递的 定义2集合S一个对象x是偏序R的最小元素 如果 s S R s x s x 定义3偏序集中 集合S的元素X覆盖S的元素Y X 可记为covers X Y 满足 R Y X Z S R Y Z R Z X Z X Z Y 定义4偏序集中 S中对象的高度是一个从S到自然数集合的函数 其定义为 1 如果X是最小元素 则height X 1 2 如果covers X Y 则height X height Y 1 定义5一个超文本 是这样一个集合 它包括 1 域对象集D0和信息对象集I0 且有D0 I0 D0 I0 O其中 为空集 O是对象集 2 谓词集合 3 属性 性质 集合A 对超文本 D0 表示 的域对象集 I0 表示 的信息对象集 A 表示 中的属性集 表示 中的谓词集合 定义6谓词集合 由以下3个子集组成 1 1 一元谓词 表示对象的特征 SET X 2 2 二元谓词 表示对象的关系 P X1 X2 3 3 三元谓词 表示对象的某种属性的取值 ATR X Y Z 定义7D0是一个表示 的域对象的独有符号的集合 I0是表示信息对象符号的集合 集合O D0 I0被称为对象集合 信息对象 I0 与域对象 D0 的关系可以通过函数INSTANCEOF和INSTANCES来建立 INSTANCEOF X Y表示X是一个信息对象 它是域对象Y的一个实例 INSTANCES X X1 X2 则等价于INSTANCEOF X1 X INSTANCEOF X2 X 定义8超文本 是一个强定义的超文本 当且仅当 X X I0 Y INSTANCEOF X Y 所有的信息对象都通过它们的域对象定义 信息结点的信息内容由对象的INFO属性表示 INFO是一个二元组 Position Value 其中Position指明在信息对象中Value的位置 定义9序列对象Oq是有限个对象的集合 且有 1 谓词SEQUENCE X SEQUENCE X X Oq 2 函数LENGTHLENGTH X X中所含对象的个数 3 函数LISTLIST X X中对象的一个有序排列 用 X1 X2 表示 4 谓词in当对象X是序列Y的一个元素时 in X Y 或 XinY 为真 如果X不是Y的一个元素 即X不在Y中 则in X Y 为假 定义10聚集对象Oaggregate是一个序列对象 且须满足下述公理 1 聚集对象具有唯一的成分 X Y AGGREGATE X AGGREGATE Y LIST X LIST Y X Y 2 若一聚集对象是域对象 该对象所有成分必是域对象 X AGGREGATE X X D0 Y YinLIST X Y D0 3 聚集对象的实例由其成分对象的实例构成 X Y AGGREGATE X X INSTANCES Y AGGREGATE Y Y D0 Z ZinLIST X ZinLIST Y T TinLIST Y Z INSTANCES T 定义11归纳定义为对象集合O中的一种关系 若GENERALIZATION X Y 则称X是Y的归纳 归纳满足下述公理 1 关系GENERALIZATION是不对称的 非自反的和传递的 2 如果X是一信息对象 它是域对象Y的实例 则Y是X的归纳 INSTANCEOF X Y GENERALIZATION Y X 3 如果X是Y的归纳 并且Y是一个域对象 则X必是域对象 X Y GENERALIZATION X Y Y D0 X D0 4 如果Y是X的归纳 并且X是一个信息对象 Y是一个域对象 则X在Y的实例集中 X Y GENERALIZATION Y X X I0 Y D0 X INSTANCES Y 引理1如果X是Y的归纳并且Ym在Y的实例集中 则Ym在X的实例集中 引理2定义关系GENERAL X Y X Y GENERALIZATION Y X 序偶是一个偏序集 定义12一个对象X O的归纳级定义为在偏序集中对象的高度 8 3信息元模型 信息元模型考虑的是信息元构造模型 目的是提供一个标准 使 信息元 公共化 通用化 成为上层各类多媒体应用 或模型 都可 调用 的东西 这将会大大方便多媒体数据与信息之间的交互和通信 多媒体信息元是具有一定语义的组成信息系统应用的信息子块多媒体信息元是一个或多个媒体数据元经过一定的添加与包装而合成的超数据元 多媒体信息元3个基本特性 1 数据元本身的组织附加其表现属性 基本对象的内容与表现 单媒体对象的表现 2 多个数据元的时空同步关系描述 复合对象的同步 多媒体的同步 3 成分之间的链接描述 基本的链接功能 信息元的大小就是上述3项内容之和 信息元的合成主要指多个数据元之间的时空合成 亦即时空关系的描述 面向对象一些特点 如封装 继承 聚合等 恰好适合于为复杂多媒体数据和信息提供强有力的抽象机制 多媒体信息元模型更是利用了面向对象的方法 MHEG标准 由ISO IECJTC1 SC29 WG12专家组 MHEG 来制定超文本信息元标准 主要集中在以下几个方面 交互性和多媒体同步 实时表示 实时交换 对象格式变换 分两个部分来完成标准化工作 第一部分是概念 原理性定义 第二部分主要是超媒体信息对象及MHEG链的表示 采用面向对象的方法来分析设计模型 MH对象的分类 输出内容 OutputContent 对象一般输入 GenericInput 对象 1 按钮 Button 2 菜单选择 Menuselection 3 多项选择 Multipleselection 4 字符串 Characterstring 5 位置 Location 6 数值 Numbericalvalue 投射器 Projector 对象基本 Basic 对象合成 Composite 对象条件与动作 MHEG的同步机制 1 脚本同步 2 条件同步 3 空间 时间同步 4 系统同步 8 4表现与同步模型 表现是把各种媒体信息展示给用户的活动 是多媒体数据的合成再现 多媒体表现因多种媒体并存而成为复杂活动 以时间顺序和空间关系来安排多种媒体的合成表现 即是多媒体同步问题 空间合成确定各种媒体在画面空间上位置变换和安排 时间合成确定媒体对象在时间上的顺序 时空合成的概念描述 定义1角色是多媒体表现环境中的资源 它分为视角色和听角色 视角色对应一块显示区域 窗口 听角色对应扬声器或声卡 声音通道 定义2场景是各种媒体对象占用角色活动的多媒体空间表现环境 定义3场景运算是对角色施加的操作 它分为一元运算和二元运算 场景运算 定义4场景表达式由角色经场景运算而产生的结果 它可递归定义为 1 角色本身是场景表达式 2 若Q为场景表达式 则Q一元运算结果为场景表达式 3 若Q1和Q2为场景表达式 则Q1和Q2二元运算结果为场景表达式 4 若Q为场景表达式 则 Q 也是场景表达式 5 场景运算优先级由高到低为 一元运算 二元运算 6 场景表达式经 1 5 确定的规则复合而成 定义5情节表示多媒体表现环境中所发生的事件 即媒体对象的活动 情节可分为原子情节和复合情节 原子情节是由一个媒体对象连续完成的活动 复合情节是由原子情节或复合情节经情节运算构造而成 定义6设X1 X2为多媒体表现中的2个情节 情节运算定义为 1 并发运算X1 X2 X1 X2X1 X2同时开始执行 都完成时X1 X2完成 称最后并行 X1或X2有一个完成时X1 X2完成 称首先并行 2 顺序运算X1 X2先执行情节X1 再执行情节X2 X2完成时X1 X2完成 3 循环运算X m循环m m 1 次执行情节X X每次执行有不同对象参与 4 重复运算X m重复m m 1 次执行情节X X每次执行都同一对象参与 定义7情节表达式定义为 1 情节本身是情节表达式 2 若X为情节表达式 则X m X m也是情节表达式 3 若X1和X2为情节表达式 则X1 X2 X1 X2和X1 X2运算结果也为情节表达式 4 若X为情节表达式 则 X 也是情节表达式 5 情节运算优先级为 优先级高 其余运算优先级相同 6 情节表达式所有形式可经 1 5 确定的规则复合而成 定义8多媒体节目脚本是一个情节表达式 时间合成 时间关系一般可用before meets overlap during starts finishes和equals及其逆关系来表示 共有13种 多媒体对象在时间上的并行 顺序 独立关系 在对象时间表现控制上分别对应于并发 串行 异步 任意 执行 同步的层次与类型 用户级同步与脚本模型最上层同步 又称表现级同步或交互同步合成同步中层同步系统同步底层同步 是媒体内部同步 时间同步模型的功能需求 表达能力对象间的同步 对象内的同步用户交互 不确定性不确定性管理 高级交互功能 倒带 快进 规约生成支持规约可维护性 规约重用性 不一致性检测其中有些特点是模型必须支持的 如对象间同步 有些特点 模型尽量予以支持 如不一致性检测 目前所提出的同步模型主要有4大类 图模型 基于Petri网的模型 面向对象的模型 基于语言的模型 图模型 图模型把时序场景表示为一个图G V E 其中结点n V表示合成场景的对象 事件 边e E表示时序场景构件之间的相互关系 以Firefly模型为例介绍图模型 使用记号如下 方结点表示多媒体对象的开始和结束时间 圆结点表示对象内的同步点 它们被放置于对应对象的开始和结束事件之间 边表示事件之间的时间关系 每个边标记上它所连接的事件之间关系 例如标记为 同时 sim with 或先于10秒 before10s Firefly模型支持两种约束 时间等式 它要求两个事件同时发生 如sim with 或一个事件超前于另一事件确定时间量t 如beforet 时间不等式 它支持不确定性的表达 例如一个事件超前于另一个至少某个确定时间t 如beforeatleastt 或至少时间t至多时间s beforeatleasttandnomorethans start start end end start start end end start start end end sim with Music Start Logo start sim with sim with Car Text beforet1 sim with sim with sim with sim with Music end Logo end Petri网模型 时间Petri网描述多媒体同步基本思路 将时序场景中媒体对象的布局表示为Petri网中的库所 时间关系表示为变迁 对象合成Petri网 OCPN 模型为例介绍基于Petri网的多媒体同步形式描述模型 OCPN模型是在常规Petri网基础上增加了延时值和资源值等扩充而成的 定义1Petri网 PN 记为CPN T P F 其中T t1 t2 tn 表示变迁的集合 n 0 P P1 P2 Pm 表示库所集合 m 0且P T F T P P T 代表库所与变迁之间有向弧的集合 定义2标记Petri网 MPN 定义为CMPN T P F M 其中T P F的定义同PN中的定义 而M P I I 0 1 2 定义3OCPN的定义为COCPN T P F D Re M 其中T P F M的定义同MPN定义 而D P R 实数集 Re P r1 r2 rk D是从库所集合到实数 持续时间 的映射 Re是从库所集合到资源集合的映射 Car Delay Text T1 R1 Tc Rc T2 R2 面向对象的模型 时序场景被建模成相互联系的对象集合 同步多媒体对象时间信息通过对象属性的方式来建模 合成对象是建模时序场景强有力工具 可把时序场景建模成一个合成对象 其中每个组元是合成场景的对象 建模以及合成场景的对象的属性和方法一般用来表达同步需求 ODA是由ISO ITU ECMA联合开发的标准化文档结构 用于管理开放分布式办公文档 ODA基本版本不能处理音视频类数据类型 考虑的文档仅由文本 图形和图象组成 有人提出了对ODA结构的扩充 加强ODA框架处理时间信息的能力 Hoepner在ODA框架内提出多媒体对象同步通用模型 每个时序场景可建模成情节的集合 情节在某些给定的对应于特殊事件的时间点进行合成 合成在该模型中仅能出现在每个情节的开始和结束点 同步需求通过路径表达式来进行描述 路径表达式由路径算子组合原子情节而形成 Hoepner定义的路径算子如下 1 最后并行 A B 情节A和B起始于一个公共起点 并行执行 当所有参与情节 A和B 都结束时 合成情节才结束 2 首先并行 A B 情节A和B起始于一个公共起点 并行执行 当其中某一情节首先结束时 合成情节即结束 3 串行 A B 只有A先执行完后才有可能执行B 4 可选的 A B 执行A或B都是允许的 5 重复 Ai 情节A将重复i次 6 并发 N A 情节A将被许可同时并发执行N次 例如 算子路径PathA B C D E F end含义是 A开始启动 A刚结束 4个情节B C D E同时启动 在B C结束或D E结束时 F开始执行 0次或多次 基于语言的模型 利用同步原语扩展传统的并发程序设计语言建模多媒体同步需求 基于LOTOS Hytime和TCSP等语言的模型 TCSP是CSP语言的时间扩充 TCSP作为一种描述语言 它使用了下述记号 SKIP 进程 不做任何事情