内蒙古工业大学 多媒体技术(第12章)课件

1、第十二章 多媒体的应用与发展计算机支持的协同工作系统数字视频服务系统多媒体技术相关的几个研究热点 12.1 计算机支持的协同工作系统 12.1.1 CSCW概念 CSCW最早是在1986年提出的。与CSCW密切相关的一个概念是群件。 CSCW致力于研究协同工作的本质和特征, 探讨如何利用各种计算机技术设计出支持协同工作的信息系统。 Ellis在1991年定义：CSCW是支持有着共同目标或共同任务的群体性活动的计算机系统，并且系统为共享的环境提供接口。 CSCW系统具有以下特点: 协同性 有共同的工作目标即群体工作目标。 群体性 设计人员采用群体工作方式,设计群体有合理组成。 交互性 群接口支持

2、用户与系统的交互 分布性 设计人员分布在不同地点。与CSCW相关的群件定义 为协作群体使用而设计的特殊计算机系统。 群件包括软件、硬件、服务和群体工作过程支持等。 12.1.2 CSCW系统分类 共同任务就是合作者共同完成的任务。 在传统的时间共享系统中, 多用户执行相对独立的任务, 无协作意识, 处于共同任务的低级。远程医疗、电视会议系统等多人合作在实时交互期内协作意识强, 处于共同任务的高级。 共享环境是合作者所处于的某个可共享的环境. 共享环境是从时间和空间角度来考虑。电子邮件系统对环境信息要求低,很少提供环境信息, 处于共享环境的低级;而实时会议系统要模拟传统的会议室,对于会议现场、人

3、员、讨论问题要有清楚及时地提示,处于共享环境高级。 分类原则；群体规模 两人或是多人地理位置 远程或是同地交互形式 同步或是异步CSCW目前活跃的领域:(1) 电子邮件系统 (2) 电子布告栏系统 (3) 群决策支持系统和电子会议室系统 (4) 多用户共同编辑系统 (5) 计算机会议系统 12.1.3 CSCW系统实现理论与方法 群体协作模型 群体成员进行协作共同完成任务的模式。 它涉及群体成员间如何开展协作,在协作时如何进行交互,如何进行操作的协调,如何使协作过程向前推进以及如何结束协作完成协作任务等问题。 典型的协作模型对话模型 会议模型 过程模型 活动模型 分层抽象模型 基于对话模型的系

4、统主要是消息系统,它们支持参与者通过彼此发送的异步的消息来进行协调与合作。在讲话-行为理论基础上, Medina-Mora将两人间的协作抽象为一个动作环, 两人的身份分别为客户和执行者,这个动作环由4个阶段组成。ActionWorkFlow系统即是基于这种模型。 “你能做吗?”“我能做”“多谢！”“做完了”1.客户请求2.执行者同意4.客户表示满意3.执行者完成并汇报会议模型 会议是常见的多人间协作形式。会议是多人聚集在一起,各自发表意见, 听取他人看法,交流协商达成共识。会议有以下作用：(1)参与者通过交流思想,相互学习,吸取经验,促进知识、方法、策略的结合。(2)参与者经过讨论, 纠正错误

5、的看法,消除误解,使各观点融合,得到对某问题的一致认识。(3)参与者对共同事物施以动作,协同完成同一任务。 会议模型特点：协作参与者一般不进行两两间的交互,而是通过共享的信息空间彼此沟通。 共享讨论空间或共享信息协作参与者1协作参与者3协作参与者2协作参与者4过程模型 将协作任务分成相互关联的多个小步骤,通过多个人分别单独地对小步骤的执行共同来完成任务的协作模型成为过程模型。 在这种模型下协作任务完成是由多个人的单独异步的行为彼此相连而形成一个复杂的过程。目前具体的过程模型有OM-1模型、OTM模型等,及基于这些模型的CSCW系统。 这种模型严格定义了协作参与者行为,属高度结构化的协作,适合具

6、有良好规范的设计或办公过程。其缺点是缺乏灵活性,应用有局限性。活动模型 活动模型与过程模型类似, 其中多个人也是通过分工与合作来共同完成协作任务。将协作任务分成一个个目标确定的子任务(活动), 定义这些子任务间关系及子任务的完成者,然后通过各协作参与者分别对相应任务的执行,使整个协作任务得以完成。活动模型主要着眼于在执行任务时参与活动的成员间交换什么信息, 而并不规定子任务完成时所需执行的操作。 分层抽象模型 人与人间协作的层次性 如一门课教学, 协作任务首先要分成多个小的子任务,如各章的教学、实验及测验等, 而完成这些子任务时候,如一堂课教学又需教师讲、学生听及相互讨论等。会议-活动-合作模

7、型 Vin等人将群体协作行为抽象: 会议 是多个人通过各种途径进行时间上连续的一次性同步交互过程。如一堂课的教学、讨论会等,刻画多人间的关系。 活动 是一组语义上相关的同时进行的会议的集合,有时一个会议的进行取决于其它会议的状况。 合作 是一个具有时间顺序的多个活动组成的序列。如一门课的教学就是一个合作。上述模型有效地划分协作层次性,但无法处理由不同的人完成不同子任务的情况。为了描述协同任务中子任务情况, 有人提出了活动-任务-合作抽象模型。活动-任务-合作抽象模型。 最高层抽象为合作 它是多个人为完成独立长期的合作项目而执行的所有行为,具有完全独立性。 第二层抽象为任务 任务为合作的各个阶段

8、所需完成的具有一定目标、语义完整的相对独立的长时间协同行为,它具有相对独立性; 最底层抽象为活动。活动为完成某项具体任务时,单个人或一组人执行的在时间上连贯的一次行为,它强调的是时间连贯性,也是同时性。 这三层抽象将独立的合作看成多个彼此相关的子任务网络,并且将各子任务看成多个活动组成的序列,此模型可以概括人与人之间的协作行为。具体的协作通过以上3层抽象表示后, 其实际的执行过程就是自下而上, 即活动,任务,合作。CSCW系统实现方法 多Agent方法 群接口方法 协作机制与通告机制 通信网络及控制 多Agent方法多Agent方法来源于分布式人工智能的研究。 分布式人工智能的研究一般分为分布

9、式问题求解和多Agent系统两个方面。DPS的研究侧重于如何分解某个特定问题,并分配到一组拥有分布知识并相互连接节点上分别处理；MAS侧重于研究由多个Agent组成的多Agent系统中各Agent行为的协调及它们之间的协同工作。 定义1(弱定义) Agent是具有下列特性的计算机软硬件系统：自治性可以不受人或任何外界因素的干涉而独立存在,对自己的行为和状态有一定的控制权；社会性可以通过某种Agent通信语言ACL和其它Agent(包括人)进行信息交流；反应性可以理解周围的环境,并对环境的变化作出实时的响应；能动性可以主动地做出有目标的动作。群接口方法CSCW系统的人机接口应能体现群体活动及多用

10、户控制的特征,这种接口称群接口,它能处理多用户控制的复杂性。 群接口研究基础是用户界面管理系统(UIMS) 群接口可分3类 (a)支持表现级共享的接口,属紧藕合型。每个合作者有相同的显示, WYSIWIS。 (b)支持视图级共享的接口,属中藕合型。每个合作者表现信息相同, 但可有不同的显示方式 (c)支持对象级共享的接口,属松藕合型。每个合作者有不同的显示(内容和方式)。 UIMS模型 用户接口部件应用程序语义部件用户交互高层的语义请求/响应协作机制与通告机制 协作机制是用户间约定的交互方式,可完成调度用户活动、分配共享资源等任务。协作机制设计和实现主要考虑： 允许用户根据实际应用的需要灵活地

11、改变协作机制, 能处理协作过程意外事件的发生, 能将系统的各层协作活动集成为一个整体等。协调机制主要用于解决实时性活动中同步问题。通告机制主要用于处理异步活动。通信网络及控制 组通信涉及多种传输要求,包括点到点,点到多点,多点到点,多点到多点等。CSCW对网络特定要求包括: 能支持集成多媒体数据传输；能支持多点通讯等。另外数据交换格式标准化也非常重要。网络资源存取控制确定CSCW系统的用户存取系统或其它用户数据的方式。存取控制的状态不是静态而是动态的。CSCW应定义灵活有效而快速的存取控制机制，允许用户方便地修改信息的存取控制状态。 12.1.4 CSCW系统实例 斯坦福研究所(SRI)研制的

12、多媒体协同工作系统(CECED)。 普渡大学研制的SHASTRA协同工作的多媒体科学设计系统。 IBM欧洲网络中心、DEC公司等共同开发的BERKOM多媒体协同服务器。 另外,最近几年国际国内开通了很多远程医疗系统和远程教学系统, 它们大多是基于在宽带网上运行的视频服务系统,这些系统已获得了显著的社会效益和经济效益。 12.2 数字视频服务系统 数字音频视频理事会(DAVIC)是国际上致力于研究数字音频视频应用和服务标准的组织其工作目标是通过数字音频视频应用和服务系统接口、协议和体系结构描述规范的正式标准，简称为DAVIC协议。DAVIC协议在不断完善和扩充, 自1994年发布DAVIC1.0

13、后, 1996年3月发布了DAVIC1.1,1998年又公布了DAVIC1.4标准。 12.2.1 DAVIC系统结构DAVIC系统一般包括5个部分(或称实体),即内容提供者系统(CPS)、服务提供者系统(SPS)、服务消费者系统(SCS)以及连接它们的CPS-SPS传输系统和SPS-SCS传输系统。 在实际系统中,上述逻辑实体对应着相应服务器、端点设备和计算机系统。例如VOD系统包括下面几部分物理设备：(1)视频服务器; (2)ATM交换机; (3)SDH传输网 宽带传输网络; (4)ADSL复接器; (5)机顶盒(STB). DAVIC系统CPSCPS-SPS传递系统SPSSPS-SCS传

14、递系统scs视频服务器系统应由下列部分组成：(1) 一个或多个媒体服务器(2) 应用服务器(AS) 服务提供者系统。(3) 管理工作站VOD系统的一级网关(L1GW)负责STB和应用服务器之间的会话管理。 VOD系统的结构示意图视频服务器ATM交换机ADSL复接器PABX 电话STB电视SDH环中心机房局端机房用户端155/622Mbps ATM信元话音话音视频信号交互信息及视频流155/622Mbps ATM信元155/622Mbps 12.2.2 数字音频视频服务系统的协议 DAVIC系统协议流程分两大阶段：U-N阶段和U-U阶段。U-N阶段主要完成S2流连接的建立U-U阶段主要完成用户(

15、如STB)和服务器(如AS)之间S2流的交互控制及S1流的建立。 以VOD系统为例介绍协议流程 VOD系统U-N阶段分UN配置和UN会话两个阶段,具体协议流程： (1)STB得到预置的到L1GW上的UN配置服务器实体的通路(IP和UDP服务的端口号)。 (2)使用UDP协议与UN配置实体通信, 利用 UNConfig Request消息。 (3)STB设置接收UNConfigConfirm的时钟, 准备接收UNConfigConfirm消息。 (4)STB如果接收到了L1GW配置实体返回给STB的UNConfigConfirm消息,分析UNConfig Confirm消息中的各个域,然后进行与

16、用户的交互,准备进行UN会话。 (5) 利用预置的到L1GW上的UN配置服务器实体的通路向L1GW发送会话建立请求消息；设置时钟，准备接收会话建立确认消息。 (6) L1GW在接收STB来的请求建立会话消息。查看这个STB是否加入STB表，STB状态是不是“Enabled”。如果不在表中，应该拒绝其要求；若未被“Enabled”，也拒绝其要求。如果是合法STB,发送会话建立指示消息。 (7) AS接收到会话建立指示消息,从消息的userData域中取出用户的名字和口令,在用户表中查询是否是合法用户,用户的状态是否“Enabled”。(8) L1GW为此STB分配S2流资源,发送增加资源确认消息

17、给AS。(9) AS接收从L1GW来的增加资源确认消息,如果资源分配成功,向L1GW发送会话建立响应消息,其userData域中包括主菜单的URL地址或上次用户没有看完节目的URL地址和播放位置。(10) L1GW接收到AS来会话建立响应消息, 向STB发送会话建立确认消息。 U-U阶段具体协议流程如下: (11) STB接收到会话建立确认消息,从中取出上次会话的信息, 启动浏览器, 通过HTTP协议向AS请求菜单。(12) AS返回STB请求的菜单, STB在菜单中浏览各种节目的信息。(13) 当用户从中选择一个节目后, 按预览按钮就进入预览窗口。 (14)节目正常观看结束时,媒体服务器会给

18、AS发节目结束消息。AS自动拆除S1流,STB自动关闭播放窗口,返回到节目菜单。(15) 如果用户关闭浏览器,STB就在S3链路上发出拆除会话消息,然后返回到选择AS的窗口。(16)如果用户此时选择退出,STB端的交互就结束了。 VOD系统DAVIC系统的信息流包括:(1) S1流 从内容提供者到服务消费者系统内容信息, 采用MPEG标准协议。(2) S2流 从服务提供者系统到服务消费者系统间控制信息流，采用MPEG2 DSMCC协议。(3)S3流 用于服务消费者系统、服务提供者系统和传输实体之间的双向控制信息流, 交换会话信息, 它在任何层上对传递系统不透明。(4) S4流 网络服务层支持呼

19、叫/连接控制和资源控制功能的双向流, 标准的B-ISDN呼叫/连接控制协议有ITU-T Q.2931, Q.2130, Q.2110。(5) S5流 与网络管理有关信息流, 它由一些维护和管理网络资源所需的功能组成。网络管理标准协议有 CMIP, SNMP。12.2.3 典型应用 影片点播(Movies on Demand) 远程购物(Teleshopping) 影片点播(Movies on Demand) 系统描述基本功能 端点用户功能 服务提供者功能 内容提供者功能 网络提供者功能 特点 扩展 远程购物(Teleshopping) 系统描述基本功能 端点用户功能 服务提供者功能 内容提供者

20、功能 网络提供者功能 DAVIC系统典型应用视频广播、视频点播、准视频点播、延时广播、新闻点播;游戏、卡拉OK点播、因特网接入;远程购物、远程学习、远程医疗;视频电话、电视会议、家庭银行、内容制作、虚拟光盘等。 介绍多媒体技术相关的几个研究热点MPEG-21标准智能交互设备虚拟现实技术What next?12.3 MPEG-21标准信息技术的发展要求有统一的标准来规范交流行为, 使用户能得到更多的信息提供源,并扩大网络电子交易的机会。MPEG组织在1999年10月墨尔本会议上提出了MPEG-21(多媒体框架)的概念并试图用多媒体框架将各种服务综合在一起并进行标准化。 MPEG-21的最终目标是

21、协调不同层次间的多媒体技术标准, 建立一个交互式的多媒体框架, 此框架能够支持各种不同的应用领域, 允许不同用户使用和传递不同类型的数据，并实现对知识产权的管理和数字媒体内容的保护。根据2000年3月的MPEG会议报告,最初希望MPEG-21能包含6个方面： 用户需求；内容之间的相互作用；内容的描述；内容的认证；知识产权管理和保护相关技术；终端和网络。随后的2000年6月会议中进一步定义了多媒体框架的范围，将工作放在10个主题： 网络传输；服务质量和灵活性；内容质量；使用方便；媒体物理格式的相互协调能力；支持/订阅模式；内容的查询、过滤、定位、恢复和存储；消费内容的公布；消费者的使用权；消费者

22、的隐私权.2001年1月在意大利召开的MPEG第55次会议中,决定把多媒体框架暂时浓缩到以下几个方面： 数字项目说明(Digital Item Declaration)内容表示(Content Representation)数字项目的标识与描述(Digital Item Identification and Description)内容管理与使用(Content Management and Usage)知识产权管理与保护(Intellectual Property Management and Protection)内容发送与终端及网络(Terminals and Networks)事件报告

23、(Event Reporting)。 多媒体电子商务系统的用户模型MPEG专家组还就如下几个问题达成一致意见： (1)MPEG-21中, 对用户的定义取决于他们在交易过程中担当的角色, 无论是信息的提供方还是信息的接受方, 或是传递信息方都是用户。他们都是电子商务的主体之一, 地位平等,并可在不同的交易中担当不同的角色。 (2)MPEG-21中,联系用户并使用户之间发生相互作用的称为内容。对内容的使用包括对内容施加的操作, 如内容的建立、定位,内容的传送、收集、发布、提交, 内容的消费等。(3)数字化条目声明部分已由需求阶段转移到规范阶段，等收集到数字化条目认证和描述的相关建议和对版权数据字典

24、、版权描述语言的需求方面的建议之后,在作进一步讨论。 (4)深入发展MPEG-21工作计划,包括研究多媒体框架组成部分之间需要哪些认证,是否遗漏掉了某些现有的认证技术等,从而增强MPEG-21的能力。 (5)调研其它标准化组织在多媒体处理方面的相关措施,与这些组织联系,为MPEG-21的进一步发展创造更多的机会。 MPEG-21与电子商务无论从MPEG-21的初衷还是它所包含的内容来看,无一不在为电子商务做铺垫。2001年1月的会议上更进一步指明MPEG-21要和电子贸易紧密联系,建立数字多媒体内容交易的电子贸易环境。从电子商务的角度来看,我们更容易理解MPEG-21所涉及的内容和应当解决的问

25、题： (1)网络方面的问题。网络作为底层的传输媒体,它的性能直接关系到整个上层应用的效果。因此,首先要保证高质量的传输网。(2)内容方面的要求。内容必须具有权威性、健康性、真实性和完整性,所标明的内容的价格应和内容本身的价值相匹配。用于交易的内容应能为用户提供详细的相关内容的介绍和查找,以便消费者决定是否购买。(3)相关服务。所提供的服务是为了及时响应消费者需求。消费者在网上购买商品时,能快速地检索到商品的地点、价格、提供方及其可靠性。同时消费者应知道自己对消费内容所享有的权利,如所有权、使用权、拷贝权、编辑权和传递权。消费者购买商品后，应有凭据来证明消费者已经付费。 (4)安全性问题。它需要

26、保证网络传输过程中内容不被破坏、修改和丢失;在保证交易合法的基础上,交易双方都需要认证对方的身份。 上述问题与MPEG-21正考虑解决的内容不谋而合。电子商务中的买方、卖方、中介方在MPEG-21中统称为用户；买卖的商品在MPEG-21中属于数字化条目的部分；涉及的买卖行为在MPEG-21中被称为使用(Use)。下图表示电子商务的交易过程.用户1电子化(交易物品,身份,交易过程等电子化)网络管理(提供内容的数字化、查询、定位、传输、交易，电子物品的实时传输、存储、交易)认证机构(认证用户身份、交易物品、交易过程及用户支付的电子货币)用户2用户nMPEG-21对电子商务存在的问题网络方面: MP

27、EG-21决定由相关网络协议以及MPEG-2、MPEG-4中的成熟技术予以支持。内容方面: MPEG-21已做明确的要求, 具体实现正在探讨中。相关问题主要集中两个方面: 一是对查询问题的研究, 考虑用MPEG-7的特征描述来解决。另一方面是对版权保护起关键作用的信息隐藏技术的研究。专家们分歧较大, 但认为身份验证和版权保护必不可少。因此, 认证问题应是多媒体框架的重要部分。MPEG-21标准正在探讨中, 对MPEG-21包含的内容方面意见比较统一, 内容划分和侧重点方面差异较大。随着研究的深入, MPEG-21标准问题都会得到解决, 在此基础上的电子商务也会得到越来越广泛的应用。12.4 智

28、能交互设备人机交互中文字的输入方法对使用计算机的效率有重要影响。文字输入技术大致可分为3大类： 键盘输入法; 手写输入法; 语音识别输入法。键盘输入是最早使用的文字输入方法,而且目前仍然是主要使用的输入技术 。光学字符识别(OCR)OCR技术主要研究计算机自动识别文字的技术。OCR系统涉及数字图象处理、模式识别和人工智能、认知心理学、体系结构等许多领域。一个OCR系统可分为3个部分: (1)预处理部分; (2)识别部分; (3)后处理部分汉字OCR的基本方法有以下3类: (1)象素统计法 (2)结构分析法 (3)智能识别法 预处理 模式表达测度估计 字典 判决图象输入识别输出字符识别系统工作原

29、理语音交互技术语音识别技术研究起步较晚, 大规模的研究起始于70年代初期, 近年来已取得长足的进展。 1997年秋季, IBM公司推出的中文语音识别系统Viavoice听写系统, Viavoice充分运用了在语音识别、模糊处理和人工智能方面的最新成果，能够把不同人的连续语音流自动识别、转化为计算机文字信息 。语音识别与合成系统原理 预处理声学参数分析语音库测度估计知识库判决语音单元字典语言规则连接规则语音输入识别输出文本输入发音代码语音输出(a)语音识别系统原理(b)语音合成系统原理12.5 虚拟现实技术 虚拟现实(VR) 或称虚拟环境(VE)是由计算机生成具有临场感觉的环境，它是一种全新人机

30、交互系统 。虚拟现实技术本质上说是一种高度逼真地模拟人在现实生活中视觉、听觉、动作等行为的交互技术 。1968年，Ivan Sutherland研制出头盔式显示器(HMD)、头部及手跟踪器，是用于虚拟环境技术的最早产品。 八十年代末以来随着计算机图形软硬件技术、数字信号处理技术、传感技术和跟踪定位技术与数据手套等三维交互设备的成熟，VE设备价格下降，使VE技术普及成为可能。模型与系统构成从系统的角度来说是显示/检测模型。显示指系统向用户提供各种感官刺激; 监测指系统监视用户的各种动作,即感知并辩识用户的视点变化及头、手、肢体的动作。从用户角度来看是输入/输出模型。用户接受系统提供的各种感官刺激

31、(输入); 用户动作被系统检测(输出) 。当前VE提供的感官刺激主要为视觉、听觉与部分触觉。同时, VE中还提供了检测用户的各种动作的检测装置 。典型的虚拟环境系统由头盔式立体显示器、数据手套和计算机构成。 VR参考模型用户 感觉器官 肌肉 虚拟环境(感觉刺激)(用户动作)VE提供的各种感官刺激感官刺激 说 明 显 示 视觉感知可见光图象生成系统，光学或显示屏听觉感知声波计算机控制的声音合成器耳机喇叭嗅觉感知空气中化学成分气味传递装置味觉感知液体中化学成分尚未实现触觉 触觉皮肤感知的触摸，温度，压力，纹理等 触觉传感显示器，弱力或温度变化 动觉肌肉，关节，腱感知的力 中到强的力反馈装置身体感觉感知肢体或身驱的位置和角度变化 数据衣服 前庭感觉平衡感知，由内耳感知头部线性加速度和角加速度 动平台 检测用户的各种动作与检测装置 用户动作 检测装置 头部运动肢体或躯体运动指头动作眼球转动语言 使力 头部跟踪装置跟踪器,力反馈装置,空间球数据手套,按钮装置,操纵杆,键盘眼球跟踪器语言识别装置带力传感器的力反馈装置 虚拟现实造型语言(VRML)虚拟现实造型语言(VRML) 是一种用