（计算机软件与理论专业论文）cscw环境下多媒体传输的研究与实现.pdf

硕士论文c s c w 环境下多媒体传输的研究与实现 摘要 随着我国信息化建设的不断推进，越来越多的工作需要使用电子计算机和 计算机网络来完成。同时，如何通过网络进行多人协同工作的问题急需得到解 决，而目前尚没有一个完善的解决思路，可能会有针对不同应用的具体系统， 但是没有一个较为通用的c s c w 平台。这样就使得重复开发和资源浪费的情况 显得很突出。 本文讨论了基于c s c w 的脊椎诊断系统的设计与实现的研究，其中特别讨论 了如何在w i n d o w s 平台上设计与实现一个多媒体传输的子系统，从视频与音频 的捕获、压缩、传输方式、同步控制、o o s 控制手段，到这些技术所牵涉的协 议与协议的具体实现都有较为详细的说明。 文章的最后介绍了这个多媒体传输子系统的实现与试验结果。在实现中， 力图使得它具有可复用性和灵活性，由于这个系统中使用了w i n d o w s 特性，因 此，不具备跨平台性。 关键词：计算机支持的协同工作，组播，多媒体，压缩，服务质量，实时 传输协议 硕上论文c s c w 环境下多媒体传输的研究与实现 a b s t r a c t i nt h i s p a p e r ，t h ew r i t e rd i s c h s s a na p p l i c a t i o nw h i c hb a s e do n c s c w ，a n ds t r e s s l yd i s c u s sb o wt oi m p l e m e n tas u bs y s t e mo fm u l t i m e d i a t r a n s m i t i o n t h i sp r o j e c tt o o ko nt h ed e s i g na n di m p l e m e n t a t i o no ft h e r t p - b a s e dm u l t i m e d i ai n t e r a c t i o ns u bs y s t e mo ft h eb a c k b o n ed i a g n e s i s s y s t e mb a s e d o nc s c w i nc s c ws y s t e m s ，m u l t i m e d i at r a n s m i t i o ni sa b n o r m a l c o m p a r ew i t ho t h e rm u l t i m e d i as y s t e m s i n t h i sp a p e r ，a u d i oa n dv i d e o c a p t u r i n g ，c o m p r e s s ，t r a n s m i t i o n ，m o d e ，s y n c h r o n i z a t i o n ，c o n t r o l ，q o s c o n t r o la n dt h ep r o t o c o li m p e m e n t a ti o nw h i c ht h e s et e c h n o l o g yi n v o l v e d i na r ed i s e u s s e d t h es u bs y s t e mi m d l e m e n t a t i o na r ei n t r o d u c e di nt h ee n do f t h i s p a p e r w e s t r i v e dt om a k ei t r e u s a b l e ，a n df l e x i b l e b u t ，w e u s e m a n y f e a t u r e so fw i n d o w s ，s o ，t h e s y s t e mc a nn o t b eu s e dd i r e c t l yi no t h e r o p r a t i n gs y s t e m s k e yw o r d s ：c s c w ，m u l t i c a s t ，m u l t i m e d i a ，c o m p r e s s ，q o s ，r t p 2 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 己在论文中作了明确的说明。 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：磁：堑蕴少。尹年石月。) 日 硕士论文c s c w 环境下多媒体传输的研究与实现 1 1 论文背景 第一章绪论 作者参与了“基于c s c w 的脊椎诊断系统”的设计与开发项目，在设计与 开发的过程中，发现了在c s c w 环境下多媒体传输和c s c w 系统设计的一些 问题。c s c w 环境下的多媒体传输有着不同于其他多媒体系统的显著特点， c s c w 系统的设计方法也较为复杂，不容易进行模块化的划分和功能分划。因 此，本文除了论述了所参与项目的系统架构和多媒体传输子系统的实现之外。 还力图将系统架构从具体应用中抽象出来，讨论了一些一般c s c w 系统的架构 模型，并着重论述了作为c s c w 技术的一个重要组成部分，同时也是协同工作 中不可或缺的一个重要工具一多媒体数据的采集、压缩( 解压) 、传输与同步、 q o s 等等的各种问题及其解决方案与具体的实现技术手段。 计算机支持的协同工作( c s c w ) 这个概念最初是在1 9 8 4 年由m i t 的i r e n e g r e i f 和d e c 的p a u lc a s h m a n 提出来的。它的提出和实现将从根本上改变人 们传统的工作方式和生活方式“。简明地晚，c s c w 是要研究在计算机技术支 持的环境下s ) ，特别是在计算机网络环境下，一个群体如何协同工作完成一 项共同的任务( c w ) 。c s c w 的目标是要设计各种各样的协同工作的应用系统。 c s c w 的兴起可以说是计算机技术和信息技术发展的必然趋势。计算机作为 各项工作的有力工具，一旦和其他学科相结合，必然大大促进各学科的发展， 出现前所未有的工作手段，c s c w 技术证是其中的典型代表。 c s c w 的形成和发展有它的必然性。 首先，在现代的信息社会中，人的生活方式和劳动方式具有群体性，交互性 分布性和协作性等特点。 其次，计算机技术( 包括并行及分布处理技术、多媒体技术、数据库技术、 认知科学等等) 、通信技术及计机网络技术的飞速发展，构成了c s c w 实现的技 术基础。 另外，并行工程( c o n c u r r e n te n g i n e e r i n g ) 这一概念的提出也起到了重要 的作用。并行工程是集成、并行设计产品及相关过程的系统方法，它强调群组 工作( t e a mw o r k ) ，而对群组工作的技术支持是和c s c w 的研究密切相关的。 因此可以说c s c w 是在现代社会中，以人们协同工作方式为背景的，以计 算机和通信技术的发展和融合为基础，具有广泛的应用领域为前提条件而自然 形成的。它涉及到众多的学科领域，如计算机、管理学、通信、分布系统、人 硕卜论文c s c w 环境下多媒体传输的研究与实现 工智能、社会学、心理学和组织理论等等。 随着企业及机构全球化意识( 面向全球范围提供其产品或服务) 的加强， 能够支持此协作的系统将在规范管理、提高效率、降低成本等方面发挥无可替 代的作用，因此也将成为必不可少的信息设施。这种走向大规模协作的趋势随 着若干重要应用模式的出现而逐渐明朗。这些应用模式包括：电子商务、虚 拟组织、协同建筑、协同设计、远程教育和合作会诊等等，我们相信这些应用 模式将对未来社会人们的工作、学习与生活等产生深远的影响。 c s c w 已经提出接近2 0 年，在这个期间，国内国外学者以及软件开发商都 对该领域的许多方面进行了较为深入的研究。国外的一些软件公司也开发出许 多视频会议以及多媒体软件产品，比如p r o s h a r e ，s h o w m e ，n e t m e e t i n g 等。 而国内在这方面的研究由于起步较晚，还大多停留于理论研究上，软件产 品基本还处于原型开发阶段。一， c s c w 技术今后的一个发展趋势一通用c s c w 平台的建立： 目前，不论是国内还是国外，通用c s c w 平台还是处于理论阶段，虽然有不 少的c s c w 应用被实现出来，但都是针对特定的应用( 例如c a d c a m 等) ，真正 通用的c s c w 平台还没有建立。今后的个方向和趋势就是建立通用c s c w 平台， 这样可以避免重复开发功能相似或者相近的模块，减少财力和人力的浪费。 因此，本文除了提出一个满足本系统的设计方案和实现手段之外，还有一 个目标就是能够为通用c s c w 系统平台的建立做一点有益的尝试。至少，在多 媒体传输部分中，力图能够向着通用的方向努力，而尽量不针对具体的硬件和 具体的应用。 1 2c s c w 的关键技术 1 群件的开发 c s c w 是一种人一人交互的群组工作系统，群件就是实现能够群组工作的软 件支撑，它的设计除了考虑通常的应用系统的功能设计以外，还要考虑用户的 工作的协调和用户之间的行为感知方式等的设计，因此群件系统的开发相当复 杂，而且实现的效果也不理想。目前的群件系统普遍存在不容易移植和重用以 及协同效率低下等等问题。 当前，软件组件技术已经是软件界研究的热点，并且也已经有了相对比较 成熟的组件技术，组件技术和群件的开发相结合，也就是基于组件方式的群件 ( c o m p o n e n t b a s e dg r o u p w a r e ) 已在一些相关的资料中提了出来，这些基于组 件的系统既能够提供很强的独立工具，而且还有综合性能和可移植性能好的优 点。当然采用c 0 m d c o m 开发群件，有其固有的缺陷，那就是不能够跨越平台 2 硕士论文c s c w 环境下多媒体传输的研究与实现 的限制，因为c o m d c o m 技术只在w i n d o w s 平台上受到支持。 2 数据共享 数据共享一般来说有三种方法”： ( 1 ) 每个应用系统具有各自独立的数据库或者文件系统，应用间的信息共享 通过标准数据文件来实现，这种方法在数据转换过程中经常出现错误或者信息 丢失现象，同时，该方法难以满足协同工作对信息共享平滑，实时的要求。 ( 2 ) 采用统一的模型和公共数据库实现信息共享。 ( 3 ) 在交换的两个系统之间通过确定相互之间的数据结构和建立一对一的信 息转换机制，直接进行数据交换，该方法容易实现，运行效率高，但是可扩充 性差。 3 过程感知 协同设计的另一个重要特点就是过程感知。过程感知的内容体现在两个方 面： ( 1 ) 让协同工作的其他工作者感知到自身的工作过程。 ( 2 ) 能感知其他工作者的工作进展情况。 每个感知模块实际上就是一个独立的a g e n t ，通过通信和协同，不仅可以感知 外界环境的变化，可以相互协作，任何a g e n t 都可以随时加入或者退出系统。 4 并发控制 在协作过程中，协作者之间往往需要对同一个对象协同操作，这样就必须要 进行并发控制，这可以借鉴多任务操作系统的并发控制策略。 5 数据一致性保证 可以借鉴数据库系统中，数据一致性保证的策略。 6 多用户界面 在c s c w 系统中，不仅有人机交互的界面，还不可避免的需要人人交互界面， 否则就不能成其为协同工作系统。最为理想的状态是w y s i w i s ( w h a ty o u s e e i sw h a tis e e ，你见到的就是我见到的) 。也就是说，所有的协作者所看到的界面 无一例外都是一样的，甚至包括光标位置。但是，这一点不容易做到。一个困 难是不容易实现，另一个困难是这样做会产生大量的信息，占用大量带宽，从 而可能会引起网络阻塞。一个操作者的操作结果，可以让其他操作者看到，称 之为操作内容共享；一个操作者的操作动作，可以让其他操作者看到，称之为 行为共享。根据网络的具体情况，可以采取一个折衷的办法：在带宽不足的情 况下，保证内容共享，而不保证行为共享。 7 多媒体数据传输 几乎在所有的c s c w 系统中都包括多媒体工具。这是因为系统所提供的其他感 硕士论文c s c w 环境下多媒体传输的研究与实现 知手段都不够直接和有效，如果能够提供多媒体协同手段，就能够使得协同的 效果得到大大的加强，达到事半功倍的效果。但是，c s c w 环境中的多媒体数据 的传输不是一个很容易解决的问题，或者说在c s c w 系统中，多媒体传输有着 不同于其他多媒体传输的显著特点。由于这是本文的重点，因此，在下一节中， 将特别描述在c s c w 环境下的多媒体数据的传输问题。 1 3c s c w 中多媒体传输的问题 1 视频图象压缩 如果将采集下来的视频图象不经过任何处理便在网络上进行传输，很显然， 由于视频图象数据量极大，首先会占用很大的网络带宽，其次，由于数据量过 大，在发送和接收以及传送的过程中耗费大量时间，就会造成延迟，使得画面 停滞，影响显示效果。因此必须对采集的视频图象进行压缩处理。 目前的图象压缩算法主要分为两种类型：有损压缩算法和无损压缩算法。 由于对于医学图象的高清晰度要求，我们在传输医学图象的时候，必须采 用无损压缩算法或高质量的有损压缩算法，这样不会由于图象的质量问题而造 成无法诊断或者误诊的情况发生。而对于在协同过程中协同双方的视频图象的 传输，则没有这种严格的要求，可以使用大压缩量的有损压缩算法。 2 视频音频多播( 组播) 在视频电话中，一般而言都是视频和语音数据的定向单播传输，而在c s c w 系统中，由于协作者数量不定，位置不定，多媒体数据如果依然采用逐个的单 播传输，势必给网络状况造成不良影响，因此必须采用其它特殊的方式。 在计算机协同工作中，有时( 甚至可以说大多数时候) 并不是只有两个协 作者，而是几个甚至更多的协作者进行协同工作，这样的话，如果把每一个参 与者的视频图象逐个发送给其他的协作者，即建立点对点的传输，势必浪费大 量时间和带宽，因此，我们必须采取其它的传输方式。组播就是一个常用的选 择。组播也称为多播，它们是同一个概念。 所谓的多播是指把同一数据块从一台计算机同时传送到一个由若干台计算 机组成的集合的每个成员的过程。与点对点的逐个发送不同的是，发送方只需 发送一次，就可实现从一个发送方到多个接收方的数据传送过程。多播的数据 报仅仅在传送路径分岔时才将数据报复制后继续转发。否则的话，发送方必须 同时向其余的接收方发送相同的数据包，这样很明显的会浪费网络资源。而采 用多播就可以明显地减轻网络中各种资源的消耗。 3 视频音频的同步 由于各种各样的原因。比如采集信号过程中的步调不一，传输过程中的延 硕上论文c s c w 环境下多媒体传输的研究与实现 迟、抖动等等问题，都很有可能引起视频和音频不同步。解决视频和音频不同 步的目标就是要消除各种不利因素，使得视频流和音频流在时间上能够协调一 致，唇音相应。 4 服务质量( q o s ) c s c w 系统中多媒体子系统是一个分布式的多媒体通信系统。它不仅仅要求 能够快速传送视频和音频数据，而且要求能满足一定的服务质量，如视频和音 频连续媒体，必须保证在明确规定的时间内无差错的传送给用户，以便在终端 系统中播放时具备良好的质量。1 ( 1 ) 数据吞吐量：视频传输和视频数据的特性需要高的吞吐量，即使经过压 缩，一个视频数据流也需要6 4 2 0 0 0 k b s 的数据吞吐率。 ( 2 ) 实时性：参考视频会议体统的标准，必须同时要播放视频、音频和数据 信息，这些信息之间存在较严格的时间要求、因此需要为无差错传送提供时间 保证。 5 多媒体数据传输方案的设计 除了通常的媒体传输过程中需要考虑的问题而外，c s c w 环境下的媒体传输 方案设计也是一个重要的问题。必须能够跟其他组成部分很好地耦合，提供优 良的接口和可扩展性，可复用性。不可避免的是还要针对具体应用有具体的、 特别的应用，提供具体的、特别的解决方法。 一种较为容易的实现方式是基于n e t m e e t i n g 进行开发。但是这种方式由于 受到n e t m e e t i n g 本身框架的限制，灵活性不高，不容易跟c s c w 系统其他组成 部分进行良好的连接。 另外，视频会议虽然也经常使用组播的方式进行媒体数据的传输，和c s c w 环境下的多媒体系统有一些相似性，但是，它和c s c w 中多媒体数据的传输仍 然有很大的不同。例如，在视频会议中，由于视频会议基本不需要参与者协同 工作，会议参与者之间的耦合度不高，多媒体数据可以从会议开始到会议结束 稳定的传输。不需要太多的控制；而c s c w 系统则不然，随着协作者角色的转 换，多媒体数据的传输方向可能要发生变化，中途可能有人会退出，也可能有 人会加入，多媒体子系统必须能够很好地处理好这些问题。 因此，针对不同的c s c w 系统，需要特殊的媒体传输实现，这正象前文所述， c s c w 系统的实现，每个应用都有自身特点，代码复用和通用平台的建立是一件 不容易的事。 1 4 本文的章节安排 第一章绪论描述了c s c w 的背景、关键技术、多媒体传输的主要问题和文本 硕上论文c s c w 环境下多媒体传输的研究与实现 的目标。 第二章协同系统的基本架构描述了这个基于c s c w 的医疗诊断系统的总体 设计架构，包括物理架构和软件架构两个方面。 第三章到第五章详细介绍了多媒体子系统的设计方案和实现方法。第三章 媒体采集与压缩介绍了一种不依赖于具体硬件的媒体采集方法和灵活的视频 与音频编解码器的配置方法。并详细地介绍了h 2 6 3 编码标准和应用手段。第 四章视频音频传输与组播通信介绍开始介绍该多媒体传输子系统的核心内容， 包括组播通信，支持组播的r t p r t c p 协议的实现方法。第五章多媒体数据的 实时传输同步介绍了流内和流间同步方案和本系统的选择及其依据。最后介绍 了一种同步算法。 第六章多媒体子系统实现与评测讲述了利用前文所述的问题解决方法与手 段所实现的一些组件和库，而实现的一个多媒体传输子系统。为了得到性能数 据，该系统能够不断的输出统计数据，从这些统计数据中可以得到性能分析结 果。 6 硕i ：论文c s c w 环境下多媒体传输的研究与实现 第二章协同系统的基本架构 2 。1 系统的总体物理框架 系统物理上包括客户端和服务器方两层，如图2 1 1 所示。客户端包括人机 界面，负责与用户的交互，同时将其他用户的状态、行为、消息等实时的展现 给用户；服务器端的组成比较复杂，主要有三个组成部分：数据服务器、通讯 服务器和协同服务器。因为在c s c w 系统中需要的控制的信息太过庞杂。所以 将各种信息进行分别控制，便于设计和实现。数据服务器和数据库连接。信息 采集端和数据服务器连接，通过数据服务器向数据库存入数据：协同服务器是 c s c w 系统的大脑，主控整个系统，它是通过通讯服务器和客户端进行连接的。 图2 1 1 协同系统总体物理框架图 硕上论文c s c w 环境下多媒体传输的研究与t 实现 2 2 系统总体软件结构 软件是c s c w 系统的主要组成部分，主要分为两个部分，服务器端软件和客 户端软件。服务器端的主要功能是对整个系统作出良好的控制，而客户端的软 件的主要功能是向用户提供良好的界面、丰富的协同工作手段。图2 2 1 是该 系统软件的主要框架示意图。 图2 2 ，1 系统软件结构示意图 以下介绍软件系统的主要组成部分。 2 2 1 协同诊断客户端的软件构成 协同客户端主要有三个组成部分：多媒体子系统、电子自板子系统和协同 诊断子系统。 1 多媒体子系统的功能是为协同工作者提供互相感知的手段、可以实时的 展示其他工作者的音频、视频信息。多媒体子系统由三个主要部分组成。 ( 1 ) 基于v f w 的视频音频捕获模块。该模块负责按照一定格式和频率捕获 视频和音频信息。同时也负责由上层传送过来的视频和音频数据的回放 工作。 ( 2 ) v i d e o a u d i o 编解码模块。负责将视频和音频数据进行编码压缩和解码 工作。 硕士论文c s c w 环境下多媒体传输的研究与实| ! j ( 3 ) 组包发送，接收模块。负责进行r t p 组包发送接收，以及r t c p 数据包 的发送和接收工作。并将r t c p 数据报转交给客户端控制模块以便进行 同步和q o s 保证的工作。 2 电子白板子系统可以为用户提供一个相互交流的平台。用户可以在电子 白板上书写文字和构造示意图，这些文字和示意图可以实时的展现给其他用 户。电子白板子系统需要处理如下任务： ( 1 ) 负责本地用户的操作显示、数据记录和存档。 ( 2 ) 负责接收其他用户发送的动作信息并进行解析、实时展示、辨别用户身 份的工作。 ( 3 ) 分别记录各个不同用户的操作结果与操作过程，可以进行回放和存档。 3 协同诊断子系统是为多个医生进行合作对患者进行诊断而设计的。在该 子系统中，可以把同一个患者的信息展示给所有参与协同的用户，记录下诊断 过程和结果，并将结果存入数据库。 由于协同诊断子系统是协同工作的主要工作环境，因此： ( 1 ) 需要提供友好的人机界面，操作简便、实用。 ( 2 ) 负责通过服务器向其它列在通讯目录中的用户发出协同诊断的请求。 ( 3 ) 可以通过向服务器发出请求，要求担任此次协同诊断的主控者。 ( 4 ) 向用户提供进行协同诊断所需要的工具。例如病例提取与更新、病案提 取与更新。根据需要提供相应的图形图象的操作工具。 4 客户端控制模块需要处理的任务较为复杂，客户端控制模块参与多媒体 同步控制、q o s 保证、电子白板系统、协同客户端等各个客户端部分的控制工 作。包括三个子模块：媒体控制模块、本地协同模块和可靠性保证模块。主要 负责如下几个工作： ( 1 ) 负责向服务器注册，发送加入群组请求，通过身份验证之后，客户端控 制模块负责将该用户加入群组，参与群组协作。 ( 2 ) 媒体控制模块负责进行多媒体系统的发送和接收同步工作。负责和通讯 服务器一起进行q o s 保证。 ( 3 ) 可靠性保证模块负责在应用层上，提供对基于u d p 的组播数据的可靠 性保证。 ( 4 ) 本地协同控制模块负责协同诊断子系统的本地协同控制工作，进行相应 的认证和本地协同工作。 5 此外，信息采集端虽然不是协同客户端的组成部分，但却是客户端的 个组成部分。它主要负责对病人医疗数据的采样、记录、存档工作。 其功能是采集患者的信息提供给参加协同诊断的医生，其中包括各项数据， 9 硕士论文c s c w 环境下多媒体传输的研究与实现 例如患者的各项身体症状数据，病症部位的摄像图，甚至病人的口述录音。采 集端中既有针对特殊病症所采用的硬件设备用以采集患者信息数据，还包括软 件，用以处理这些数据。当采集到数据之后，采集端和数据管理服务器进行通 讯，由数据管理服务器将数据存储到数据库中。 2 2 2 协同诊断服务器端的软件构成 1 数据管理模块： 数据管理模块和信息采集端以及协同控制模块相联系，处理来自信息采集 端和协同控制模块的数据存取要求承担信息采集客户端的身份验证，存取数 据库数据和文件等重要任务。 数据管理服务器所处理的数据不仅仅限于关系数据库中的记录。还包括图 形、文件、视频和音频文件、甚至还应该包括现场信息。也就是说可以进行实 时诊断。 协同控制模块： 在c s c w 系统中，协同控制模块起着关键性的作用，可以说是c s c w 系统的 核心。顾名思义，协同控制模块的主要作用就是协同，处理来自各个客户端通 过通信服务器所传递的协同信息。比如数据访问的协同控制，冲突与共享的解 决等。一般而言，协同控制模块必须至少解决以下问题。 ( 1 ) 同步工作管理 对共享对象的访问控制进行管理。 ( 2 ) 协作并发控制机制 多用户工作的协同是通过信息共享来实现的，在c s c w 系统中，多个用户 对共享对象进行的并发操作是经常发生的。对这些用户的行为必须加以控 制和协调。目前常用的并发控制算法主要有：锁机制，集中控制，依赖检 测和操作转换法等。 2 组管理模块需要负责： ( 1 ) 协作者管理 组管理模块和协同控制模块、身份认证模块一起进行协作者权限、身份等 的管理。当合法协作者参与c s c w 系统，组管理模块都必须要知道，而且 登记在册；同样的，当协作者离开系统，组管理模块负责注销登陆的工作。 并且当组成员加入和退出的时候，组管理模块有责任向其他的协作者发布 这些信息。 f 2 ) 数据管理 管理c s c w 系统中使用的病人信息数据库，病人病例数据库、医疗图象数 o 硕上论文c s c w 环境下多媒体传输的研究与实现 据库、协同操作的中阃结果数据库等等。 3 身份验证模块： 将目录数据库中合法协作者的信息和登录时客户端提供的登录信息进行比 较、验证、可以进行简单级别的安全控制。 4 通信服务器模块： 通信服务器是c s c w 系统的基础，在协同诊断系统的坏境中，向协作者和协 同服务器提供各种通信服务。接收其他协同工作者传来的消息，并交给协同应 用模块进行处理，以及可靠的数据传输、文件传输等通信功能保证。还应该处 理用户的加入退出，用户身分验证等。 在c s c w 这种特殊的系统中，主要使用两种通讯方式，一种是单播通讯，主 要用于和协同服务器之间的通信( 在w i n d o w s 平台上，如果网络环境不是很复杂 的话，也可是使用d c o m 技术) 以及发送和接收控制用数据。另一种占主导作用 的通讯方式是组播通讯，主要用于大量数据的通讯，例如视频和音频数据。 群组通信是指把同一个数据块( 报文、分组或文件等) 从一台计算机传送 到一个或若干台计算机组成的集合的每个成员的过程“1 。群组通信服务可以实 现高效的点到多点的数据传输。许多网络传输媒体从物理层至t m a c 层提供了群 组通信能力，可以真正实现从一个发送方到多个接收方的传送过程只需发送方 发送一次。组播通讯具备如下的一些特征： ( 1 ) 点到多点通信 已有的计算机网络技术，特别是开放系统互联参考模型( o s i r m ) 中主要考 虑的问题是点到点的通信，这是计算机网络在互联和互操作情况下的主要通信 模型。在计算机协同工作时，需要协调的不仅仅是两台计算机之间的信息交流， 而是一个计算机群体的同时协调工作，需要提供高效的点到多点的通信能力。 ( 2 ) 多媒体通信 群组通信不仅需要协调计算机群体的行为，而且需要通过计算机机器网络 来协调人类群体的行为。人类群体行为的协调通常包括音频和视频等多媒体信 息的实时传送，要进行大量多媒体信息的实时截获、传送和对地域分布分散的 多个用户播放，这对网络带宽和延时提出了更高的要求。 ( 3 ) 复杂的用户环境和网络环境 与点到点的通信相比，群组通信面临更加复杂的用户环境和网络环境。同 ( 4 ) 复杂的用户环境和网络环境 与点到点的通信相比，群组通信面临更加复杂的用户环境和网络环境。同 一群组中各用户可能在机器类型、操作系统、外设性能、c p u 处理能力等方面 存在巨大的差异：连接各拥护的各段网络会在带宽、延时和误码率等方面存在 硕士论文c s c w 环境下多媒体传输的研究与实现 差异。这对群组通信带来很大影响，群组通信对计算机网络提出了更高的技术 要求。 已有的研究工作表明，现有的网络通信协议不能满足群组通信的全部要求。 由此引发了对群组通信协议的研究。 基于对群组通信特征的分析，在群组通信中需要解决以下三个关键问题。 1 群组管理 2 资源分配 3 群组通信服务质量( o o s ) 2 硕士论文c s c w 环境下多媒体传输的研究与实现 第三章媒体采集与压缩 3 1 视频捕获 在w i n d o w s 平台下，捕获视频有两种方法，一种方法是直接调用视频卡( 设 备) 厂商提供的库函数，另一个方法是采用m i c r o s o f t 提供的v f w ( v i d e of o r w i n d o w s ) ，当然，使用的设备必须符合v f w 标准。 v f w ( v i d e of o rw i n d o w s ) 是m i c r o s o f t1 9 9 2 年推出的关于数字视频的一个 软件包，它能够使应用程序对由传统模拟视频源得到的视频剪辑进行数字化编 码并进行播放。v f w 的一个关键思想是播放时不需要专用硬件。它引进了一种 叫a v l 的文件标准，该标准未规定如何对视频进行捕获、压缩及播放，仅规定 视频和音频该如何存储在硬盘上，这就使用户可以灵活地开发自己的压缩算法， 生成自有格式的a v i 文件。在a v i 文件中交替存储视频帧和与之相匹配的音频 数据。v f w 为应用程序设计提供a v i c a p 窗口类的高级编程工具，使应用程序能 通过发送消息或者设置属性来捕获、播放和编辑视频剪辑。 ( 1 ) 建立捕获窗口( c a p w n d ) ( 2 ) 设置捕获模式 a v i c a p 在显示视频时提供两种模式： 预览模式( p r e v i e w ) ： 视频帧首先从捕获硬件传递到内存，然后在捕获窗口c a p w n d 中显示。 叠加模式( o v e r l a y ) ： 这种模式使用硬件叠加进行视频显示，叠加视频的显示不经过v g a 卡，叠 加视频的硬件将v g a 的输出信号与其自身的输出信号合并，形成组合信号显示 在显示器中。不过，不是所有的视频采集设备都支持这种模式。它不使用c p u ， 通过这种模式无法对捕获的图象进行加工。由于我们需要对采集的视频帧进行 压缩、处理，因此，不能采用叠加模式，只能使用预览模式。 ( 3 ) 设置采样频率 通过发送_ l v m _ c a p _ s e t p r e v i e w r a t e 消息到捕获窗口，可以设置采样频率。 w p a r a m = ( w p a r a m ) ( w m s ) ：消息参数，每w m s 毫秒进行采样一次 i p a r a m = o l ： ( 4 ) 获取一帧图象数据 在进行视频图象传输的时候，不可能将得到的视频图象不经过任何处理就 积士论文c s c w 环境下多媒体传输的研究与实现 进行传输。因为采集直接得到的是b m p 格式的图象，占有很大空间。因此，在 传输图象之前，必须进行压缩处理。在处理之前，必须要得到需要进行处理的 每一帧图象。这是通过发送如下两个消息来得到的。 s e n d m e s s a g e ( c a p w n d ，w m _ c a pg r a bf r a m e ，0 ，o l ) ； s e n d m e s s a g e ( c a p w n d ，w f l c a p e d i t c o p y ，0 ，o l ) ： 3 2 视频图象压缩 3 2 1b m p 格式及b m p 文件结构 在获取一帧图象数据的基础上，就可以对数据进行压缩编码。众所周知， 压缩算法可以分为有损压缩算法和无损压缩算法两种。比较典型的无损压缩算 法包括哈夫曼( h u f m a n ) 编码、算术编码等；比较典型的有损压缩算法包括预 测编码、变换编码、m p e g 4 和h 2 3 6 等等。在论述图象压缩之前，有必要先讲 述一下b m p 格式的数据和文件的结构，因为从捕获设备上直接得到的是b m p 结 构的数据。b m p 文件由文件头、位图信息头、颜色信息和图形数据四部分组成。 t y p e d e fs t r u c tt a g b i t a p f i l e h e a d e r ( w o r db f t y p e ：位图文件的类型，必须为b m d w o r db f s i z e ：位图文件的大小，以字节为单位 w o r db f r e s e r v e d l ； 位图文件保留字，必须为o w o r db f r e s e r v e d 2 ： 位图文件保留字，必须为0 d w o r db f o f f b i t s ：位图数据的起始位置，以相对于位图 ) b i t m a p f i l e h e a d e r ：文件头的偏移量表示，以字节为单位，共占 用1 4 个字节。 位图信息头数据用于说明位图的尺寸等信息。 t y p e d e fs t r u c tt a g b i t m a p i n f o h e a d e r d w o r db i s i z e ： 本结构所占用字节数 l o n gb i w i d t h ： 位图的宽度，以像素为单位 l o n g b i h e i g h t ：位图的高度，以像素为单位 w o r db i p l a r i e s ： 目标设备的级别，必须为1 w o r db i b i t c o u n t 每个像素所需的位数，必须是1 ( 双色) ， 4 ( 1 6 色) ，8 ( 2 5 6 色) 或2 4 ( 真彩色) 之一 4 硕士论文c s c w 环境下多媒体传输的研究与实现 d w o r db i c o m p r e s s i o n ： 位图压缩类型，必须是0 ( 不压缩) i ( b i - r l e 8 压缩类型) 或2 ( b i r l e 4 压缩类型) 之一 d w o r db i s i z e l m a g e ： 位图的大小，以字节为单位 l o n g b i x p e l s p e r m e t e r ： 位图水平分辨率，每米像素数 l o n g b i y p e l s p e r m e t e r ：位图垂直分辨率，每米像素数 d w o r db i c l r u s e d ： 位图实际使用的颜色表中的颜色数 d w o r db i c l r i m p o r t a n t ： 位图显示过程中重要的颜色数 ) b i t m a p i n f o h e a d e r ，共占用4 0 个字节； t y p e d e fs t r u c tt a g r g b q u a d b y t e r g b b l u e ： 蓝色的亮度( 值范围为o - 2 5 5 ) b y t e r g b g r e e n ：绿色的亮度( 值范围为o - 2 5 5 ) b y t e r g b r e d ：红色的亮度( 值范围为o - 2 5 5 ) b y t e r g b r e s e r v e d ：保留，必须为0 ) r g b q u a d ：共占用4 个字节；但是，在真彩色位图中，不存在这一表项， 所以，在图3 - 2 中，第0 x 0 1 3 6 地址之后的数据都是位图数据。 位图信息头和颜色表组成位图信息，b i t m a p i n f o 结构定义如下： t y p e d e fs t r u c tt a g b i t m a p i n f o b i t m a p i n f o h e a d e rb m i h e a d e r ：位图信息头 r g b q u a db m i c o l o r s 1 ：颜色表 ) b i t m a p i n f o ； 最后是位图数据，从图3 2 1 1 也可以看出，该图是用d e b u g 命令查看一幅3 2 0 2 4 0 大小的2 4 位位图图象时得到的数据。 图3 2 1 1 位图图象分析 硕士论文c s c w 环境下多媒体传输的研究与实现 图中数字下有下划线的几个数据是几个重要数据的代表，从左向右分别是位图 高度( o x l 4 0 ，3 2 0 ) 、位图宽度( o x f o ，2 4 0 ) 、目标设备级别( 1 ) 和每象素所需要 的位数( o x l 8 ，2 4 ) 。 3 2 2 几种重要的视频压缩技术 在这里，我们只讨论活动图象的压缩技术，由于静态图象压缩在我们所讨 论的系统中不被使用，所以不作讨论。 ( 1 ) m p e g 一1 是1 5 m b s 固定码率的数字运动图象及其伴音编码压缩的国际 标准视频分辨率为3 5 2 2 4 0 ( n t s c ) 和3 5 2 x 2 8 8 ( p a l ) ，视频帧率为3 0 帧 秒，压缩后的视频数据量为1 2 m b s ；音频按4 4 1k h z 采样，1 6 b i t 量化精度， 双声道，压缩后的音频数据量为0 1 9 2 m b s ：控制视频及声音复用的系统流数 据量为0 1 m b s 。它主要用于中等图象质量的视频存储和传输的编码表示和解 码规定。优点：图象质量较好，同时还有伴音。缺点：数据量较大。 ( 2 ) m p e g 一2 是4 m b s 1 5 m b s 运动图象及其伴音的压缩编码国际标准。视 频分辨率为7 2 0 4 8 0 ( n t s c ) 和7 2 0x5 7 6 ( p a l ) 。它主要用于数字视频广播 ( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等高质量的视频存储和传输的编 码表示和解码规定。优点：图象质量很好，有伴音。缺点：数据量非常大。 ( 3 ) m p e g 一4 是4 8 0 0 b s 1 0 m b s 下的可变码率的音频和视频压缩编码标准。 视频分辨率为3 5 2 2 8 8 ( c i f ) 和1 7 6 1 4 4 ( q c i f ) 等。它主要用于可视电话、 视频电子邮件等的压缩标准，它也支持不同传输信道的不同码率， 如：4 8 0 0 b s 6 4 k b s 的低速通道；6 4 k b s 3 8 4 k b s 的中速通道；3 8 4 k b s 2 m b s 的高速通道。优点：图象质量可以调节，有伴音，数据量从4 n 大可变， 具有基于内容检索功能。缺点：目前成熟的软硬件产品不多。“1 ( 4 ) h 2 6 3 是小于6 4 k b s 下的可变码率的甚低码率视频压缩编码标准。视 频分辨率为3 5 2 x 2 8 8 ( c i f ) 和1 7 6 1 4 4 ( q c i f ) 等。它主要用于电视会议和可 视电话等压缩标准。优点：图象质量可以调节，压缩率高，数据量从小到大可 变，软硬件产品成熟。缺点：仅有视频压缩不包括声音压缩。 从以上几种典型的编解码算法中可以看出，在该多媒体传输子系统中，可 以采用的视频压缩技术应该是m p e g 一4 或者h 2 6 3 。由于m p e g 4 本身过于复杂， 自己实现难度较大，而商业产品价格不菲：另外，视频会议的编码器一般是选 择h 2 6 1 或者h 2 6 3 ，因此参照视频会议系统的选择，我们最终认为h 2 6 3 是 较好的选择。 顿士沦文c s c w 环境下多媒体传输的研究与实现 3 。2 3h 2 6 3 视频编解码 1 h 2 6 3 视频压缩标准 h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的极低码率视频编码标 准。该标准是在h 2 6 1 的基础上发展起来的，综合应用帧间预测去除时间冗余 度和d c t 变换编码的混合编码算法。其标准的输入图像格式可以是s - q c i f 、 q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比 采用了半像素的运动补偿，并且又增加了4 种有效的压缩编码模式。【1 4 1 ( 1 ) 无限制的运动矢量模式 ( 2 ) 基于句法的算术编码模式 ( 3 ) 先进的预测模式 ( 4 ) p b 一帧模式 一个p b 一帧包含作为一个单元进行编码的两帧图像。p b 一帧的名称源于h 2 6 2 中使用的p 帧和b 帧。p b 帧模式可在码率增加不多的情况下使帧率加倍。 该标准解码序列如图3 2 3 1 所示： 图3 2 3 i 帧序歹| j h 2 6 3 对帧内采用t r a n s f o r m 编码，主要采用j p e p 技术；对帧间采用预测 编码，i 帧可以是随机的。 帧内编码的流程如图3 2 3 2 所示： 1 7 硕士论文c s c w 环境下多媒体传输的研究与实现 0 1 1 0 目等四 4 窖 图3 2 3 2 帧内编码流程 其中，m a c r o b l o c k ( 宏块) 的大小是原始帧的1 6 x 1 6 象素大小区域。和j p e g 的区别是，d c t 系数采用常数进行量化，而不是j p e g 标准的量化表a 在4 ：2 ：0 格式中，一个宏块对应4 个亮度块( yb l o c k ) ，1 个c r 块，1 个c b 块，c r 和 c b 代表子采样后的色度信号块) 。 帧间编码的流程如图3 2 3 3 所示： 1 4 t a r g e t 1 4 苎 j 一：；砥 猡 、 压n l o c t + o u a n + r l e 图3 2 3 3 帧间编码流程 h u | l m a n g o d i b i t 0 1 0 0 1 1 0 曲 心， 口口一 田1 觏十论文c s c w 环境下多媒体传输的研究与实现 其中： r e f e r e n c ei m a g e 代表经过编码的图象 t a r g e ti m a g e 代表当前要编码