（计算机应用技术专业论文）基于bs、cs混合模式的多媒体教学系统的设计与实现.pdf

摘要 随着宽带i n t e m e t 的普及，网络技术、多媒体技术的迅速发展，人类己进入 信息化社会，在非实时网络课堂应用日趋成熟的同时，广大师生对在线实时系统 的需求不断增大，网上实时教学已经成为计算机辅助教育( c a e ) 的研究热点，它 打破了传统的教学模式，使教学活动可以跨地域进行。 该教学系统，结合了b s 、c s 两种模式的优点，采用基于b s 、c s 混合模 式的设计，教师端是独立的应用程序，学生端则是普通的浏览器。本系统有w e b 服务器、多媒体服务器、教师端和学生端四个主要的功能部件组成。其中教师端 是本系统的重点部分，开发了手写电子备课应用软件和课堂直播软件。手写电子 备课软件集教师手写与传统电子备课于一身，既可以发挥传统的电子备课方便， 快捷，便于修改的优点，又可以将教师手写的内容展示给学生，使课件形式更加 灵活多样，同时也可以在课堂上作为电子白板给学生手写演示，激发了学生的学 习兴趣，增强了学生的认知能力；课堂直播软件用于采集教师机屏幕、教师授课 音、视频信息，然后压缩，交错打包成a s f 流，进行网络分发。这两个软件可 以应用于现实教学活动中，使教学的形式更加多样化；w e b 服务器端利用s q l s e r v e r 技术建立数据库，用于用户信息的管理，以及聊天室功能的实现；多媒体 服务器端利用w i n d o wm e d i as e r v e r 建立多个直播和点播发布点实现教师授课 的实况直播和点播服务；学生端即浏览器端实现了不同地域的学生可以实时的收 看到教师授课情况，还可以实现在线问答、提交作业、课后点播、课件下载等功 能。 实践证明，本系统具有软硬件成本较低、灵活性和适应性强、网络资源利用 率高等特点，较好的满足了实时教学的需要。 关键词：流媒体d i r e c ts h o w 数字墨水实时教学 a b s t r a c t w i t ht h ep r e v a l e n c eo ft h eb r o a d b a n di n t e r n e t ，a n dt h er a p i dd e v e l o p m e n to f n e t w o r ka n dm u l t i m e d i at e c h n o l o g y , w eh a v ee n t e r e di n t oa ni n f o r m a t i o nw o r l d w i t h t h em a t u r a t i o no fn o n - r e a l t i m en e t w o r kt e a c h i n g ，t h er e q u i r e m e n to fr e a l t i m e t e a c h i n gs y s t e mh a sb e c o m em o r ea n dm o r eu r g e n t r e a l t i m e - t e a c h i n go v e ri n t e m e t h a v eb e c o m et h eh o t s p o to fr e s e a r c hf o rc o m p u t e ra i d ee d u c a t i o n i tm a k e s e d u c a t i o nu n l i m i t e dt os p a c e s t h en e t w o r ka r c h i t e c t u r eo fo u rt e a c h i n gs y s t e mb a s e so nb sa n dc sm i x e d - m o d e w h i c hc o m b i n e st h ev i r t u e so fb sm o d ea n dc sm o d e t h es y s t e mi n c l u d e sf o u r s e g m e n t s ：w e bs e r v e r , m u l t i m e d i as e r v e r , t e a c h e re n d a n ds t u d e n te n d t h et e a c h e r e n di st h em o s ti m p o r t a n tp a r to ft h es y s t e m i ti n c l u d e st w op a r t s ：o n ei sa m a n u s c r i p t - - e l e c t r o n i c - p r e p a r i n gf o rl e s s o n ss o f t w a r ea n d t h eo t h e ri sas o f t w a r ef o r b r o a d c a s tm u l t i m e d i ai n f o r m a t i o no ft e a c h i n g t h em a n u s c r i p t - e l e c t r o n i c p r e p a r i n g f o rl e s s o n ss o f t w a r ec o m b i n e st h ev i r t u e so fm a n u s c r i p tp r e p a r i n ga n dt r a d i t i o n a l e l e c t r o n i cp r e p a r i n gf o rl e s s o n s i ts t i m u l a t e ss t u d e n t s i n t e r e s t sa n de n h a n c e ss t u d e n t s a b i l i t yo fc o g n i t i o n a n db r o a d c a s ts o f t w a r ec o l l e c t st h es c r e e no f t e a c h e r sc o m p u t e r , t e a c h e r sv i d e oa n da n d i o i te n c o d e st h e mi n t oaa s fs t r e a ma n db r o a d c a s tt h e a s f s t r e a m t h em a n a g e m e n to ft h eu s e r si n f o r m a t i o na n dt h ef o r u ma r ei m p l e m e n t e do nt h e w e bs e r v e re n dw i t ht h es q ld a t a b a s et e c h n o l o g y t h e r ea r em u l t i l i v i n gb r o a d c a s t p o i n t sa n dm u l t i v o dp o i n t sb u i l to nt h em u l t i m e d i as e r v e re n d s t u d e n t sc a n a t t e n d c l a s so v e ri n t e m e ta n di n t e r c o u r s ew i t ht e a c h e r p r a c t i c eh a sp r o v e dt h a tt h e r ea r em a n ym e r i t so ft h es y s t e m , s u c ha s ：l o wc o s t ， f l e x i b i l i t ya n de f f i c i e n t ，i tc a nm e e tt h eb a s i cr e q u i r e m e n t so f r e a l - t i m et e a c h i n g k e y w o r d s ：s t r e a m i n gm e d i a ，d i r e c t s h o w , d i g i t a li n kr e a l t i m e - t e a c h i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 方名梅签字日期： 乃护分年月 日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权叁鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 方冬梅 签字日期：二j d8 年月 多日 导师签名：爹饪所季 签字日期：。圹年石月么f i 第一章绪论 1 1 课题的背景和意义 第一章绪论 当今时代是一个计算机技术飞速发展的时代。随着计算机的软件、硬件技术 的飞速发展，计算机的性能得到了大幅的提升，单台p c 的多媒体功能极大地提 高了计算机的图像、声音处理能力，从而使多媒体p c 的实现成为可能。 与此同时，随着互联网技术的飞速发展，i s p 也越来越多地提供诸如a d s l 、 i s d n 、1 0 m 10 0 ml a n 等高速的i n t e m e t 终端接入手段，并且主干网吞吐率得到 了大幅度的提升，这为音视频的网络传输提供了有利的条件。网上视频点播、视 频直播成为越来越热门的话题。尤其是通过在线直播技术，可以使用户实时的看 到千里之外正在发生的事情，这种技术的优点是传统的文字或者语音传送方式所 无法比拟的。这种实时直播所遇到的最大障碍是现有的网络条件难以满足这么大 数据量的实时传输。因此有必要采用有效的压缩手段对需要传送的媒体信息进行 压缩。进入九十年代中后期以后，音视频压缩编码等流媒体技术获得了重大的进 展，这就为音视频的网络传输提供了可能。 网络教学系统是指在计算机网络环境下，借助现代化的多媒体技术进行教学 的计算机辅助教学系统。在网络多媒体教学系统中，允许不同时空的学生们共享 学习资源，通过协同对话共同探讨和学习。与传统教学方式相比，多媒体网络教 学具有无可比拟的优势。首先，多媒体网络教学的交互性有利于激发学生的学习 兴趣和认知主体作用的发挥；其次，多媒体网络教学提供的多种展现形式有利于 知识的获取；此外，多媒体网络教学还在同一空间营造出一个相对个性化的教学 环境，使个性化教学成为可能【l j 。 本课题拟开发的基于b s 、c s 混合模式的多媒体实时教学系统是一种运用 现代计算机网络和多媒体技术进行远程教育、培训及在线交互，依托网络多媒体 技术和网络硬件平台，将各种知识、技术通过网络远程传送到学生面前，使学生 通过网络享受教育的现代教学系统。它突破了传统培训在时间、空间、教育环境 和受教育年龄等方面的限制，借助于网络来进行多媒体教学，采用音、视频、电 子白板和文字等多种方式，与传统的教育媒体相结合，传递教育信息，让优秀的 师资资源得以共享。 基于b s 、c s 混合模式的多媒体实时教学系统具有以下优势： 1 、学生端只要能够上网，就可以收看实况直播或者进行点播、在线讨论、 第一章绪论 提交作业等而不需要安装额外的软件，这为系统的维护和升级提供了便利。 2 、学生可以同时接收到音频、视频、屏幕三路媒体信息，真实的再现了授 课情景。而且可以在线实时交流，使得接收的信息量大幅度提高。 3 、教师可以利用手写电子备课软件制作富有个性的教学课件，使教学内容 更加丰富。 4 、教师可以利用电子白板就像在课堂上利用黑板一样进行手写演示。 1 2 国内外现状 目前，国内外开展远程多媒体实时教学一般采用以下三种途径【2 】： 一是基于卫星和有线电视c a t v 平台的实时教学。这种方法具有技术成熟、 覆盖面广的特点，但因其单向广播性而不易解决师生交互问题，受时空限制较大， 且成本较高。 二是基于h 3 2 3 等标准的视频会议系统开展的实时教学。这种方式虽然可 以实现双向实时多媒体交互，但它基于电路交换，因此必须使用专线，无法与 i n t e m e t 融为一体，从而与现在广泛分布的分组交换机制的i n t e r n e t 不兼容。此外， 这种系统的投资与运行费用也十分昂贵，不适合中国国情。 三是基于i p 网的多媒体实时教学。由于i p 网具有支持双向传输、扩展性强、 成本低、接入方便等特点，虽然目前还受到网络带宽的制约，但随着c e r n e t 的扩容和各个高校校园网的建成，基于i p 网开展远程教育具有极其广阔的应用 前景。目前，国外已经开发了一些支持产品，如v c q n 、p o l l y c o m 等，但这些 产品都不是专业用于远程教育的，而是作为一般的视频会议系统，而且一般需要 专用的设备，价格较高。在国内，创通科技开发了基于i p 网的实时教学系统 m l i v e 2 0 0 0 ，一定程度上提供了一种i p 网实时教学解决方案，但该系统仅支持 p p t 、w o r d 等格式的课件，且存在屏幕内容清晰度低、网络带宽要求过大、无 q o s 控制功能、没有从根本上解决组播( m u l t i c a s t ) 、不能进行课堂实况录制等问 题；江苏科健公司开发的实时教学系统虽然能进行课堂实况录制，却存在不支持 师生交互、录制的课件格式兼容性差、仅适用于局域网环境等问题，这些问题均 限制了上述系统的广泛应用和进一步推广。 总体来说，目前实时教学的实现大体上可分为两类：基于b s 模式的和基于 c s 模式的【3 】，两种模式各有特点。c s 模式可以解决交互性的问题，师生可以 通过音视频，电子白板等进行多模式的交流，但缺点就是不仅服务器端需要安装 各种软件，客户端也需要安装各种软件，为系统的升级和维护带来了不便，而且 由于路由器对i p 组播的限制，这就大大限制了系统的应用范围。采用b s 模式则 2 第章绪论 客户端不需要安装专门的软件，只要安装有浏览器，下载播放器插件即可，十分 方便，但由于浏览器对安全的一些限制在b s 模式下，交互性有所下降。该实 时教学系统，结合y b s ，c s 两种模式的优点，采用基于b ，s 、c s 混合模式的设 计，教师端是独立的应用程序，学生端则是普通的浏览器。 系统架构如图1 - 1 所示。 教师机屏幕 1 3 本文的主要工作 圈卜1 系统架构图 在课题研究过程中，主要完成了以下工作： l 、学习流媒体相关知识，掌握流媒体开发相关技术。 2 、学习d i r e c t s h o w 相关技术。实现了多媒体信息的采集、压缩以及回放。 3 、研究数字墨水技术，并将其应用于教师手写电子备课软件的实现中，使 课件形式更加丰富，并且可以用作电子白板，进行手写演示。 4 、学习a s p n e t 技术，开发了远程教学网站实现了学生的远程登陆、收 看实况直播、在线聊天等功能。 5 、学习了w m d o w s m e d i a f o r m a t 技术，实现了多媒体信息流的网络分发。 系统开发环境构成如下： l 、硬件配置：连接网络的p c 机，u s b 摄像头，全职工声卡，麦克风 2 、软件配置：m i c r o s o f ts c t v c r 2 0 0 3 ，v c + + 60 v i s u a ls t u d i o n o t 。d i r c c i s h o w ， t 曲l n p cs d k 遵照趣遵 9 桊辞器 一 栅争是 一 -篙乳醪_ 耻留 第二章流媒体技术概述及其开发方法 第二章流媒体技术概述及其开发方法 众所周知，以前在i n t e m e t 上传输的音视频( a v ) 等多媒体信息，用户比较熟 悉和经常使用的是下载方式，而下载一个a v 文件经常要花上数分钟或数小时。 这主要是由于通常a v 文件相对于其它类型的文件而言容量较大，同时又受网络 带宽的限制，传输效率不高，更不能满足视频信息传输的实时性要求，从而很难 推动i n t e m e t 上视频信息的全面应用。而用户又需要一种突破带宽限制的新的信息 传输方式，在这种情况下，流媒体技术应运而生。作为一种新的传输方式，流式 传输有望成为i n t e m e t 上视频传输的基本方式【4 j 。 2 1 流媒体技术概述 2 1 1 流媒体的基本概念 所谓流媒体是指用户通过网络或者特定数字信道边下载边播放多媒体数据 的一种工作方式。流媒体应用的一个最大的好处是用户不需要花费很长时间将多 媒体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的 缓冲区中就可以开始播放，后面收到的数据会源源不断输入到该缓冲区，从而维 持播放的连续性，因此流媒体播放器通常只是在开始时有一些时延【5 j 。流媒体系 统要比下载播放系统复杂得多，所以需要将多媒体的编解码和传输技术很好地结 合在一起，才能确保用户在复杂的网络环境下也能得到较稳定的播放质量。多媒 体数据在传输前必须要先经过编码器有效地压缩成码流，以减少对网络资源的占 用率。目前常用的视频编码器有m p e g 2 、m p e g - 4 、h 2 6 1 、h 2 6 3 、h 2 6 4 、 w i n d o wm e d i a 视频编码器和r e a ls y s t e m 视频编码器等；音频编码器有m p 3 、 m p e g 、a a c 、w i n d o wm e d i a 音频编码器和a m r 等；图像编码器有j p e g 和 j p e g 2 0 0 0 等。多媒体编码器所生成的码流只包含了解码该码流所必需的信息， 它不包含媒体间的同步、随机访问等系统信息，因此编码后的多媒体数据还要被 组织成为具有特定系统格式的多媒体文件用于流媒体传输或者是存入磁盘中，目 前常用的文件格式有m p e g 2 系统，m p 4 ，微软公司的a s f ，r e a l 的文件格式， q u i c k t i m e 的文件格式以及用于3 g 无线服务的3 g p p 和3 g p p 2 等等。当流媒体在 实时应用中( 如现场流媒体广播) ，根据当前的网络状况和用户的终端参数，多 媒体数据是一边被编码一边被流媒体服务器传输给用户。而在其他的非实时应用 4 第二章流媒体技术概述及其开发方法 中，多媒体数据可以被事先编码生成多媒体文件，存储在磁盘阵列中。 流式传输的实现需要有缓存。因为i n t e r n e t 以包传输为基础进行断断续续地异 步传输，对一个实时音、视频源或存储的音、视频文件，在传输中它们要被分解 为许多包。由于网络是动态变化的，各个包选择的路由可能不尽相同，所以到达 客户端的时间延迟也就不等，甚至先发的数据包还有可能后到。为此，在流式传 输中使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使 媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停捌6 1 。通常高速缓 存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃已经 播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 在流式传输的实现方案中，一般采用h t t p t c p 协议来传输控制信息，而用 r t p u d p 来传输实时音视频数据。流式传输的过程一般是这样的：用户选择某一 流媒体服务后，w e b 浏览器与w e b 服务器之间使用i p t c p 交换控制信息，以便把 需要传输的实时数据从原始信息中检索出来，然后客户机上的w e b 浏览器启动 a n h e l p e r 程序，使用h t t p 从w 曲服务器检索相关参数对h e l p e 陧序初始化。a v h e l p e r 程序及音、视频( 刖v ) 服务器运行r t s p ( 实时流协议) ，以交换a v 传输所需 的控制信息。与c d 播放机所提供的功能相似，r t s p 提供了操纵播放、快进、快 倒、暂停及录制等命令的方法。a 服务器使用r t p u d p 协议将a 数据传输给 客户程序( 一般可认为客户程序等同于h e l p e r 程序) ，一旦a v 数据抵达客户端，客 户程序即可播放输出【7 】【引。 需要说明的是，在流式传输中，使用r t p u d p ，和r t s p t c p 两种不同的通 信协议与w 服务器建立联系，是为了能够把服务器的输出重定向到一个不同于 运行a ，vh e l p e r 程序所在客户机的目的地址【9 】。实现流式传输一般都需要专用服 务器和播放器，其基本过程如图2 1 所示。 w e b 浏览器 流播放器 h t n 厂r c p w e b 服务器il 摄录设备 控制信息r t s p t c p ( u d p ) 岔 1 广1 及 数据r t p u d p 流媒体服务器卜1 流媒体编码器 图2 1 流式传输实现原理图 第二章流媒体技术概述及其开发方法 2 1 2 流媒体播放方式 单播 单播是在客户端与媒体服务器之间建立一个单独的数据通道，从一台服务器 送出的每个数据只能传送给一个客户机。这种巨大的冗余造成服务器的重大负 担，响应需要很长的时间，甚至停止播放【l o 】【1 1 】。可以通过点播和广播两种方式 向客户端发布单播流。 点播连接是客户端与服务器之间的主动连接【1 2 】【1 3 】。在点播连接中，用户通 过选择内容项目来初始化客户端连接。点播连接使用了对流的最大控制，但这种 方式由于每个客户端各自的连接服务器，会迅速的用完网络带宽。 广播。 广播是指用户被动的接收流。在广播过程中，客户端接收流但不能控制流。 广播方式中数据包的单独一个拷贝将发给网络上的所有用户，而不管用户是否需 要。共有两类广播：单播、多播，两种都是被动的。在广播中，客户端通过服务 点上的别名访问流。用户点击w e b 网页上的连接或获得该别名的u r l ，从而连 接到流。每个连接到流的用户都有自己的连接和来自服务器的流。 在广播多播中，被动的用户通过监视特定的i p 地址接收多播a s f 流( 与以 特定的频率从收音机或电视台接收的信号类似) 。多播的优点为一个流通过网络 可以提供a s f 内容给许多客户端。这样可以节省网络带宽，对低带宽网络尤其 重要。 d 组播。 单播和广播方式都非常浪费资源，i p 组播克服了这个缺点。i p 组播技术构 建一种具有组播能力的网络，允许路由器一次将数据包发送到多个通道上，向一 组指定的用户传送数据。采用组播方式，媒体服务器只需发送一个信息包，所有 的发送请求的客户端共享同一信息包，减少网络上的信息包的总量。网络利用率 大大提高，成本大为下降。 在各种播放方式中，组播方式是最理想的播放方式。但因网络安全原因，目 前大多数的路由器不支持组播【1 4 】【15 1 。 2 1 3 流媒体编解码标准 流媒体编解码技术建立在传统的多媒体编解码技术之上，其中以i s o i e c 颁 布的m p e g 系列标准和i t u 颁布的h 系列标准为代表1 6 1 。 m p e g 标准 m p e g 是英文“t h em o v i n gp i c t u r ee x p e r tg r o u p ”的缩写，m p e g 的任务是 6 第二章流媒体技术概述及其开发方法 开发运动图像及其声音的编码标准，m p e g 系列标准包括m p e g 1 、m p e g 2 、 m p e g 4 、m p e g 7 标准。 m p e g 一1 用于码率约为1 5 m b p s 的数字视频及其伴音的编码，m p e g 一2 在此 基础上为了满足日益增长的多媒体分辨率和传输率等方面的技术要求，首次定义 了传输流( t r a n s p o r ts t r e a m ) ，并支持多路m p e g 2 码流在网络中的传输复用。 m p e g 一4 是为了交互式多媒体通信制定的压缩标准【1 1 】【1 3 】【1 7 1 ，m p e g - 4 标准将 众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供 标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索及其应用环境 提供一个基于“对象”的编码方案，并在时域和空域具有灵活的扩展性，以利于 动态码率的调整。m p e g 4 的特点使其非常适合交互式的音视频服务以及远程 监控。 m p e g 7 被称作是多媒体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) ，它对不同类型的多媒体信息进行标准化的描述，并将这种描述与媒体 的内容联系起来，以实现基于内容的有效检索1 1 】【1 3 】。m p e g 7 是为互联网视频检 索制定的压缩标准【l 7 1 。 h 系列标准 h 系列标准主要用于视频电话和视频会议【_ 7 】：h 2 6 1 以d c t ( 离散余弦变换) 和运动补偿为基础【l7 1 ，是视频压缩的第一个标准，它把数字视频速率压缩到 6 4 k b s 2 0 4 8 m b s 。h 2 6 1 标准使用对称压缩技术，它所获得的性能比使用不对 称压缩技术的m p e g 标准低。 h 2 6 3 在h 2 6 1 的基础上发展起来，综合应用帧间预测去除时间冗余度和 d c t 变换编码去除空间冗余度的混合编码算法【s 】。 流媒体编码算法的标准集中体现了多种矛盾需求的综合折中，这些需求包 括：压缩编码速度，解码回放质量，可变编码码流速率，动态传输环境下的鲁棒 性，解码速度，信噪比，可伸缩性等 1 引。 2 1 4 流媒体技术应用 互联网的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒体 业务正变得日益流行。典型的应用方案有【唧1 9 】： 视频点播 由于流媒体采用特殊的压缩编码技术，特别适合在网络上传输。客户端采用 浏览器的方式进行点播，基本无需维护。随着网络带宽的增加，互联网用户除了 获得文字和图片的信息外，还可以在网上听音乐、观看影视。 一 网络直播 7 第二章流媒体技术概述及其开发方法 随着i n t e m e t 的普及，越来越多的用户可以从网络上直接接收实时的视频图 像，即i n t e r a c t 直播。流媒体技术实现了在低带宽的情况下，通过网络实时传输 较高质量的影音文件。 远程监控 充分利用i n t e m e t 的不间断资源，以简单的硬件设备实现类似网络直播的远 程监控，解决在人力资源无法满足的情况下的音视频监控。 网络视频会议 视频会议技术涉及到数据采集、数据压缩、网络传输等多项技术。采用流媒 体的格式传输影音，用户不必等待整个视频文件传送完毕，就可以实时地观看。 视频会议是流媒体的商业应用之一，通过流媒体还可以进行点对的点的通信。 远程教育 由于网络带宽的限制，采用流媒体技术开展网络教学活动是最佳的选择。使 用流媒体技术，可以实现教师授课的实时直播，再加上流媒体课件点播和交互模 块，可以很好地为学生的远程学习提供服务。 2 2w i n d o w sm e d i af o r m a t 技术概述 2 2 1w i n d o w sm e d i af o r m a t 基本概念 一、 输入、输出、流 w m fs d k 弓i 入了一系列的对象，如生成器( w r i t e ro b j e c t ) 、读取器( r e a d e r o b j e c t ) 、编辑器( m e t a d a t ae d i t o ro b j e c t ) ，等等，系统结构如图2 - 2 所示1 2 0 。 w i n d 佣m 巅af 。m a tu 生成器读取器 编辑器 i 1 上?s 图2 2 脏s d k 系统结构 第二章流媒体技术概述及其开发方法 其中，生成器一般用于将非压缩的媒体数据编码成w i n d o w sm e d i a 格式的数 据。整个编码过程非常简单，只要通过一个叫p r o f i l e 的对象配置好目标数据流 格式，再将输入数据的格式告诉生成器，然后依次将输入数据按照既定的方式传 给生成器，剩下的事就都可以交给生成器了。生成器内部会根据p r o f i l e 的配置， 自动选择一种w i n d o w sm e d i a 编码器对输入数据进行压缩编码，并且完成打包， 最终写成文件或者网络流化。图2 3 所示是生成器的大致工作流程。可以看到， 生成器内部对输入的数据可能有一个预处理过程，因为特定编码器能够接受的数 据格式总是有限的。如果输入数据格式不能被编码器所接受，生成器内部会自动 进行一个预处理的过程，预处理工作包括视频图像大小的缩放、帧率调整、色彩 空间转换、水印叠加、音频的采集频率转换等。另外，生成器本身不负责编码后 的数据的最终去向，而把这个任务交给了一种叫接收器( s i n k ) 的对象，比如交 给文件接收器就可以将数据保存为文件，交给网络接收器就可以将数据进行广 播，交给推接收器就可以将数据分发到运行w i n d o w sm e d i as e r v i c e s 的服务器上， 等等。 输入数据格式p r o f i l e 流配置 图2 3 生成器的工作流程 二、a s f 文件格式 a s f 格式是一种主要为存储和播放同步的数字媒体流及在网络上传输它们 而设计的可扩展的文件格式1 1 2 2 。a s f 作为新的文件格式，是m i c r o s o f t 自行开发 的，专为流媒体而采用的一种文件格式。最初a s f 是a d v a n c e ds t r e a m i n gf o r m a t 的缩写。a s f 是一种包含基于w i n d o w sm e d i a 音频和视频的容器格式。扩展 名w m a 或w m v 用来表明a s f 文件中包含的内容是使用w i n d o w sm e d i a 音频或视 频编解码器进行编码的。 a s f 是一个开放标准，它能依靠多种协议在多种网络环境下支持数据的传 送。同a v i 、t x t 文件一样，a s f 文件也是一种文件类型，但它是专为在i p 网上 9 第二章流媒体技术概述及其开发方法 传送有同步关系的多媒体数据而设计的，所以a s f 格式的信息特别适合在i p 网 上传输。a s f 文件的内容既可以是我们熟悉的普通文件，也可以是一个由编码设 备实时生成的连续的数据流，所以a s f 既可以传送人们事先录制好的节目，也 可以传送实时产生的节目。 a s f 对象定义了a s f 文件基本的组织单元，它是由一个1 2 8 位的全球唯一的 对象标识符( o b j e c tt o ) ，一个6 4 位整数的对象大d x ( o b j e c ts i z e ) 和一个可变长的对 象数据( o b j e c td a t a ) 组成【2 3 1 。对象大小域的值是由对象数据的大小加上2 4 字节( 即 包括对象g u i d 域和对象大小域) 之和，a s f 文件对象的数据结构见图2 4 。 对象g u i d ( 1 6 字节) 对象大小( 8 字节) 对象数据( n = o ) 图2 4a s f 文件对象的数据结构 高层文件结构a s f 文件逻辑上是由三个高层对象组成：头对象( h e a d e r o b j e c t ) 、数据对象( d a t ao b j e c t ) 和索引对象( i n d e xo b j e c t ) 。头对象是必需的，并 且必须放在每一个a s f 文件的开头部分。数据对象也是必需的，一般情况下紧跟 在头对象之后。索引对象可任意选择，推荐使用它。 微软将a s f 定义为同步媒体的统一容器文件格式口1 】【2 4 1 。它是一种数据格式， 音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包 的形式传输，实现流式多媒体内容发布。a s f 格式的视频中可以带有命令代码， 用户指定在到达视频或音频的某个时间后触发某个事件或操作。a s f 的主要优点 包括：本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流 的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。 三、w i n d o w sm e d i a 编解码基本概念 c b r 编码 c b r 是c o n s t a n tb i tr a t e 的缩写，意思是恒定码流，在任何时候编码器输出 的码流，单位时间内的数据量是一个相同的值( 更确切的说是一个近似相同的 值) 。由于这种码流的恒定的特性，在没有完成编码之前，编码后的总数据量就 可以预先估算出来。c b r 是w i n d o w sm e d i a 编码器默认的一种编码模式，c b r 数据也是最适合网络流化的一种数据。 1 0 第二章流媒体技术概述及其开发方法 v b r 编码 v b r 是v a r i a b l eb i tr a t e 的缩写，意思是可变码流。也就是说，编码器输出的 码流在单位时间内的数据量可能是一个不同的值( 而且可能相差比较大) 。与c b r 不同，v b r 关注更多的是编码后的内容质量。w i n d o w sm e d i a 编码器支持3 种v b r 模式：基于质量的v b r 、( 比特率) 不受限的v b r 和( 比特率) 受限的v b r 2 0 i 。 2 2 2 网络协议 流媒体技术是多媒体技术与网络技术的交叉应用技术。流媒体传输控制使用 的网络协议是流媒体关键技术之一。我们研究流媒体，不仅要关注多媒体技术， 更要关注网络技术。i n t e m e t 是全世界使用t c p i p 协议族和网关设备组成的网络。 随着i n t e m e t 的迅速发展，t c p i p 协议族在计算机网络领域占据了主导地位。实 际上，t c p i p 已经成为了i n t e m e t 的代名词。t c p i p 协议族是一个层次结构的 网络协议体系：协议族最低层为网络接口层，该层负责与物理网络的连接，不同 的物理传输媒介( 以太网、a t m 等) 有不同的网络接口层：网络接口层之上为 网络层( 也称作i p 层) ，该层负责计算机与计算机之间的通信；网络层之上为传 输层，该层负责应用程序之间的通信；传输层之上为应用层，该层负责具体的程 序和应用的语义表示。对于流媒体而言，一般不考虑网络接口层，而对i p 层比 较关心，研究重点在于传输层和应用层。 在传输层，典型的协议有t c p 和u d p 两种。t c p 是一种面向连接的可靠的 传输协议，它主要的特点是：支持多数据流操作，提供流控和错误控制，甚至能 完成对乱序到达报文的重新排序等。t c p 虽然能够提供可靠的数据传输服务，但 效率比较低。而u d p 是一种非面向连接的不可靠的传输协议，它提供的是一种 基本的、低延时的、称为数据报的传输服务。u d p 传输方式可能导致数据丢失， 接收方收到的数据包也可能是乱序的，但u d p 是高效率的。 传统的数据通信主要关注数据的正确性，而对网络延时没有太多限制。但对 于流媒体来说，延时是难以忍受的，对数据的正确性反而降低了要求( 对于客户 端来说，偶尔的数据丢失的结果仅仅是某些数据无法解码或者解码不完全，不会 影响到整体的播放效果) 。因此，u d p 协议是流媒体数据传输的首选协议( 当然 使用t c p 协议也是可以的) ，而t c p 协议较多地用在播放控制命令的发送接收。 m i c r o s o f t 公司拥有自己的流媒体协议m m s ( m i c r o s o f tm e d i as e r v e r ) 。m m s 协议实际上是一种应用层协议，支持快进、快倒、暂停、启动、停止和索引数字 媒体文件等播放器控制操作。m m s 协议有t c p 和u d p 两种传输方式实现 使用t c p 传输的称为m m s t 协议，使用u d p 传输的称为m m s u 协议。另外， w i n d o w sm e d i a 还支持h t t p 协议( h t t p 是一种基于t c p 的应用层协议) ，主 第二章流媒体技术概述及其开发方法 要用于需要穿透防火墙的应用。从9 系列开始，w i n d o w sm e d i a 还支持r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 协议。与m m s 协议类似，r t s p 协议也是一种应用层 协议，有t c p 和u d p 两个版本，分别为r t s p t 协议和r t s p u 协议。 为了让服务器和客户端建立最佳的网络连接，w i n d o w sm e d i a 还支持协议翻 转( p r o t o c o lr o l l o v e r ) 。客户端在尝试连接服务器时，会发送有关自身类型以及 能支持哪些协议的信息。w m d o w sm e d i a 服务器将该信息与已启动的协议进行比 较，然后使用适用于当时情况的最佳协议。通常，服务器和客户端之间的第一次 连接尝试是成功的，不需要采取进一步行动。如果连接请求不成功，那么客户端 将尝试使用其他可支持的协议连接到服务器。 如果客户端使用带有“r a m s ：前缀的u r l 连接到服务器，那么协议翻转将 在必要时进行。一般而言，翻转协议的优先次序为r t s p u 、r t s p t 、m m s u 、 m m s t 、h t t p 。另外一种情况，如果客户端使用“r t s p ：”前缀，r t s p u 、r t s p t 之间的协议翻转也将在必要时进行。如果在u r l 中直接指定以下前缀： “m m s u ： 、“m m s t ：n ”、“r t s p u ： 、“r t s p t ：或“h t t p ：h ”，协议翻转功能将不可 用【2 0 1 。 2 2 3 媒体内容发布 想要发布的w i n d o w sm e d i a 媒体内容都会放到服务器上，然后为它们配置发 布点( p u b l i s h i n gp o i n t ) 。发布点是向用户分发媒体内容的途径。媒体内容可以 通过创建将客户端重定向到发布点的公告文件来发布，也可以通过分发指向发布 点的u r l 来发布( 典型的u r l 如：m m s ：s e r v e rn a m e p u b l i s h i n g _ p o i n t _ n a m e f i l e n a m e ) 。 w i n d o w sm e d i a 服务器可以配置两种基本的发布方式：广播和点播。广播是 一种同时向大量观众传输数据的方法。在w i n d o w sm e d i as e r v i c e s 中，广播是使 用广播发布点来实现的。广播流由服务器控制，而接收广播的客户端不能控制内 容的开始、停止，也不能让流快进或倒回。在客户端能够从广播发布点接收内容 之前，必须首先启动广播发布点。 点播是传递内容的另一种方法，该方法只有在客户端向服务器发出请求时， 才通过单播方式来传输相应的内容。每个请求流的客户端通常可以完全控制流， 可以快进、倒回、暂停或者重新启动内容，这是因为点播发布点为请求内容的每 个客户端都提供了一条唯一的数据路径。 讹d o w sm e d i a 媒体内容分发的典型网络拓扑结构见图2 - 5 所示。 1 2 第二章流媒体技术概述及其开发方法 图2 - 5w i n d o w s8 e d i a 媒体内容分发的典型网络拓扑结构 w i n d o w s m e d i as e r v i c e s 支持以下3 种分发类型： 服务器到服务器的分发。当服务器上的发布点充当另一个w i n d o w s m e d i a 服务器的上的发布点的内容源时，= 进行的就是这种分发，而后一发布点再 将内容传输给发出请求的播放器( 客户端) 。 推分发。当编码器主动发起广播的时候进行的就是这种分发，此后编码 器通过w i n d o w sm e d i a 服务嚣上的发布点将内容传输给发出请求的播放器。 拉分发。当服务器主动与编码器连接以接收内容流时进行的就是这种分 发，此后服务器将内容分发给发出请求的播放器。 2 3d i r e c t s h o w 架构技术 d i r o ：t s h o w 是微软针对视频数据采集、编码和回放而开发的一种系统架构， 其核心架构如图2 - 6 所示。它为开发多媒体应用程序提供了编程接口，使程序开 发更加高效。d i r t s h o w 系统位于应用层中。它使用过滤器图表( f i l t e r g r a p h ) 的模型来管理整个视频流的处理过程，参与处理数据的各个功能模块叫徽过滤 器。过滤器是d i r e c t s h o w 体系中最基本的概念，各个过滤器在过滤器管理器中通 过叫做引脚( p i n ) 的接口连接成一条“流水”工作线来处理视频数据口”。 过滤器按照其在数据流处理过程中的功能不同，可以划分为三类： 第二章流媒体技术概述及其开发方法 1 、 源过滤器( s o u r c ef i l t e r ) ：它是过滤器图表处理数据的源头，负责从 外部设备中获取数据源并送往下一级过滤器。 一 2 、 转换过滤器( t r a n s f o r mf i l t