（计算机应用技术专业论文）基于windows+media的流媒体课件系统研究与开发.pdf

中文摘要 流媒体课件是现代网络教育中的重要资源，是实现数字化教学的基础。由于 流媒体课件制作涉及到流媒体素材的采集和编辑、网页制作、脚本语言控制、交 互功能等许多技术，具有制作工程复杂，制作周期长等缺点。在这种现状下，开 发一个流媒体课件自动生成系统，随着教师授课结束，自动合成流媒体课件，具 有很大的应用价值。 本文在阅读大量文献资料的基础上，提出了针对p o w e r p o i n t 电子演示文稿 形式的课件如何结合实时录制的教师音视频流文件自动合成流媒体课件的解决 方案。另外，对于多媒体课件的同步问题进行了较为深入的论述。 在系统的实现过程中，深入研究了w i n d o w sm e d i ae n c o d e rs d k 开发包、 a c t i v e x 组件技术、j a v a s c r i p t 脚本语言网页控制技术。综合利用这些技术实际 开发出的系统，使用简单方便，能够自动合成流媒体课件，课件各组成部分之间 同步播放效果好。 关键词： w i n d o w sm e d i a 流媒体课件a c t i v e x 技术课件合成 a b s t r a c t s t r e a m i n gm e d i ac o u r s e w a r ei st h ei m p o r t a n tr e s o u r c e si nt h em o d e mn e t w o r k e d u c a t i o na n di st h ef o u n d a t i o nt h a tc a r r i e so u td i g i t a lt e a c h i n ga n dl e a m n i n g i t i n v o l v e dm a n yt e c h n i q u e s ，s u c ha sc o l l e c t i n ga n de d i t i n gs t e a m e dm e d i am a t e r i a l ， w e bp a g ec r e a t i o n ，t h es c r i p tl a n g u a g ec o n t r o le t et oc r e a t es t r e a m e dm u l t im e d i a c o u r s e w a r e i ti sh a v i n gt h em a n u f a c t u r ec o m p l i c a t i o n s ，c r e a t i n gp e r i o dl o n ge t o u n d e rt h i sk i n do fp r e s e n tc o n d i t i o n ，d e v e l o p i n gaa u t o m a t i cc r e a t i o ns y s t e mo f s t r e a m e dm u l t im e d i ac o u r s e w a r eh a v ev e r yi m p o r t a n t p r a c t i c a lv a l u e u s i n gt h i s s y s t e m ，a l o n gw i t ht h el e s s o n se n d ，s y n t h e s i z et os t r e a m i n gm e d i ac o u r s e w a r e a u t o m a t i c a l l y t h i sp a p e r p u tf o r w a r dt h es o l u t i o no fs y n t h e s i z es t r e a m i n gm e d i ac o u r s c w a r e a u t o m a t i c a l l ya b o u tc o m b i n i n gt h ep o w e r p o i n tp r e s e n t a t i o na n d t h ef i l eo f t e a c h e r s s o u n d v i d e ns t r e a mm e d i a ，a f t e rh a v i n gr e a dag r e a td e a lo f m a t e r i a l f o rd e v e l o p i n gt h es y s t e mo fs t r e a m i n gm e d i ac o u r s e w a r e ，ih a v es t u d i e d a n dr e s e a r c h e dw i n d o w sm e d i as o f td e v e l o p m e n tk i t ，t h ea c t i v e xt e c h n i q u ea n d t h et e c h n i q u eo fj a v a s c r i p ts c r i p tl a n g u a g e t h es y s t e mt om a k eu s eo ft h e s e t e c h n i q u e si sv e r yc o n v e n i e n tb yu s i n g ，a n ds y n t h e s i z e ds t r e a m i n gm e d i ac o u r s e w a r e a u t o m a t i c a l l y , t h ec o m p o n e n to f c o u r s e w a r eb r o a d c a s t ss y n c h r o n o u s l ye f f e c t i v e k e yw o r d s ：w i n d o w sm e d i a , s t r e a m i n gm e d i ac o u r s e w a r e ，a c t i v e x t e c h n o l o g y , c o u r s e w a r es y n t h e s i z a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鎏盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：南峻兰签字日期：叨辱宁月；o 日 学位论文版权使用授权书 本学位论文作者完全了解苤注盘生有关保留、使用学位论文的规定。 特授权墨盗盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：f 移後兰 签字日期：即6 年? 月多口日 导师签名：衫加 签字日期：岔仰年少月乡口日 天津大学硕士学位论文第一章绪论 第一章绪论 随着计算机网络技术和多媒体技术的发展以及人们对教育需求的日益增长， 网络化教育已成为实现教育终身化、大众化的一种新型教育形式和重要途径。网 络教育打破了传统教学模式中的时空限制，使学习者可以在任何时间、适合的地 点，在网络上有选择地、交互地或实时地进行学习。这种教育形式具有前所未有 的优越性。网络课件是实现该种教育形式的重要数字资源，是远程网络教育教与 学的基础。 1 1 传统多媒体课件创作平台 课件是由一系列知识点组成的辅助教学软件i i 】，是教育部门重要的教育资 源。总体上，课件分为两种形式，一类是用于教师授课的辅助性多媒体教学课件， 另一类是用于网上供学生进行自主学习的w e b 课件。目前，多媒体创作工具正处 于一个发展的阶段，从传统的课件开发平台来看，在国外，大致可以分为以下几 类。 ( 1 ) 基于语言的多媒体台作平台 基于语言的多媒体创作工具可以分为程序设计语言类和脚本类【2 】。使用编程 的方法来实现多媒体，m i c r o s o f t 公司的v i s u a lb a s i c 语言是最常用的创作工具。 基于脚本的创作工具主要提供一套完整的脚本语言，帮助课件制作者控制节 目的播放流程。多媒体的控制功能使用脚本语言中的指令或语句来实现，常见的 创作工具是美国a s y m e t r i c 公司的m u l t i m e d i a t o o l b o o k 】。 ( 2 ) 基于时间轴的多媒体创作平台 当一个多媒体作品主要按时间来控制各个多媒体素材的播放时，一般采用基 于时序的开发工具。这类创作工具以时间线的方式表达整个多媒体节目中各个媒 体素材的相对关系，强调各种媒体信息的同步控制，在控制媒体的同步上有独到 之处，但它的交互性差，适合商业多媒体演示软件的制作。m a c r o m e d i a 公司的 d i r e c t o r 和f l a s h 等是此类代表产品。 ( 3 ) 基于流程的多媒体创作平台 这类工具操作简便，使用流程图的方式来安排节目流程。开发过程比较简单， 周期短。一个流程由多个图标组合而成。不需要编程即可制作完成集视频、图文 天津大学硕士学位论文 第一章绪论 并存的多媒体课件。多媒体著作工具通常适用于开发内容丰富的多媒体应用软 件，美国m a c r o m e d i a 公司的a u t h o r w a r e 是交互性最强的基于流程的多媒体创作工 具1 2 1 。 ( 4 ) 基于页面的创作平台 基于页面的创作平台是将多媒体素材组织成网页，利用超文本的方式进行创 作。该种方式最大的好处是交互性强。允许用户以超链接的形式在各主题间进行 跳转。代表产品为美国a p p l e 公司的h y p e r c a r d 。 在国内近年来也出现了很多课件制作工具，如方正奥思、科利华、洪恩、课 件大师等平台。 1 2 流媒体课件的特点及开发现状 1 2 1 流媒体课件的特点 流媒体技术的出现和发展，使得在网上传输大量的音、视频信息成为可能。 这给远程教育的发展带来了很大的机遇，同时也使远程教育网络课件的形式发生 了变化，出现了以流式传输为基础的流媒体课件。流媒体网络课件已日渐成为远 程网络教育中不可缺少的特色资源。 流媒体课件，是将主讲教师的音视频、及与教学内容相关的多种形式的素 材资源进行流式处理，并按一定的时间顺序进行同步而产生的一种网页形式的课 件。这种课件形式能很好的再现教师授课实况，特别使用于远程教育平台。流媒 体课件的突出优点是：采用流式传输技术具有较好的传输性能，基于多媒体同步 技术营造出生动直观的学习情境、允许学习者自主控制学习进度川。 采用流媒体技术的多媒体课件系统，具有如下特点p 】1 4 。 ( 1 ) 资源共享，访问不分时间地点，每个用户不需要保留多媒体课件的重复 副本，应用程序通过流媒体服务器的u r l 和目录存储结构在需要时读取课件内 容。 ( 2 ) 下载时间短，与文件大小无关。音视频流无需全部下载到客户端就可播 放，延时时间短，且与流媒体文件的大小无关，只与流媒体服务器、客户机和网 络的性能有关。 ( 3 ) 发布周期缩短，维护和修改方便。课件制作完成以网页的形式直接发布。 另外，课件统一存放于服务器端，可方便地进行修改和更新。 ( 4 ) 带宽占用率小，可以适应不同的网络环境。流媒体技术具有适合于网络 传输的多种先进特性，可以人大减轻网络负荷。 天津大学硕士学位论文 第一章绪论 ( 5 ) 客户端操作简单，系统使用方便，交互性强。音、视频流既可以直接用 流媒体播放器播放，又能嵌入在w e b 的网页中播放，并提供回绕、快进或暂停 等交互操作。 与传统多媒体课件相比，流媒体课件具有很大的优势，因此成为当前远程教 育中重要的教学资源。在现代远程教育的异步教学过程中，视频课件的生成和点 播已占有很大的比例嘲。 1 2 2 流媒体课件的开发现状 网络教育的高速发展，使网络流媒体课件成为课件制作系统的发展方向，而 且开发一个和网络教学系统高度集成的流媒体课件制作系统成为必然的趋势。 目前流媒体课件的生成大约有以下几种： ( 1 ) 后期制作。这类课件通常要求质量较高，一般是先得到视频流文件后， 然后由专业人员或教师插入各种类型的讲稿，最终通过编码器合成标准的课件。 ( 2 ) 实时制作。随着教师讲课进行，完成教师的图像、声音、动作以及公式 推导和操作的数据采集，并且完成教师讲义与上述动态信息的同步。当教师讲课 完毕时，课件也同时制作出来，可以立即进行发布。这种方式可以快速制作出标 准的课件，大大提高了课件制作的效率，降低了课件制作的难度。 目前一些公司，例如葵花公司、科健公司已经推出了一些简单的系统，一般 是利用一个摄像头摄取教师图像，同时和屏幕上的讲义合成，基本上达到了目标， 但视频质量较低。 ( 3 ) 录屏制作。实时捕获教师在计算机屏幕上的操作过程和声音讲解，并在 课件播放中重现给学生，对于计算机相关的课程，特别是一些培训课程，具有非 常重要的意义。目前有的系统采取抓屏存成图片的技术，虽然可以实现，但产生 的课件非常大，网上传输太慢，该技术亟待研究。有的产品将屏幕也作为一个视 频流，教师的影像也作为一个视频流，两个视频流确实可以实现课堂情景的重现， 但对网络传输要求太高。实际无法推广。 ( 4 ) 在线直播。可以利用卫星或网络，在线直播教师的讲课过程，完成教师 的图像、声音、动作以及公式推导和操作数据的同步采集，和讲义合成后在线赢 播。 1 3 课题来源及选题意义 流媒体课件的特点在于其模拟了真实的教学环境，其内容一般包括教学现场 视频数据流、教师讲课的音频数据流，屏幕变化流。虽然教师、学生时空分离， 天津大学硕士学位论文 第一章绪论 但学生能“看见、听到”老师的授课过程。这样的流媒体课件在现代远程教育中 起着重要的作用，关系到远程教育的质量和效益。已成为目前网络课件开发的主 要形式。然而设计制作这样的课件涉及到流媒体素材的采集和编辑、网页制作、 脚本语言控制、交互功能等多种技术，流媒体课件目前需要专门的网络课件人员 来制作，具有制作工程复杂，制作周期长等缺点，大多数教师很难掌握这些技术。 同时远程教育机构又迫切需要这样的流媒体课件。在这种现状下，如果能够快速 的开发一个流媒体课件实时生成系统，随着教师授课结束，自动合成流媒体课件， 将极大地丰富远程教育资源，提高教育质量。这给本课题的开发提出了现实的需 求。 本课题从实际需求出发，设计并实现对教学实况中的各种流，音视频流、屏 幕流、鼠标流进行录制编码、快速简捷地生成多媒体课件资源，进而自动合成流 媒体课件，并且能对教学实况进行网络直播。系统的开发研究有很大的实用价值。 如能够降低教学成本，加快开发效率，适应日益扩大的教学规模等。 天津大学硕士学位论文 第二章流媒体技术概述 第二章流媒体技术概述 流媒体( s t r e a m i n gm e d i a ) 是指在网络中使用流式传输技术的连续时基媒体j 即在因特网上以数据流的方式实时发布音、视频多媒体内容的媒体。广义上的流 媒体则是指使音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法 和协议的总称1 4 8 j 。流式传输技术可以将动画、视音频等多媒体文件经过特殊的压 缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送，用户不 必像非流式播放那样等到整个文件全部下载完毕后才能看到其中的内容，而是只 需经过几秒或几十秒的启动延时即可在用户的计算机上利用相应的播放器或其 它的硬件、软件对压缩的动画、视音频等流式多媒体文件解压后进行播放和观看， 多媒体文件的剩余部分将在后台的服务器内继续下载1 3 】。 与传统的下载一回放方式相比，流媒体传输方式具有以下突出优点1 6 】： ( 1 ) 启动延时大幅度缩短 由于用户不用等待所有内容下载到本地才开始浏览，而是采取一边下载一边 播放的策略，所以大幅度缩短了等待时间。 ( 2 1 对系统缓存容量的需求明显降低 虽然流媒体传输仍需要缓存，但由于不需要把所有内容全都下载到缓存中， 因此对缓存容量的要求大大降低。 ( 3 ) 以特定的实时传输协议传输 采用特殊的网络协议，如r t s p ( 实时流传输协议) 或m m s ( m i c r o s o f tm e d i a s e r v e r ) 微软多媒体服务协议，更加适合动画、视音频在网上的实时传输。 2 1 流媒体技术原理 流媒体技术不是单一的技术，它建市在很多基础技术之上。涉及到流媒体数 据的采集、压缩、存储、传输、同步以及网络通信等多项技术吼 流媒体实现的关键技术就是流式传输。流式传输定义很广泛，现在主要指通 过网络传送媒体的技术总称。实现流式传输有两种方法：实时流式传输和顺序流 式传输 8 i 。 顺序流式传输是按顺序下载并实现即时播放，它有如下特点：( 1 ) 媒体文件 存放在h t t p 或f t p 服务器上，不需专用的流服务器，易于管理。使用标准的h 1 v r p 天津大学硕士学位论文第二章流媒体技术概述 协议，能够穿越防火墙。( 2 ) 播放下载部分是无损的，可以保证最终质量【8 】o ( 3 ) 不能实现简单的交互。顺序流式传输使用h r r p 协议，当网络拥塞造成包丢失时 要进行重传，不适合长片段和有随机访问要求的视频；也不支持现场广播。严格 来说，是一种点播技术p o l 。 实时流式传输需要使用r s t p 协议实时流控制协议和r t p 实时传输协议， 对网络拥塞造成包丢失时不进行重传。实时流式传输特别适合现场事件，也支持 随机访问。特点：( 1 ) 实时传输需要特定的流媒体服务器。如w i n d o w sm e d i a s e r v e r 、r e a ls e r v e r 、q u i c kt i m es t r e a m i n gs e r v e r 。( 2 ) 在防火墙设置不当时， 有可能看不到实时内容。 2 1 1 流式传输的实现途径与过程 首先，多媒体数据必须进行预处理才适合流式传输。预处理包括采用先进高 效的压缩算法，把视音频数据预处理成流媒体以适合流式传输，同时也适应网 络带宽对流媒体的数据流量的要求1 4 7 】。 其次，流式传输的实现需要缓存。因为i n t e m e t 以包为单位进行断续的异步 传送，数据包选择的路由不同，到达客户端的时间延迟不等。为此使用缓存系统 来弥补抖动和延迟的影响，并保证数据包的顺序正确，从而使流媒体数据能够连 续输出，不会因网络拥塞使播放暂停。 流式传输的实现需要合适的传输协议。w w w 技术是以h 1 v r p 协议为基础的， 而h 丁r p 又建立在t c p 协议基础之上。由于t c p 需要较多的开销，故不适合传输 实时数据。在流式传输的实现方案中，一般采用h t t p t c p 传输控制信息，而用 r t p u d p 来传输实时音、视频数据。流式传输的原理图1 8 】【9 1 如图2 1 所示： 图2 - l 流式传输实现原理图 天津大学硕士学位论文第二章流媒体技术概述 从上图可以看出流媒体的传输过程是【lo 】： 用户选择某一流媒体服务后，w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；然后客户机 上的w e b 浏览器启动a ，vh e l p e r 程序t ”。a nh e l p e r 程序) 及a v 服务器运行实时 流控制协议( r t s p ) ，以交换传输所需的控制信息。a m 服务器使用( r t p u d p ) 协议将刖v 数据传输给a v 客户程序，一般可以认为客户程序等同于h e l p e r 程 序。 2 2 流媒体传输协议 在流式传输网络协议领域，i e t f ( i n t e m e te x p e r tt a s k f o r c e ) 是i n t e m e t 规划与 发展的主要标准化组织，已经颁布的传输协议1 8 】【9 】【1 0 i 】主要有：实时传输协议 r t p ( r e a l - t i m et r a n s p o r t p r o t o c o t ) ，实时传输控制协议r t c p ( r e a l - t i m e t r a n s p o r t c o n t r o lp r o t o c o i ) ，实时流化协议r t s p ( r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) ， 以及资源预约协议r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 等。其中r t p r t c p 是目 前被广泛应用的流媒体协议。 ( i ) r t p ( 实时传输协议1 r t p ( r e a l - t i m et r a n s p o r t p r o t o c 0 1 ) 是用于在i n t e m e t ：针对多媒体数据流的一 种端到端的实时传输协议。在网络层次中，r t p 位于应用层，其下层网络数据传 输通道既可以是有连接的，也可以是无连接的。如选择u d p 、t c p 甚至a t m 等。 r t p 和r t c p 一起配合进行实时流数据传输和传输控制。 r t p 定义在r f c i8 8 9 中，r t p 协议的核心是其数据包格式。信息包是r t p 对 数据传输的封装单位，其数据包由包头和负载组成，在r t p 数据包头中包含广泛 用于流媒体传输的几个重要的数据域为l ： 数据类型p t ( p a y l o a dt y p e ) 长度为1 字节，标识r t p 数据包内负载的数据类型，对于音频数据，这个 域用来表示音频的编码类型。如p c m ( 脉冲编码调制) 或线形预测编码等。对于视 频数据，负载类型表示视频编码类型，例如m o t i o nj p e g ，m p e g l ，m p e g 2 或 h 3 2 3 等。 时间戳t i m e s t a m p 长度为4 字节，标识r t p 数据包内负载的时间信息。它反映r t p 数据包中 数据的采样时间。在流媒体传输中，接收端可以利用时间戳去除抖动，在接收端 为播放提供同步控制功能。 序列号 天津大学硕士学位论文 第二章流媒体技术概述 长度为2 字节，在一个r t p 传输会话中所有r t p 数据包依次编号，序列号 主要用于接收端进行数据包的传输顺序检查和数据包丢失检查。 标志位m ( m a r k e r ) 长度为l 位，可以使用标志位标识数据传输中每帧的开始。 同步源标识s s r c ( s y n c h r o n i z a t i o ns o u r c e ) 长度为3 2 位，用来标识r t p 数据包流的起源。如在v o d ( 视频点播) 系统中， s s r c 可用于标识不同的视频服务器。 ( 2 ) r t c p 实时控制协议 r t c p ( r e a l - t i m et r a n s p o r t c o n t r o lp r o t o c 0 1 ) 依靠反馈机制收集已经发送的数 据包和丢失的数据包等统计信息，并根据对这些数据的分析产生相应的控制指 令，直接作用于媒体信息的编码、发送、甚至协议选择环节来动态地改变传输速 率、载荷类型等，从而和r 1 p 一起提供流量控制和拥塞控制服务。 r t c p 协议为媒体流化管理提供了平台，利用r t c p 能很好地实现对流媒体服 务的q o s ( q u a l i t yo f s e r v i c e ) 管理与控制，并提供媒体流的同步控制功能1 1 1 1 。 ( 3 ) r s v p 资源预约协议 r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 资源预约协议主要针对i n t e m e t 原有传 输层协议不能保障q o s 质量和支持多点传输的缺点i l o 】1 ，r s v p 在业务流传送之 前，预约一定的网络资源，建立静态或动态的逻辑传输通道，保障数据流“独享” 足够的带宽，避免由于数据包过多引起的拥塞、丢失现象，从而提供稳定的q o s 质量保证。r s v p 协议为网络媒体流分配和保留信道等资源。r s v p 的出现，被认 为是i p 路由器为提高“流媒体”服务质量向前迈进的具有重要意义的一步1 1 0 l 。 o ) r t s p 实时流式协议 r t s p ( r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 实时流式协议由r e a i n c t w o r k 和n e t s c a p e 共同提出i l0 1 ，是一个应用层协议，在体系结构上位于r t p 和r t c p 之上，它的主 要目标是为单播和多播上的流式多媒体应用提供可靠的播放性能。r t s p 使用 t c p 或r t p 传输数据，并可实现v c r ( v i d e oc a s s e t t er e c o r d e r ) 模式的远程控制功 能，如暂停、恢复、前进、后退、定位等操作。r e a l 公司的流媒体解决方案实现 了r t s p 协议。 ( 5 ) m m s 协议 m m s ( m i c r o s o f im e d i as e r v e r ) 多媒体服务协议是微软定义的一种流媒体传输 协议，用来访问并流式接收w i n d o w sm e d i a 服务器中的a s f 文件。m m s 协议用于 访问w i n d o w sm e d i a 发布点上的单播内容的协议f 1 2 l ，是连接w i n d o w sm e d i a 单播 服务的默认方法。如果想要对点播的内容进行播放控制，则必须使用m m s 协议。 ( 6 ) m s b d 协议 天津大学硕士学位论文第二章流媒体技术概述 m s b d 协议是m e d i as t r e a mb r o a d c a s td i s t r i b u t i o n 的缩写，称为流媒体广播分 发协议l ”1 。该协议用于在w i n d o w sm e d i a 编码器f 3 1 w i n d o w sm e d i a 服务器之间分 发流，并在服务器之间传递流。m m s 协议应用于m e d i as e r v e r 和客户端之间， m s b d 协议则用于e n c o d e r 编码器和s e r v e r j 匣务器之间传递文件。但e n c o d e r 7 0 以后的版本，已不支持m s b d 协议，改用h 邗呦议1 1 2 】。 扫詈咖喜 ， 0 篡篇_ 0 燃m * c l i e n t 图2 - 2m m s 、m s b d 协议使用示例图 2 3 流媒体编解码标准 流媒体编码技术建立在传统多媒体编码技术基础之上，最近几年来得到蓬勃 发展，其中以i s o f l e c 颁布的m p e g 系列标准和l t u 颁布的h 系列标准为代表【1 4 】。 ( i ) m p e g 标准 m p e g 是英文“t h em o v i n gp i c t u r ee x p e r tg r o u p ”的缩写，m p e g 的任务是 开发运动图像及其声音的编码标准，m p e g 系列标准包括m p e g 1 、m p e g 2 、 m p e g 4 、m p e g 7 标准。 m p e g 1 用于码率约为1 5 m b p s 的数字视频及其伴音的编码，m p e g - 2 在 此基础之上为了满足日益增长的多媒体分辨率和传输率等方面的技术要求，首次 定义了传输流( t r a n s p o r ts t r e a m ) ，并支持多路m p e g 2 码流在网络中的传输复用。 m p e g - 4 是为交互式多媒体通信制定的压缩标准，1 8 】1 9 】i 3 m p e g - 4 标准将众 多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标 准的算法及工具，从而建立起一种能被多媒体传输，存储、检索及其应用环境提 供一个基于“对象”的编码方案，并在时域和空域具有灵活的扩展性，以利于动 态码率的调整。m p e g - 4 的特点使其非常适合交互式的音视频服务以及远程监 控。 m p e g 7 被称作是多媒体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) ，它对不同类型的多媒体信息进行标准化的描述，并将这种描述与媒体 的内容联系起来，以实现基于内容的有效检索f 8 】f 9 j 。m p e g 一7 是为互联网视频检 索制定的压缩标准i ”1 1 1 7 1 。 ( 2 ) h 系列标准 天津大学硕士学位论文 第二章流媒体技术概述 h 系列标准主要用于视频电活和电视会议【l 习：h 2 6 l 是以d c t ( 离散余弦变换) 和运动补偿为基础【1 ”，是视频压缩的第一个标准，它把数字视频速率压缩到 6 4 k b s 2 0 4 8 m b s 。h 2 6 1 标准使用对称压缩技术，它所获得的性能比使用不对 称压缩技术的m p e g 标准低。 h 2 6 3 在h 2 6 1 的基础上发展起来，综合应用帧问预测去除时间冗余度和 d c t 变换编码去除空间冗余度的混合编码算法。其标准的图像格式可以是 q c i f ( 1 7 2 x1 4 4 ) 、c i f ( 3 5 4 x 2 8 8 ) 1 1 0 1 。 流媒体的编码算法标准集中体现了多种矛盾需求的综合折中【”】，这些需求包 括：压缩编码速度，解码回放质量，可变编码码流速率，动态传输环境下的鲁棒 性，解码速度，信噪比，可伸缩性等。到目前为止，最具代表性的流媒体编解码 技术为m p e g - 4 中的精细可扩展性编码( f i n eg r a n u l a r s c a l a b l e ，f g s ) 和渐进精细 可扩展性编码( p r o g r e s s i v ef i n e g r a n u l a rs c a l a b l e ，p f g s ) ，均针对网络中码率变动 的特性而制定恻。 2 4 流媒体技术的主要解决方案 流媒体课件系统所采用的核心技术是流媒体技术，流媒体技术包含三方面内 容，分别是编码器( 编码技术) 、播放器( 播放技术) 和流媒体服务器技术。目前 i n t e m e t 上主流的流媒体解决方案主要有r e a l n e t w o r k s 公司的r e a ls y s t e m ， m i c r o s o f t 公司的w i n d o w sm e d i at e c h n o l o g y 和a p p l e 公司的q u i c k t i m e ，它们是网 上流媒体传输系统的三大主流f 3 】f 训2 1 。 ( 1 ) r e a l n e t w o r k s 公司的r e a l s y s t e m r e a l n e t w o r k s 公司是网上流式视音频解决方案的提供商，提供从制作端、服 务器端到客户端的所有产品。r e a ls y s t e m 采用s u r es t r e a m 自适应流媒体技术，自 动地并持续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求。 r e a ls y s t e m 采用的是r e a l 专用压缩算法，最近又增加了r a 8 压缩算法1 3 1 。 r e a l s y s t e m 提供了一套功能强大、操作简便的制作工具，能够方便地将实时采集 的视音颇信号、录像带、计算机文件等转换为r e a l 格式的数据流文件；r e a i m e d i a 通过基于s m i l ( 同步多媒体集成语言) ，并结合自己的r e a l p i x 和r e a l t e x t 技术，达 到。定的交互和媒体控制能力。 ( 2 ) 微软公司的w i n d o w sm e d i a 随着流媒体的广泛应用，微软推出了整套的流媒体制作、发布和播放产品， 其服务器端的w i n d o w s m e d i a s e r v e r 产品集成在w i n d o w s 2 0 0 0 2 0 0 3s e r v e r 中， 称为w i n d o w sm e e l i as e r v i c e s 。w i n d o w sm e d i a 是w i n d o w s 平台下的一种比较理 天津大学硕士学位论文第二章流媒体技术概述 想的流媒体解决方案，它采用先进的视频、音频压缩编码方式，支持智能流技术， 支持通过从低带宽、拨号i n t e r n e t 连接到高带宽、局域网的各类网络传送流式多 媒体内容。w i n d o w sm e d i a 具有极强的伸缩性，从具有数百个连接请求的小型 i n t e m e t 电台到生成数百万个请求的大规模的流式媒体网络，都可以使用它。目 前，w i n d o w sm e d i a 在交互能力方面比较弱，其a s x ( a s f 流重定向文件) 格式交 互性不强，s m i l ( 同步多媒体集成语言) 也需要通过i e 来支持。 ( 3 ) a p p l e 公司的q u i c k t i m e a p p l e 公司的q u i c k t i m e 是a p p l e 公司面向专业视频编辑、w e b 网站创建和 c d r o m 内容制作领域开发的多媒体技术平台。q u i c k t i m e 支持几乎所有主流的 个人计算平台，是数字媒体领域事实上的工业标准，是创建3 d 动画、实时效果、 虚拟现实和其他数字流媒体的重要基础。q u i c k t i m e4 能很好地支持开放标准 r t p 、r t s p 协议及h r r p 流。它的一个显著特点是支持转播功能和模块化a p i ， 用户可以方便地通过这些接口为服务器添加新的功能。 除了上述三种流媒体格式外，在多媒体课件和动画方面的流媒体技术还有 m a c r o m e d i a 的s h o c k w a v e 技术和m e a t a c r e a t i o n 公司的m e t as t r e a m 技术等。 2 5 流媒体播放方式 送出的每个数据包只能传送给一个客户机。这种巨大冗余造成服务器沉重的负 担，响应需要很长时问，甚至停止播放【切。可通过点播和广播两种方式向客户端 点播连接是客户端与服务器之问的主动连接”i 。在点播连接中，用户通过 。厂 熟。*mdo。s 一一。裂 ( 2 ) 广播 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 天律大学硕士学位论文第二章流媒体技术概述 嘲盘黼遇p 在广播多播中，被动的用户通过监视特定的i p 地址接收多播a s f 流( 与以 特定频率从收音机或电视台接收信号类似) 。多播的优点为一个流通过网络可以 提供a s f 内容给许多客户端。这可节省网络带宽，对低带宽局域网尤其有用。 喘p w 黼i n d o w 。蒯s m e a l 甚；嚣 蝤臼广w i 插n d 僦o w sm e d i a i 粉p = 黟黟黟 ( 3 ) 1 p 组播 单播和广播方式都非常浪费带宽，i p 组播技术克服了这个缺点。i p 组播技术 构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上，向 一组指定的用户传送数据1 6 j 。采用组播方式，媒体服务器只需要发送一个信息包， 所有发出请求的客户端共享同，一信息包，减少了网络上彳亡输的信息包的总量。网 络利用效率大大提高，成本大为下降。 在各种播放方式中，组播方式是理想的播放方式。但是因为网络安全的原因， 目前大多数路由器不支持组播。 天津大学硕士学位论文第二章流媒体技术概述 2 6 流媒体技术应用 由于流媒体技术的巨大优势，目前流媒体的应用越来越广泛。典型的应用方 案有1 1 j 【1 2 j ： ( 1 ) 视频点播 由于流媒体采用特殊的压缩编码，特别适合在网络上传输。客户端采用浏览 器的方式进行点播，基本无需维护。随着网络带宽的增加，互联网用户除了获得 文字和图片的信息外，还可以在网上听音乐、观看影视。 ( 2 ) 网络直播 随着i n t e m e t 的普及，越来越多的用户可以从网络上直接接收实时视频图 像，即i n t e r a c t 直播。流媒体技术在 n t e m e t 直播中充当着重要的角色。流媒体 技术实现了在低带宽情况下，通过网络实时传输较高质量的影音文件；其次，流 媒体技术中的多播技术可以最大程度减小流媒体服务器的负荷，节省网络带宽。 ( 3 ) 远程监控 ( 4 ) 网络视频会议 视频会议技术涉及到数据采集、数据压缩、网络传输等多项技术。l i o l 流媒体 技术的出现为视频会议的发展起到了很重要的作用。采用流媒体的格式传输影 音，用户不必等待整个视频文件传送完毕，就可以实时地观看。视频会议是流媒 体的商业应用之一，通过流媒体还可以进行点对点的通信，最常见的例子就是可 视电话。 ( 5 ) 远程教育 由于网络带宽的限制，采用流媒体技术开展网络教学活动是最佳选择。使用 流媒体技术，可以实现教师授课的实时直播，再加上流媒体课件点播和交互模块。 可以很好地为学生的远程学习提供服务。 2 7 本章小结 流媒体技术是为解决以i n t e m e t 为代表的中低带宽网络上多媒体信息传输问 题丽产生、发展起来的一种网络新技术。本章详细介绍了流式传输的工作原理和 常见的流媒体技术及其应用领域，并对目前流媒体技术的三种主要解决方案进行 了全面的对比。 天津大学硕士学位论文 第= 三章系统总体设计 3 1 系统开发背景 第三章系统总体设计 由于远程教育的不断发展，园家在国内的十几所重点大学中开办远程教育试 点，天津大学是其中首批试点单位之一。为了开展现代远程教育，开发出具有本 校自主知识产权的课件制作系统。张军等同学针对远程教程教育中流媒体课件的 制作提出了一些解决方案。 解决方案的核心是将系统主要功能分为两类：一类是实况采集生成流媒体文 件，另一类是对现有流媒体文件进行编辑，并将该文件嵌入到含有重定向文件 ( a s x ) 的网页上1 7 j 。实况采集模块主要对教师的音视频和教师机的屏幕流同时 编码，生成两个结果流文件，课后播放时采用一定的策略将两个视频文件同步播 放出来。这样的解决方案存在的缺陷是： ( 1 ) 不考虑教师授课时采用电子教案的实际情况，同时采集教师音、视频和 屏幕流两路视频，对系统的硬件配置要求高。由两路视频组成的课件文件体积大， 在现有网络环境下，传输质量得不到保障。 ( 2 ) 两路视频的同步问题不容易实现。多媒体的同步涉及从多媒体的采集、 编码、传输、到播放整个过程。 ( 3 ) 由于采用录制屏幕的方法，教师原有课件中的一些动画设置效果、视频 内容不能播放或播放效果不佳，导致课堂授课信息不完整。 针对原有系统中存在的一些缺陷，在阅读大量有关流媒体解决方案相关文献 的基础上，对系统提出以下改进设计。 ( 1 ) 将屏幕录制功能作为一个单独的功能模块，由教师根据授课实际情况进 行调用执行和控制启停。对于录制完成的屏幕流文件根据需要直接播放或嵌到网 页中播放。 ( 2 ) 考虑到目前大多数教师授课时使用p o w e r p o i n t 电子演示文稿形式的课件， 本系统重点解决p p t 形式的教案转化为h t m l 形式后中原有多媒体内容的信息 完整性方案。 ( 3 ) 在原有系统的功能基础上，增加实时直播教学功能模块。 ( 4 ) 最终流媒体课件合成和同步采用h t m l + o b j e c t + t i m e 技术，其中教 师授课实况采用视频流，教师所用的教案内容采用h t m l 格式。这种形式的课件 天津大学硕士学位论文 第三章系统总体设计 能较好的实现网络传输，适合网上点播。 3 2 流媒体系统总体结构与功能设计 一个完整的流媒体解决方案包括：媒体采集、视音频编码和压缩、媒体内容 编辑、媒体集成、媒体发布管理与媒体回放等内容。 在对原有系统存在问题及流媒体课件制作现状分析基础上，提出以下系统设 计目标。 ( 1 ) 清晰、流畅的录制屏幕和鼠标指针及移动轨迹，生成屏幕和鼠标流文件； ( 2 ) 构建直播教学平台，进行广播式同步教学； ( 3 ) 在现有的多媒体教学环境下，实现教学过程的实时同步录制； ( 4 ) 实时生成流媒体课件。即将教师的音视频信息、电子教案( 如p o w e r p o i n t 幻灯片) 信息、屏幕信息同步录制下来，生成支持网上点播的w e b 页多媒体课件。 | 虱寸陟墅弹 | 防旱墨 一 一 图3 - i 系统总体结构设计图 根据系统发计目标，系统主要完成以f 功能。谍件素材生成，p p t 教案处 理及教师音、视频同步录制，课件自动合成。 系统功能分解图如图3 2 。 天津大学硕士学位论文第三章系统总体设计 图3 - 2 系统功能分解图 系统功能详细描述如下： 课件素材是生成流媒体课件的前提，也是网络化教育中重要的资源。课件素 材模块完成的功能描述为： ( 1 ) 实况流编码；使用摄录设备进行教师音，视频实时采集，并将采集下来的 内容编码成w i n d o w sm e d i a 流媒体格式文件。 ( 2 ) 屏幕捕捉，实时屏幕流编码；将教师授课屏幕上所有活动采集编码为流 文件。 p o w e r p o i n t 教案