（电路与系统专业论文）基于主动带宽测量的多码率流媒体系统设计研究.pdf

浙江大学硕士学位论文 。 摘要 y s 8 1 2 4 5 互联网的迅速发展和普及为流媒体业务提供了巨大的发展空间，流媒体技术 正广泛应用于在线直播、视频点播、远程教育、数字图书馆、实时视频监控、视 频会议等互联网新兴信息服务领域。流媒体技术将为网络信息交流带来革命性的 变化，对人们的日常工作和生活产生深远的影响。一般的流媒体系统是建立在i p 网络上，由于i p 网络状况时刻变化，如何在不保证质量的i p 网络上提供高质量 的流媒体服务是流媒体系统设计的关键。本文正是在这样的背景下，研究开发了 基于网络带宽测量技术的多码率流媒体系统。 流媒体系统作为一种基于i p 网络的多媒体通信系统，是一种宽带应用，对 网络带宽比较敏感。传统的流媒体系统对网络带宽是事先未知的，对流媒体的编 码根据经验来设定配置，一般的流系统也只对相同的内容提供单个流。本论文着 重设计这样的系统，它能主动的预先获得网络带宽情况，并根据带宽制定分级的 多码率编码策略，可以同时编码不同格式的流媒体文件，也可以将多种码率的流 编码到单个的流媒体文件中。本文研究并选择了恰当的主动带宽测量算法，验证 并实现了在w i n d o w s 环境下的带宽测量技术，实现了基于编码策略的多码率流 媒体采集系统。采用多码率的最终目的是为了使用户能选择最佳的流媒体，因此 本文在客户端播放器中也应用了带宽测量技术，实时获得带宽，通过与流媒体发 布服务器协商播放最佳的流格式文件，或者在单一流文件中获得合适的流。 为了评估和测试流媒体系统的性能，本论文设计并初步实现了流媒体客户端 测试工具测试流媒体系统的性能，使用网络性能评估工具测量网络是否能够承载 流媒体业务。 关键字：流媒体，流技术，流媒体系统设计，带宽测量，带宽获取，多码率流媒 体，流媒体编码，服务质量( q o s ) 未经作者、导师同意 匆生文釜布 浙江大学硕士学位论文 a b s t r a c t d u et ot h ee x p l o s i v eg r o w t ho ft h ei n t e m e t ，a d v a n c e so fh i g h - s p e e dn e t w o r ka n d c o m p u t i n gt e c h n o l o g y ，s t r e a m i n g m e d i ah a sr e c e i v e dm o r e a t t e n t i o n s t r e a m i n gm e d i a t e c h n o l o g yi sc h a n g i n gi n t e m e t w o r k i n ga n dc o m m u n i c a t i o ne v o l u t i o n a r ya n da f f e c t s d e e p l ye v e r y o n e sl i f e s t r e a m i n gm e d i as y s t e mi so fo n ek i n do f m u l t i m e d i ac o m m u n i c a t i o ns y s t e m ，s o t h eb a n d w i d t h so fn e t w o r kw i l ls t r o n g l yi n f l u e n ta p p l i c a t i o np e r f o r m a n c e i fw ec a n g e tn e t w o r k b a n d w i d t hi n f o r m a t i o ni nd e t a i la n dt u n ee n c o d i n ga n ds t r e a m i n gm e t h o d ， t h ew h o l es t r e a mm e d i as y s t e mw i l lb ei m p m v e d w ed e s i g no n ea c t i v em e a s u r i n g b a n d w i d t h b a s e dm u l t i r a t e se n c o d i n ga n ds t r e a m i n gs y s t e m b yp r o b i n gb a n d w i d t h i n f o r m a t i o n ，w e c a nm a k e u n i tm u l t i f o r m a t ，m u l t i r a t e se n c o d i n gp o l i c y f u r t h e r m o r e ， w ei m p l e m e n tt h eb a n d w i d t h - b a s e dc a p t u r i n g a n de n c o d i n gs u b s y s t e m i nc l i e n te n d ， i no r d e rt oi m p r o v eu s e r se x p e r i e n c e ，w cd e s i g no n eb a n d w i d t h - a w a r e b a s e dp l a y e r ， w h i c hu s i n gb a n d w i d t hm e a s u r i n gt e c h n o l o g yt o o a f t e rg e t t i n gr e a l t i m eb a n d w i d t h p a r a m e t e r , t h ep l a y e r t h e nw i l l n e g o t i a t e w i t hs e r v e r sb a n d w i d t hm a n a g e ra n d d o w n l o a da p p r e c i a t es t r e a mf o r mm e d i as e r v e rl i b r a r y s y s t e mp e r f o r m a n c em u s t b ev a l u e dc o r r e c t l y , s ow ed e s i g no n ec l i e n t 。s i d et o o l t ot e s tt h et o t a lp e r f o r m a n c eo fs t r e a mm e d i as y s t e m b yu s i n gt h et o o l ，w ec a ng e t d e t a i li n f o r m a t i o no fw h a t sh a p p e n i n gi nt h es y s t e mn o w b yu s i n gt h et e s tr e s u l t ，w e m a k ed e c i s i o n s ，w h i c hc u r r e n tn e t w o r kc a nr u ns t r e a mm e d i as e r v i c e h e r ew eu s e c h a r i o t k e y w o r d ：s t r e a m i n gm e d i a , s t r e a m i n g ，b a n d w i d t hm e a s u r i n g ，b a n d w i d t hp r o b e ，m u l t i 。r a t e s t r e a m ，q o s ，m e s u r e i i 浙江大学硕士学位论文 第一章概述 流媒体技术是在因特网上用于传输音频视频数据的重要技术之一，近年来， 因特网的发展和普及为流媒体业务提供了巨大的发展空间。流媒体技术在不到十 年的时间里得到了突飞猛进的发展，人们对流媒体的质量要求也越来越高。如何 在带宽有限的i p 网络上提供高质量的流媒体服务是流媒体系统设计的关键。本 文正是在这样的背景下，研究设计了基于网络带宽测量技术的多码率流媒体系 统。 1 1 流媒体概述 1 1 1 流媒体的概念 流媒体又称流式媒体( s t r e a mm e d i a ) ，使用者边下载一边欣赏，而不需要等 刘整个媒体文件下载到本地硬盘后才能收看。流媒体并不是单一的多媒体技术， 它是融合了网络技术之后所产生的技术。它需要涉及到流媒体数据的采集、压缩、 存储、传输以及网络通信等多项技术。 在网络上传播多媒体信息主要有两种方式：下载和流式传输。下载是传统的 传输方式，比如常用的f t p 协议，文件共享等。在播放之前，用户下载多媒体 文件至本地，使用播放器来播放本地文件。通常多媒体文件很大，依据网络带宽 条件，下载一般需要较长时间，常常要花数分钟甚至数小时，时延很大；并且对 本地的存储容量也有一定的要求，这就限制了p d a 、移动终端等低存储容量设 备的使用。流式传输则是通过服务器将多媒体信息向网络用户实时地提供，在通 信网络中使用流式传输技术提供连续时基媒体，如音频、视频或其他多媒体文件。 它在播放前并不下载整个文件，只将开始部分内容存入缓存，在开始时有一些延 迟。采用流方式1 2 l ，用户不必等到整个文件全部下载完毕，只需经过几秒或几十 秒的启动时延就可播放，之后，客户端边接收数据边播放。与下载方式相比，流式 传输具有显著的优点：一方面大大地缩短了延时，同时也降低了对缓存容量的需 求；另一方面，又可以实现现场直播形式的实时数据传输，这是下载等方式无法 实现的，同时有助于保护多媒体数据的著作权。般来说，流包含两种含义，广 浙江大学硕士学位论文 义上的流是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法 和协议的总称，我们习惯上称之为流媒体系统：而狭义上的流是相对于传统的下 载一回放( d o w n l o a d - p l a y b a c k ) 方式而言的一种媒体格式，它能从i n t e m e t 上获 取音频和视频等连续的多媒体流，客户可以边接收边播放。 1 1 2 流媒体的历史和发展 流媒体以“流”( s t r e a m ) 的形式进行数字媒体的传送，人们可以在线欣赏连 续不断的高品质音视频信息。流媒体技术的发展依赖于网络的传输条件、媒体文 件的传输控制、媒体文件的编码压缩效率及客户端的解码等几个重要因素。早期 的流媒体主要是在窄带互联网上应用，因为受带宽条件的制约，人们在网上仅仅 可以看到一个很小的视频播放窗口。即使在具备定带宽的局域网上，人们很难 欣赏到高画质的影音节目，这是由于音视频编码压缩算法、客户端计算机解码运 算速度、服务器性能的限制。随着互联网的飞速发展，流媒体技术的应用越来越 普及。近年来，宽带i p 网发展迅速，越来越多的网络运营商投入到新一轮的宽 带互联网的建设项目中。如今，人们在互联网上可以看到可以和v h s 、d v d 画 质相媲美的数字流媒体，从数字压缩到媒体传输控制，再到客户端的回放效果， 比以前都有了质的飞跃。流媒体在中国的宽带建设中被列为最主要的应用之， 越来越多提供网络在线服务的运营商开始采用网络视频媒体服务解决方案，以增 强在网绍服务上的优势。电信企业只有充分利用得天独厚的网络基础设施的优 势，大力开展宽带增值业务，才能获得更大的发展。 从核一0 网络看，随着宽带化成为建设信息高速网络架构的重点，许多城市的 城域网从接入到核心各个部分都实现了宽带化，架构了以i p 为基础的无阻塞数 据承载平台。从接入方式看，目前接入方式从传统的通过电话线5 6 k 拨号逐渐演 变到多种宽带接入，比如a d s l ，l a n 等等，享受流畅、高质量的多媒体信息 服务已经成为今天人们数字生活重要一部分。宽带网络结合流媒体技术带来了更 直观更丰富的新一代的媒体信息表现。 1 1 3 流媒体的主要应用 流媒体是一种新型的数据信息载体。随着多媒体技术的发展和计算机网络的 浙江大学硕士学位论文 普及，特别是企业网，宽带接入的发展，使得流媒体技术从简单的小规模应用走 向面向整个i n t e r n e t 的应用，应用范围也越来越广【3 。 1 1 3 1 远程教育 p c 的普及、多媒体技术的发展以及互联网的迅速崛起，给远程教育带来了新 的机遇。世界各国都正大力开展包括网络教育在内的远程教育。在远程教学过程 中，最基本的要求是将信息从教师端传递到远程的学生端，需要传递的信息可能 是多元化的，这其中包括各种类型的数据：如视频、音频、文本、图片等。将这 些多媒体资料从一端传递到另一端，流式媒体无疑是最佳的选择。企业可以利用 基于流技术的远程教育系统作为对员工进行培训的手段，这里不仅可以利用视频 和音频，计算机屏幕的图形捕捉也可以被用流的方式传送给学员。目前，越来越 多的远程教育网站开始采用流媒体作为主要的网络教学方式。 1 1 3 2 宽带网视频点播 v o d ( v i d e oo nd e m a n d ) 视频点播。使用传统的下载技术，服务器端不仅 需要大量的存储系统，同时还要负荷大量的数据传输，无法进行大规模的点播。 流媒体技术使得v o d 技术可以大规模的应用。客户端采用浏览器方式进行点播。 采用了集群技术，可对大规模的并发点播请求迸行分布式处理，使其能适应大规 模的点播环境。随着宽带网和信息家电的发展，流媒体技术会越来越广泛的应用 于视频点播系统，很多大型的新闻娱乐媒体都在i n t e m e t 上提供基于流技术的音 视频节目。 1 1 3 3 互联网直播 随着互联网的普及从互联网上直接收看体育赛事、重大庆典、商贸展览成为 现实。而很多厂商希望借助网上直播的形式将自己的产品和活动传遍全世界，这 也许是任何一种媒体都不能达到的。流媒体技术在互联网直播中充当着重要的角 色。 1 1 3 4 视频会议 视频会议技术上涉及到数据采集、数据压缩、网络传输等多项技术。视频会 议是流媒体的个商业用途，通过流媒体我们还可以进行点对点的通信，最常见 的例子就是可视电话。只要我们有一台已经接入互联网的电脑和一个摄像头，就 可以与世界任何地点的人进行音视频的通信，大型企业可以利用基于流技术的视 频会议系统来组织跨地区的会议和讨论，从而大量节省开支。 1 1 3 5 数字图书馆 。 浙江大学硕士学位论文 数字图书馆是采用现代高新技术所支持的数字资源系统，已经被认为是互联 网上信息资源理想的管理和运作模式。通俗的说数字图书馆将是一个不受空间限 制、多功能、便于使用、超大规模的信息资源中心。而传统的图书馆向多功能数 字图书馆演变过程中，我们必然会遇到一个很重要的问题就是多媒体信息资源数 字化问题。因为多媒体信息本身就占据存储很大空间，而且在传统的图书馆中， 多媒体信息主要保存在录像带、磁带、c d 、v c d 、d v d 等载体上，这些载体 不仅难于保存，而且难于查询和广泛使用，更不用说在网上传输并提供给网上用 户使用。因此流媒体技术的产生和发展将为数字图书馆解决多媒体信息处理难题 提供了一套完整的方案。 1 2 流媒体的关键问题和本文的任务 本文围绕流媒体技术，结合网络带宽测量技术，对流媒体实现技术做了深入 的研究，设计并部分实现了基于网络带宽测量的流媒体系统。 目前，流媒体技术的实际应用的普及仍受诸多限制。制约流媒体宽带应用发 展的核心问题其实在于互联网的服务质量q o s 。i n t e m e t 提供的是不可靠的服务， 其带宽、吞吐量等变化剧烈，造成播放停滞、延迟、视频质量抖动剧烈等情况， 用户的服务质量无法得到保证。所以提高流媒体应用的服务质量对于流媒体应用 是极为重要的。流媒体是一个宽带应用，对网络带宽的资源需求比较高。因此如 何管理系统的网络资源，合理的分配带宽使用，及其对每个用户进行带宽管理监 控都是流媒体系统供高质量的流媒体服务的关键问题之一。 如何将网络性能，特别是网络带宽信息融入到流媒体系统中去是本文的主要 任务。目前的流媒体应用，不管是服务器端和客户端，都没有关于网络性能的知 识，因此是一个“傻”的系统，媒体流的生产与传输过程中预先都不知道网络的 状况。流媒体编码系统与传输系统往往是独立的，通过管理员来协调。比如客户 端播放软件都是需要用户手工来设置网络参数，流媒体服务器中的流内容的码流 都是固定不变的。一个拨号用户想接收观看一个5 0 0 k 的流是不可能的，但是客 户端预先不知道，服务器端也是尽量去提供这种根本不可能的服务。由于用户接 入互联网的速率千差万别，流媒体若以固定速率进行流式传输，速率低会限制发 布媒体质量，速率高又会限制连接人数。解决问题的方法一般有两种，一是将压 浙江大学硕士学位论文 缩率增大，即以单一数据速率创建流媒体文件，低速连接时通过抽取内部帧来降 低文件码率，但这样做会使图像质量损失很大。二是根据不同连接速率创建多个 文件，针对不同的用户连接发送相应文件。但是由于资源的限制，不可能将某一 个内容提供从i o k 到i m 的连续变化大小的流集成在一个流文件中，一般是管 理员根据网络的状况和一般用户的连接情况来经验的提供几种码流，这种人工来 维护和设计可能会造成大的偏差。因此，设计一种根据流媒体传输网络性能状况， 能自适应的做出编码策略的编码系统是我们的设计目标之一。 本文的任务： 在现有的流媒体系统的设计基础上，将网络带宽测量技术应用到流媒体的系 统中，是流媒体系统具有网络带宽的感知功能，能对网络带宽的变化做出调整， 能根据网络带宽的情况优化编码策略，取得最佳的流媒体服务质量。客户端也应 设计成具有“网络智能”，通过与服务器的协商，根据网络带宽取得最佳的播放 效果。 本文的组织结构： 第一章论文概述 第二章介绍了流媒体和带宽测量的技术 第三章介绍了基于带宽测量的多码率流媒体编播系统设计框架 第四章介绍基于带宽测量的多码率流媒体编播系统的具体实现的研究 第五章介绍了客户端测试与仿真系统的实现和结果 第六章总结与展望 浙江大学硕士学位论文 第二章流媒体和网络带宽测量技术 2 1 流媒体的系统组成框架、结构及网络环境 一个完整的流媒体系统至少应包括以下几个组成部分【2 。 流媒体节目源； 编码工具：用于创建、捕捉和编辑多媒体数据，形成流媒体格式，可以 由带音视频硬件接口的计算机和编码制作软件共同完成： 媒体服务器：存放和控制流媒体数据的服务器； 传输网络：适合多媒体传输协议和实时传输协议的网络。 播放器：供客户端浏览流媒体文件。 一个企业级的流媒体平台包括流服务应用软件、视频业务管理媒体发布系 统、视频采集制作端系统、媒体内容检索系统、数字版权管理( p l y ) 、媒体存储 系统、客户端系统等重要组成部分。 2 1 1 节目源 多种来源、格式的a v 源，包括存贮介质上的数字模拟媒体( d v d ，v c d 磁带，d v 等) ，实时广播，卫星，会议直播，等等节目源。 2 1 2 流媒体采集编码制作子系统 该系统利用媒体采集设备进行媒体流的制作与生成。它包括了一系列的工 具，从独立的视频、声音、图片、文字组合到制作丰富的流媒体，这些工具产生 的流媒体文件可以存储为固定的格式，供发布服务器使用。视频采集制作系统可 以实时向发布服务器提供各种视频流，提供实时的多媒体信息发布服务。 2 1 3 媒体服务器平台 流媒体服务器软件平台包括媒体内容发行与管理模块、用户管理模块、媒体 6 浙江大学硕士学位论文 存储系统、媒体流服务器、媒体内容索引系统、媒体数字版权加密子系统、后台 数据库管理子系统等等。发行模块负责将节目提交到w e b 服务器，或将视频流 地址邮寄给用户。内容管理主要完成视频存储、查询，通过后台数据库管理系统 完成。用户管理可能包括用户的登记和授权。视频服务器将内容通过点播或直播 的方式播放，对于范围广、用户多的情形，。可在不同的区域中心建立相应的分发 中心。 媒体服务器把存储系统中的多媒体信息以媒体流的形式通过网络接口发送 给相应的客户，响应客户的交互请求，保证媒体流的高质量输出。一方面必须以 恒定的速率播放，否则引起画面的抖动，另一方面，在媒体流中包含的多种信号 必须保持同步，如视频要和音频同步。一般媒体数据量很大，它在存储系统上的 存放方式，直接影响视频服务器提供的交互服务，如快进、倒退等功能的实现。 因此流媒体服务器必须解决流传输特性提出的各种要求。流服务器响应客户的流 传输请求后，从存储系统读入一部分数据到对应于这个流的特定的缓存中，然后 此缓存中的内容通过网络接口发送到客户，当一个新的客户请求视频服务时，服 务器根据系统资源的使用情况，决定是否响应此请求。系统资源包括存储i o 的 带宽、网络i o 带宽、内存大小和c p u 的使用率等。 流服务系统软件要求在最广的范围、多种连接速度基础上提供性能最好的多 媒体效果，并具有强有力的系统管理和可伸缩性能力，以及具有开放的、标准的、 跨平台的架构。服务器端软件应该具有强大的网络管理功能，支持广泛的媒体格 式，支持最大量的互联网用户群与流媒体商业模式。 i 媒体管理、发布子系统 该系统包括广播和点播的管理，节目管理，创建、发布及计费认证服务，提 供定时按需录制、直播、传送节目的解决方案，管理用户访问及多服务器系统负 载均衡调度服务。 i i 媒体存储系统 由于要存储大容量的影视资料，因此该系统必须配备大容量的磁盘阵列，具 有高性能的数据读写能力，访问共享数据，高速传输外界请求数据，并具有高度 的可扩展性、兼容性，支持标准的接1 2 1 。这种系统配置能满足上千小时的视频数 据的存储，实现大量片源的海量存储。 浙江大学硕士学位论文 i i i 媒体内容索引子系统 该系统能对媒体源进行标记，捕捉音频和视频文件并建立索引，建立高分辨 率媒体的低分辨率代理文件，从而可以用于检索、视频节日的审查、基于媒体片 段的自动发布，形成一套强大的数字媒体管理发布应用系统。索引和编码可以同 时进行，使用先进的技术实时处理视频信号，而且可以根据内容自动建立一个视 频数据库( 或索引) 。可阻使用媒体分析软件，根据媒体内容来进行识别编目。 可以根据文本、语音、视频来识别，并把收到的信息归类成一个视频数据库。通 过实时的分析视频内容智能化地把视频分解成片段并产生一系列可以浏览的关 键帧图像，也可以从视频信号中识别出标题文字或是语音文本，同时可以识别出 视频中的人像等特定的视频对象。用户用这些信息索引还可以搜索想要的视频片 段。通过声音识别，该软件可以将声音信号中的话语、说话者的姓名、声音类型 转换成可编辑的文本。使用一个标准的w e b 浏览器，用户可以像检索i n t e m e t 上普通信息一样来检索视频片段。目前的语音识别，图像识别技术还不是很成熟， 但是这方面的技术发展非常快，正成为个研究热点。将这些成熟的技术应用于 流媒体系统中不久会实现。 i v 媒体数字版权加密系统( d p 。m ) 这是在互联网上以一种安全方式进行媒体内容加密的端到端的解决方案，它 允许内容提供商在其发布的媒体中指定的时间段、观看次数及其内容进行加密和 保护。服务器鉴别和保护需要保护的内容，d r m 认证服务器支持媒体灵活的访 问权限( 时间限制、区间限制、播放次数和各种组合) ，支持其他具有完整商业 模型的d r m 系统集成，包括订金、v o d 、出租、所有权、b 2 b 的多级内容分发 版权管理领域等，是服务提供者保护内容和依靠内容赢利的关键技术保障。 2 1 4 客户端播放器 支持实时音频和视频直播和点播，可以嵌入到浏览器中，可播放多种流行的 媒体格式，支持流媒体中的多种媒体形式，如文本、图片、w e b 页面、音频和视 频等集成表现形式。流式媒体播放器可以自动侦测视频服务器的连接状态，选用 更适合的视频，阻获得更好的效果。 浙江大学硕士学位论文 2 1 5 流媒体的传输网络 流媒体通信网并不是一个新建的专门用于流媒体通信的网络，目前绝大部分 的多媒体业务是在现有的各种网络上运行的，并且按照多媒体通信的要求对现有 网络进行改造升级和重组。通信网络大体上可分为三类：一类为电信网络，如公 共电话网( p s t n ) 、分组交换网( x 2 5 等) 、数字数据网( d d n ) 、窄带和宽带 综合业务数字网一i s d n 和b i s d n ) 等；一类为计算机网络，如局域网( l a n ) 、 域域网( m a n ) 、广域网( w a n ) ，具体如以太网、光纤分布式数据接口( f d d i ) 等i 一类为电视广播网络，如有线电视网( c a t v ) 、混合光纤同轴网( h f c ) 、 卫星网等。i n t e r a c t 的快速发展显示出了它的巨大优越性，不仅使得i p 技术得到 了广泛的应用，而且传统的数据通信业务甚至语音、视频在转向使用i p 网，这 就出现了e v e r y t h i n g o v e ri p 。i p 网络不是基础网络，它只能架构在各种基础网 络之上，即所谓的i po v e r e v e r y t h i n g 。本文讨论的流媒体系统就是建立在i p 网 络上的。 2 2 流媒体的三种主要技术及其比较 到目前为止，使用较多的流媒体格式主要有三种，它们是r e a ln e t w o r k s 公 司的r e a lm e d i a ，微软公司的w i n d o w sm e d i a ，苹果公司的q u i c k t i m e 。这三 家都有自己的专利算法、专利文件格式甚至专利传输控制协议这三个关键技术。 他们目前的市场占有率7 0 以上。 2 2 1r e a l m e d i a r e a lm e d i a f 4 】包括三类流格式：r e a la u d i o 、r e a lv i d e o 及r e a lf l a s h 。r e a l a u d i o 用来传输c d 音质的音频数据，r e a lv i d e o 用来传输连续视频数据，而r e a l f l a s h 则是r e a ln e t w o r k s 公司与m a c r o m e d i a 公司新近推出的一种高压缩比的动 画格式。r e a l n e t w o r k s 公司的r e a ls y s t e m , 由三部分组成：r e a ls e r v e r ( 服务器 端广播软件) r e a le n c o d e r 或r e a lp r o d u c e r ( 服务器端编码压缩软件) r e a l p l a y e r ( 客户端播放软件) 。 浙江大学硕士学位论文 2 2 2w i n d o w s m e d i a 微软公司的w i n d o w sm e d i a 流技术【5 】的核心是a s f ( a d v a n c e ds t r e a m f o r m a t ) 。a s f 是一种数据格式，音频、视图、图像以及控制命令脚本等多媒体 信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。在网 络上传输的内容就称为a s fs t r e a m 。a s f 支持任意的压缩解压编码方式。并可 以使用任何一种底层网络传输协议，具有很大的灵活性。最新的w i n d o w sm e d i a 版本是9 。视频方面的w i n d o w sm e s av i d e o9 采用的是m p e g 4 扩展的视频压 缩技术，同时也支持i s om p e g 4c o d e c 和m s m p e g 4c o d e c ，音频方面采用 的是微软自己开发的w i n d o w sm e d i aa u d i o 技术，当然也支持更早的版本。 w i n d o w sm e d i a 支持r t s p ，h t t p ，m a v i s 协议，a s f 则用于媒体内容和编码方 案的打包。 w i n d o w sm e d i a p l a y e r ( 媒体播放器) 可播放绝大多部分的多媒体格式文件， 可以根据网络速率自动调整以获得最佳播放效果。w i n d o w s m e d i a 特殊的压缩格 式( w m a ) 对音轨压缩后可提供比g p 3 高一倍的压缩比。能够在播放视频时， 图像窗口大小可自动调整，同时支持全屏播放，在各种显示模式下均能保持清晰 和稳定的图像。 更强的编码模式：新的c b r 定码流编码和v b r 基于质量的变码流编码编 码，采用1 次和2 次压缩编码，提供高品质的流媒体播放和下载媒体文件，或者 在光盘介质上保存高品质和分辨率的视频 2 2 3q u i c k t i m e a p p l e 公司的q u i c k t i m e 6 】是一个非常老牌的媒体技术，它是一个开放式的 架构，包含了各种各样的流式或者非流式的媒体技术。q u i c k t i m e 是最早的视频 工业标准，1 9 9 9 年发布的q u i c k t i m e4 0 版本开始支持真正的流式播放， q u i c k t i m e 在视频压缩上采用的是s o r e n s o n v i d e o 技术，音频部分则采用q d e s i g n m u s i c 技术。q u i c k t i m e 由三个不同部分组成：q u i c k t i m e 电影( m o v i e ) 文件格 式、q u i c k t i m e 抽象层及q u i e k t i m e 内置媒体服务系统。q u i c k t i m e 电影文件格 式定义了存储数字媒体内容的标准方法，使用这种文件格式不仅可以存储单个的 浙江丈学硪士学位论文 媒体内容，如视频帧或音频采样，而且能保存对该媒体作品的完整描述。 q u i c k t i m e 媒体抽象层是一种综合性的媒体软件架构，它定义了软件工具和应用 程序如何访问q u i c k t i m e 内置媒俸服务系统，以及如何通过硬件提升q u i c k t i m e 的关键性能。q u i c k t i m e 内置媒体服务系统则可作为软件开发工具的基础，帮助 软件开发商和用户充分平u 用q u i c k t i m e 的技术优势。 2 。3 流媒体技术特征 2 3 ，1 流式传输 流媒体实现的关键技术就是流式传输埘。实现流式传输有两种方法：实肘滚 式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 。一般说来， 如视频为实时广播，或使用流式传输媒体服务器，应用如r t s p 的实时泌议。鄙 为实时流式传输。如使用i , i t t p 服务器，文件即通过顺序流发送。流式文件也支 持在播放前完整下载到本地硬盘。 顺序流式传输 顺序流式传输是顺序下载，在给定时刻，用户只能观看已下载的那部分，而 不能跳到还未下载的前头部分，顺序濂式传输不像实对流式传输在传输期间棂据 用户连接的速度做调整。由于标准的h t t p 服务器可发送这种形式的文件，也不 需要其他特殊协议，它经常坡称作h t t p 流式传输。顺序流式传输比较适合高质 量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载 的，这种方法保证电影播放的最终质量。这意味着用户在观看前，必须经历延迟， 对较漫的连接尤其如此。 对通过窄带连接发布小媒体片断，顺序流式传输显得很实用，尽管有延迟， 但是可发布较高质量的视频片段。 顺序流式文件是放在标准t t t i p 或f t p 服务器上，易于管理，基本上与防 火墙无关。顺序流式传输不适合长片段和有髓祝访问要求的祝颂。妇：群痤演 说与演示。它不支持现场广播，严格说来它是一种点播j 支术。 实时流式传输 实时减式传输是指镍体信号带宽与网培连接匹配，使媒体可被实时观看到。 浙江大学硕上学位论文 实时流与h t t p 流式传输不同，需要专用的流媒体服务器与传输协议。实时流式 传输总是实时传送，适合现场直播，也支持随机访问，用户可快进或后退以观看 前面或后面的内容。实时流式传输需要特定服务器，如q u i c k t i m es t r e a m i n g s e r v e r 、r e a ls e r v e r 与w i n d o w sm e d i as e r v e r 。这些服务器允许你对媒体发送进 行更多级别的控制，因而系统设置、管理比标准h t t p 服务器更复杂。实时流式 传输还需要特殊网络协议，如：r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 2 3 2 支持流媒体传输的网络协议 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太适 合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制 信息，而用实时传输协议用户数据报协议( r t p u d p ) 来传输实时数据。有 关传输协议的详细介绍请见本章的2 6 。 2 3 3 流媒体播放方式 f 1 1 单播 客户端与媒体服务器之间建立一个单独的数据通道，从一台服务器送出的每 个数据包只传送给一个客户机。每个用户必须分别对媒体服务器发送单独的查 询，而媒体服务器必须向每个用户发送所申请的数据包拷贝。用户通过选择内容 项目来初始化客户端连接，可以开始、停止、后退、快进或暂停流。点播连接提 供了对流的最大控制，但这种方式由于每个客户端各自连接服务器，却会迅速用 完网络带宽，造成服务器沉重的负担，响应需要很长时间，甚至停止播放。 f 2 1 广播 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 例如，用户不能暂停、快进或后退。广播方式中数据包的单独一个拷贝将发送给 网络上的所有用户，而不管用户是否需要，非常浪费网络带宽。 f 3 ) 组播 i p 组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到 多个通道上。采用组播方式，单台服务器能够对几十万台客户机同时发送连续数 据流而没有延时。媒体服务器只需要发送一个信息包，而不是多个；所有发出请 浙江大学硕士学位论文 求的客户端共享同一信息包。信息可以发送到任意地址的客户机，减少网络上传 输的信息包的总量。网络利用效率大大提高，成本大为下降。 网络层组播实现起来比较复杂，尤其需要路由器的支持，最近的很多研究围 绕应用层的组播方案，摆脱了单纯的客户机一服务器的模式，利用p 2 p 网络来组 成一个多服务器一多客户机的分布式结构，极大的节约了网络的带宽，消除网络 应用瓶颈，而且不需要特定的网络连接设备的支持。这种方式可能会成为流媒体 网络结构之一。 总之，组播吸收了单播广播的长处，克服了它们的弱点，将数据包的单独一 个拷贝发送给需要的那些客户。组播不会复制数据包的多个拷贝传输到网络上， 也不会将数据包发送给不需要它的那些客户，最大限度的提高了网络带宽的利用 率，成为流媒体最先进的播放方式。 ( 4 ) 网络模型和相关协议 网络传输模式：多媒体服务器一客户端。也就是c s 模型 网上多媒体服务的过程：典型的是一个基于w e b 的多层结构。 其基本原理如图2 1 所示。 图2 1 流媒体播放的过程 用户使用浏览器点击w e b 页面上的一个媒体链接，w e b 浏览器与w e b 服务器 之间使用h t t p t c p 交换信息，同时等完成身份验证工作。 w e b 浏览器启动媒体播放客户程序，使用h r r p 从w e b 服务器检索相关参数 对媒体播放客户程序初始化，这些参数可能包括目录信息、音视频数据的编码类 型或与a v 检索相关的服务器地址； 音视频客户程序及音视频服务器运行实时流媒体协议，以交换音视频传输所需 的控制信息，实时流媒体协议提供执行播放、快进、倒退、暂停及录制等命令的 浙江大学硕士学位论文 方法； 音视频服务器使用r t p u d p 协议将媒体数据传输给媒体播放客户程序，一 旦媒体数据抵达客户端，媒体播放客户程序即可播出。 2 4 流媒体文件格式 2 4 1 压缩媒体文件格式 压缩格式有时被称为压缩媒体文件格式 7 ，包含了描述一段声音和图像的同 样信息，尽管它的文件大小被处理得更小。很明显，压缩过程改变了数据位的编 排。在压缩媒体文件再次成为媒体格式前，其中数据需要解压缩。由于压缩过程 自动进行，并内嵌在媒体文件格式中。该过程如图2 2 所示。 2 4 2 流式文件格式 图2 2 文件压缩过程 流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到 下载完全部文件才能播放。可以在网上以凉的方式播放标准媒体文件，但效率不 高。将压缩媒体文件编码成流式文件，必须假如一些附加信息，如计时、压缩和 版权信息。编码过程如图2 3 所示。 浙江大学硕士学位论文 2 4 3 媒体发布格式 图2 3 流式文件编码过程 媒体发布格式不是压缩格式，也不是传输协议，其本身并不描述视听数据， 也不提供编码方法。媒体发布格式是视听数据安排的唯一途径，物理数据无关紧 要，我们仅需要知道数据类型和安排方式。以特定方式安排数据有助于流式多媒 体的发展，这样应用不同压缩标准和媒体文件格式的媒体可以以统一的格式在互 联网上发布。实现标准化之后，单个媒体发布格式能包含不同类型媒体的所有信 息，如计时、多个流同步、版权和所有人信息。实际视听数据可位于多个文件中， 而由媒体发布文件包含的信息控制流的播放。 2 5 流媒体缓存技术 流式传输的实现需要缓存衅】。因为一个实时音视频源或存储的音视频文件在 传输中被分解为许多数据包，而网络又是动态变化的，各个包选择的路由可能不 相同，故到达客户端的时延也就不同，甚至先发的数据包有可能后到。为此，需 要使用缓存系统来消除时延和抖动的影响，以保证数据包顺序正确，从而使媒体 数据能够连续输出。通常高速缓存所需容量并不大，因为通过丢弃已经播放的内 容可以重新利用空出的空间来缓存后续尚未播放的内容。 2 6 流媒体传输协议 系统所涉及的实时流传输协议包括 浙江大学硕士学位论文 实时传输协议i h p ( r e a l - t i m e t r a n s p o r t p r o t o c 0 1 ) ； 实时传输控制协议r t c p ( r e a l t i m e y r a n s p o r t c o n t r o l p r o t o c 0 1 ) 实时流协议r t s p ( r e a l t i m e s t r e a m i n g p r o t o c 0 1 ) ： r s v p 协议( r e s o u r c e r e s e r v e p r o t o c 0 1 ) ； 2 6 1 r t p 数据传输协议 r t p 和实时传输控制协议r t c p 9 1 【10 】一起提供流量控制和拥塞控制服务。在 r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包中含有已发送的数据 包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动 态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们能以 有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数 据。 r t p ( r e a l - t i m e t r a n s p o r tp r o t o c 0 1 ) 是用于i n t e m e t 上针对多媒体数据流的一 种传输协议。r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提供 时间信息和实现流同步。r t p 提供端对端网络传输功能，适合通过组播和点播传 送实时数据，如视频、音频和仿真数据。r t p 提供了分组的序号和时间戳。r t p 没有涉及资源预留和质量保证等实时服务。r t p 通常使用u d p 来传送数据，但 r t p 也可以在t c p 等其他协议之上工作。当应用程序开始一个r 1 1 p 会话时将使 用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包 提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服 务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码 的一部分。 r t p 的关键部分是对变换和混合的支持，变换也就是在中间位置改变数据流 的编码，混合就是把多个源的数据汇聚成一个数据流发送。 2 6 2 r t p 控制协议一r t c p r t c p l 9 1 【10 】协议将控制包周期发送给所有连接者，应用与数据包相同的分布 机制。低层协议提供数据与控制包的复用，如使用单独的u d p 端口号。 2 62 1r t c p 执行下列四大功能： 浙江大学硕士学位论文 】、主要功能，提供数据发雍的质量反馈。作为r t p 传输协议的一部分，与 其他传输协议的流和阻塞控制有关。反馈直接对自适应编码控制起作用，但i p 组播经验表明，从发送者得到反馈对诊断发送错误也是很重要的。给所有参加者 发送接收反馈报告允许问题观察者估计那些问题是局部的，还是全局的。诸如i p 组播等发布机制使网络服务提供商可能接收反馈信息，充当第三方监控者来诊断 网络问题。反馈功能由r t c p 发送者和接收者报告执行。 2 、r t c p 带有称作规范名字( c n a m e ) 的r t p 源持久传输层标识。如发现 冲突，或程序重新启动，接收者需要c n a m e 跟踪参加者。接收者也需要c n a m e 与相关r t p 连接中给定的几个数据流联系： 3 、速率控制。前两种功能要求所有参加者发送r t c p 包，因此，为了r t p 扩展到大规模数量，速率必须受到控制。让每个参加者给其它参加者发送控制包， 增加参加者数量。该数用于计算包发送的速率。 4 、传送最小连接控制信息，如参加者辨识。最可能用在”松散控制”连接，那 里参加者自由进入或离开，没有成员控制