（计算机应用技术专业论文）linux下高性能流媒体服务器的设计和实现.pdf

浙江大学硕士学位论文 y87 7 1 9 摘要 随着互连网的飞速发展，视频点播、i p t v 等流媒体应用发展迅速，迫切需 要一个高性能可扩展的流媒体服务器来支撑业务的开展。本文首先介绍了流媒体 技术的背景、发展和现状，分析了当前的一些流媒体产品的特点，讨论了开放的 流媒体标准i s m a 规范及其相关内容。然后在此基础上提出了一个基于l i n u x 平 台的，采取异步事件驱动框架，遵循开放标准的，高性能、可扩展的流媒体服务 器。本文详细介绍了此流媒体服务器设计和实现： 流媒体服务器基于l i n u x 平台，采取模块化的思想进行设计。系统各模块运 行在一个基于异步事件驱动的系统运行框架之上。框架吸取常用的网络服务框架 的经验，针对高网络i o 、高磁盘i o 的特点，运用l i n u x2 6 内核的最新特性进 行优化，提供统一的事件的登记和回调接口，并屏蔽了线程互斥的复杂性。通过 对磁盘i o 读写技术的分析。结合异步事件驱动的框架，设计了异步文件读取 b u f f e r 层，实现高效的流媒体数据源模块，流媒体服务器通过异步事件接收并处 理客户端的流媒体交互命令，从数据源中获取媒体数据，通过异步事件驱动框架 发送给客户端。 流媒体服务器支持基于r t s p 重定向的应用层集群部署，通过分层结构将服 务节点分散到网络边缘，使用虚拟文件层来优化集群的媒体数据存储，根据集群 中的媒体数据分布以及节点负荷等应用层信息进行制定集群调度策略，提高集群 的性能和性价比。 关键字：流媒体服务器、l i n u x 、异步i o 、事件驱动、网络服务框架、应用层 集群。 2 浙江大学硕士学位论文 a b s t r a c t a l o n gw i t ht h er a p i de v o l u t i o no ft h ei n t e m e t ，s t r e a m i n gm e d i as e r v i c es u c ha s v i d e o - o n d e m a n da n di p t vb e c o m e sm o r ea n dm o r ep o p u l a r , s ow en e e dah i g h p e r f o r m a n c ea n df l e x i b l es t r e a r n i n gs e r v e rt os u p p o r tt h e s es e r v i c e s t h i sp a p e rf i r s t i n t r o d u c e st h eb a c k g r o u n d ，e v o l u t i o na n dt h ep r e s e n to f t h es t r e a m i n gt e c h n o l o g y , a n d a n a l y s i ss o m es t r e a m i n gm e d i ap r o d u c ta n dt h eo p e ns t r e a m i n gm e d i as p e c i f i c a t i o n ， i s m a b a s eo nt h e s ei n f o r m a t i o n w ep l a n n e da nh i g hp e r f o r m a n c ea n df l e x i b l e s t r e a m i n gs e r v e rw h i c hf o l l o w so p e ns t a n d a r d i ti sd e v e l o p e du n d e rl i n u xa n d p o w e r e db y a l la s y n c h r o n o u se v e n td r i v e nf r a m e w o r k t h er e s to ft h i s p a d e r i n t r o d u c e si t sd e s i g na n di m p l e m e n t a t i o nd e t a i l s t h es t r e a m i n gs e r v e ri sd e v e l o p e du n d e rl i n u xu s i n gm o d u l a r i z a t i o ni d e a a i l m o d u l e sa r er u n n i n go na 1 1a s y n c h r o n o u se v e n td r i v e ns e r v i c er u n t i m ef i a n l e w o r k b a s eo ns o m ec o m m o nn e t w o r ks e r v i c ef r a m e w o r k , o u rf r a m e w o r ki so p t i m i z e df o r t h eh i g hn e t w o r ki oa n dh i 曲d i s k1 0 ，u s i n gt h en e w e s tf e a t u r ef r o ml i n u x2 6k e r n e l i tp r o v i d e sau n i f o r mi n t e r f a c ef o rr e g i s t e r i n ge v e n ta n dh a n d l i n gt h ea s y n c h r o n o u s e v e n tc a l l b a c k ，a n ds h i e l d st h ec o m p l e x i t yo ft h r e a de x c l u s i v e b ya n a l y s i st h e t e c h n o l o g yo fd i s kr e a d i n ga n dw r i t i n g ，a n dc o m b i n i n gw i t ht h ea s y n c h r o n o u se v e n t d r i v e nf r a m e w o r k , w ed e s i g na 1 1 a s y n c h r o n o u sf i l e b u f f e rl a y e r b a s eo ni tw e i m p l e m e n ta ne m c i e n ts t r e a m i n gd a t as 0 1 1 r c em o d u l e o u rs t r e a m i n gs e r v e rr e c e i v e s a n dh a n d l e st h ec l i e n t si n t e r a c t i v ec o m m a n d su s i n ga s y n c h r o n o u sm e c h a n i s m t h e n g e t sm e d i ad a t af r o md a t as o u r c ea n ds e n d si tt ot h ec l i e n tu s i n gt h ea s y n c h r o n o u s f r a m e w o r k t h i ss t r e a m i n gs e r v e rs u p p o r t sc l u s t e rd e p l o y w ed e s i g na na p p l i c a t i o nl a y e r c l u s t e ru s i n gr t s pr e d i r e c tt e c h n o l o g y t h cc l u s t e rc a r lb ed i v i d e si n t ol a y e r sa n dt h e n o d e sc a nb es c a t t e r e dt ot h ec d g eo fn e t w o r k w ed e s i g nav i r t u a lf i l el a y e rt o i m p r o v i n gt h es t o r a g eo fm e d i ad a t aa m o n gt h ec l u s t e r , a n di m p l e m e n ta ne m c i e n t c l u s t e rs c h e d u l ep o l i c yu s i n gt h ea p p l i c a t i o nl e v e li n f o r m a t i o n ，s u c ha sm e d i af i l e d i s t r i b u t i o na n dl o a do ft h en o d e sa n do t h e ri n f o r m a t i o n w i t ht h e s et e c h n o l o g i e s w e c a nb u i l dah i g hp e r f o r m a n c es t r e a m i n gs e r v e rc l u s t e rw i t hb e t t e rp e r f o r m a n c ep r i c e r a t i o k e y w o r d ：s t r e a m i n gs e r v e r , l i n u x ，a s y n c h r o n o u si o ，e v e n td r i v e n ，n e t w o r k s e r v i c ef r a m e w o r k ，a p p l i c a t i o nl a y e rc l u s t e r 3 浙江丈学硕士学位论文 1 前言 1 1 。流媒体概述 随着互联网的普及，人们对网络资讯的要求越来越高，除了传统的文字和图 象的信息外，人们还希望获取音频和视频等多媒体信息。由于音视频等多媒体数 据的数据量非常庞大，如果使用传统的h t t p 等下载方式下载到本地，则需要较 长的时间，而且有些多媒体应用如电视直播、网络可视会议等，更希望延迟能够 越少越好，因此为了缩短传输时间，提升用户观看网络媒体的体验，流媒体技术 便应运而生。 流媒体是指在网络中使用流式技术传输的连续的时基媒体数据，如音频、视 频或多媒体数据。流媒体技术在广义上是指使音频和视频形成稳定而连续的传输 流和回放流的一系列技术、方法和协议的总称。狭义上，是指相对于传统的“下 载一回放”的一种新的从i n t c m e t 上获得音频和视频等流媒体数据的方式，这种 方式支持多媒体数据流的实时传输和实时播放。流媒体系统包括音视频源的编 码懈码、存储、流媒体服务器、媒体流传输网络、用户端播放器等多部分组成。 因此上述各个方面的进展，如更高效的编码压缩方式，更快的编解码速度，更大 的网络带宽等，都不断的促进流媒体应用的发展。 随着宽带网络互联时代的到来，电信、广电、移动、联通等宽带业务提供商 面对激烈的竞争，大力开发基于宽带网络的增值业务，流媒体服务就是其中一个 重要的突破口，目前流媒体技术的主要应用包括： 远程教育。 利用流媒体技术从网络上传输多媒体教学内容，学生可以足不出户就可 以尽情学习，而且还可以按照自己的需要选择不同的教学内容。 宽带视频点播。 利用流媒体技术在宽带网络上点播电影或者电视节目，具有良好的互动 性，满足人们的娱乐需要。 互联网直播。 利用流媒体技术在互联网直播重大的体育比赛、重大庆典让更多的用 7 浙江大学硕上学位论文 户可以实时进行观赏。 视频通信和视频会议。 利用流媒体技术的实时性进行互联网进行通信，使人们的沟通更加紧密。 随着3 g 时代的逐渐到来，移动流媒体技术也逐渐成熟，手机终端的技术也 在发展，手机上电视点播，手机上的现场直播，视频广告，视频短信等业务也将 进入实用阶段。 1 2 高性能流媒体服务器的需求 在流媒体服务系统中，流媒体服务器是一个重要的组成部分。流媒体服务器 的稳定性、性能、并发能力，以及可伸缩性、可扩展性等因素，是影响整个流媒 体服务能够大规模推广应用的关键。 流媒体服务器在整个流媒体服务系统中处于中心位置，其他的组件都与流媒 体服务器部件进行交互。流媒体服务器发送的媒体数据从编码压缩部件压缩出来 的媒体文件中获取，流媒体服务器虽然不用关系具体的编码算法，但不同的编码 方式下，媒体文件的文件格式、元数据格式，以及对外发送的数据包格式都有差 异。流媒体服务器一般都同时服务很多的客户端，因此多用户并发处理能力直接 影响客户端的播放效果，也是直接影响系统的性价比，决定其能否达到大规模应 用的需求。同时，媒体服务器还需要进行用户的认证、授权、计费，以及服务情 况查询和在线用户管理，而不同的业务应用的认证计费等方式是不一样的，需要 流媒体服务器能够灵活配置。这些都构成了流媒体服务器开发的复杂性。 因此，开发流媒体服务器时，有很多问题需要注意。首先，要选择流媒体服 务器所使用的流媒体协议，为了便于和其他系统进行对接互操作，最好是选择遵 循个开放的标准规范，使得各种符合规范的压缩软件、视频采集压缩卡硬件、 播放器、机顶盒终端设备等，能够与我们的流媒体服务器相互协作。其次，流媒 体服务器要具备良好的性能，尽可能支持更多的并发用户稳定播放，因此需要针 对流媒体高网络i o 高磁盘i o 的特点选择合适的系统运行框架，并且利用操作系 统本身的特性进行优化。再次，系统要具有良好的模块化特性，能够在支持标准 协议的同时，支持扩展的流媒体协议。使特定的客户端能够提升播放效果。同时， 流媒体服务器也可以通过加载不同的模块，支持不同的流媒体应用业务的需要， 浙江人学顺i 学位论文 方便的改用不同的认证和授权方式，与不同的后台管理系统进行配合。最后，流 媒体服务器还需要进行集群部署，设计对应的文件存储策略和集群调度策略。 1 3 本文的工作与创新 本文的主要工作。是基于l i n u x 平台，设计并开发了一个高性能的流媒体服 务器以及相应的应用层集群部署方案，以适应大规模流媒体应用的需要。 此流媒体服务器的设计和开发工作，首先是高磁盘i o 和高网络i o 的特点， 设计出一套基于事件驱动的网络服务运行框架，并且应用l i n u x2 6 内核的最新 特性进行优化，高效的运行框架奠定了流媒体服务器效率的基础。然后在此运行 框架之上，使用面向对象、模块化的方式来设计流媒体服务器。整个流媒体服务 器主要由业务处理模块、流媒体s e s s i o n 处理模块、流媒体协议交互命令处理模 块、流媒体数据源模块等模块组成。根据需要还可以动态加载其他扩展模块扩展 功能。为了支持大规模的部署，还提出了基于r t s p 重定向的应用层集群方案， 并且通过虚拟目录来屏蔽本地磁盘缓存和远程共享中心存储，根据集群中的文件 分布情况及其他负载等应用层信息进行集群调度。 本文的主要刨新点包括下列方面： 基于事件驱动的方式进行设计，避免了系统阻塞或大量线程带来的开销， 是系统运行高效的基础。 基于l i n u x2 6 内核的最新特性进行优化，高效实现系统运行框架。 基于高度模块化的设计，整个系统结构清晰，支持动态模块加载方式的 功能增强和模块升级 基于异步事件驱动的数据访问方式，结合应用层缓存和优化，提高磁盘 i o 的总并发能力。 在传统流媒体数据传输基础上，增加r u d p 、s c t p 等协议的增强，对流 媒体数据传输进行优化 提出一套应用层的流媒体集群方案，并对集群内的媒体数据存储和传输 进行优化，根据文件分布等应用层信息进行有针对性的集群调度。 9 浙江大学硕士学位论文 1 4 本文的内容和组织 本论文的主要内容，是描述了l i n u x 平台下，基于异步事件驱动的，高性能 可扩展的流媒体服务器的设计和实现过程。 论文分为八章，第一章简单介绍了流媒体的背景以及流媒体服务器的开发目 标。第二章介绍了流媒体的相关技术，主要流媒体产品，以及开发的流媒体标准。 第三章讨论了高性能流媒体服务器的整体设计，系统的各个模块的概述。第四章 讨论了异步事件驱动的运行框架的设计和实现，描述了框架的接口以及如何利用 l i n u x2 6 内核最新特性进行优化。第五章和第六章分别就流媒体服务器中的数 据源管理模块和流媒体用户交互和数据发送模块进行详细设计和实现的讨论。第 七章讨论了流媒体服务器的集群部署方案。最后第八章对本论文进行总结，并就 流媒体技术的未来发展进行展望。 l o 浙江大学硕士学位论文 2 流媒体技术、产品和标准 2 1 流媒体技术和主要产品 1 9 9 5 年，第一个互联网流媒体播放器推出，流媒体技术开始得到发展。早期 的互联网速度不高，带宽也不稳定，音视频编码的效果也较差，为了提高播放效 果，各大厂商都各出奇谋，不断涌现出各种新的技术。早期的流媒体由于网络带 宽所限，主要以音频为主，如r e a l r a d i o 所提供的网上电台业务。直到1 9 9 9 年， 才出现很小的窗口的视频流媒体。到了2 0 0 0 年，随着宽带网络的普及，多媒体 压缩技术领域的进展，个人电脑的运算能力的提高，流媒体技术在短短一年内得 到飞跃发展，r e a ln e t w o r k 、m i c r o s o f t 、a p p l e 等公司几乎同时推出他们的宽带 流媒体的解决方案，分别提供从采集到编码，发布和终端播放的整套工具。 2 1 1 r e a l 公司的流媒体产品 r e a ln e t w o r k 公司 3 】是老牌的流媒体技术提供商，最早提供r e a la u d i o 格式 的音频流媒体，丌创了互联网流媒体广播的先河。后来又并购了x i n e 公司，整 合提供音视频流媒体服务。发展到今天，r e a l 公司提供了从制作端、服务器端到 客户端的全套产品，在很广的范围内以很快的连接速度提供较好的多媒体效果， 并具有较好的系统管理和可伸缩能力。r e a l 公司r e a lm e d i a 格式包括r e a la u d i o 、 r e a lv i d e o 和r e a lf l a s h 格式。r e a l 公司的媒体采用r e a l 的专用算法，具有较高 的压缩比，在网络传输上面，能够根据用户的网络连接速率选择最佳压缩比率的 r e a l 文件，即所谓的s u r es t r e a m 技术。 r e a l 公司产品最大的特点是压缩比高，以较小带宽提供较高的质量，因此在 早期网络带宽较低时占有很有利的优势，形成一个稳定的用户群。 2 1 2 微软公司的流媒体产品 微软公司的流媒体产品是其w i n d o w sm e d i a 产品 2 ，同样提供从媒体编码制 作到媒体服务器和媒体播放器，以及d r m 版权保护等完整的流媒体解决方案。 浙江大学硕士学位论文 w i n d o w sm e d i a 使用的音视频压缩方式在m p e g 4 的早期草案上，进行了大量的 修改和优化。发展到最新的w m v 9 时，压缩效率有了很大的提高，其编码的c o d e c 被标准化为v c l ，并被确定为s m p t e ( s o c i e t yo fm o t i o np i c t u r ea n dt e l e v i s i o n e n g i n e e r s ) 的标准。流传输协议早期使用m m s 协议，后来增加了h t t p 、r t s p 协议的支持，但微软对这些协议进行了大量不公开的修改，不能够与其他客户端 兼容和互连互通。 微软公司的流媒体产品的凭借其操作系统的垄断优势得到很大的发展，并且 其产品和操作系统结合度高，操作简易保持移植。另外，除了与标准的不兼容外， w i n d o w m e d i a 产品只能用于微软视窗平台，不能用于其他平台。 2 1 3 苹果公司的流媒体产品 a p p l e 公司在多媒体领域有着业界领先的地位。a p p l e 公司在1 9 9 1 年开始发 布q u i c k t i m e 1 是数字媒体领域事实上的工业标准，q u i c k t i m e 不仅仅是一个媒 体播放器，它还制定了文件格式的定义，既提供媒体制作的完美平台，同时又是 个多合一的应用程序套装。这些应用程序协同工作，为业界提供了第一个完整 的、基于标准的数字媒体发布系统。当前很多电影公司的预告片，以及f o x 、 b b c 等实况转播，都是通过q u i c k t i m e 技术来完成的。a p p l e 公司还将其流服务 器产品q u i c k t i m es t r e a m i n gs e r v e r 产品开放源代码成为d a r w i ns t r e a m i n gs e r v e r 项目并移植到多个平台上，d a r w i ns t r e a m i n gs e r v e r 的很多特性都成为了流媒体 界的工业事实标准，其中的媒体存储格式 2 0 】、h i n tt r a c k 格式已经被i s o 、i s m a 等标准组织采纳成为正式标准。 苹果公司是一家充满创造力的公司，在公开其所使用的技术的同时，凭借其 优秀的设计和创意领导多媒体领域，其i p o d 、i t u n c 等产品都是其中杰出的典范。 2 1 4 o n 2 公司的v p 技术及流媒体产品 o n 2 科技公司【4 】是一家面向互联网、视频点播、卫星和无线应用的视频图像 压缩技术的开发商。在视频压缩方面有十多年的技术积累，所开发的全帧速、全 屏幕视频图像压缩技术t r u e m o t i o nv p 系列编解码器( c o d e c ) ，是业界领先的视 频压缩技术发展到现在已经是第七代v p7 了，提供了比w i n d o wm e d i a9 、 1 2 浙江大学硕 学位论文 r e a l v i d e o1 0 、h 2 6 4 等更好的图像质量和更快捷的编解码速度。o n 2 提供了 t m e c a s t 7 客户端和服务器软件，可以应用于流媒体的应用中。另外o n 2 的编解 码软件还提供v x w o r k s 、s y m b i a n 等环境的版本，并且能运行在德州仪器、a d i 等公司的芯片上。 虽然o n 2 在编解码以及嵌入式业界中享誉盛名，得到了s o n y 、i n t e l 、美商艺 电等公司的使用，但其在普通互联网用户中知名度并不高。后来o n 2 与 m i c r o m e d i a 公司合作，将o n 2 的v p 技术应用到f l a s h 的v i d e o 播放技术中，因 此也在互联网中得到广泛应用。 2 2 开放的流媒体标准的需要 上述提到的各个商业公司的流媒体技术都非常优秀各有长处，但他们共同的 最大的问题，就是不能互连互通。而且除了苹果公司的部分产品外，他们大部分 产品的整个流媒体的编码和传输的技术都是不公开的，更加不可能通过中间转换 组件连接起来。这样几个大公司的产品之间形成了非常激烈的竞争。 同时，其他一些公司如果采取这些大公司的技术，最多也只能在他们所提供 的s d k 基础上，做有限的一些控制和二次开发、系统集成等，这样开发出来的 产品根本无法与这些大公司进行竞争。一般公司也很难投入大量的人力物力重新 开发一个新的压缩标准和传输技术。因此一般的公司往往考虑使用丌放的技术标 准。这样只需要在某一个环节做足够深入和功能强大，同时能够与其他符合相同 开放标准的系统进行对接，通过相互协作共同提供流媒体服务，从而能够在市场 中占有立足之地。 流媒体服务运营商也希望采取开放的流媒体技术标准，因为流媒体服务器运 营商也不愿意采取一种封闭的技术，因为一旦选定了某种技术，就只能由某家厂 商单独来提供所有解决方案，不能引入其他厂商形成竞争，整个系统都要受制于 人，形成很大的风险。如果使用开放的技术标准，整个系统就能够由多家厂商来 合作完成，厂商之间可以竞争，同时更换不同的厂商的时候，整个系统也不需要 全部推倒重来。 另外一些如i b m 、c i s c o 等厂商，他们虽然不直接提供流媒体产品，但他们 也积极推进开发的流媒体协议标准的制定，以便使流媒体产业迅速发展，从而带 浙江大学硕士学位论文 动他们服务器、路由器等硬件产品以及软件开发产品、软件服务等产业的发展。 基于上述的理由，虽然订立一个标准本身也是困难重重，因为需要平衡各方 的利益，但最终不少公司联合起来，组成了一个联盟i s m a ，制定出相应的标准 出来。 因此，我们的流媒体服务器也是基于开放的标准来开发，并且以流媒体服务 的系统的性能、可扩展性以及大规模集群部署能力作为系统的闪光点，并能够和 其他系统进行互连互通相互协作，共同提供流媒体服务。 2 3 i s m a 标准简介 2 3 1 i s m a 标准简介 i s m a ，全称互联网流媒体联盟【5 】，是在2 0 0 0 年1 2 月由a p p i e 、c i s c o 、 g a s e n n a 、p h i l i p s 和s u n 五家公司联合成立，发展到现在正式成员已经达到3 0 多家，包括c i s c o 、i b m 、s o n y 、n e c 、飞利浦、日立、杜比、s i g m a 和以色列 阿贝斯公司等，但微软和r e a l n e t w o r k 公司不在其中。i s m a 联盟的宗旨，是推 动开发与使用i p 端到端的流媒体解决方案的国际开放性标准的制定，将现有的 m p e g 4 等技术尽快转化为产品，同时提高相互之间的兼容性，共同推动流媒体 服务的发展。根据i s m a 的设想，用户仅下载一个插件，就可以使用不同公司的 播放器欣赏网络音频与视频，而且使用范围不局限于p c 机，还包括各种掌上无 线设备，如p d a 、手机等。 i s m a 规范的目标，是减少系统之间的不兼容性。i s m a 并没有从头丌始制 定各个规范，而是选取现有的开放的规范将其标准化，以使这些规范更便于实 现，使各个公司的产品真正实现互连互通。i s m a 标准流媒体系统框架包括一个 流媒体服务器、一个i p 网络、一个流媒体播放客户端，媒体数据通过i p 网络上 点播或者广播的方式从流媒体服务器发送到客户端。i s m a 的规范的内容主要包 括下列方面：媒体格式、媒体传输方式、媒体传输控制、媒体的描述发布和媒体 的存储。 i s m a 在2 0 0 1 年8 月发布了i s m a1 0 的版本【6 】，使用m p e g - 4 标准作为媒 体编码格式，r t p 协议以及具体的m p e g 4p a y l o a d 格式作为媒体传输方式，使 浙扛大学硕士学位论文 用r t s p 协议作为媒体传输控制的规范，使用s d p 协议作为媒体的描述发布规 范，使用m p 4 文件格式作为媒体的存储格式。 i s m a 规范通过不同的p r o f i l e 来定义系统所需支持的功能，i s m a1 0 中定义 了两个p r o f i l e ：p r o f i l e0 和p r o f i l e1 ，前者最高码流6 4 kb p s ，是为了无线网络及 带宽较窄的网络准备的可以适用于手机、p d a 等掌上无线设备；后者最高码 流是1 5 mb p s ，是为了宽带设计的，可以应用于机顶盒以及p c 机。p r o f i l el 是 p r o f i l e0 的超集，所有遵循i s m a1 0 标准的产品必须支持p r o f i l e0 ，但可以选择 是否支持p r o f i l el 。 i s m a 在2 0 0 5 年4 月发布了i s m a 2 0 的规范版本【7 】。在i s m a 2 0 中，最大 的变化就是在媒体格式上，采用了h 2 6 4 的视频压缩标准和h e a a c 的音频压缩 标准。i s m a 2 0 中并没有修改i s m a1 0 所定义的p r o f i l e 的内容，而是另外定义 了三个新的p r o f i l e ：p r o f i l e2 、p r o f i l e3 、p r o f i l e4 。在i s m a1 0 中，p r o f i l e1 是 p r o f i l e0 的超集，但在i s m a 2 0 中，p r o f i l e2 和p r o f i l e3 、p r o f i l e4 之间是相互 有交集的。 整个i s m a 规范的主要内容如下图所示： 浙江人学硕。l 学位论文 ，坏h 3 研mh 1 t 盯j 一、 版本 音频参数 视频参数 总码流 a a c l 2 m p e g - 4s p l 1 6 4 k b p s s t e r e o ，4 8 k h z 6 4 k b p s 1 o - ： a a c , l 2 、。m i ? e g - 霹a s p l 3 1 5 m b p s s t e r e o ，4 8 k 睡麓、 1 s l b 姆 一y 、，- 1 ，$ * 0 一 4 h e a a c l 雾j a v c b a s e , q v l a i n l 2 s t e r e o ，4 8 k h z 1 m b p s 1 2 m b p s 2 0 a a c l 4 h e a a c a v cm a i n l 3 5 1 ，4 8 k h z 3 m b p s 3 7 m b p s 从c l 4 h e - a a c a v ch i g h l 4 1 5 m b p s 5 1 ，4 8 k h z 1 5 m b p s 2 3 2 i s m a 音视频压缩标准 多媒体信息主要包括音频、视频和文本等格式数据，其中音视频的数据量非 常庞大，无论传输和存储都耗费庞大的空间和网络带宽。因此各种多媒体数据压 缩思想和技术应运而生，通过各种有损压缩手段，在尽可能减少对实际视觉听觉 效果的前提下，追求最大限度的压缩比。 由于多媒体编码和解码是一个非常耗费c p u 资源的过程，因此编解码规范 制定之后，一般就不再更改。媒体文件压缩之后，如果要转换成其他编解码格式 的文件，不但需要消耗很多c p u 资源，而且图像的质量会损失很大。 l s m a 规范所使用的音视频标准是m p e g 标准。m p e g 是动态图像专家组 ( m o t i o np i c t u r ee x p e r tg r o u p ) 的缩写【1 0 ，这个专家组始建于1 9 8 8 年，专门负 1 6 浙江大学硕士学位论文 责建立视频和音频标准，其成员均为视频、音频及系统领域的技术专家由于他 们所制定i s o i e c1 1 1 7 2 ( 即m p e g 1 ) 标准获得巨大成功而扬名世界，为了适 应不同应用环境的要求，他们随后继续推出m p e g - 2 、m p e g 一4 标准，而m p e g 一7 、 m p e g 2 l 等标准也在制定中。 m p e g 1 制定于1 9 9 2 年【1 l 】，j 下式名称为i s o i e c1 1 1 7 2 ，此标准为工业级 标准而设计，可适用于不同带宽的设备。它可针对s i f 标准分辨率( 对于n t s c 制为3 5 2 2 4 0 ；对于p a l 制为3 5 2 x 2 8 8 ) 的图像进行压缩，传输速率为1 5 mb p s ， 最高可达4 mb p s 到5 mb p s ，每秒播放3 0 帧，具有c d 音质，质量级别基本与v h s 相当。我们常用的v c d 、m p 3 等，都使用了m p e g 1 标准的技术。 m p e g 2 制定于1 9 9 4 年 1 2 】，f 式名称为i s o i e c1 3 8 1 8 。此标准的设计目 标是高级工业标准的图像质量以及更高的传输率。m p e g 2 所能提供的传输率在 3 mb p s 到1 5 mb p s 之间，其在n t s c 制式下的分辨率可达7 2 0 4 8 6 ，m p e g 2 能够提供广播级的视像和c d 级的音质。除了做为d v d 的指定标准外，m p e g 2 还可用于为广播、有线电视网、电缆网络以及卫星直播等提供广播级的数字视频。 由于m p e g 2 的巨大成功，原定计划的m p e g - 3 标准夭折了。 虽然m p e g - 1 和m p e g 2 的应用获得巨大成功，但由于其压缩比不高，在有 限互联网带宽下图像质量较差，因此在流媒体系统领域中应用的效果不佳。为此 m p e g 组织制定了m p e g - 4 标准 1 3 ，m p e g - 4 中引入了一些新的视频压缩技术 【1 4 】，如全局运动补偿，四分之一运动补偿等各种算法，使得整个压缩比大大提 高。另外，m p e g - 4 中还加入了2 d 图像、不规则图像、3 d 图像等视频对象，并 且提供b i f s 信息来表示这些视频对象之间的关系，形成非常灵活的应用模式。 a v c ( a d v a n c e d v i d e o c o d i n g ) 实际是m p e g - 4 标准的第1 0 部分 1 6 1 ，而通 常说的m p e g - 4 视频实际是指m p e g - 4 的第2 部分。a v c 又称h 2 6 4 ( h 2 6 4 实 际是1 1 1 j t 组织所指定的名称，很多视频标准都是由i n j tv c e g 组织和 i s o i e c m p e g 共同开发的，其中m p e g 1 对应于h 2 6 1 ，m p e g 2 对应于h 2 6 2 ， m p e g - 4v i s u a l 对应于h 2 6 3 ) 。a v c 只针对普通的矩形视频帧进行编码，但使用 了更多的编码技术，因此压缩比又有3 0 左右的提升。a v c 专门针对网络传输 进行优化，抽象出一个网络抽象层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 来表示压 缩后的数据，提供了头部信息，适合多种传输和存储媒体。 浙江大学硕士学位论文 在音频格式方面，m p e g 委员会主要定义了r a p 3 和a a c 两种格式，m p 3 实 际是m p e g 1l a y e ri i l 的简称，a a c 是a d v a n c e da u d i oc o d i n g 的缩写。a a c 在m p e g 2 标准中定义，在m p e g 一4 中得到了增强【1 5 ，并增加了h e a a c 等 多种算法的支持，在提高压缩比的同时，得到更好的音频音质效果。 2 3 3 流媒体的存储标准 m p e g 的早期规范中，定义的文件存储格式是比较简单的，在m p e g 2 中， 主要有p s ( p r o g r a ms t r e a m ) 和t s ( t r a n s p o r ts t r e a m ) 两种 1 2 1 。其中p s 格式 主要用于本地回放时候的存储，使用不定长的p e s 数据帧的方式存放的。而t s 格式主要用于网络传输，将p e s 包按照1 8 8 字节的大小进行分割，并且增加了 定期出现的p a t 、p m t 的表来描述媒体流的信息，因此很适合于网络广播的应 用环境，播放器可以随时开始接收数据，等待到p a t 和p m t 表之后，就可以了 解到媒体流的编码格式等信息，丌始进行播放。后来，m p e g 委员会还对t s 规 范进行补充，使其可以传输m p e g - 4 、a v c 等其他编码格式的视频流。 p s 流和t s 流比较简单，缺少灵活性，对于普通的从头到尾按正常方式的播 放情况很适用，但如果是需要进行s e e k 和快进快退播放耐，就有点不方便了。 再需要支持多音频甚至多视频的播放时，就更显得力不从心了。 m p e g 组织在定义m p e g - 4 的格式的时候，则充分考虑了对媒体进行各种操 作的需要，力求定义出一个可扩展的框架出来。m p e g 组织在参考了苹果公司的 m o v 文件格式的基础上，进行了一些修改和标准化，确立了一个基本的媒体文 件格式，这就是m p e g 4 标准的第1 2 部分，i s o 媒体文件格式【1 7 】。 i s o 媒体文件格式采用面向对象的思想来描述媒体文件的内容，整个媒体文 件出一系列的对象排列或者包含雨成，这些对象称为a t o m 。不同的a t o m 中存 放不同类型的信息，如媒体的类型信息、媒体的编解码参数信息、进行s e e k 和 快进快退的关键帧索引信息、以及具体的编码后的媒体数据。这些a t o m 按照一 定的逻辑关系组织在一起。 i s o 媒体文件格式中只是定义了通用的a t o m 对象结构，各个具体的文件格 式可以定义各自特有的a t o m 对象，还可以根据需要插入用户自定义a t o m 对象。 媒体文件一般有一个m o o va t o m 存放媒体的描述信息和索引，然后具体编码后 1 8 浙江大学硕士学位论文 的信息存放在m d a ta t o m 中。m o o va t o m 中通过t r a ka t o m 、m d i aa t o m 、m i n f a t o m 、v m h da t o m 、s m h da t o m 、s t b la t o m 等a t o m 对象分层描述具体的音视 频和其他媒体信息。 m p 4 文件格式，定义在i s o f l e c1 4 4 9 6 1 4 规范中【l8 。在i s o 文件格式的基 础上，增加了m p 4 编解码的具体描述。具体来说，在s t b l a t o m 中增加了m p 4 v a t o m 柬描述m p e g 4 视频格式的具体参数，增加了m p 4 aa t o m 来描述音频格式 的具体参数。 a v c 文件格式，定义在i s o i e c1 4 4 9 6 1 5 规范中 1 9 】。在i s o 文件格式的基 础上，增加了a v c 编解码的具体描述。具体来说，在s t b l a t o m 中，增加了a v c l a t o m 来描述a v c 视频格式的具体参数。 i s o i e c1 4 4 9 6 的各个规范中，定义的文件格式都是很灵活的，允许用户进 行灵活的处理，各个a t o m 对象之间的先后顺序并没有强制规定( 当然了，a t o m 对象之间的包含关系是不能够打乱的。) 。而且还允许媒体的描述信息m o o v 对象 和具体的编码后的媒体数据m d a t 对象处于不同的文件中。 i s m a 规范将m p 4 文件格式和a v c 文件格式采纳为i s m a 流媒体数据的存 储标准，并且对m p 4 和a v c 文件格式增加了一些限制，简化了系统的实现的同 时也方便了有利于优化。其中主要包括，要求m o o v a t o m 和所引用的m d a t a t o m 媒体数据存放在同一个文件中，这样各个文件可以单独发布，不需要处理文件闻 的引用关系，要求m o o va t o m 必须出现在文件的最前面，紧跟在文件的第一个 a t o m ( f t y p a t o m ) 后面，以便打开文件时马上可以读取到文件内的媒体的信息， 不需要遍历整个文件寻找m o o va t o m 。 i s m a 规范中还可以选择提供h i n tt r a c k 的支持，h i n tt r a c k 是d a r w i n s t r e a m i n gs e r v e r 的扩展，通过在媒体文件中增加h i n tt r a c k 轨道存放了一些 预先生成好的媒体描述信息( s d p 格式) 和媒体数据打包的索引信息。以便通 过i s m a 传输协议进行传输时，可以直接根据数据打包索引信息来打包发送， 不需要对信息进行重复的分析格式组装数据包的处理过程。 i s m a 2 0 的规范中，还增加了要求媒体文件能够支持边下载边播放的方式， 因此对媒体文件提出新的要求，除了m o o va t o m 必须在文件前面外，还要求各 个媒体轨道( 如音视频轨道) 的媒体数据在m d a t a t o m 中以交错的方式存放，交 1 9 浙江夫学颇 学位论文 错的单位通常是一秒。 2 3 4 流媒体的交互协议标准 流媒体的交互协议是指流媒体服务器和流媒体客户端之问所使用的通讯协 议，包括媒体控制协议、媒体传输协议、媒体描述协议。 媒体控制协议 i s m a 规范中，规定了所使用的媒体控制协议是r t s p 协议，在r f c2 3 2 6 中定义 2 3 。r t s p 协议的结构类似于h t t p 协议，定义了d e s c r i b e 、 s e t u p 、p l a y 、p a u s e 、t e a r d o w n 等命令来进行媒体控制，查询媒体 的信息，建立数据通道，还支持对媒体进行s e e k 、快进、快退等操作。 媒体传输协议 i s m a 规范中所使用的数据传输协议是r t p 协议，在r f c1 8 8 9 中定义 2 1 。r t p 协议一般是通过u d p 的方式进行传输，也可以嵌入到其他扔议中 传输，最常见的方式是嵌入到r t s p 协议中传输，由于r t p 协议本身并没有 记录自身的大小，这在u d p 中不是问题，但在r t s p 协议中传输时。则需要