多媒体数据格式及流媒体技术

1、第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 第第5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5.1 图像文件格式图像文件格式 5.2 声音文件格式声音文件格式 5.3 流媒体技术流媒体技术 练习与思考题练习与思考题 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5.1 图像文件格式图像文件格式 在图像数据文件中， 通常包含图像尺寸（宽度和高度）、 颜色信息（彩色模型、 深度和调色板等）、 组织结构（色彩平面或图像平面）、 压缩编码方式、 位和字节顺序（低位在前或高位在前）等信息。 常见的图像文件格式有以下13种。 第第5 5章

2、章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 1. GIF文件格式（*.GIF） GIF是图形交换格式(Graphics Interchange Format)的英文缩写， 是由CompuServe公司于20世纪80年代推出的一种高压缩比的彩色图像文件格式， 它支持的图像颜色可以多达256色， 采用无损数据压缩方法中压缩效率较高的LZW(Lempel Ziv Welch)算法， 主要用于图像文件的网络传输。 考虑到网络传输中的实际情况， GIF图像格式除了一般的逐行显示方式之外， 还增加了渐显方式， 也就是说， 在图像传输过程中， 第第5 5章章 多媒体数据格式及流媒体技术多媒体数

3、据格式及流媒体技术 大致轮廓， 然后随着传输过程的继续而逐渐看清图像的细节部分， 从而适应用户的观赏心理， 这种方式以后也被其他图像格式所采用， 如JPEG/JPG等。 最初， GIF只是用来存储单幅静止图像， 称GIF87a， 后来， 又进一步发展成为GIF89a， 可以同时存储若干幅静止图像并进而形成连续的动画。 目前Internet上大量采用的彩色动画文件多为这种格式的GIF文件。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2. Flic文件格式（*.FLI/*.FLC） 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 GIF和Flic文

4、件通常用来表示由计算机生成的动画序列， 其图像相对比较简单， 因此可以得到比较高的无损压缩率， 文件尺寸也不大。 然而， 对于来自外部世界的真实而复杂的影像信息而言， 无损压缩便显得无能为力， 而且， 即使采用了高效的有损压缩算法， 影像文件的尺寸也仍然相当庞大。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3. AVI及n AVI文件格式（*.AVI） AVI是音频视频交错(Audio Video Interleaved)的英文缩写， 是一种桌面系统上的低成本、 低分辨率的视频格式。 AVI是Microsoft公司开发的一种符合RIFF文件规范的数字音频与视频文件格

5、式， 原先用于Microsoft Video for Windows (简称VFW)环境， 现在已被Windows、 OS/2等多数操作系统直接支持。 AVI格式允许视频和音频交错在一起同步播放， 支持256色和游程长度编码， 但AVI文件并未限定压缩标准， 因此， AVI文件格式只是作为控制界面上的标准， 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 不具有兼容性， 用不同压缩算法生成的AVI文件， 必须使用相应的解压缩算法才能播放出来。 AVI可在160120的视窗中以15帧/s回放视频， 并可带有8位的声音， 也可以在VGA或超级VGA监视器上回放。 AVI很重要

6、的一个特点是可伸缩性， 使用AVI算法时的性能依赖于与它一起使用的基础硬件。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 n AVI 是 newAVI 的缩写， 是一个名为 ShadowRealm 的地下组织发展起来的一种新视频格式。 它是由Microsoft ASF 压缩算法的修改而来的（并不是想象中的 AVI）。 nAVI 为了追求压缩率和图像质量， 改善了原始的 ASF 格式的一些不足， 让 nAVI 可以拥有更高的帧率（frame rate）。 当然， 这是以牺牲 ASF 的视频流特性作为代价的。 概括来说， nAVI 就是一种去掉视频流特性的改良型 ASF

7、格式， 也可以被视为是非网络版本的ASF。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 4. MPEG文件格式(*.MPEG/*.MPG/*.DAT) 有关MPEG的视频、 音频的相关知识我们在前两章中只作较为详细介绍， 为了使本章节具有系统性， 这里只作简单介绍。 MPEG文件格式是运动图像压缩算法的国际标准， 它采用有损压缩方法减少运动图像中的冗余信息， 同时保证30帧/s的图像动态刷新率， 已被几乎所有的计算机平台共同支持。 MPEG标准包括MPEG视频、 MPEG音频和MPEG系统(视频、 音频同步)三个部分， 而Video CD (VCD)、 Super V

8、CD (SVCD)、 DVD (Digital Versatile Disk)则是全面采用MPEG技术所产生出来的新型消费类电子产品。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 MPEG压缩标准是针对运动图像而设计的， 其基本方法是： 在单位时间内采集并保存第一帧信息， 然后只存储其余帧相对第一帧发生变化的部分， 从而达到压缩的目的。 它主要采用两个基本压缩技术： 运动补偿技术(预测编码和插补码)实现时间上的压缩， 变换域(离散余弦变换DCT)压缩技术实现空间上的压缩。 MPEG的平均压缩比为50 1， 最高可达 200 1， 压缩效率非常高， 同时图像和音响的质量

9、也非常好， 并且在微机上有统一的标准格式， 兼容性相当好。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 DIVX 视频编码技术由 Microsoft MPEG4v3 修改而来， 使用 MPEG-4 压缩算法， 可以说它是为了打破ASF的种种协定而发展出来的。 MPEG-4 是一种新的压缩算法， 使用这种算法的 ASF 格式可以把一部 120 分钟长的电影（视频文件）压缩到 300 MB左右的视频流， 供网上观看。 其他的 DIVX 格式也可以压缩到 600 MB左右， 但其图像质量比 ASF 要好很多。 DIVX 视频播放对机器的要求也不高， CPU 只要是 300

10、MHz 以上、 配上 64 MB的内存和一个 8 MB显存的显卡就可以流畅地播放了， 这个要求是目前出厂的任何一款计算机都能达到的。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5. WMV文件格式（*.WMV） WMV(Windows Media Video)是Microsoft公司出品的视频格式文件， 公司希望用其取代QuickTime之类的技术标准以及WAV、 AVI之类的文件扩展名。 WMV的主要优点包括： 本地或网络回放、 可扩充的媒体类型、 部件下载、 可伸缩的媒体类型、 流的优先级化、 多语言支持、 环境独立性、 丰富的流间关系以及扩展性等。 第第5 5

11、章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 6. BMP文件格式（Windows Bitmap） BMP格式为Windows下的标准位图格式， 最大色深为24 bit， 可以不压缩存储， 也可以用游程长度无损压缩方案存储。 Windows的应用程序“调色板”就是以这种格式存取图像文件的。 我们可以用这种格式存取单色或256色的图像以供Windows环境下的多媒体工具使用。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 7. PCX文件格式（PC Paintbrush） PCX文件格式是Zsoft公司为Paintbrush这套绘图软件开发出来的。 Pain

12、tbrush所提供的图像文件扩展名为PCC， 其格式即为PCX的文件格式。 8. TGA文件格式（TARGA）第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 9. EPS文件格式（Encapsulated PostScript） Post Script打印机的特性在于， 使用者并非直接传送数据到打印机， 而是以Postscript语言（一个强大的程序语言， 其编辑器在打印机中）编写一个程序， 描述希望打印的东西。 所以EPS文件中的内容不是图形或图像数据本身， 而只是一段程序， 描述希望打印的图形或图像。 有很多知名的排版系统如北大方正支持EPS格式。第第5 5章章 多媒

13、体数据格式及流媒体技术多媒体数据格式及流媒体技术 10 TIF文件格式（Tagged Image File Format） TIF文件格式是Microsoft和Aldus公司针对桌面印刷（DTP）和桌面型扫描仪的应用而开发出来的， 有时也称为TIFF文件格式。 TIF可支持高达24位全彩色的图像， 而且移植性高， 很容易在PC和Macintosh机器之间交互使用。 TIF格式分黑白和彩色两种， 记录方式原始， 占用空间大， 但是图像质量好。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 11 JPEG文件格式（JPEG File Interchange Format）第

14、第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 12. DXF文件格式（Drawing Interchange Format） DXF是由Autodesk公司所开发的， 作为Auto CAD中的ASCII绘图交换文件格式， 这一格式现在也为许多计算机辅助设计人员所使用。 13. IGS文件格式（Initial Graphics exchange Specification） IGS又称IGES， 是由一个工业委员会开发的， 作为传送CAD的一个广泛标准。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5.2 声音文件格式声音文件格式 1. CD格式（

15、*.CDA） CD是当今世界上音质最好的音频格式， 标准CD格式音频的采样频率是44.1 kHz， 16位量化位数。 虽然CD音频是采用有损压缩， 但其音质可以说是近似无损的， 因此， 它的声音基本上是忠于原声的。 CD光盘可以在CD唱机中播放， 也能用电脑里的各种播放软件来重放。 一个CD音频文件是一个*.cda文件， 这只是一个索引信息， 并不是真正的包含声音信息， 所以不论CD音乐的长短， 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 在电脑上看到的“*.cda文件”都是44字节长。 注意： 不能直接地复制CD格式的*.cda文件到硬盘上播放， 需要使用像EAC这

16、样的抓音轨软件把CD格式的文件转换成WAV， 如果光盘驱动器质量过关而且EAC的参数设置得当的话， 这个转换过程可以做到基本上无损。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2. Wave文件格式（*.WAV） WAV是微软公司开发的一种声音文件格式， 它符合 PIFF Resource Interchange File Format 文件规范， 用于保存Windows平台的音频信息资源， 被Windows平台及其应用程序所支持。 “*.WAV”格式支持MSADPCM、 CCITT A-Law、 CCITT -Law等多种压缩算法， 支持多种音频位数、 采样频率和

17、声道， 标准格式的WAV文件和CD格式一样， 也是44.1 kHz的采样频率， 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 16位量化位数， 支持多种音频位数、 采样频率和声道， 但其文件尺寸较大， 多用于存储简短的声音片断。 WAV格式的声音文件质量和CD相差无几， 也是目前PC机上广为流行的声音文件格式， 几乎所有的音频编辑软件都能识别WAV格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3. MPEG音频文件格式（*.MP1/*.MP2/*.MP3） MPEG音频文件的压缩是一种有损压缩， 根据压缩质量和编码复杂程度的不同可分为三层

18、(MPEG Audio Layer 1/2/3)， 分别对应MP1、 MP2和MP3这三种声音文件。 MPEG音频编码具有很高的压缩率， MP1和MP2的压缩率分别为4 1和6 1 8 1， 而MP3的压缩率则高达10 1 12 1， 也就是说一分钟CD音质的音乐， 未经压缩需要10 MB存储空间， 而经过MP3压缩编码后只有1 MB左右， 同时其音质基本保持不失真， 因此， 目前使用最多的是MP3文件格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 4. MIDI文件格式（*.MID） MIDI是Musical Instrument Digital Interfa

19、ce（乐器数字接口）的缩写。 它是由世界上主要电子乐器制造厂商建立起来的一个通信标准， 以规定计算机音乐程序电子合成器和其他电子设备之间交换信息与控制信号的方法。 MIDI文件中包含音符定时和多达16个通道的乐器定义， 每个音符包括键通道号、 持续时间、 音量和力度等信息。第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 所以MIDI文件记录的不是乐曲本身， 而是一些描述乐曲演奏过程的指令。 由于只是像记乐谱一样记录下演奏的符号， 所以它的体积是所有音频格式中最小的。 严格地说， MIDI与上面提到的那些声音格式不是一族， 因为它不是真正的数字化声音， 而仅是一堆声音或乐器

20、符号的集合。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 MIDI是目前最成熟的音乐格式， 实际上它已经成为一种产业标准， 其科学性、 兼容性、 复杂程度等各方面当然远远超过其他声音标准， 它的General MIDI就是最常见的通行标准。 作为音乐行业的数据通信标准， MIDI能指挥各音乐设备的运转， 而且具有统一的标准格式， 能够模仿原始乐器的各种演奏技巧， 达到其他乐器无法实现的演奏效果， 而且文件的长度非常小。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5. WMA文件格式（*.WMA） WMA(Windows Media Audi

21、o)是Microsoft公司出品的音频文件格式， WMA格式的音乐文件的突出特点是提供了比MP3音乐文件更大的压缩比， 并且在音质上也毫不逊色。 关键是WMA格式的音乐文件， 使用Windows中提供的媒体播放器Windows Media P1ayer 78就可以支持播放， 所以只要你使用Windows，第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 就不必担心不能播放。 WMA的压缩率一般都可以达到18 1左右， WMA的另一个优点是内容提供商可以通过DRM（Digital Rights Management）方案如Windows Media Rights Manage

22、r 7加入防拷贝保护。 另外， WMA还支持音频流(Stream)技术， 适合在网络上在线播放。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 6. VOC文件格式（*.VOC） VOC文件格式是Creative Labs公司的波形音频文件格式， 多用于保存Creative Sound Blaster(创新声霸)系列声卡所采集的声音数据， 被Windows平台和DOS平台所支持， 支持CCITT A-Law和CCITT -Law等压缩算法。 每个VOC文件由文件头块（header block）和音频数据块（data block）组成。 文件头包含一个标识版本号和一个指向

23、数据块起始处的指针。 数据块分成各种类型的子块， 例如， 声音数据子块、 静音标识子块、 ASCII码字符子块、 循环重复子块、 终止子块以及用于立体声音响的扩展子块等。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 7. VQF文件格式 VQF是日本YAMAHA公司购买NTT公司的技术开发出来的一种音频压缩格式， 矛头直指MP3， 主要卖点是压缩比比MP3高， 而且音质也比MP3好。 但由于VQF是YAMAHA公司的专有格式， 受到的支持（播放器）相当有限， 所以影响力不如MP3。 VQF需要YAMAHA公司的VQF播放器才能播放。 其他播放器比如WinAMP需要安装

24、支持插件才能播放。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 8. AIFF文件格式（*.AIF/*.AIFF） AIFF是音频交换文件格式(Audio Interchange File Format)的英文缩写， 是Apple 公司开发的一种声音文件格式， 被Macintosh平台及其应用程序所支持， Netscape Navigator浏览器中的LiveAudio也支持AIFF格式， SGI及其他专业音频软件包也同样支持这种格式。 AIFF支持ACE2、 ACE8、 MAC3和MAC6压缩标准， 支持16位44.1 kHz立体声。 第第5 5章章 多媒体数据格式

25、及流媒体技术多媒体数据格式及流媒体技术 9. 模块文件格式（*.MOD/*.S3M/*.XM/*.MTM/*.FAR/*.KAR/*.IT） 这些文件格式其实互不相同， 但又都属于一个大类： Module（模块）。 模块格式是一种已经存在了很长时间的声音记录方式， 它同时具有MIDI与数字音频的共同特性。 模块文件中既包括如何演奏乐器的指令， 又保存了数字声音信号的采样数据， 为此， 其声音回放质量对音频硬件的依赖性较小， 也就是说， 在不同的机器上可以获得基本相似的声音回放质量。 模块文件根据不同的编码方法有MOD、 S3M、 XM、 MTM、 FAR、 KAR、 IT等多种不同格式。 第第

26、5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 5.3 流流 媒媒 体体 技技 术术 流媒体定义 在网络上传输音视频(AV)等多媒体信息， 目前主要有下载和流式传输两种方式。 如果采用下载方式下载一个AV文件， 常常要花数分钟甚至数小时。 这主要是由于AV文件一般都较大， 所需的存储容量也较大； 再加上网络带宽的限制， 所以这种方法延迟很大。 流式传输则把声音、 影像或动画等时基媒体通过音视频服务器向用户终端连续、 实时地传送。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 采用这种方式时， 用户不必等到整个文件全部下载完毕， 而只需经过几秒或几十秒的

27、启动延时即可进行播放和观看。 此时多媒体文件的剩余部分将在后台从服务器内继续下载。 与下载方式相比， 流式传输大大地缩短了启动延时， 同时也降低了对缓存容量的 需求。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 流媒体通信原理 由于目前的网络带宽还不能完全满足巨大的AV、 3D等多媒体数据流量的要求， 所以在流媒体通信技术中， 应首先对AV、 3D等多媒体文件数据进行预处理后才能进行流式传输。 它主要包括降低质量和采用先进、 高效的压缩算法两个方面。 其次， 与下载方式相比， 尽管流式传输大大降低了对系统缓存容量的要求， 但它的实现仍需要缓存， 这是因为Interne

28、t是以包传输为基础进行断续的异步传输的。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 数据在传输中要被分解为许多包， 但网络又是动态变化的， 各个包选择的路由可能不尽相同， 故到达用户计算机的时间延迟也就不同。 所以， 使用缓存系统来弥补延时和抖动的影响， 并保证数据包传输顺序的正确， 使媒体数据能连续输出， 不会因网络暂时拥堵而出现播放停顿。 在整个的传输和控制过程中， 必须采用一定的网络协议来实现流式传输， 为用户提供可靠服务质量保证。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 媒体流传输过程如图5.3-1所示。 用户（Web浏览器）通

29、过HTTP/TCP与Web服务器(Web Server)交换信息， 获取流媒体服务清单， 根据获得的流媒体服务清单向媒体服务器(A/V Server)请求相关服务； 然后客户机的Web浏览器启动相应的媒体播放器(A/V Player)， 通过RTP/UDP从媒体服务器中获取流媒体数据， 实时播放。 在播放过程中， 客户机的媒体播放器需要实时通过RTCP/UDP与媒体服务器交换控制信息， 媒体服务器根据客户机反馈的流媒体接收情况智能调整向客户机传送的媒体数据流， 从而在客户端达到最优的接收效果。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 实现流式传输有两种方法： 实时

30、流式(Realtime Streaming)传输和顺序流式（Progressive Streaming）传输。 一般说来， 如果视频为实时广播， 或使用流式传输媒体服务器， 或应用如RTSP的实时协议， 则流式传输为实时流式传输。 如果使用HTTP服务器， 文件即通过顺序流发送， 这种传输方式就称为顺序流式传输。 流式文件在播放前可完全下载到硬 盘上。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 图5.3-1 流式传输基本原理 HTTP/TCPWeb浏 览 器控 制 信 息 RTSP/TCP(UDP)数 据 信 息 RTP/UDP元 文 件定 位A/V播 放 器Web

31、服 务 器A/V服 务 器第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 1. 顺序流式传输 顺序流式传输是顺序下载， 在下载文件的同时用户可观看在线媒体， 在给定时刻， 用户只能观看已下载的那部分， 而不能跳到还未下载的后续部分。 顺序流式传输不像实时流式传输那样， 可在传输期间根据用户连接的速度做调整。 由于标准的HTTP服务器可发送这种形式的文件， 因而不需要其他特殊协议， 它经常被称作HTTP流式传输。 顺序流式传输比较适合高质量的短片段， 如片头、 片尾和广告， 由于该文件在播放前观看的部分是无损下载的， 这种方法保证电影播放的最终质量。 这意味着用户在观看前必

32、须经历延迟， 对较慢的连接尤其如此。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 对通过调制解调器发布短片段时， 顺序流式传输显得很实用， 它允许用比调制解调器更高的数据速率创建视频片段。 尽管有延迟， 但毕竟可以发布较高质量的视频片段。 顺序流式文件是放在标准HTTP 或 FTP服务器上的， 这种文件易于管理， 基本上与防火墙无关。 顺序流式传输不适合长片段和有随机访问要求的视频， 如讲座、 演说与演示。 它也不支持现场广播， 严格说来， 它是一种点播技术。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2 实时流式传输 实时流式传输保证媒体

33、信号带宽与网络连接匹配， 使媒体可被实时观看到。 实时流式传输与HTTP流式传输不同， 它需要专用的流媒体服务器与传输协议。 实时流式传输总是实时传送， 特别适合现场事件， 也支持随机访问， 用户可快进或后退以观看前面或后面的内容。 理论上， 实时流一经播放就不可停止， 但实际上可能发生周期性暂停现象。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 实时流式传输必须匹配连接带宽， 这意味着在以调制解调器速度连接时图像质量较差， 而且， 由于出错丢失的信息被忽略掉， 网络拥挤或出现问题时视频质量很差。 如欲保证视频质量， 采用顺序流式传输也许更好。 实时流式传输需要特定服

34、务器， 如QuickTime Streaming Server、 RealServer与Windows Media Server。 这些服务器允许你对媒体发送进行更多级别的控制， 因而系统设置、 管理比标准HTTP服务器更复杂。 实时流式传输还需要特殊网络协议， 如RTSP (Realtime Streaming Protocol)或MMS (Microsoft Media Server)。 这些协议在有防火墙时有时会出现问题， 导致用户不能看到一些地点的实时 内容。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 流媒体实现原理 流媒体实现原理简单地说就是首先通过采用高

35、效的压缩算法， 在降低文件大小的同时伴随质量的损失， 让原有的庞大的多媒体数据适合流式传输， 然后通过架设流媒体服务器， 修改MIME标识。 通过各种实时协议传输流数据。 其原理框图如图5.3-2所示。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 图5.3-2 流媒体实现原理 编 码 器(预 处 理 )原始媒体流式传输流 媒 体服 务 器流式传输流 媒 体播 放 器第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 1. 预处理 多媒体数据必须进行预处理才能适合流式传输， 这是因为目前的网络带宽相对多媒体巨大的数据流量来说还显得远远不够。 预处理主要

36、包括两方面： 一是采用先进高效的压缩算法； 二是加入一些附加信息把压缩媒体转为适合流式传输的文件格式。 其技巧在于压缩原始的A/V内容， 使其能够在窄带或宽带通道上以流的方式传给用户。 预处理在编码器内完成。 编码方式的选择可以是多种多样的。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 Microsoft、 RealNetworks、 Apple Computer以及其他各方均提供关于编码、 流式传送以及客户观看等方面的、 享有专用权的方案。 常规视频编码速度的范围从20 kb/s到目前的300 kb/s， 并且有望达到1 Mb/s及以上的速度。 音、 视频编码器在功

37、能上有相当大的差别。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 最终的编码资料可以利用文本、 图形、 脚本形式进行多路传输， 并且放在能够实现流的方式的文件结构中。 也就是意味着该文件有时间标记以及其他易于实现流的方式的特点， 然后再在客户端进行解码。 编码过程应该综合考虑不同编码速度的定制性能、 包损失的容错性与网络的带宽波动、 最低速度下好的A/V品质、 编码流式传送的成本、 流的控制以及其他方面。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2. 支持流媒体传输的网络协议 （1） 实时传输协议(RTP， Real-time Trans

38、port Protocol)： 在Internet上针对多媒体数据流的一种传输协议。 （2） 实时传输控制协议(RTCP， Real-time Transport Control Protocol)： 和RTP一起提供流量控制和拥塞控制的服务。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 （3） 实时流协议(RTSP， Real-time Streaming Protocol)： 定义了一对多的应用程序如何有效地通过IP网络传送多媒体数据。 （4） 资源预订协议(RSVP， Resource Reserve Protocol)： Internet上的资源预订协议。 为

39、多媒体数据流传输预留一部分网络资源（即带宽）， 在一定程度上为流媒体的传输提 供QoS。 有关这些协议的详细知识我们放在下一章结合多媒体通信网络技术来介绍。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3 识别流媒体类型的途径 MIME Web服务器和Web浏览器可通过MIME来识别流媒体并对其进行相应的处理。 MIME是Multipurpose Internet Mail Extensions（通用因特网邮件扩展）的缩略词。 它不仅用于电子邮件， 还能用来标记在Internet上传输的任何文件类型。 Web服务器和Web浏览器都基于HTTP， 而HTTP都内建有MI

40、ME。 HTTP正是通过MIME来标记Web上繁多的多媒体文件格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 流媒体播放方式 1. 单播 在客户端与媒体服务器之间需要建立一个单独的数据通道， 从一台服务器送出的每个数据包只能传送给一个客户机， 这种传送方式称为单播。 每个用户必须分别对媒体服务器发送单独的查询， 而媒体服务器必须向每个用户发送所申请的数据包拷贝。 这种巨大冗余会造成服务器的负担沉重， 响应的时间过长， 甚至停止播放； 管理人员为保证一定的服务质量， 必须配置合适的硬件和带宽。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2

41、. 组播 IP组播技术构建一种具有组播能力的网络， 允许路由器一次将数据包复制到多个通道上。 采用组播方式， 单台服务器能够对几十万台客户机同时发送连续数据流而无延时。 媒体服务器只需要发送一个信息包， 而不是多个， 所有发出请求的客户端共享同一信息包。 信息可以发送到任意地址的客户机上， 减少网络上传输信息包的总量。 网络利用效率大大提高， 成本大为下降。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3. 点播与广播 点播连接是客户端与服务器之间的主动连接。 在点播连接中， 用户通过选择内容项目来初始化客户端连接。 用户可以开始、 停止、 后退、 快进或暂停流。 点

42、播连接提供了对流的最大控制， 但这种方式由于每个客户端都各自连接服务器， 因而会迅速用完网络带宽。 广播指的是用户被动接收流。 在广播过程中， 客户端接收流， 但不能控制流。 例如， 用户不能暂停、 快进或后退流。 广播方式中数据包的单独一个拷贝将发送给网络上的所有用户。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 使用单播发送时， 需要将数据包复制多个拷贝， 以多个点对点的方式分别发送到需要它的那些用户， 而使用广播方式发送， 数据包的单独一个拷贝将发送给网络上的所有用户， 而不管用户是否需要， 上述两种传输方式会非常浪费网络带宽。 组播吸收了上述两种发送方式的长处

43、， 克服了上述两种发送方式的弱点， 将数据包的单独一个拷贝发送给需要的那些客户。 组播不会复制数据包的多个拷贝传输到网络上， 也不会将数据包发送给不需要它的那些客户， 保证了网络上多媒体应用占用网络的最小带宽。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 流媒体文件格式 流媒体系统中处理的主要是一些实时性要求比较高的媒体信息， 如声音、 视频、 动画。 这些媒体的数据量很大， 总是要经过一定的压缩。 多媒体信息需要进行压缩生成一定格式的文件后再进行存储， 如我们熟知的*.mpg、 *.mov、 *.avi、 *.mp3等， 这就是媒体压缩格式。 而要将这些媒体在IP网

44、上进行实时传输， 需要将这些压缩文件进行必要的处理， 分割成很多小块， 以方便传输， 这就是媒体流格式， 如现在Internet上广泛流行的*.rm、 *.asf等。 要在IP网上传播， 还需要将一定的格式告诉用户， 这就是媒体的发布格式。 下面对这些文件格式分别加以介绍。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 1. 压缩媒体文件格式 由于实时媒体的原始数据量都非常大， 若要将它们直接传送给用户， 一是会占用大量的存储空间， 二是需要的传输带宽很高， 因此压缩就变得非常重要。 媒体文件压缩格式尽量保留了或完全保留了原始媒体的信息， 通过去掉大量的冗余信息， 使得

45、生成的压缩文件比原始文件减小很多， 这样方便于存储和传输。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 压缩编码是基于一定的压缩算法， 如Real Video是基于小波变换算法， Windows Media则是基于MPEG-4的压缩算法。 经过压缩编码后形成的媒体文件， 称为压缩媒体文件， 有时简称为压缩文件。 为了区分压缩算法、 压缩对象和厂商系统， 一般以文件的扩展名区分压缩媒体文件格式， 简称压缩文件格式。 由于我们在上一章和这章的前两节介绍了视频和音频的压缩算法以及相应的文件格式， 这里就不再赘述。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流

46、媒体技术 2 流式文件格式 通过文件共享的方式播放标准的媒体压缩文件也可以实现网上的共享， 但是这只适合局域网的环境， 对于Internet往往还是用文件传送的方式。 为了减小用户的播放延时和存储空间， 实现边下载边播放， 并保证一定的播放质量， 就需要对压缩文件进行特殊的处理， 添加一些附属信息， 如计时、 压缩和版权信息， 这就是流式文件格式。 提供流媒体的播放需要专门的媒体服务器， 如Real Server、 Windows Media Server等， 当然这些文件不仅可以实时播放， 存放在本地播放也是没有问题的。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术

47、1） RealMedia RealMedia是目前Internet上最流行的跨平台的客户/服务器结构多媒体应用规范， 它采用音频/视频流和同步回放技术实现了网上全带宽的多媒体回放。 在RealMedia规范中主要包括三类文件： RealAudio（用以传输接近CD音质的音频数据）、 RealVideo（用来传输连续视频数据）和RealFlash （RealNetworks公司与Macromedia公司合作推出的高压缩比动画格式）。 而RealPlayer就是在网上收听收看这些实时音频、 视频和Flash的最佳工具之一。 只要用户的线路允许， 使用RealPlayer可以不必下载音频/视频内容就

48、能实现网络在线播放， 上网查找和收听、 收看各种广播、 电视。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 RealVideo主要用来在低速率的广域网上实时传输活动视频影像， 可以根据网络数据传输速率的不同而采用不同的压缩比率， 从而实现影像数据的实时传送和实时播放。 它可以用 56 K MODEM 拨号上网的条件实现不间断的视频播放， 当然， 其图像质量是不能和 MPEG2、 DIVX 等相比。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 RA格式是一种流式音频 Real Audio文件格式， 用以传输接近CD音质的音频数据。 RV格式则是

49、流式视频 Real Video文件格式， 主要用来在低速率的网络上实时传输活动视频影像。 这里有必要一提的是智能流（Sure Stream）技术， 这种技术将不同压缩比率的数据存储在一个文件中， 用户发出请求的同时会将其带宽容量传送给服务器， 服务器会根据此参数将流文件中的相应部分传送给用户， 从而实现一个文件适合不同网络带宽的情况， 满足不同性质的用户请求。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 RP（RealPix）格式是RealMedia文件格式的一部分， 它允许直接将图片文件通过Internet流式传输到客户端。 通过将其他媒体(如音频、 文本)捆绑到图

50、片上可以制作出各种用途的多媒体文件。 用户只需要懂简单的标志性文件就可以用文本编辑器制作出*.rp文件。 RealPix文件可以用RealServer发送到RealPlayer上直接播放， 但是由于RealPix是新的媒体标准格式， 所以以前的版本(如 RealPlayer 4.05.0)是不能播放的。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 RT（RealText）格式也是RealMedia文件格式的一部分， 这种格式可使让文本从文件或者直播源流式发放到客户端。 RealText文件既可以是单独的文本也可以是在文本的基础上加上其他媒体， 采用何种形式完全由需要决

51、定。 由于 RealText文件也是由标志性语言定义的， 所以用简单的文本编辑器就可以制作。 RealText文件也可以用RealPlayer流式 播放。 RealMedia是目前 Internet上最流行的跨平台的客户服务器结构多媒体应用标准， 它采用音频视频流和同步回放技术实现了网上全带宽的多媒体回放。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2） ASF ASF（Advanced Streaming Format）文件是Microsoft为了和现在的RealPlayer竞争而发展起来的一种可以直接在网上观看视频节目的文件压缩格式。 由于它是用MPEG-4的压

52、缩算法， 所以它的压缩质量如果不考虑文件大小的话， 完全可以和VCD媲美， 比同是视频格式的*.rm好很多。 关于这种格式， Microsoft有明确说明： “ASF是一种支持在各类网络和协议下进行数据传递的公开标准。 ASF用于排列、 组织、 同步多媒体数据以通过网络传输。 ASF是一种数据格式， 然而， 它也可用于指定实况演示的格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 ASF不但最适于通过网络发送多媒体流， 也同样适于在本地播放。 任何压缩解压缩运算法则（编解码器）都可以用编解码ASF流。 在ASF流中存储的信息可用于帮助客户决定应使用何种编解码器解压缩

53、流。 另外， ASF流可接任何基础网络传输协议传输。 ”第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3） MOV QuickTime是Apple计算机公司开发的一种音频、 视频文件格式， 用于保存音频和视频信息， 具有先进的视频和音频功能， 被包括Apple Mac OS、 Microsoft Windows在内的所有主流操作平台支持。 QuickTime制定了其称作QuickTime Movie的多媒体文件格式。 此文件格式是极具弹性的存储格式。 虽然， QuickTime并没强制要求用户将媒体资料存成 QuickTime Movie文件， 但大部分的用户会发现，

54、QuickTime Movie档案格式是一种方便而强大的多媒体文件格式， 它要比微软早期推出的AVI文件格式强。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 此外， QuickTime Movie文件格式不受系统平台、 系统开放性、 可延伸性的约束， 所以用它作为分散式多媒体系统是比较理想的环境。 以上这些特色已经促使许多主要的Web厂商改用QuickTime Movie格式。 QuickTime Movie在 Windows系统平台上也受到良好的支持。 Apple、 Microsoft、 Macromedia、 Netscape、 Adobe等著名厂商和大量其他的软

55、件开发人员都开始使用 QuickTime Movie格式。 由于QuickTime能在众多电脑平台上使用， 所以 QuickTime的跨平台能力是毋庸置疑的， 目前QuickTime Movie格式正日趋普及。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 QuickTime文件格式支持25位彩色， 支持RLE、 JPEG等领先的集成压缩技术， 提供150多种视频效果， 并配有提供了200多种MIDI兼容音响和设备的声音装置。 新版的QuickTime进一步扩展了原有功能， 包含了基于Internet应用的关键特性， 能够通过 Internet提供实时的数字化信息流、

56、工作流与文件回放功能， 此外， QuickTime还采用了一种称为QuickTime VR (QTVR)技术的虚拟现实(Virtual Reality， VR)技术， 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 用户通过鼠标或键盘的交互式控制， 可以观察某一地点周围360的景象， 或者从空间任何角度观察某一物体。 QuickTime以其领先的多媒体技术和跨平台特性、 较小的存储空间要求、 技术细节的独立性以及系统的高度开放性， 得到业界的广泛认可， 目前已成为数字媒体软件技术领域的工业标准。 国际标准化组织(ISO)最近选择QuickTime文件格式作为开发 MPEG

57、-4规范的统一数字媒体存储格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 4） SWF SWF（Shock Wave Flash）是 Micromedia公司推出的一种动画格式， 它采用矢量图形方法存储动画， 使得生成的文件很小， 但质量却丝毫不变， 已播放的质量不随画面的放大而变差（这是一般VCD的缺点）， 因而得到了广泛应用。 如今它与Real Network公司进行合作， 一同推进流媒体的服务。 Flash的一个最大的优点是制作简单， 发布方便。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 3 媒体发布格式 媒体发布格式不是压缩格式

58、， 也不是传输协议， 其本身并不描述视听数据， 也不提供码方法。 更通俗一点可以把它理解为播放列表。 播放列表是你想观看或聆听的文件的自定义列表。 播放列表可使不同媒体内容集中在一起， 按所指定的任意顺序播放。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 Real和Microsoft各自定义了自己的播放列表格式。 媒体发布格式并不包括媒体的物理数据， 它仅仅说明数据类型和安排方式， 大多数的这种文件都可以用文本编辑器随意打开和修改。 这样就为应用不同压缩标准和媒体文件格式的媒体发布提供了一个事实上的标准方法。 单个媒体发布格式能包含不同类型媒体的所有信息， 如计时、

59、多个流同步、 版权和所有人信息。 实际视听数据可位于多个文件中， 而由媒体发布文件包含的信息控制着流的播放。 下面介绍三种常用的媒体发布格式。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 1） RAM RAM文件是 RealMedia文件的索引文件， 其实就是播放列表。 RAM文件不包括任何媒体数据， 它标注的是媒体数据存放的位置， 它会告诉浏览器启动RealPlayer来查看该超级链接， 然后向服务器请求真正的媒体文件。 它可以由自己手工编写， 编写的内容即超级链接的内容； 也可以通过RealProducer软件的Publish功能自动发布生成， 最后发布到Real

60、server的时候需要把RAM文件和RealMedia文件一起放上服务器， 再在自己的页面上做一个连接指向RAM文件就可以实现调用RealPlayer播放了。 第第5 5章章 多媒体数据格式及流媒体技术多媒体数据格式及流媒体技术 2） ASX ASX文件是一个文本文件， 它的主要目的是对流信息进行重定向， 类似RPM（RM的中转文件）文件。 在ASX中包含了媒体内容对应的URL， 当我们在HTML中让一个 HyperLink与ASX联系时， 浏览器会直接将ASX的内容送给 Media Player， Media Player会根据ASX文件的信息用相应的协议去打开指定位置上的多媒体信息流或多媒