流媒体技术基础

1、Chapter 2流媒体技术基础,本章内容,Windows Media 应用系统 Real Media应用系统 Quick Time应用系统 其他应用系统,在Internet和Intranet上实现基于流技术的数字媒体（音频、视频）的传输 制作、发布和播放软件与 Windows 9x/NT/2000/XP 集成在一起 核心是ASF,2.1 Windows Media,2.1.1 Windows Media 技术平台概述,1. 基于组件的方案构成 以一系列模块组件为中心,Windows Media Tools,Windows Media Services,Network,Windows Medi

2、a Player,2.1.1 Windows Media技术平台概述,2. Windows Media 的应用方式 广播 电影和特别节目 广告 音乐 教育 团体通信 个人使用,2.1.2 Windows Media 技术基本概念,Windows Media：指与某个 Microsoft Windows Media 技术名称一起使用的商标名。 Windows Media Service：指在网上驻留和发布基于 Windows Media 的流内容的Windows Media 技术。 Windows Media Server：指运行 Windows Media 服务的服务器。 Windows Me

3、dia Stream：指 Windows Media 服务器通过网络发布的现场或点播的基于 Windows Media 的内容,2.1.2 Windows Media 技术基本概念 （contd,Windows Media SDK：指基于 Windows Media 技术的软件开发工具包（SDK）。 Windows Media Tools：指用于为 Windows Media 服务创建基于 Windows Media 的内容的一套工具。 Windows Media Encoder：指捕获音频、视频；编写数字形式的脚本数据；压缩音频和视频数据；并将它们保存到 Windows Media 格式文件

4、或通过网络传送流所使用的 Windows Media 技术。 Windows Media Codec：指 Windows Media 技术使用的音频或视频压缩/解压缩（编解码器）算法。更明确地说，它可以指 Microsoft Windows Media 音频编解码器或 Microsoft Windows Media 视频编解码器,2.1.2 Windows Media 技术基本概念 （contd,Windows Media Audio Codec：指 Windows Media 技术使用的音频压缩/解压缩（编解码器）算法。 Windows Media Video Codec：指 Windows

5、 Media 技术使用的视频编解码算法。 Windows Media Format：指 Windows Media 技术（或包含 Windows Media 技术许可证的第三方产品）在编著、存储、编辑、发布、流传输、或播放基于时间线的内容时所使用的格式,2.1.2 Windows Media 技术基本概念 （contd,Windows Media 格式文件：指用 Windows Media 技术创建的文件，它包含按 Windows Media 格式保存的音频、视频、或脚本数据。 文件扩展名：.asf，.wma，.wmv Windows Media 格式化的内容：指用 Windows Media

6、 技术或包含 Windows Media 技术许可证的第三方产品创建的基于时间的媒体内容,2.1.2 Windows Media 技术基本概念 （contd,Windows Media Metafiles：指用 Windows Media 技术创建的文件，它包含可扩展标记语言（XML）语法形式的元数据。 元数据可以包含诸如 Windows Media-格式化的文件的URL，它所指媒体的标题、版权以及作者，或者 Windows Media-格式化的文件的开始时间和持续时间的信息。 文件扩展名：.asx，.wax，.wvx Windows Media Player：指播放 Windows Medi

7、a 格式的文件或再现基于 Windows Media 的内容的 Windows Media 技术,2.1.2 Windows Media 技术基本概念 （contd,Digital Rights Management：指用于保护媒体内容和管理访问权限的技术。通过实现这项技术，能够维护媒体内容副本所有者的一个列表，还可以在发布的每张内容上放置数字签名,2.1.3 Windows Media 组件,1. Windows Media Tools 包括创建工具和编辑工具 Media Encoder：将实时或存储的音频、视频内容转换为ASF流，然后通过 Windows Media Server 在网络中

8、传送。 Media Author：为合成并同步视频和图像文件提供一个图形界面；能够在创建 .asf 文件之前预览模拟的结果；支持多目标宽带和脚本命令,VidToASF：此命令行实用工具将 .vid 或 .mov 文件转换成 .asf 文件；可以使用命令行选项来指定添加标记，调用URL，以及执行脚本命令的脚本文件。 WavToASF：此命令行实用工具将 .wav 或 .mp3 文件转换成 .asf 文件；可以使用命令行选项来指定添加标记，调用URL，以及执行脚本命令的脚本文件。 Windows Media Presenter：插件工具；配合 Windows Media Encoder 将 Pow

9、erPoint 演示文稿转换成 .asf 流,ASF Indexer：此图形工具用于编辑 .asf 文件；对已有的 .asf 文件添加索引、属性和标记并裁剪 .asf 文件的开始和结束部分。 ASF Chop：编辑 .asf 文件的命令行实用工具；向 .asf 文件中添加标记、脚本以及属性，或者从 .asf 文件中删除时间区间。 ASF Check：验证 .asf 文件的格式；识别 .asf 文件内部的问题并修复其中的一些,2.1.3 Windows Media 组件（contd,2. Windows Media Server 对外提供ASF流媒体的网络发布服务 保证文件的保密性以及文件不能被

10、未授权下载 使每个使用者以最佳影像品质浏览网页 具有多种文件发布形式和监控管理功能,包括两大基本服务模块： Unicast Service 为客户提供点对点连接式服务 按用户的参与程度： On-Demand Unicast：可以控制播放的过程 Broadcast Unicast：只能观看播放 Station Service 对外提供广播式服务,2.1.3 Windows Media 组件（contd,3. Windows Media Player 可以接收并播放来自 Windows Media Server 的流，播放电影剪辑、网站音乐视频、公司演示文稿，以及其它更多的内容。 播放大多数流行格

11、式的音频和视频。 读取并执行 .asf 文件中的脚本命令。 接收脚本命令、标记和元数据，如剪辑标题、作者和版权 为在Internet上观看现场新闻播放 Windows Media 广播和点播的内容。 播放网站上的电影剪辑和音乐视频,2.1.4 ASF 简介,ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。 使用MPEG-4压缩算法 体积小 ASF格式的视频中可带有命令代码，用户指定在到达视频或音频的某个时间后触发某个事件或操作,1. ASF的特征 可扩展的媒体类型ASF文件允许制造者很容易地定义新的媒体类型 部分下

12、载特定的有关播放部件的信息能够存储在ASF文件头部分，这些信息能够为客户机用来找到合适的所需的播放部件的版本（如果没有在客户机上安装） 可伸缩的媒体类型ASF是设计用来表示可伸缩的媒体类型的“带宽”之间的依赖关系 流的优先级化现代的多媒体传输系统能够动态地调整以适应网络资源紧张的情况 多语音 目录信息,2. ASF 文件格式 ASF 对象：ASF文件基本的组织单元 无需一个权威机构来管理对象标识符系统，因为计算机网卡能够产生一个有效的唯一的GUID。 对象大小字段已定义得足够处理高带宽多媒体内容的大文件,3. 高层文件结构 ASF文件逻辑上是由三个高层对象组成：头对象（Header Objec

13、t）、数据对象（Data Object）和索引对象（Index Object）。 头对象是必需的，并且必须放在每一个ASF文件的开头部分。 数据对象也是必需的，且一般情况下紧跟在头对象之后。 索引对象是可选的，一般推荐使用。 头对象先于数据对象到达有三种方式： 包含头对象的信息作为“会话声明”的一部分。 利用一个与数据对象不同的“通道”发送头对象。 在发送ASF 数据对象之前发送头对象,ASF 头对象,头对象是唯一包含其他 ASF 对象的对象 File Properties Object（文件属性对象）全局文件属性。 Stream Properties Object（流属性对象）定义一个媒体流

14、和其属性。 Content Description Object（内容描述对象）包含所有目录信息。 Component Download Object（部件下载对象）提供播放部件信息。 Stream Groups Object（流组织对象）逻辑上把多个媒体流组织在一起。 Scalable Object（可伸缩对象）定义媒体流之间的可伸缩的关系,ASF 头对象（contd,Prioritization Object（优先级对象）定义相关流的优先级。 Mutual Exclusion Object（相互排斥对象）定义排斥关系如语言选择。 Inter-Media Dependency Object（

15、媒体相互依赖对象）定义混合媒体流之间的相互依赖关系。 Rating Object（级别对象）根据W3C PICS定义文件的级别。 Index Parameters Object（索引参数对象）提供必要的信息以重建ASF文件的索引,ASF 数据对象,包含一个ASF 文件的所有多媒体数据。 多媒体数据以ASF数据单元的形式存储，每一个ASF数据单元都是可变长的，且包含的数据必须是同一种媒体流。 数据单元在当它们开始传输的时候在数据对象中自动地排序，这种排序来自于交叉存储的文件格式,ASF 索引对象,包含一个嵌入ASF文件的多媒体数据的基于时间的索引。 每个索引进入表现的时间间隔是在制作时设置的，并

16、且存储在索引对象中。 由于没有必要为一个文件的每一个媒体流建立一个索引，因此，通常利用一个时间间隔列表来索引一系列的媒体流,2.1.5 Windows Media 9 系列音频编解码器,1. Windows Media Audio 9 所享有的音质比先进的 Windows Media Audio 8 所提供的音质还高20% 对可变比特率（VBR）音频的支持，保证了可通过更小的文件来提供更高的质量 可以在计算机、CD-R 或超过 120 种与 Windows Media 兼容的设备上存储比以往更多的音乐 与早期版本的 Windows Media Audio 兼容的解码器向后兼容，因此，可以在早期

17、版本的播放机、操作系统和电子设备上播放新的内容,2. Windows Media Audio 9 Professional 第一个用于 Web 的数字环绕声编解码器 配备了高保真硬件和 5.1 声道环绕声的计算机 能在立体声或 5.1 声道（甚至 7.1 声道）环绕声中捕获高清晰度音频（24 比特/96-KHz 采样），从而实现了以 128 到 768 Kbps 的速率进行流式播放或传递下载后播放的内容 用户无需 128 Kbps 的立体声 MP3 文件，就可以尽享 5.1 声道音频提供的可媲美相同比特率的出众保真性能 如果用户尝试使用新的 5.1 声道、24 比特、96 kHz 采样率性能播

18、放文件，但没有支持多声道或高清晰度声音的系统或声卡，播放质量将无缝地下降（例如，降低到 16 比特、2 声道立体声），以便用户获得系统可提供的最佳播放体验,3. Windows Media Audio 9 Lossless 用于存档收藏的 CD 可以将 CD 中的曲目复制为这种无损格式，以实现高效存储 然后，将曲目转换为基于 Windows Media Audio 9 的 CD 进行播放,4. Windows Media Audio 9 Voice 到目前为止，低比特率编解码器已经针对音乐或声音进行了优化 但这种混合模式的声音和音乐编解码器能够提供极其出色的音质，可用于低比特率流式处理（不到

19、20 Kbps,5. Windows Media Audio 9 VBR VBR 模式意味着实现最佳音质所需的平均比特率更低、文件也更小。 VBR 可应用于 Windows Media Audio 9 和 Windows Media Audio 9 Professional 编解码器。 Windows Media Audio 9 Lossless 编解码器始终使用VBR。 对于低比特率的流式处理和设备（例如CD 和 DVD 播放机），可使用限制峰值模式,2.1.6 Windows Media 9 系列视频编解码器,1. Windows Media Video 9 与 Windows Media

20、 Video 8 编解码器相比，质量提高大约 15% 到 50%（最高比特率下的画质提高最多）； 确保可在任何比特率下提供无与伦比的视频质量。 Eg. Windows Media Video （WMV）9文件的大小通常只有同等质量的 MPEG-4 文件的一半,2. Windows Media Video 9 Advanced Profile 一种随 Windows Media Player 10、Windows Media Format 9.5 SDK 和更新的编解码器安装程序包一起提供的新的编解码器。 主要功能包括改进的交织支持和传输格式独立性。 在运行 Windows Media Play

21、er 10 的计算机上的使用效果最佳，也可以在 Windows Media Player 7 或更高版本的计算机上使用。 若要将此编解码器与 Windows Media Encoder 9 系列一起使用，必须安装 Windows Media Player 10。Advanced Profile 编解码器将在解码器中显示一个选项。 使用 9 系列视频编解码器的以前版本，内容生成器可以提供渐进的内容，所采用的数据速率低到 MPEG-2 编解码器的三分之一，并且仍获得与 MPEG-2 相同的质量,2. Windows Media Video 9 Advanced Profile (contd) 内容

22、生成器和广播器现在可以通过交织的内容在编码效率上获得同样的改进。 传输格式独立性使得 Windows Media Video 9 Advanced Profile 可以通过并非基于 Windows Media 的系统提供，例如基于标准的广播基础结构（通过本机 MPEG-2 传输流）或无线基础结构（通过 RTP），甚至是 DVD,3. Windows Media Video 9 Screen 进行演示或在培训时示范如何使用计算机。 即使 CPU 的配置相对普通，可以更好地处理位图图像和屏幕动作,4. Windows Media Video 9 Image 通过平移和缩放效果将静态图像转换为全屏（

23、640 x 480）视频。 添加交叉渐隐过渡，创建完全编辑的视频剪辑效果。 在低达每秒 20 千比特（Kbps）的数据速率下传递结果。 使用固定比特率（CBR）或单步可变比特率（VBR）模式压缩的这些文件可轻松地进行共享,5. Windows Media Video 9 Image V2 通过平移、缩放和各种转换效果将静态图像转换为视频。 通过将这些过渡与平移、缩放和同时淡入淡出相结合，创建几乎没有数目限制的效果。 可以在低达每秒 20 千比特（Kbps）的数据速率下传递结果。 使用固定比特率（CBR）或单步可变比特率（VBR）模式压缩的这些文件可轻松地进行共享。 与以前版本不兼容,6. Wi

24、ndows Media Video 9 VBR 模式 Windows Media Video 9 编解码器可以查找较复杂的部分，并在最需要的地方分配更多的比特（例如，动作多的序列），从而以较小的平均文件大小来实现最佳质量。 Windows Media Video 9 支持限制峰值的 VBR 模式，这样，用户可以指定允许的最高比特率，低比特率连接和设备（如 DVD 播放机）也可利用 VBR 的优势,7. 广播就绪 编解码器级的本机隔行扫描支持可确保在广播传递应用（例如，机顶盒或 TV 传递）中实现最佳质量。 8. 基于硬件的Windows Media视频加速 利用支持 DirectX 视频加速

25、(DxVA) 技术的新一代显卡，体验全面提升的性能。 有了这些显卡，基于 Windows Media Video 的内容的呈现就可以由显卡处理器分担，从而使播放更平滑，使更高分辨率的视频播放成为可能。 这种分担模式为其他任务留出了更多的计算资源,2.1.7 Windows Media 版权管理技术,核心组件：Windows Media Right Manager Windows Media 版权管理器 9 系列包括：服务器和软件开发包保护媒体文件的回放 SDK制作用于加密和分发许可证的程序,1. 数字版权管理技术 Digital rights management (DRM) is an um

26、brella term that refers to access control technologies used by publishers and other copyright holders to limit usage of digital media or devices. DRM can also refer to restrictions associated with specific instances of digital works or devices. To some extent, DRM overlaps with copy protection, but

27、DRM is usually applied to creative media (music, films, etc.) whereas copy protection typically refers to software,The use of digital rights management has been controversial. Advocates argue it is necessary for copyright holders to prevent unauthorized duplication of their work to ensure continued

28、revenue streams. Opponents, such as The Free Software Foundation, maintain that the use of the word rights is misleading and suggest that people instead use the term digital restrictions management,DRM 运作机制： 有效的DRM 技术是让电子出版物的分销商用自定义的加密技术来控制对这些产品不论是印刷品，音乐或是图象的访问,2. Windows Media 版权管理器的基本工作方式 （1）打包 Wi

29、ndows Media 版权管理器对数字媒体文件打包。 打包的文件将加密并使用一个“密钥”锁定。 该密钥存储在一个加密许可证中，该许可证将单独分发。独有功能 向数字媒体文件中添加其他信息，例如用于获取许可证的URL。 打包的数字媒体文件将保存为 Windows Media Audio 格式（文件扩展名为.wma）或 Windows Media Video 格式（文件扩展名为.wmv,2）分发 打包的文件可放在网站上以供下载、放在数字媒体服务器上以供流式处理、通过 CD 进行分发或使用电子邮件发送给消费者。 Windows Media DRM 还允许消费者将受版权保护的数字媒体文件发送给其他人。

30、 （3）建立许可证服务器 内容提供商可选择许可证交换中心，该交换中心将存储许可证的特定权限或规则并提供 Windows Media 权限管理器许可证服务。 交换中心的作用是对请求许可证的消费者进行身份验证。 数字媒体文件和许可证是分开存储和分发的，因此更便于管理整个系统,4）获取许可证 要播放打包的数字媒体文件，消费者首先必须获取一个许可证密钥为该文件解锁。 当消费者试图获取打包的数字媒体文件、获取一个预先传递的许可证或首次播放该数字媒体文件时，都将自动启动获取许可证的过程。 Windows Media 权限管理器或者引导用户进入注册页（该页要求输入信息或付费），或者从交换中心检索一个许可证而

31、不提示任何问题,5）播放数字媒体文件 要播放数字媒体文件，消费者需要能支持 Windows Media DRM 的播放机。 然后，消费者即可根据许可证中所提供的规则或权限来播放文件。 许可证可提供多种不同权限，如开始时间和日期、持续时间以及对操作计数。例如，默认权限可能允许消费者在特定计算机上播放数字媒体文件并可将该文件复制到便携设备。 许可证不可转让。 这种按 PC 颁发许可证的模式可确保打包的数字媒体文件只能在已获得该文件的许可证密钥的计算机上播放,3. Windows Media 版权管理的优势 对于艺术家和公司来说，一套强而有效的数字版权系统将会减少公司在版权利益上的损失。 越来越多的

32、未经授权的媒体文件的出现，极大的伤害到了版权公司的利益，这些文件有着和正版内容一样的质量，而且被非常容易的传播和分发。 通过Windows Media DRM，内容提供者可以通过加密媒体文件和分发授权来保证自己内容的版权利益,对于内容提供者来说， 零售商和录音实验室可以在网上开设音乐销售的商店，无论内容被传播的多广，内容提供者可以保证内容的版权不受侵害。 获取许可证的过程也成为公司收集用户信息的过程。 Windows Media 采用了极高强度的DRM机密方式，即使用现在的超级计算机也需要数天进行破解。 DRM也很好的防止了在不同PC上交换许可证的可能性,对于消费者来说， 数字内容分发商提供给

33、消费者更方便的获取最新音乐和视频的方法。 随着数字版权保护的提供，内容提供者将更加愿意将一些更好的节目和内容提供在互联网上进行共享。 数字版权技术也避免用户被牵涉到一些版权纠纷中,4. Windows Media 版权管理器组件 Windows Media Packager：打包媒体文件 Windows Media License Service：服务注册客户，颁发许可证 SQL数据库：存储有关媒体文件、事务、许可证和注册的信息 Windows Media Rights Manager Web 站点：提供可供下载的打包文件、注册客户以及颁发许可证,5. 获得Windows Media 版权管理

34、器开发工具包 访问Web页面http:/ 下载 Windows Media Rights Manager 10 SDK,2.2 Real Media,1. 制作端产品 Real Producer Basic和Plus版 将普通格式的音频、视频或动画媒体文件通过压缩转换为RealServer能进行流式传输的流格式文件。 提供两种编码格式选择：HTTP 和 Sure Stream。 2. 服务器端产品 Real Server Basic、Plus、Intranet和Professional版本 提供流式服务。 代理软件Real SystemProxy提供专用的、安全的流媒体服务代理，能使ISPs等

35、服务商有效降低带宽需求。 3. 客户端产品 Real Player Basic和Plus版 既可以独立运行，也能作为插件在浏览器中运行,2.2.1 Real System 系统组成,2.2.2 Real Media文件格式,RealAudio：传输接近CD音质的音频数据 RealVideo：传输不间断的视频数据 RealFlash：高压缩比的动画格式RealMedia文件格式；使RealSystem可以通过各种网络传送高质量的多媒体内容。 1. 加标志的文件格式 使用四字符编码来标识文件元素。 基本部件是块（chunk） 每个块包括：指明块标识符的四字符编码； 块中限定数据大小的32位数值；

36、数据块部分。 依类型的不同，上层的块可以包含子对象,2. 报头部分 一般情况下，RealMedia 的报头部分有下面四种：RealMedia文件报头RealMedia文件的第一个块 属性报头（Properties Header ） 媒体属性报头（Media Properties Header ） 内容描述报头（Content Description Header ） RealMedia 文件报头以后，其它报头的出现可以任何次序。 3. 数据部分（Data Section） 由数据部分报头和后面排列的媒体数据包组成。 数据块报头标志数据块的开始，媒体数据包是流媒体数据的数据包。 4. 索引部分（

37、Index Section） 由描述索引区内容的索引块报头和一串索引记录组成,2.2.3 Real System中的数据通信,Real Producer,Real Server,Real Player,TCP,UDP,TCP,UDP,Real Player 播放过程,2.2.4 Real System 系统中 RTSP 通信,RAM,RTP,2.2.5 Real Server 中的多播技术,将一个现场直播流同时传递给多个客户端，而无需为每一客户的连结发送一个单独的数据流， 客户端只需连结到这个数据流，而不是连结到 Real Server， 从而降低带宽的使用,1. Back-Channel M

38、ulticast（反向信道多播） 在客户端和服务器之间保持一个用于统计和控制信息交互的控制信息 双向传输 RTSP或PNA协议：提供验证和连接统计功能 2. Scalable Multicast（可伸缩多播） 无控制信道 用户统计只能在多播结束或用户停止播出或关闭Real Player时进行 单向传输 UPL格式 SDP（会话描述协议,2.2.6 Real Server中的分流技术,一般用于网络直播 Transmitter（发送服务器）通过UDP单播、UDP组播和TCP将直播媒体流发送到分布在各地的多个接收服务器，客户端可以就近访问服务器获得较高质量的媒体流 减少带宽使用 Transmitte

39、r与Receiver（接收服务器）之间由高速链路连接,1. Push Splitting 预先建立连接 立即传送媒体流 2. Pull Splitting 无需预先建立连接 第一个连接建立后要保持该连接至编码器停止编码,3. 实际应用 Real System Proxy 8 弹性可扩充的专用流媒体 降低带宽成本 网络管理容易 保护播放内容 安全性,2.2.7 Sure Stream,存在问题：通过低速率调制解调器与Internet连接；限制发布媒体质量或连接人数。 解决方法：一、服务器减少发送给客户端的数据而阻止再缓冲，在Real System 5.0中，称为“视频流瘦化”；二、根据不同连接速

40、率创建多个文件，根据用户连接，服务器发送相应文件。 Sure Stream技术：一、确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中；二、采用一种复杂客户/服务器机制探测带宽变化,一、RMCS 简介 RMCS offers a packaging server, streaming server, license server and a secure file format plug-in for RealPlayer. This system provides Windows and UNIX solutions and supports subscription, vi

41、deo on demand and other business models. RMCS is currently utilized by MusicNet, a joint venture of RealNetworks, AOL Time Warner, Bertelsmann AG, EMI Group and Zomba,2.2.9 RMCS,MusicNet is offering digital licenses for a music subscription service for the four record labels and its music format is

42、bound to the Real format. Both AOL and RealNetworks (RealOne) have launched a MusicNet - based service,2.2.9 RMCS (contd,二、RMCS 可以干什么？ 1. 满足内容所有者和相应的版权所有者的需求； 2. 支持灵活的商务运营方式：订阅、点播以及其它有创意的方式； 3. 保护内容所有者的权益，避免盗版和其他非法使用； 4. 向客户提供比没有采用版权保护技术更多的服务； 5. 向更广泛的用户提供安全的媒体内容； 6. 透明地向用户传送加密控制信息，并在用户播放时进行无缝控制，使用户能像播放普通文件一样播放加密内容,三、RMCS如何构成？ RMCS提供了四个组件功能用以保护、传送和执行媒体文件，包括： 1RealSystem Packager：内容供应商用其对媒体文件进行打包、加密或者进行分发和广