多媒体协议及组播综合论述

第六章多媒体协议及组播流媒体的概念实时协议视频点播系统组播第一页，共六十四页。网络上A/V传输的两种方式下载：文件大，存储容量大，网络带宽有限，下载时间长，延迟大。流（stream）传输：音视频服务器将时基媒体向用户计算机进行连续、实时传送，用户不必等到整个文件全部下载完毕，而只需经过很短的启动延时即可进行观看。当时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。第二页，共六十四页。流媒体的概念指在网络上使用流传输技术的连续时基媒体，如：音频、视频或多媒体文件。流媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流媒体的数据流随时传送随时播放，只是在开始时有一些延迟。流媒体实现的关键技术就是流传输。第三页，共六十四页。流传输的定义现在泛指通过网络传送媒体（如视频、音频）的技术总称。实现流传输的两种方法实时流传输（realtimestreaming）：若视频为实时广播，或使用流传输媒体服务器，或应用如RTSP的实时协议，即为实时流传输。顺序流传输（progressivestreaming）：若使用HTTP服务器，文件即通过顺序流发送。第四页，共六十四页。顺序流传输顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的部分。由于标准的HTTP服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作HTTP流传输。顺序流传输的速度是不能调整的。在低带宽下，顺序流传输比较适合高质量的短片段，但用户在观看前，必须经历延迟。顺序流文件是放在标准HTTP或FTP服务器上，易于管理。顺序流传输不适合长片段（低带宽）和有随机访问要求的视频，也不支持现场广播。第五页，共六十四页。实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。媒体信号带宽与网络连接必须是匹配的。需要专用的流媒体服务器，如：RealServer、WindowsMediaServer、QuickTimeStreamingServer。这些服务器允许对媒体发送进行更多级别的控制，因而系统设置、管理比标准HTTP服务器更复杂。需要特殊网络传输协议，如：RTSP（RealtimeStreamingProtocol）或MMS（MicrosoftMediaServer）。第六页，共六十四页。流媒体的关键技术高速缓存：用来弥补延迟和抖动的影响，并保证数据包的顺序正确，使媒体数据能连续输出。使用环形链表结构来存储数据：通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容，因此所需容量并不大。传输协议：一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时音像数据。需要专用服务器和播放器。第七页，共六十四页。流媒体传输的过程Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，检索出所需传输的实时数据。Web浏览器启动A/VHelper程序，使用HTTP从Web服务器检索相关参数（目录信息、编码类型等）对Helper程序初始化。A/VHelper程序及A/V服务器之间运行实时流控制协议（RTSP），交换A/V传输所需的控制信息。RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序（Helper程序）即可播放输出。第八页，共六十四页。流传输基本原理图WebBrowserWebServerA/VPlayer（Helper）A/VServerRTSP/TCP控制HTTP/TCP检索RTP/UDP数据定位Metafile第九页，共六十四页。流媒体文件格式压缩媒体文件格式流文件格式媒体发布格式第十页，共六十四页。压缩媒体文件格式通过某种压缩算法对A/V信息重新编码，使文件大小被处理得更小。在压缩媒体文件再次成为媒体格式前，其中数据需要解压缩。第十一页，共六十四页。常用视频、音频压缩文件类型文件格式扩展名媒体类型与名称压缩情况movQuicktimeVideo(Apple)可以mpgMPEG-IVideo有mp3MPEGLayer-3Audio有wavWaveAudio没有aifAudioInterchangeFormat没有sndSoundAudio没有auAudio(SunOS)没有aviAudioVideoInterleaved(MicrosoftWindows)可以第十二页，共六十四页。流文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到下载完整个文件才能播放。将压缩媒体文件编码成流文件，必须加入一些附加信息，如：计时、压缩和版权信息。可以在网上以流的方式播放标准媒体文件，但效率不高。第十三页，共六十四页。常用流文件格式文件格式扩展名媒体类型与名称asfAdvancedStreamingFormat(Microsoft)rmRealMedia(Video/Audio)文件(RealNetworks)raRealAudio文件(RealNetworks)rpRealPix文件(RealNetworks)rtRealText文件(RealNetworks)swfShockWaveFlash(Macromedia)vivVivoMovie文件(VivoSoftware)第十四页，共六十四页。媒体发布格式是一种专门针对多媒体文件的html语言格式。用来对视听数据进行组织和安排。第十五页，共六十四页。常用媒体发布格式文件格式扩展名媒体类型和名称asfAdvancedStreamingFormatsmiSynchronisedMultimediaIntegrationLanguage(smil)ramRAMFilerpmEmbeddedRAMFileasxASFStreamRedirectorxmleXtensibleMarkupLanguage第十六页，共六十四页。实时流传输协议RTP（Real-timeTransportProtocol）实时传输协议。RTCP（Real-timeTransportControlProtocol）实时传输控制协议RTSP（RealTimeStreamingProtocol）实时流协议RSVP（ResourceReserveProtocol）MMS（Microsoft

Media

Server

protocol）第十七页，共六十四页。实时传输协议RTPRTP（Real-timeTransportProtocol）是用于同步传输实时多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议之上工作。当应用程序开始一个RTP会话时将使用两个端口：一个给RTP，一个给RTCP。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。第十八页，共六十四页。RTP报文头格式078151631V=2PXCSRC计数M载荷类型序号时间戳同步源（SSRC）标识符作用源（CSRC）标识符前12个字节是必须的。CSRC标识符列表只有在混合器（mixer）插入时才存在第十九页，共六十四页。RTP报文说明V(version)：RTP版本，现为2。P(padding)：填充标志。若设置则报文包含一个填充的八位字节集，用于某些加密算法。X(extension)：扩展位标志。若设置则在固定报文头后跟一个报文头扩展。CSRC计数：指出固定报文头后跟的作用源标识符的数量。M(maker)：允许标记（帧边界）报文流中的重要事件。载荷类型：规定RTP报文中载荷的格式。序号：被接收方用来恢复报文序列和检测报文丢失。时间戳：表示抽样载荷数据时的时间。SSRC(synchronizationsource)标识符：同步源标识符是为一个RTP主机随机选择的标识符，相同源的所有报文具有相同的SSRC标识符，同一个RTP会话中的每个设备必须有一个惟一的SSRC标识符。CSRC(contributingsource)标识符：作用源标识符包含一个当前报文中载荷源的列表，用于接收方标识源发送方。该字段只有当使用混合器组合不同的报文流时才使用。第二十页，共六十四页。RTP载荷类型见P.307~308表13-1RTP不仅支持音/视频流，任何连续数据流的应用都可使用RTP服务。第二十一页，共六十四页。实时传输控制协议RTCPRTCP（Real-timeTransportControlProtocol）和RTP一起提供流量控制和拥塞控制服务。在RTP会话期间，各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，服务器利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTCP也使用UDP进行通信，它和RTP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。第二十二页，共六十四页。RTCP定义了五种反馈的控制信息发送方报告（SenderReport）：由RTP数据流的源通过组播发送，提供发送方观察到的传输和接收统计信息。接收方报告（ReceiverReport）：提供非主动发送方的参与者的接收统计信息。源描述报告（SourceDEScription）：被RTP发送方用来提供本地能力信息。BYE（goodBYE）：一个源离开一个会话时将使用此消息。APP（APPlicationdefined）：在开发了新应用和新特征时作为试验使用。第二十三页，共六十四页。RTCP报文格式见P.311图13-5分为三个部分：报文头：规定报文类型、长度及发送方标识符。发送方信息。接收方报告块（可以为多个）。第二十四页，共六十四页。RTP转换器和混合器RTP转换器用来改变RTP报文中的数据类型。例如将高速的视频流转换成低带宽的视频流。RTP混合器将多个数据流组合成一个单独的RTP流。只能用于音频。第二十五页，共六十四页。实时流协议RTSPRTSP（RealTimeStreamingProtocol）是由RealNetworks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络同步传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。本身并不发送数据流，只控制实时数据的发送。第二十六页，共六十四页。HTTP与RTSP的比较HTTP传送HTML，而RTSP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。RTSP在语法和操作上与HTTP/1.1类似，因此HTTP的扩展机制大都可加入RTSP。第二十七页，共六十四页。资源预留协议RSVPRSVP（ResourcereSerVeProtocol）是Internet上的网络控制协议，运行在IP和UDP的上层。使用RSVP预留一部分网络资源，能在一定程度上为流媒体的传输提供QoS。第二十八页，共六十四页。三种网络视频传输应用系统RealNetworksReal

SystemMicrosoftMedia

ServiceAppleQuickTime第二十九页，共六十四页。Real

SystemRealNetworks公司的RealMedia包括RealAudio、RealVideo和RealFlash三类文件。RealNetworks公司自1995年发布RealAudio1.0以来，RealAudio和RealVideo产品已经成为Internet网上最受欢迎的解决方案。

第三十页，共六十四页。REAL的压缩方式采用SVT（ScalableVideoTechnology）技术，此编码解码具有扩展其行为的能力，如连接速率低于编码时采用的速率，播放时服务器端丢弃不重要的信息。播放器在其解码能力范围内尽可能还原视频质量。双向编码技术类似于VBR根据带宽的限制选择最优化压缩码率，这就是所谓的SureStream技术。在网络带宽自适应方面，REAL优于WM。第三十一页，共六十四页。Real

System的产品RealServerRealProducerRealPlayerRealProxyRealPresenter第三十二页，共六十四页。RealServer的运行环境

推荐使用的系统平台：sunsolaris7/8RedHatLinux7,TurboLinux6Windows2000Server硬件平台操作系统

IntelPentiumWindowsNT4.0or2000WorkstationorServer,Linux2.2(glibc6),FreeBSD3.0SunSPARCSolaris2.6,2.7,2.8IBMRS/6000PowerPCAIX4.3HPPA-RISC2.0HP-UX11.xR4000runningMIPS3instructionsetIRIX6.5第三十三页，共六十四页。RealServer的内存需求在原先RealServer占用的64MB可用内存基础上，每1kbps数据流还要占用12K的内存，所以在固定了媒体传输流的速率的基础上，在使用最大流数时的内存计算公式可以通过下表得到：数据流速率每流所需内存最大流数总共内存需求20kbps240KB6064+14.4=78.4MB80kbps960KB10064+96=160MB200kbps2400KB10064+240=304MB1.5Mbps18MB10064+1800=1864MB系统配置参考：100并发用户，250Kbps以下的应用，512M内存，应用实例：网上直播。100并发用户，250Kbps以上的应用，1GM内存，应用实例：局域网的VOD点播应用第三十四页，共六十四页。RealServer的网络带宽需求

所需带宽的计算方法：每kbps数据速率×最大流数数据流速率最大流数带宽需求连接示例20kbps601.2MpbsT180kbps1008Mbps10MbpsFractionalT3200kbps10020Mbps100M以太网1.5Mbps100150MbpsFDDI1.5Mbps400600Mbps千兆以太网第三十五页，共六十四页。RealServer的存储空间

系统需要的存储空间大小需要依据用户的实际情况来确定，对于互联网直播应用的情况，需要相对较小的存储空间，而对于VOD的应用情况则需要较大的存储空间。估算方法：

[流的带宽(bps)×时间]÷8=文件的大小(Byte)示例：用225kbps带宽压缩的影片文件，55分钟左右的时长，文件的大小大约在90M左右。第三十六页，共六十四页。RealServer的管理界面第三十七页，共六十四页。RealProducerRealProducer是一个编码、压缩转换工具。用来制作Real视频、音频文件。主要功能：将常见格式视音频文件转换成RealNetworks公司的rm流格式文件。能够将视频捕捉卡捕获的影像实时地压缩转换成直播信息流（或者rm流格式文件），然后送到RealServer服务器，实现直播。第三十八页，共六十四页。RealProducer的界面第三十九页，共六十四页。RealPlayer播放rm文件。第四十页，共六十四页。Media

ServiceWindowsMedia服务可以通过各类网络传送流媒体内容。Microsoft的WindowsMedia的核心是ASF（AdvancedStreamFormat）。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。

第四十一页，共六十四页。WindowsMedia的压缩方式WindowsMediaVideo派生于MPEG-4，几个专有扩展功能（True-VBR和Two-PassEncoding）使其可在给定位率下提供更好图象质量。可以说WMV是流式视频中质量最高的。WindowsMediaAudio类似于MP3,并具有两大优势：特别适合于低速率传输，在给定速率下可获得更好的质量。第四十二页，共六十四页。WindowsMedia管理器第四十三页，共六十四页。WindowsMedia编码器第四十四页，共六十四页。QuickTimeApple公司的QuickTime于1991年登台亮相，是Apple公司面向专业视频编辑、Web网站创建和CD-ROM内容制作领域开发的多媒体技术平台。QuickTime支持几乎所有主流的个人计算平台，是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。第四十五页，共六十四页。QuickTime的压缩方式可以选择包括H.263在内的多种编码，但主要以SorensonVideo为主，5.0开始已经采用了MPEG-4压缩技术。QuickTime中的声音Codec为QualcomPureVolM，从4.1版本中开始支持VBR。QuickTime的音乐Codec为QDesiglMusic2。

第四十六页，共六十四页。中科大VideoCity简介建立在美国RealNetworks公司的RealSystem视频解决方案基础上的一套技术先进、功能完善的视频服务提供系统。目前可提供超过1000条高质量的视频并发流，其中包含有约1500个视频节目（文件）内容提供视频点播，三个视频广播节目提供视频直播。

作用：远程教学、科学研究、政治宣传、新闻传播、娱乐生活等方面。第四十七页，共六十四页。结构（最基本形式）网络ServerEncoderPlayer第四十八页，共六十四页。结构（VideoCity模式）网络广播服务组点播服务组Web服务器第四十九页，共六十四页。技术实时流媒体控制技术

SNMP及网络负载均衡

交换的快速（千兆）以太网

RAID-5MulticastPHP及JAVA第五十页，共六十四页。用户界面第五十一页，共六十四页。管理界面第五十二页，共六十四页。服务器监测广播服务器点播服务器综合亚洲欧美音乐及卡通第五十三页，共六十四页。流量监测第五十四页，共六十四页。流媒体的三种播放方式单播组播广播第五十五页，共六十四页。单播（Unicast）在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机。每个用户分别对媒体服务器发送单独的查询，而媒体服务器向每个用户发送所申请的数据包拷贝，用户可对流进行最大的控制。服务器负担沉重，响应时间长，对硬件和带宽要求高。第五十六页，共六十四页。广播（Broadcast）数据包的单独一个拷贝将发送给网络上的所有用户，不管用户是否需要。用户被动接收流，客户端只能接收流，但不能控制流。例如，用户不能暂停、快进或后退该流。对无需求的用户来说，会浪费网络带宽资源。第五十七页，共六十四页。组播（Multicast）单台服务器将数据包的单独一个拷贝发送给需要的那些客户，所有发出请求的客户端共享同一信息包。必须构建一个具有组播能力的网络，允许路由器（交换机）一次将数据包复制到多个通道上，技术较复杂。减少网络上传输的信息包的总量。网络利用效率大大提高，成本大为下降。第五十八页，共六十四页。组播编址IP采用D类地址来支持组播。每个D类地址代表一组主机，共有28位可用来标识小组（~55）。Internet支持两类组地址：永久（permanent）地址：总是存在，不必创建，每个永久组有一个永久组地址。如：：LAN上的所有系统：LAN上的所有路由器：LAN上的所有OSPF路由器：LAN上的所有指定OSPF路由器临时（temporary）地址：必须先创建再使用，主机上的进程可灵活地加入或退出某个组。第五十九页，共六十四页。D类IP地址到以太网地址的映射采用静态方式。IANA保留从01-00-5e-00-00-00到01-00-5e-7f-ff-ff的223个以太网地址用作组播。将D类IP地址的低23位放入IANA保留的地址块的低23位，一个32位组播IP地址就被映射到一个以太网地址。由于IP组播地址的高5位被忽略，所以32个不同的组播地