视音频技术交流bak.ppt

1、流媒体技术交流,教育研发支持处 颜伟芝 2020/7/25,2,内容提要,基本概念 原理与技术 媒体文件格式 常见编解码标准 主流厂商产品,3,基本概念,4,基本概念,流媒体技术产生的背景 流媒体的概念 流媒体的特点 与传统媒体的区别 扩展性,5,流媒体技术产生的背景,多媒体技术迅猛发展，多媒体文件广泛传播 数据量大 种类繁多 网络传输不足以保证传统多媒体的优质播放 带宽不足或不均 传输速度不稳定,6,流媒体的概念,流媒体与流技术 简单来说流媒体就是应用流技术在网络上传输的多媒体文件，而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压

2、缩文件下载到自己机器后才可以观看的网络传输技术。 三大主要厂商： microsoft、realnetworks、apple,7,8,流媒体的特点,能够实时播放视音频和多媒体内容，也可对其进行点播，具有交互性。 边下载，边播放。 客户端接收、处理和回放一个流媒体文件，但该文件不在客户端驻留，不占用客户端的存储空间，流媒体处理和播放完随即被清除。 只有同时符合这三个特点的才能称其为流媒体。,9,与传统媒体的区别,启动延时大幅度地缩短 对系统缓存容量的需求大大降低 流式传输的实现有特定的实时传输协议,10,扩展性,由于媒体是以流式传输的，因此可以在固定的位置插入广告等内容； 对于有字幕文件媒体的支持

3、的传输； 给新的编码格式预留空间；,11,原理与技术,12,原理与技术,流技术基本原理 流式传输过程 流式传输用到的协议 流式传输方式 流媒体播放方式,13,流技术基本原理,Internet以包传输为基础进行断续的异步传输。 实时A/V源或存储的A/V文件在传输中被分解为许多包；而网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等。 为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。 通常高速缓存所需容量并不大。高速缓存使用环形链表结构来存储数据：通过丢弃已经播放的内容，流可以重新利用空

4、出的高速缓存空间来缓存尚未播放的内容。,14,流式传输过程,15,流式传输用到的协议,实时传输协议(Real-time Transport Protocol) 实时传输控制协议(Real-time Transport Control Protocol) 实时流协议(Real-time Streaming Protocol) 资源预定协议(Resource Reserve Protocol) MMS协议(Microsoft Media Server protocol) 用户数据报协议(User Datagram Protocol) 超文本传输协议(Hypertext Transfer Proto

5、col),16,流式传输方式,实时流式传输 （Realtime streaming） 顺序流式传输 （progressive streaming） 一般如视频为实时广播，或使用流式传输媒体服务器，或应用如RTSP的实时协议，即为实时流式传输。如使用HTTP服务器，文件即通过顺序流发送。,17,实时流式传输,保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。 以调制解调器速度连接时图象质量较差；如在网络慢或拥挤的情况播放质量也会不好。 需特定的流媒体服务器和网络协议。 在有防火墙时，根据协议可能会出现问题。 适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。,18,顺序流

6、式传输,顺序下载，不能根据用户的连接速度做调整。不能跳到还未下载内容的前面。 允许用比调制解调器更高的数据速率创建视频片段，适合高质量的情况。 观看前，必须经历延迟，对较慢的连接尤其如此。 不需特定的服务器和网络协议，易于管理。 通过http基本上与防火墙无关。 不适合长片段和有随机访问要求的视频，不支持现场广播。,19,流媒体播放方式,点播与广播 客户端与服务器端的交互手段 单播与组播（多播） 服务器端以及网络上的传输方式 直播 普通直播 录播,20,流媒体播放方式点播,点播是客户端与服务器之间的主动的连接。在点播连接中，用户通过选择来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流

7、。 点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器，却会迅速用完网络带宽。,21,流媒体播放方式广播,广播指的是用户被动接收流。在广播过程中，客户端能接收流，但不能控制流。 主要通过对抖动敏感来判断。抖动往往是由于接收端用缓冲区来存放分组，并在适当的时间后“回放”而带来的。,22,流媒体播放方式单播,单播：在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机。 媒体服务器针对于每个客户端的IP分别进行连接, 媒体服务器必须向每个用户发送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担。优点是：不是任意客户端均可任意连

8、接，安全性好。 单播可以用在点播和广播上。,23,流媒体播放方式组播,组(多)播：服务器将一组客户请求的流媒体数据发送到路由器上，然后由路由器一次将数据包根据路由表复制到多个通道上，再向用户发送。 媒体服务器只需要发送一个信息包，而不是多个；所有发出请求的客户端共享同一信息包。减少网络上传输的信息包的总量。网络利用效率大大提高，成本大为下降。 但是需要支持组播技术的路由器；一般只用作广播 IANA（互联网地址指派机构）把D类地址空间分配给IP组播,24,流媒体播放方式直播,直播： 普通直播 服务器即时的将外部信息通过网络进行广播。 录播 在直播的同时将其录制 须注意的是所录的文件的格式以及是否

9、有压缩的需求,25,媒体文件格式,26,媒体文件格式,压缩文件格式 流式文件格式 媒体发布文件,27,VOD项目中要求支持的格式,MPEG1、VCD、SVCD、AVI、MPEG2、DVD、VOB、MPG、MPEG4、DIVX、ASF、WMV、RM、QUICKTIME、MP3、MIDI、WAV、RA、AU MPEG1和MPEG4格式的广播和直播,28,文件压缩过程,29,常用视频、音频压缩文件类型,30,流式文件编码过程,31,流式文件格式,32,媒体发布文件,制作完成的流媒体文件需要发布到网络上才能被他人使用，这就需要以特定方式安排压缩好的流媒体文件，而安排流媒体文件的格式就被成为流媒体发布格

10、式。 媒体发布文件本身不是影音文件，它们的作用在于给出真正流媒体文件所在的位置以及数据类型等信息。 这个文件在流媒体播放过程中不是必需的。,33,常见媒体发布格式,34,常见编解码标准,35,常见编解码标准,MPEG序列： MPEG1、 MPEG2、MPEG4、MPEG7、MPEG21 RealVideo、RealAudio可扩展视频技术 H.323 ,36,MPEG,MPEG：运动动态图象专家组(Moving Pictures Experts Group)。由国际标准化组织ISO (International Standards Organization)与国际电子委员会IEC于1988年联

11、合成立的，致力于运动图像及其伴音编码的标准化工作，其成员均为视频、音频及系统领域的技术专家。,37,MPEG1,MPEG-1制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如cd-rom、video-cd。它可针对不同分辨率（对于ntsc制为352240；对于pal制为352288）的图像进行压缩，传输速率为1.5mbits/s，最高可达4-5mbits/s。 对于动作不激烈的视频信号能获得较好的图像质量，但如果图像对象动作激烈时有可能产生马赛克现象。 此种标准没有定义用于额外数据流进行编码的格式，它主要用于家用VCD，需要的存储空间较大。,38,MPEG2,MPEG-2制定于1

12、994年，设计目标是高级工业标准的图像质量以及更高的传输率。它所能提供的传输率在3-15mbits/s间，在pal下可达720*576，ntsc制式下的分辨率可达720486。 mpeg-2能够提供广播级的视像和cd级的音质，是非常高质的影音编码系统 。其音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道（dvd可有8种语言配音的原因）。 MPEG-2主要做为dvd的指定标准，还可用于为广播、卫星直播（directbroadcastsatellite）以及有线电视网，电缆网络提供广播级的数字视频。,39,MPEG4,MPEG-4第一版公布于1998年10月，是“超低比

13、特率活动图像和语音压缩标准”，它将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。根据不同影像特性可以有5kbits/s到10Mbits/s的传输率。 mpeg-4的压缩率可以超过100倍，而仍然保有极佳的音质和画质。同时具有数字加密功能。,40,MPEG4（续）,MPEG-4最核心的是基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频 。 特点/优点：

14、基于内容的交互功能 高效的压缩性 通用的访问性 注意：MPEG4分成divx和xvid,41,MPEG4的Divx与Xvid,DIVX XVID 出品公司 DivXNetworks Inc开放源代码(GPL授权) 推出时间 1998年 2002年2月 创始人 罗达（Rota）及电脑黑客基尔（Gej）被DXN涮的人 TDX2002认证 Yes Yes oDay认证 No Yes 最新版本 5.02 1.3+ 费用 收费 免费 压缩时间 长 稍短 图像质量 高、接近DVD高、接近DVD 压缩容量 较小 较小 编码容量 3.4MB 359K 优化设置 一般强大的可调节性，使用这可设置很多选项，分别针

15、对不同电影 进行不同方式的压缩。,42,MPEG1,MPEG2,MPEG4主要指标比较,43,REAL V/A,RealVideo、RealAudio RealSystem采用可扩展视频技术作为其主要视频编码解码。此编码解码具有扩展其行为的能力，如连接速率低于编码时采用的速率，播放时服务器端丢弃不重要的信息，播放器解码尽可能还原视频质量。RealAudio 是第一个支持Internet实时流媒体的音频结构。,44,H.263,H.263是标准的视频会议codec，对低数据速度和相对低的运动进行了优化。H.263是对H.261 和MPEG-1标准的升级，为产生低于64 kbit/sec传输速度下

16、获得更好质量而设计。支持H.263的结构很多如：H.323 (IP) and H.324 (POTS) 标准、QuickTime 、Video for Windows,45,主流厂商产品,46,主流厂商产品,RealNetWorks的Real Media Microsoft的Windows Media Apple的QuickTime,47,RealNetWorks的Real Media,RealAudio CD音质的音频数据 RealVideo 不间断的视频数据 RealFlash 与MacroMedia公司合作推出的针对动画的高压缩比格式 将多媒体(音频、视频)数据编码到6种不同的带宽： 2

17、0 - 220 Kbps 根据用户的连接速率，选择合适的编码数据发布给用户,48,Microsoft的Windows Media,高级流格式(Advanced Stream Format，ASF) 一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布 。 支持6种位率的点播ASF和实况编码流:16 Kbps - 1 Mbps 客户端智能化的后处理过程，提高播放质量 根据带宽变化的无缝的流转换 适应标准的、根据处理器优化的编码方案,49,Apple的QuickTime,QT格式是一种音频、视频文件格式，用于保存音频和视频信息，具有先进的音频和视频功能。支持25 位彩色，支持