流媒体传输技术

1、流媒体传输技术学号： 姓名：孙磊摘要:随着Internet应用的逐步深入，为了满足用户同时传递多种信息、提高视音频播放和下载的同步效率，流媒体产生。在IPTV中，流媒体传输技术的应用非常重要，本文简要介绍了流媒体传输的概念、技术和传输方式等。并介绍了其在视频容错和掩错时怎样提高传输和播放效率。关键字：流媒体 传输方式 容错 掩错正文：一、 流媒体的基本概念1、概念流媒体是指网络中使用流式传输技术进行传输的连续时基媒体数据的一种格式，而不是一种新的媒体。流媒体在播放前只将部分内容缓存，并不下载整个文件。在数据流传送的同时，用户可在计算机上利用相应的软件播放器或其它的硬件设备对压缩的动画、视音频等

2、流式多媒体文件进行解压播放，就省下了下载等待时间和存储空间，时延大大减少，而多媒体文件的剩余部分将在后台的服务器内继续下载。2、与下载播放的比较流媒体之前的播放方式是下载播放。即在播放视音频之前必须把整个影音文件下载并储存在本地计算机上，然后才可以播放。与这种传统播放方式相比，流式播放技术采用边下边播放的方式，用户只需经过几秒或几十秒的启动延时即可在终端上对压缩的视音频解压播放。3、最初来源流式传输技术的思路来源于传统的FTP/TCP(文件传输协议/传输控制协议)：服务器按照一定的顺序将文件分割成若干个数据分段，封装到分组中依次进行传输，客户端收到分组后重新组装起来，最终形成与原来一样的完整文

3、件。流式传输技术就是一种分割技术，它把媒体数据流分成适当大小的分组，然后在流媒体服务器和客户端之间进行连续、实时传输。【1】二、 流媒体系统和关键技术1、 流媒体系统流媒体系统通常包括信源编码器、媒体存储设备、流媒体服务器、媒体流传输网络、客户端播放器。原始音视频源经过编码压缩后，形成合适的流格式媒体文件存储，媒体服务器根据用户的请求把流媒体文件传递到用户端的媒体播放器。2、 关键技术压缩编码编码器的功能是对输入的原始音视频信号进行压缩编码。编码器要有高的压缩比性能，还应该考虑网络的适应性进行码率控制，必须考虑传输中数据丢失对解码质量的影响。流媒体服务器流媒体系统中的流媒体服务器用于存放和控制

4、流媒体的数据。流媒体传输流媒体在IP网络上的传输必然涉及到网络传输协议，这是制约流媒体传输性能最重要的因素。为了保证对网络拥塞、时延和抖动极其敏感的流媒体业务在面向无连接的IP网络中的服务质量，必须采用合适的协议，其中包括Internet本身的多媒体传输协议，以及一些实时流式传输协议等。三、 IPTV中的流媒体传输方式1、 ISMA方式ISMA（Internet流媒体联盟）是在2000年12月成立的标准化组织，目标是制定Internet流媒体编码器、服务器和播放器之间的开放标准，其原则是最大程度地利用现有Internet国际标准。【2】上图为ISMA方式的流传输基本过程。ISMA方式通过服务器

5、/客户端的机构实现流媒体的传输，在应用层采用了RTSP控制协议，媒体数据采用RTP封装后承载在TCP或UDP上，并通过RTP/RTCP协议进行传输质量的检测。媒体数据SDPRTPRTSPUDPTCPIP以太网/AAL5等上图是ISMA方式的流传输协议栈在ISMA协议栈中，媒体数据需要经过流式处理，MPEG-4格式遵循MP4文件格式规范，H.264格式遵循高级视频编码文件格式规范。2、 MPEG-2 TS over IP方式MPEG-2 TS（Transport Stream）参考标准为MPEG-2的系统层，即ISO/IEC 13818-1. MPEG-2 TS是数字电视领域广泛采用的流式传输标

6、准。【3】MPEG-2 TS over IP方式的流传输基本过程如图MPEG-2 TS over IP方式同样采用服务器/客户端的结构。因为ISO/IEC 13818-1标准未定义控制层协议，应用于IPTV后，MPEG-2 TS over IP方式在控制层可采用RTSP或HTTP协议，媒体数据采用MPEG-2 TS封装后，一般承载在UDP上。为了克服网络抖动问题，也可在UDP之上采用RTP协议封装TS包。MPEG-2 TS over IP方式的流传输协议栈SI媒体数据RTSP或HTTPMPEG-2 TS RTP（可选）UDPIPTS包由包头、自适应区和包数据3部分组成。由于每个包长度为固定的1

7、88字节，在封装成UDP包和IP包后，需要考虑合适的包长度。与ISMA方式不同，MPEG-2 TS over IP方式是将视音频数据复用后再封装成TS包，因此输出流是单一的。四、 视频容错编码与掩错技术当前视频编码标准都是采用运动补偿和预测消除时间冗余、采用变换编码消除空间冗余、通过对色度空间的转换消除色度空间的冗余。然后对DCT变换系数进行量化，对量化后的非零系数进行游长编码和熵编码，最后获得压缩后的比特流。视频编码技术在减少冗余数据的同时，也降低了视频流抵抗传输差错的能力。在基于运动补偿预测的视频编码中，一帧数据中发生的错误不仅影响到当前帧的重建图像质量，而且会延续到随后的预测帧，从而严重

8、影响重建的视频质量。由于视频应用具有实时性，对时延很敏感，因此视频流数据出现差错后，就要求视频编码技术本身必须对传输误码有容错和掩错能力。在IP网络传输中，容错可以从信道编码和信源编码两方面进行，而掩错一般在解码端进行。1、 编码端的容错编码技术克服比特流同步丢失的方法比特流同步丢失，是指传输差错导致解码器不能追踪到哪些比特位代表什么参数。克服比特流同步丢失问题的关键在于提供这样一套机制:在传输差错发生的时候，解码器能够快速的把问题隔离开，并及时实施“再同步”。（1） 再同步标记基本原理：在比特流里设置唯一的而且容易找到的一个入口点，一旦解码器失去同步，它能快速地找到下一个同步点并从该点继续开

9、始解码。MPEG-1/2和H.261/3是在压缩的视频层次结构的关键位置如图像或者宏块条的首部位置，设置再同步标记。这种方法是在间隔固定数目块的位置设置再同步标记，它对应的是不同数目的比特位。由于在活动区域需要更多的比特位，再同步标记会间隔太远，而在许多情况下这些活动区域更有可能受到损坏。为了解决这一问题，MPEG-4采用了间隔固定数目的比特位周期性地设置再同步标记的方法。优点是减少了互动区域被损坏的可能性，简化了搜寻再同步标记的程序。在解码端，解码器判断误码发生：变长编码的码字不存在，运动矢量超出预测范围，DCT超过精度范围，以及DCT系数的个数超过像素块的容量。在最坏的情况下，没有使用再同

10、步标记技术的视频编解码器将损失或丢弃一个宏块条数据，使用该技术的视频编解码器则只损失一个像素宏块的数据。当然使用再同步标记技术需要增加额外的冗余比特，从而降低编码效率，增加网络的额外载荷。（2） 数据分割由于误码可能导致同步标记的丢失，跟随于误码后面的码流也将变得无法解析。视频的重要信息包括各层次的头信息、运动矢量、DCT的直流系数、MPEG-4中的形状信息等应放置在紧靠在同步标记之后，接着再放置其他不太重要的信息。这一方法被称为数据分割。在MPEG-1/2和H.261/3比特流中的数据位置是按照一个宏块接一个宏块的方式持续下去的，并没有考虑到不同类型数据的重要性不同。在H.264/AVC的比

11、特流中，宏块的传输顺序由宏块分配映射确定，而不一定按光栅扫描的顺序进行。H.264/AVC支持灵活的宏块排序方式：图中的宏块可以组成一个或几个宏块条组，每一个宏块条组单独传输，当一个宏块条组发生丢失时，可以利用与之临近的已经正确接收到的另一宏块条组中的宏块进行有效的差错掩盖。时间域内的容错编码技术如果有传输差错发生，即使对比特流是是在同步标记，仍然会出现另一个问题：解码器表示出的状态同编码器的状态不相同。尤其是当采用运动预测和补偿技术的时候，这种不匹配会导致预测错误以至出现显著的差错蔓延，严重损害后续很多帧。 随机帧内编码 限制传输差错蔓延最简单的办法是只采用帧内编码帧（即I帧）。由于I帧没有

12、采用任何的时间域预测，因此避免了传输差错的蔓延，但是其压缩效率却很低。另一个方法是周期性地采用I帧，如MPEG-1/2视频流层次结构中就采用了图像组（GOP）结构，每个GOP的起始帧就是I帧【4】。周期性地重新初始化预测环的方式，可以把传输差错蔓延范围限制在最多一个GOP范围内。但是周期性地使用I帧压缩了效率。因此，可以对每一帧采用局部的帧内编码，追对独立的宏块实施，最简单的办法就是对不同位置的宏块实施周期性的帧内编码。 (2) 参考帧选择 在编码器和解码器端都有多个帧存储器，编码器端应保持最近编码的n帧重建图像，根据一定得编码策略，由TRP指示确定采用哪一帧作为帧间编码的参考帧。解码器端也保

13、存最近正确解码的n帧重建图像，通过选择TRP所指示的参考帧进行解码，当TRP所指示的帧在本地存储中不存在时，则通过反馈信息指示编码器强制做帧内编码。该模式使用一个反向通道将解码器端的反馈信息如哪帧图像的哪些部分已正确或错误地接收到哪些帧，于是由编码器决定哪一帧应当作为下一次预测编码用的参考帧。 不足：由于这种方法需保存一定数量的重建图像，因此编解码器端都需要设立大量的存储器。反馈信息的传输延时，使得该方法不能满足实时处理的要求。2、 解码段的掩错技术掩错技术的工作原理主要依据以下两个特性:（1） 视频信号在空间域、时间域具有极强的相关性。（2） 人眼视觉系统容忍一定程度的视频失真。空间域的掩错

14、技术 空间域掩错技术主要利用了视频序列的空间域相关性，通过有效邻域的空间插值算法来估计出当前出错或丢失的数据块。该掩错技术依赖于帧内仅有局部数据损失的假设，即出错数据块周边的其他数据应该是完好的。例如，若一帧图像中的一个宏块数据出错，而其四周的宏块数据完好，则出错宏块的数据可用其周边的4个宏块数据的线性插值来代替。但是该技术的计算复杂度很高，因为每一个像素都需要插值计算。 频率域的掩错技术 镇内编码模式把视频的空间域信号转换成频率域信号，且变换后像素块内数据的相关性被大大削弱。由于同一帧内像素块间存在着相关性，因而相邻像素块的频率域系数也存在着相关性，且频率越低的系数其相关性越强。频率域的掩错技术要求出错数据块周边的其他数据块是完好的，且编码模式也是帧内的，因此对帧间编码模式无效，缺损数据块的频率域系数的相关性只存在于低频率系数中，对高频率系数则相关性很低。在频率域系数恢复后，只需对其进行逆变换就可以获得整块像素的恢复。从复杂度的角度而言，频率域掩错要优于空间域掩错技术。 时间域的掩错技术 当一帧图像中的某部分数据出错后，最简单的修补办法就是利用视频信号在时间域中的相关性，用前一帧相应位置的像素取代本帧中出错的像素，这种方法就是时