（通信与信息系统专业论文）视频编码差错复原技术的研究.pdf

视频编码差错复原技术的研究：摘要 视频编码差错复原技术的研究 摘要 i p 网，无线通信网等网络环境中的实时视频传输是一件具有挑战性的工作， 因为它要求视频信号必须具有很高的压缩效率和友好的网络接口设计。 h 2 6 4 是i t u 和i s o 联合制订的新一代视频压缩编码标准。它不但提供了更 高的编码效率，还通过网络抽象层( n a l ) 提供了友好的网络接口，这使得它自 身不但能够在现有的网络中传送视频编码数据，而且能在未来的网络环境中传送 视频编码数据。 然而h 2 6 4 的视频流很容易受到传送过程中误码的影响。在丢包网络环境中 的视频传输，差错复原是一种有效降低误码影响的重要技术，这种技术由编解码 器端实现。差错复原技术的目的是掩盖掉丢失的视频块对整帧视频图像的影响， 它通过运用视频信号空域，频域，或者时域的相关性重建出主观质量可以接受的 视频图像。 本文首先提出一种空域和频域相结合的差错复原方法。这种方法的算法思想 是找出要进行平滑内插的方向，根据最佳内插方向对丢失宏块进行复原。这种方 法能较好的保护物体边缘的整体性，同时具有较低的复杂度。 在视频编码中，运动矢量对于丢失视频块来说十分重要，它可用于对受损区 域进行匹配复原。所以，在差错复原技术中运动矢量的复原是一个十分重要的课 题。对于时域差错复原，本文提出一种改进的边界匹配算法来恢复受损的运动矢 量，这种方法能保持受损块周围边界的连续性。 在视频图像中，一个小区域中物体的运动方向一般趋于一致，根据这一点， 本文提出用受损宏块周围块的运动矢量，构造一个线性函数来预测受损块的运动 矢量的方法。这种复原方法可以保持受损区域中运动矢量变化的一致性。运用这 种方法预测出受损宏块的运动矢量，就可以对受损宏块进行重建复原。 本文所提出的差错复原方法是为了提高重建视频图像的主客观质量，实验结 果表明，本文提出的方法在改善重建视频主客观质量方面取得了满意的结果。 关键词：因特网，无线通信，h 2 6 4 ，差错复原，运动矢量，插值 l l i 山大学硕士毕业论文 s t u d yo ne r r o r r e s i l i e n c et e c h n i q u eo fv i d e oc o d i n g m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a m e ：c h e ny i q u n t u t o r ：a s s o c i a t ep r o f e s s o rl i a n gf a n a b s t r a c t r e a l - t i m et r a n s m i s s i o no fv i d e od a t ai nn e t w o r ke n v i r o n m e n t s ，s u c ha si n t e r n e t a n dw i r e l e s sc o m m u n i c a t i o n s ，i sac h a l l e n g i n gt a s k ，a si tc a l l sf o rh i g hc o m p r e s s i o n e f 五c i e n c ya n dn e t w o r k f r i e n d l yd e s i g n t h ev i d c oc o m p r e s s i o ns t a n d a r dh 2 6 4p r o v i d e sm o r ec o d i n ge f f i c i e n c yf o ra w i d er a n g eo fv i d e oc o n s u m e ra p p l i c a t i o n s t h en e t w o r k - f r i e n d l yd e s i g ng o a lo f h 2 6 4i sa d d r e s s e dv i at h en e t w o r ka b s t r a c t i o nl a y e rt h a th a sb e e nd e v e l o p e dt o t r a n s p o r tt h ec o d e dv i d e od a t ao v e ra n ye x i s t i n ga n df u t u r en e t w o r k s y e th 2 6 4v i d e os t r e a m sa r es t i l lv u l n e r a b l et ot r a n s m i s s i o ne r r o r s e r r o r r e s ；i l i e n c et e c h n o l o g yo v e rl o s s yp a c k e tn e t w o r k si sv e r yi m p o r t a n tb e c a u s ei ti sa n e f f e c t i v ea p p r o a c ht or e d u c et h ei m p a c to fe r r o r s i t sa i mi st om a s kt h ee f f e c to ft h e m i s s i n gb l o c k st oc r e a t ei m a g eo rv i d e oo fs h b j e c t i v e l ya c c e p t a b l eq u a l i t yb yu s i n g t h es p a t i a l ，s p e c t r a la n dt e m p o r a lc o r r e l a t i o n t h i sp a p e rp r o p o s e sah y b r i ds p a t i a la n ds p e c t r a le r r o rr e s i l i e n c et e c h n i q u e t h i s s c h e m ei n v o l v e sa na l g o r i t h mo fr e f i n e dd i r e c t i o n a li n t e r p o l a t i o nt oe s t i m a t ea m i s s i n gm a c r o b l o c k ，w h i c hp r o t e c to b j e c te d g ei n t e g r i t yw i t hl o wc o m p l e x i t y m o t i o nv e c t o r sa r eh i g h l ys i g n i f i c a n tf o rt h em a t c h i n go ft h em i s s i n gv i d e ob l o c k t h u sh o wt or e c o v e rt h el o s tm vi sa ni m p o r t a n ti s s u ef o re r r o rc o n c e a l m e n t w et h e n p r e s e n ta ni m p r o v e db o u n d a r ym a t c ha l g o r i t h mt or e c o v e r1 0 s tm o t i o nv e c t o r s ，a n di t p r e s e r v e sb e t t e re d g ec o n t i n u i t yo nt h eb o u n d a r yo ft h er e c o v e r e db l o c k s i n c et h em o t i o n sw i t h i nas m a l la r e aa r el i k e l yt om o v ei nt h es a m ed i r e c t i o n w e u s et h em o t i o nv e c t o r st h a ta r ea d j a c e n tt ot h el o s tm o t i o nv e c t o r st oc o n s t i t u t ea f i r s t - o r d e rf u n e t i o nt oe s t i m a t em o t i o nv e c t o r s ，w h i c hd e s c r i b et h ec h a n g et e n d e n c yo f m o t i o nv e c t o r sw i t h i nt h i ss m a l la r e a t h r o u g ht h i sm o d e l ，t h e1 0 s tm o t i o nv e c t o r sc a n b ep r e d i c t e da n dt h e1 0 s tm a c r o b l o c k sc a nb er e c o n s t r u c t e d t h ee l l o rr e s i l i e n c ea l g o r i t h m sa b o v ea r ed e s i g n e dt oo p t i m i z eb o t hv i s u a lq u a l i t y a n do b j e c t i v eq u a l i t y ( p s n r ) o ft h ev i d e os e q u e n c e s i m u l a t i o n sd e m o n s t r a t et h a t t h o s ep r o p o s e dt e c h n i q u e sh a v ep r o v i d e ds a t i s f a c t o r ys u b j e c t i v ea n do b j e c t i v er e s u l t s o nan u m b e ro ft e s ts e q u e n c e s k e y w o r d s ：i n t e r n e t ，w i r e l e s sc o m m u n i c a t i o n s ，h 2 6 4 ，e r r o rc o n c e a l m e n t ，m o t i o n v e c t o r , i n t e r p o l a t i o n u 绪论 1 1 选题意义 第1 章绪论 随着信息技术和计算机互联网的发展，人类已经进入了数字时代。多媒体信 息( 如音频、图像、视频等) 由于其直观性和交互性，已成为人们获取信息的主 要载体，同时也成为电子信息科技开发和研究的热点。在多媒体信息中，视觉信 息占有重要地位，据统计，人类获取全部信息中有7 0 来自于视觉。数字视频技 术广泛地应用于商业办公，文化娱乐，深刻影响着人们生活的各方面。典型的数 字视频应用实例有：视频点播，电子商务，实时广播，视频监控，视频会议，多 媒体通信，高清晰数字电视( h d t v ) 等等。但视频信号的数字化也带来海量数 据i l l ，这对数字存储设备及通信网络都提出了更高要求，从而成为阻碍人们有效 获取和使用视频信息的瓶颈。 对于高效视频通信，尽可能地提高编码效率只是其中的一个方面，另一个同 等重要的任务是要处理通信网络中的差错。由于视频通信对延迟敏感，不宜采用 简单的基于重传机制的网络协议以确保无差错传送；另外，视频编码中广泛使用 预测编码和可变长编码，致使压缩的视频流更容易受到传输差错的损害。因此， 差错复原技术在视频通信系统中变得尤其重要。 i p 网络和无线网络是容易发生差错的( e r r o r - p r o n e ) 网络。基于i p 网络和无 线网络的多媒体通信业务很大程度受到信道差错的影响【2 1 。信道差错不但影响多 媒体通信的业务质量( q o s ) ，严重时甚至会导致整个多媒体通信系统的失效。 基于i p 网络和无线网络是分组交换的网络，其中的网络抖动是不可避免的基本 特征，网络抖动导致分组的无序到达和分组丢失。如何有效的解决上述问题，已 经成为当前多媒体通信的研究热点。 1 山大学硕十毕业论文 当前i p 网络和无线网络的多媒体通信主要有以下一些待解决的问题： ( 1 ) 系统结构上服务器和客户端缺乏自适应能力。( 2 ) 数据压缩算法的制约。 ( 3 ) 接收端缺乏纠错和差错复原能力。而现有的大多数差错复原算法往往没有考虑实 际应用的要求，算法复杂度高，难以实时实施。 大多数视频编码标准普遍采用运动补偿预测去除时间冗余信息、用变换编码 去除空间冗余信息以及可变长编码实现熵编码的混合编码技术来实现高压缩率。 这又使得压缩码流对抗差错的能力十分脆弱。一方面v l c 的采用大大削弱了码 流的抗误码能力：任意一个比特误码都有可能造成解码器端的误码扩散，导致同 步丢失，从而使得重建图像质量恶化；另一方面，基于运动补偿的预测编码技术 使出现的差错迅速扩散，导致重建图像质量严重受损，甚至无法重建图像。信道 传输中产生的差错主要包括随机比特误码、突发差错及数据包丢失等。为了减小 或消除信道差错的影响，差错复原技术就成为易发生差错信道视频压缩编码的重 要内容之一。 国内外对数字压缩视频容错技术已作了不少的研究工作。i e t f 制订了在i p 网上进行多媒体通信的若干标准( 如r t p 、r t s p 等) 。i s o 、i t u t 等在制定 新一代视频压缩编码标准时也考虑了如何令新的标准能够适应i p 网络和无线网 络上多媒体通信的要求。r e a ln e t w o r k 、m i c r o s o f t 以及p a c k e t v i d e o 等公司在基 于i p 网的多媒体通信方面也进行了研究和开发工作。现有的视频压缩编码标准 如h 2 6 3 、m p e g 4 等为了提高差错复原能力，满足易发生差错信道视频传输业 务的要求，均采用了若干差错复原技术，并成为标准的重要建议内容【3 1 【4 1 。 综上所述，l p 网络和无线通信网络的迅速发展，使视频通信业务将成为i p 网络和无线网络多媒体通信业务的主流1 5 j 。i n t e m e t 本质上是，一个“尽力而为” 的网络，网络连接情况的动态变化导致网络冗塞和数据分组的无序到达及丢失， 而其中差错复原将成为关键性技术急待解决。因此，视频编码中的差错复原技术 有着十分重要的理论和现实意义。 绪论 1 2 论文的主要工作和成果 如上所述，由于i p 网络和无线网络的缺陷，引致了网络带宽的波动和网络 抖动，造成了视频通信产生大量误码，严重地影响了视频通信业务的服务质量 ( q o s ) 。论文的工作主要是围绕解决i p 网络和无线网络的差错复原能力展开 的。主要的工作和成果包括： 1 、研究了视频通信在l p 网络和无线环境中产生误码的原因。介绍了视频压 缩编码技术和差错复原技术的必要性和重要性。 2 、对视频通信的关键技术差错复原技术进行了分析，总结了典型差错复原 方法，对视频编码新标准h 2 6 4 的技术亮点进行了归纳和分析，深入研究了h 2 6 4 中新的差错复原方法的优缺点和适应环境。 3 、综合空域，频域的算法优点，提出了一种空域，频域相结合的差错复原 方法，并对结果进行分析和性能比较。实验表明，该差错复原算法的效果相对于 单一的算法主客观质量都有较大的提高。 4 、利用空间运动的平滑性，提出了两种用于h 2 6 4 的时域差错复原方法：a ) 改进的边界匹配复原方法：b ) 用一阶函数预测运动矢量的方法。这两种方法都 能有效地改善时域差错复原效果。 1 3 论文的内容安排 论文的内容安排如下： 第1 章绪论。论述选题与研究的意义。 第2 章视频通信传输环境分析。首先对视频压缩编码原理进行了简单叙述， 然后论述了i p 网络和无线网络视频通信的状况和存在的问题，论证了视频差错 复原技术在这两种新传输环境中的重要性。 第3 章视频编码差错复原技术。这一章简述了视频传输中误码的产生原因， 介绍了差错复原技术的基本原理和思路，并对多种差错复原技术进行深入的研究 中山大学硕士毕业论文 比较，针对最新视频编码标准h 2 6 4 ，深刻分析了当前差错复原技术的优点及发 展方向。 第4 章空频域组合差错复原方法。本章运用微分算子，设计出一种运算量小， 可以实时实现的差错复原算法，它结合了空域和时域差错复原技术的优点，实现 了复杂度和主观效果的很好折衷，由此建立一个视频差错复原的解决方案。本章 对以上算法进行了实验验证，得出实验结果并对实验结果进行了分析。 第5 章用于h 2 6 4 的时域差错复原方法。利用空间运动的平滑性，实现了两 种改进的时域差错复原方法：a ) 改进的边界匹配复原方法；b ) 用一阶函数预 测运动矢量的方法。本章对以上两种算法进行了实验验证，得出了实验结果，并 对实验结果进行了分析讨论。 第6 章总结和展望。总结了论文的工作，并提出了今后工作的方向。 最后是参考文献及致谢。 视频通信差错传输环境分析 第2 章视频通信差错传输环境分析 2 1 视频压缩编码基本原理 视频可看作一系列单帧图像，每帧图像可看作二维的像素阵列。颜色表示每 个像素所包含的3 个成分：亮度y 和两个色度u 和v 。图2 1 和图2 2 分别给出 了视频编解码器的框图： 图2 - 1 典型的视频编码框图 出 视频压缩编码算法需要在高图像质量和高压缩比之问作出折衷，这就需要在 帧内编码和帧间编码间作出很好的权衡。为了获得高压缩比，可采用多种技术。 先为信号选择一恰当的空间分辨率，这与视频本身没必然关系；然后，算法中使 用基于块的运动补偿来降低时自j 冗余度，利用运动补偿根据先前图像对当前图像 进行前向预测，或根据将来图像对当前图像进行后向预测，或根据先前图像和将 来图像对当前图像进行双向预测。为每个宏块区域图像定义运动向量；接着使用 离散余弦变换( d c t ) 对差分信号( 即预测误差) 进行进一步压缩，从而消除空 i _ ； i 山大学硕十毕业论文 间相关性，之后对上述结果进行量化处理，以便丢弃一些不重要的信息，这一过 程是不可逆的；最后，把运动向量与d c t 信息合并，并用可变长代码进行编码。 解码是编码的逆过程，比编码要简单的多，原因是不需要运动估算。解码器 读位流信号过程中，识别编码图像的开始代码和图像类型，并依次对每个宏块进 行解码。如果宏块类型和运动矢量出现，那么它们将用于构造当前宏块的预测， 构造预测时基于保存在解码器中的过去和将来参考帧。对系数数据进行解码和解 量化处理时，每个系数数据块用逆向d c t 进行变换，并把结果增加到预测信号 上，数据值局限在预定义范围内。 码流 图2 - 2 典型的视频解码框图 在处理了图像中的所有宏块后，就可以重建该图像。如果它是l 帧或p 帧， 那么就用作后续图像的参考图像并被保存起来，替换最早保存的参考图像。由于 图像要被显示，故要对图像序列进行重定序处理，以恢复他们自然显示顺序。在 重定序后，图像以数字化形式存在，供应用系统进行后处理或显示。 2 2 基于i p 网络的视频通信 2 2 1i p 网络多媒体业务 i p 网络初期只是为计算机问传输数据提供连接，业务单一，只有数据业务。 随着网络技术的发展和网络资源不断丰富，网络设备的性能不断提高，这为i p 网络提供语音和视频综合多媒体业务创造了条件。与此同时，网络用户数量的激 视频通信差错传输环境分析 增也对网络服务提出了更高的要求，人们不仅想通过网络传送文件、发e m a i l ， 而且希望通过i p 网络打电话，点播电影。在这种用户需求和技术革新的双重驱 动下，实现i p 网络的多媒体服务势在必行。 近年来i p 网络的迅速发展使得其数据业务量正在赶上或超过传统的固定电 话业务量，并且其业务类型已由数据业务发展到数据、语音和视频综合业务，其 中发展最快的是l p 电话业务，最典型的就是v o l p ( v o i c eo v e ri p ) 。近年来出 现的流媒体技术也大大推动了l p 网络承载视频业务的应用【6 l ，以h 3 2 3 系统为 例，图2 3 描述了i p 网络中的视频系统结构。 流媒体技术允许用户一边下载一边播放视频流，它不要求用户完全下载视频 文件后再解码播放，而是下载的同时即可播放。流式传输与传统的文件方式传送 媒体信息相比，更为实时、快捷。流式传输不仅使媒体的播放启动延时大大缩短， 而且不需要太大的缓存容量。在采用流式传输的系统中，用户不必等到整个多媒 体文件全部下载完毕之后再进行播放，更不需要存储媒体文件，而只需经过一段 时间的启动延时即可进行观看，当音频、视频等媒体文件在客户机上播放时，文 件的剩余部分将在后台从服务器内继续下载。 图2 3i p 网络中的视频系统结构 未来的i p 网络在提供多媒体业务方面，不仅能够满足用户的需求，而且能 进一步促进网络向着宽带化、智能化、个性化的方向发展。 中山大学硕十毕业论文 2 2 2i p 网络的特点 i p 网络视频通信面临着诸多挑战，主要表现在以下几方面： ( 1 ) 带宽受限： 视频业务本身数据量庞大。以c i f 为例，每幅图像由2 8 8 行组成，每行有3 5 2 个像素点，每个像素点采用2 4 个比特数来存放亮度及色度分量，一帧图像有将 近2 5 m b i t 的数据量。当帧率为3 0 f p s ，则每秒c i f 数字视频中的比特数为： 3 5 2 2 8 8 x 2 4 3 0 = 7 2 9 9m b p s 可见，视频的数据量非常庞大，不利于网络传输。 另一方面，为得到可接受的视频质量，实时视频传输对网络带宽有最低的要 求。然而，目前的网络并不能为每一个视频服务预留带宽资源，因此并不能保证 每个视频服务都能满足对带宽的要求。同时，近年来i p 网络用户急剧增加，网 络上传输的视频数据量猛增，网络资源越显缺乏，网络拥塞的状态加剧，使得本 来就非常有限的网络带宽变得更加紧张。 ( 2 ) 时延和抖动： 端到端时延指的是从发送端发送一数据块到接收端完成接收所需的时间，主 要由转发时延、传输时延、网络时延和接口时延几部分组成。转发时延一般是指 网络上的主机或路由器进行路由选择和数据转发所产生的时延，该节点与路由算 法的类型和复杂度有关；传输时延是指数据包在网络节点之间传送产生的时延， 与途经节点的数目和传输路径有关；网络时延是由转发时延及传输时延组成；接 口时延是指发送方丌始准备发送数据块和网络准备传输该数据包这段时间内出 现的时延。图2 4 给出了端到端时延的组成示意图。 抖动是指不同的数据包到达目的地的时延不尽相同。i p 网络是以数据分组为 传输单元，并且不同的数据包所途经的传输路径也各不相同，因此传输过程所带 来的时延就不尽相同，从接收端的角度看，数据分组到达的时延是抖动的。 视频通信差错传输环境分析 图2 4 端到端延迟的组成 与数据业务不同，视频传输对延迟和抖动具有严格的要求。依赖于时间关系 的视频数据包必须在它规定的时隙之间到达接收端，否则将导致视频播放的停 滞，影响视频播放的主观感受质量。然而，i p 网络并不能保证严格的时延要求， 而且网络的拥塞也会加剧传输时延。 ( 3 ) 网络丢包现象： 在网络传输中，大量的突发业务会造成网络数据量在短时间内急剧增加，从 而导致网络拥塞现象的发生。对于l p 网络，j j 塞现象的直接后果是造成数据包 的丢失，而且拥塞的持续时间和严重程度决定了数据包的丢失率。对于视频业务 来说，数据包的大量丢失会影响视频重建质量，造成人眼的主观感受质量下降l 引。 然而，网络拥塞的发生与很多因素有关，不可能完全避免，也就是说，网络的丢 包现象虽然可通过一些机制加以缓和但不可能完全消除。 ( 4 ) 异构性： 在视频通信中，单播( u n i c a s t ) 与组播( m u l t i c a s t ) 是两个重要的应用模式，单播 是指点对点的视频传输，通信中仅仅涉及一个发送者和一个接收者。与单播相比， 组播是点对多点的视频传输，通信中涉及一个发送者和多个接收者，视频会议就 是组播的典型应用。组播中，接收者共享链路带宽，可提高带宽的利用率，而单 播则不能充分利用网络带宽。图2 5 给出了单播和组播的分布图。对于单播，链 路1 要占用5 个相同的传输带宽，链路2 要占用3 个相同的传输带宽；而对于组 播，链路1 和链路2 都只需要占用1 个传输带宽，大大地节省了带宽，提高了带 宽的利用率。 r l - 山大学硕士毕业论文 图2 5 单播与组播的原理图 然而，网络和终端的异构性限制了视频组播的这一优势。网络异构性是指视 频传输所途经的不同子网具有不同的链路带宽、存储能力、拥塞控制策略等分布 式资源。网络的异构性会使不同的用户具有不同的延时和丢包特性；终端异构性 是指不同的用户终端对时延、丢包、视频质量的要求不尽相同，其终端的处理速 度、分辨率、存储能力也可能不同。例如，视频会议中的提问者会对时延的要求 更严格，而倾听者可能对视频的质量更加关注。显然，视频通信应该能够适应这 种异构特性，为用户提供个性化服务。 2 2 3i p 网络上视频通信的要求 基于i p 网络的视频通信对编解码器有着较高的要求，主要应用于以下三种 场合：对话应用，下载服务，流媒体服务。下面就与i p 网络有关的三种应用场 合分别对视频通信和编解码器的要求做一下简述。 对话应用，比如像视频电话和视频会议，有严格的时延限制，要求端到端时 延小于1 s ，最好小于l o o m s 。编解码器的参数能实时调整，差错复原机制要根据 实际网络变化而改变1 8 】。编解码的复杂度不能很高，比如双向预测的模式就不能 被采用。 视频通信差错传输环境分析 下载服务，可使用可靠的传输协议如f t p 和h t r p 将数据全部传输。由于这 种应用的非实时性，编码器可以通过优化进行高效编码，而且对时延和错误恢复 机制没有要求。 流媒体服务应用，对时延要求介于上面两者之间，初始化时延是1 0 s 以内。 与实时编码相比对时延要求降低，编码器可以进行优化实现高效编码f ，比如双向 预测) 。然而通常流媒体服务使用不可靠的传输协议，所以编码时要进行差错控 制并进行信道纠错编码。 i p 网络又可分为三种类型：不可控i p 网络( 如i n t e m e t ) 、可控i p 网络( 广域网) 和无线网络( 如3 g 网络) 。这三种i p 网络有不同的最大传输单元尺寸( m t u s i z e ) 、 比特出错概率和t c p 使用标记。最大传输单元尺寸是网络层最大的分组长度， 视频编码时要使片的长度小于m t u 尺寸，这样可避免在网络层再进行一次数据 的分割。两个i p 节点之间的m t u 尺寸是动态变化的，通常假定有线i p 网络的 m t u 尺寸是1 5 千字节，无线网络的m t u 尺寸是1 0 0 字节。可见要适用于无线 网络的视频编码必须采用数据分割技术使得片的长度小于m t u 尺寸。t c p 传输 控制协议能够解决网络拥塞引起的分组丢失问题，而在无线网络中，分组丢失是 由于链路层错误引起的，t c p 并非很好的解决办法，要采用差错控制协议。 2 2 4 视频通信的协议环境 网络层协议：使用i p 网际协议。每一个i p 分组单独从发送方出发，经过不 同的路由器到达接收方。l p 会将大于最大传送单元( m t u ) 的分组进行分割和 重组。每个分组传输占有的时间都有所不同。l p 头中有2 0 个字节由校验码来保 证。l p 分组的最大值是6 4 千字节，但是由于m t u 的限制，一般不会这么大。 传输层协议：t c p 和u d p 。t c p 提供面向连接的可靠传输服务，以重传和 超时等机制作为差错控制的措施。由于时延不可预测，这种方法并不适用于实时 通信。u d p 提供不可靠的数据报传输。u d p 头包含校验数，可以检查出和丢掉 含有比特差错的分组。u d p 协议的分组传输过程中可能出现丢失、复制、改序 等。 应用层传输协议：r t p ( 实时传输协议) 。这种协议和i p u d p 协议结合使用， 是一种面向会话的协议。其中每个r t p 分组包含r t p 头标，载荷头标( 可选) 和 l i l 山大学硕十毕业论文 载荷本身。r t p 协议能够使发送方将数据分割为大小尺寸合理的分组，并将接收 方监测到的网络性能反馈给发送方，发送方因此能够动态调节比特率和抗误码机 制。 应用层控制协议：一般有h 2 4 5 协议、s i p 和s d p ，或r t s p 。这些协议用 来实现流媒体的控制和收发方的协商。 2 3 基于无线网络的视频通信 随着许多新接入技术的引入，无线通信信道具有了更高的吞吐量，例如在3 g 移动通信中，数据速率已经可以达到1 4 4 k b 2 m b 。这就使得视频信号在无线信 道中传输成为可制引。事实上，近几年来，在这方面的运用己经取得了飞速发展。 但是，由于移动通信信道易错、时变、带限等特点，与有线信道相比，视频信号 的传输仍然有许多需要进一步解决的问题，特别是实时视频在移动信道传输中的 差错控制相对更加困难。因此，许多国内外专家都在该方面做着广泛的研究，都 在对其进行着不断完善。图2 - 6 描绘了无线视频通信系统的框架，其中c s c c 是 联合信源信道编码。 图2 6 无线视频通信系统 视频通信差错传输环境分析 2 3 1 无线信道的特点 随着3 g 的兴起及无线网络带宽的增加激起了在无线i p 网络上进行实时视频 通信的极大兴趣。随着无线网络带宽的增加，新的应用诸如无线视频会议，视频 流将走进人们的日常生活中去。这些应用与无线网站服务一起，将使得人们能够 在任何时间，任何地点，通过任何设备访问i n t e r a c t 。 然而，在无线网络上实时传输高质量的视频是一个富有挑战性的任务。这主 要是因为无线信道有如下特点： ( 1 ) 带宽波动： 无线信道的吞吐量会因为多径衰落，同频道干扰和噪声的扰动而降低。其次， 无线信道的容量会随着基站与移动主机之间距离的变化而波动。第三，当移动的 终端在不同网络间运动时( 例如，从无线局域网到无线广域网) ，通道带宽会发生 剧烈的变化。最后，当发生基站交接时，基站可能没有足够的无线电资源去满足 新接入的移动主机的需求。因此，带宽波动对于无线网络上的实时视频传输是一 个严重的问题。 ( 2 ) 高误码率： 与有线连接相比，无线信道一般具有大得多的噪声，而且具有小尺寸( 多径) 和大尺度( 阴影) 衰落，使得误码率( b b r ) 非常高。误码会对视频演播质见造成破 坏性的影响。因此迫切需要视频在无线信道上进行具有差错复原功能的传输。 ( 3 ) 异类性： 在组播情况下，接收端可能具有不同的要求和特性，如视觉质量，处理能力， 功率限制( 无线和有线) 和带宽限制。接收端的要求和特性的异类性使得设计一个 高效的组播机制非常困难。 ( 4 ) 编解码端之间严格的时间同步： 一旦解码端的反馈开始，每一编码帧将有一个严格的时间期限。若该帧到达 解码端超过期限，则无效。由于无线信道带宽受限，图像信号必须采用一些有效 的图像编码算法等大幅压缩。另一方面，由于无线信道的高误码率，差错控制技 术如前向纠错( f e c ) 和自动重传请求( a r q ) 将被加入以保证可靠的视频传输。 i 山大学硕+ 毕业论文 2 3 2 无线信道中视频通信的特点 视频信号在无线信道中传输具有以下几个特点。 ( 1 ) 传输视频信号的高压缩性 无线信道是窄带信号，即使是像3 g 移动通信系统中，由于各种新的接入技术 的引入，支持的编码比特流有了较大的提高，但与视频信号的可靠传输所需的比 特率相比，这仍然是比较低的。要在无线信道中实现视频通信，就要求更高的编 码效率，更高的视频压缩。因此，信道传输差错对重建视频的影响更加严重，也 就是说更易发生误码扩散【1 0 】。 ( 2 ) 传输信道的易错性 无线信道中信号的传输存在着多条路径，接收天线接收到的是通过直射径、 各种反射径和散射径到达的合成波。由于各路径分量的幅度相位各不相同，造成 合成信号很大起伏波动，这就是“多径效应”。同时，在多径传播条件下，接收信 号还会产生时延扩展，这是由于各路径长度不一致而产生的。时延扩展将引起码 间串扰，将严重影响数字信号的传播质量。另外，由于移动台的运动，接收信号 的频率会发生变化，引起多普勒频移，并在多径环境下，会进一步成为多普勒频 展，这对视频信号的传输会带来更大的影响。同时，在传输信道中还会有许多随 机干扰。 由于以上原因，视频信号在传输过程中不可避免地会发生差错，这种差错有 随机比特差错，又有突发差错。 2 4 小结 视频压缩标准必须具有高效视频编码效率及良好的网络适配性，这才能使它 成为i p 网络视频通信和无线视频通信里面视频压缩的标准。由于视频信号的高压 缩性，视频码流对信道误码非常敏感。而实际的i p 网络、无线信道都会导致误码 产生。因此，在编码算法的基础上，我们有必要采用多种视频差错复原方法来保 证复原图像的质量。本文结合差错信道下的视频传输模型，对各种差错复原技术 进行了深刻详细的研究，讨论了各种方法的优缺点，并针对i p 网络和无线网络的 实时传输要求，提出了相应的解决方法。 视频编码差错复原技术 第3 章视频编码差错复原技术 3 1 视频传输中误码产生的原因 对于视频通信系统来说，传输过程中的信道差错( c h a n n e le r r o r ) 会造成视 频信息的改变或丢失，这种信息的改变或丢失导致重建视频质量严重下降。实时 性的要求也使得某些差错复原技术难以应用，音视频通信的同步、多点通信等问 题则使得差错复原变得更加复杂1 1 l 】。 信道差错大体上可分为两类，一类是随机比特错误，它会导致比特位跳转( b i t i n v e r s i o n ) 、比特位插入( b i ti n s e r t i o n ) 、比特位删除( b i td e l e t i o n ) 等。当采用 定长编码方法时，一个随机比特位的错误只影响一个码字，所造成的信息失真一 般是可以接受的；而当采用可变长编码( v l c ，如哈夫曼编码) 时，它会导致v l c 解码器同步丢失，同时产生两种明显的错误码字：一种是错误码字直接使得某码 字映射为一非法码字，这种情况解码器可以立即检测到该错误码字；另一种是错 误码字使得某码字映射为另一个合法码字，或者映射为某合法的码字序列，那么 解码器就很难立即检测出错误码字的存在，但由于误码扩散的缘故，解码器可以 在随后的某个位置发现错误码字。 另一类信道差错是突发错误，比如分组交换网络中的包丢失( p a c k e tl o s s ) 、 存储媒体的物理损伤等。有时候，随机比特错误也会导致突发错误，由于突发错 误会导致连续的数据包丢失，它可能比随机比特错误带来更加严重的影响。目前 视频压缩编码大多都采用可变长编码，因此这两种差错都会导致重建质量严重下 降。由于目前绝大多数视频编码标准都采用了运动预测补偿技术以及可变长编码 技术，因此，误码不仅影响该误码数据的恢复，还会影响与之相关的其他数据的 恢复，造成误码扩散。如果误比特发生在码流的重要部分，将导致恢复出来的信 号面目全非，这是可变长编码本身无法克服的弊端造成的。而采用运动预测编码 技术会造成误码在时间域和空间域上扩散。可见，误码扩散会带来严重的图像质 量下降。 卜山大学硕十毕业论文 3 2 差错复原技术的基本原理和思路 差错复原技术主要沿着两个方向发展：一方面是把数据通信中的差错控制技 术扩展到视频通信中，这些技术的目标是无损恢复。例如，前向纠错( f e c ) 、 错误控制编码( e c c ) 、自动重传请求( a r q ) 等；另一方面旨在恢复近似于原 始信息或者根据人类生理特性的差错掩盖技术受到人们越来越多的重视【1 2 】【1 3 】。 如对于视频图像，人眼可以容忍一定程度的失真，或者是某些失真人眼根本无法 觉察到，而不需要像数据通信那样要求绝对的无损恢复。 首先，对所有正确接收的图像片进行解码，然后应用相应的差错复原方法对 丢失的片进行掩盖。实际使用中，采用帧状态表来记录宏块( m b ) 丢失与否。 在此状态表中，若可对片中的m b 进行解码，则将此m b 的状态标记为“正确接收”， 反之，则标记为“丢失”，在对该帧完成了解码后，就可进行差错复原。图3 1 显示了复原处理过程中的状态表。其中，用“c o n c e a l e d ”标志已被掩盖的m b ， 当前处理的m b ，用“c u r r e n tm b ”标出。 在给出了片的结构以及基于m b 表示的该帧状态表后，差错复原以m b 为操作 单元进行。复原首先从帧的边界丌始，然后逐列向帧内部移动，在同一列上逐行 向帧内部移动。 33333333 33300022 22麓 oc j( j 22 22o0 0 0 27 2222oo33 3333333 网 曰 参h 裟小d 圈黼 图3 - 1 解码器中的m b 状态表 视频编码差错复原技术 3 3 视频编码中的差错复原技术 目前提高视频传输的差错复原能力，主要包括三种处理方法：第一种是前向 差错复原技术：第二种是后处理差错复原技术；第三种是交互式差错复原技术。 3 3 1 前向差错复原技术 该技术从编码端考虑，通过往编码输出码流中加一些额外的冗余信息，使得 码流不需要解码器做更多的处理就能够降低传输差错的影响1 1 4 j 。 ( 1 ) 分级编码和多描述编码 分级编码将视频码流分成一个基本层和多个增强层【1 5 l ，基本层包含视频基本 信息，可以重建出一定质量的视频信号，增强层包含更多细节信息，改善视频质 量。 多描述编码生成同一个源信号的几个比特流( 描述) 并在分离的信道上传输。 每种描述都要提供可接受的质量。 ( 2 ) 错误隔离 通过错误隔离可以把传输错误影响控制在有限的区域内【1 6 l 。 a 插入重同步标记 针对分组误码是周期性的插入重同步标记。但是由于要使用相对长的同步码 字，从而要增加较多的比特，降低编码效率，因而也要限制使用。 b 数据分割 使用二级同步标记，将码流中描述不同属性的数据分开存放，以便在信道编 码时加以不同的保护，有利于保护重要数据。比特流中的比特并非同等重要。重 要比特应受到重点的保护，以使它们以低得多的误码率传输。当在信源编码器中 使用分层编码时，传输控制器必须为不同的层分配适当的优先级。在网络中对不 同的层使用不同的差错控制处理或不同的传输协议来实现优先级。例如图像头信 息和量化矩阵显然就最重要，m p e g 建议对其进行两次传输。 c 差错复原打包和复用 对于l p 网上的视频传输，一般使用r t p u d p i p 协议栈。r t p 通过定义r t p 有效载荷格式【1 7 1 【1 8 】。提供对各种视频编码格式的支持。为了提高差错复原，一 r i l 山大学硕十毕业论文 般的做法都是对一帧图像进行分片，这样一旦某个片丢失，还可以利用周围的宏 块进行空间和时间的内插。 复用能把不同类型的数据根据时分复用或频分复用的方式组合在一起形成 码流，也具有错误隔离能力。 ( 3 ) 前向纠错( f e c ) 前向纠错是数据通信中用于检错和纠错的最常见方法。由于f e c 增加了传 输的开销，从而降低有效的载荷数据的可用带宽，在带宽有限但可容忍一定程度 差错的视频业务中，必须谨慎使用。 ( 4 ) 可逆的变长编码限v l c ) 应用r v l c ，解码器不仅能解码重同步码字之后的比特，也能从后向解码下 一个重同步码字之前的比特f 1 9 l ，因而丢弃较少的正确接受到的比特，减少传输误 码影响。m p e g 。4 和h 2 6 3 都采用了r v l c 。 3 3 2 后处理差错复原技术 该技术对于已经发生的错误，利用已接收的信息来估计发生错误的信息，使 其尽量不被人眼觉察出来，而不需要从编码器得到额外的信息，这种差错复原技 术也叫差错掩盖技术。它利用人眼视觉的特性，用视频序列的空间、时问相关性 来掩盖误码带来的不良影响，这一技术可分别在空域、时域、频域内进行。 ( 1 ) 空间域插值复原 这是一种简单有效的恢复数据的方法，它充分利用视频信号在空问域上的平 滑性【2 0 1 。使用空间插值法的前提是受损宏块周围的宏块信息完好。如果视频图像 受损的范围较大，如很多行的宏块都丢失，此时采用空间域插值的效果不明显。 一般来说，空问域内插根据相邻的正确接受的宏块中的像素点内插估计受损块中 的像素点，通常只使用相邻快中的边缘像素点进行内插估计。一个简单的方法是 估计受损宏块的d c 系数( 均值) ，并使用一个等于估计d c 值的常量代替整个 受损块，d c 值得估计可以由周围块的平均值获得。在进行空问内插时，存在一 个如何决定内插滤波器的问题。另外，不能忽略f 确接受的d c t 系数。必须使 受损宏块中的像素点平滑地连接到它在时问上和空间上相邻的像素点，估计必须 保证复原的宏块尽可能的平滑。还有一个进行空间域内插的方法就是使用p o c s 视频编码差错复原技术 ( 凸集投影) 方法1 2 , 1 1 ，但是由于该估计方法通过一个迭代过程进行，耗时较大， 对于实时应用并不太适用。 ( 2 ) 频率域插值复原 频率域插值本质上与空间域插值类似，只是在d c t 变换前估计受损宏块的 d c t 系数1 2 2 j 【矧。图像视频信号除了物体边界，轮廓等处之外基本上具有平滑的 特性，这也意味着受损宏块的d c t 系数与相邻宏块对应的d c t 系数比较接近。 如果只是个别的d c t 系数受损，那么就可以利用四个相邻宏块系数的插值来估 计受损块的系数值。如果整个宏块所有系数都丢失，最重要的是受损宏块d c 系 数和低频部分有限的几个系数的估计，因为自然图像的平滑特性仅表现在低频系 数部分，与高频系数的相关性不强。估计d c 系数的最简单方法就是采用受损宏 块邻近宏块的d c 系数平均值来代替，低频系数恢复也类