（计算机应用技术专业论文）交互式视频差错控制技术研究.pdf

亘直窒道盔堂亟塑窒皇堂焦迨塞 篁! ；要一 摘要 预测编码后的视频流对于网络传输差错非常敏感，网络传输中的一个小 小的错误都有可能造成这种错误在时间和空间上的扩散，从而严重恶化视频 质量。视频差错控制技术的实质就在于无论何时何处发生差错，都使差错造 成的伤害影响最小。 交互式差错控制技术是一种视频编解码器相互协作来解决视频传输差 错的技术。差错跟踪已被证明是一种较好的交互式差错控制技术，这种技术 只对当前编码帧中由于受前面某编码帧出错而“污染”的那些宏块进行有选 择性地帧内更新，从而能较好地平衡视频比特率和差错恢复效率。对于差错 比较严重的情况，本文提出了多帧分级更新策略来解决可能需要更新的宏块 数目过多的问题。传统的差错跟踪技术存在的问题就是当网络往返时延较大 时，这种技术无法处理往返时延期间的网络再丢包引发的错误，并且它依赖 于一个固定的“差错阙值”来决定宏块的编码模式。为此，本文又引入了基 于反馈的率失真优化技术，它能根据已知的网络丢包率和解码器的差错掩盖 方法，在编码器端估计出解码器端的解码重建帧的值，从而可以在象素的基 础上计算出当前编码帧中各个宏块的总的失真度，然后将这种失真度集成到 一个率失真框架中，根据宏块失真度和编码比特数的平衡来选择宏块的最佳 编码模式。本文最后按照这种技术算法复杂度的不同给予了分别讨论，并给出 了基于新一代视频编码标准h 2 6 l 上的模拟实现。实验结果表明，这种技术 在往返时延较小时有着和差错跟踪近似的性能，而在往返时延较大时却要优 于差错跟踪技术。 关键词：交互式差错控制；差错跟踪；率失真：h 2 6 l _ - 一_ 一一 亘童童逛盔兰亟主堑窒生兰焦迨皇 篁里夏 a b s t r a c t t h ev i d e o s t r e a me m p l o y i n gi n t e r - f r a m ep r e d i c t i o n i s v e r y s e n s i t i v e t o n e t w o r kt r a n s m i s s i o ne r r o r s ，al i r l et r a n s m i s s i o ne r r o rm a y b ep r o m o t e s e r r o r p r o p a g a t i o ni nb o t h t h es p a t i a la n dt e m p o r a ld o m a i n sa n d m a k et h ei m a g eq u a l i t y i n t o l e r a b l ef i n a l l y t h et r u t ho fv i d e oe r r o rc o n t r o lt e c h n i q u e si st om a k e t h eh u r t o ft r a n s m i s s i o nc i t e r sl e a s tw h e n e v e ra n dw h e r e v e rt h e t r a n s m i s s i o ne r r o r s h a p p e n e d i n t e r a c t i v ev i d e oe r r o rc o n t r o lt e c h n i q u ei sp r o p o s e d t or e m o v et r a n s m i s s i o n e r r o r sb yt r a n s m i t t e ra n dr e c e i v e r sw o r k i n gt o g e t h e r e r r o rt r a c k i n gh a sb e e n p r o v e d ab e t t e ri n t e r a c t i v ev i d e oe r r o rc o n t r o lt e c h n i q u e kt h i st e c h n i q u e ，o n l y s e v e r e l yi m p a i r e d m a e r o b l o c k sb yr e a s o no f p a s tf r a m e s e r r o r sa r er e f r e s h e d i n i n t r am o d e ，s ot h i st e c h n i q u eo a d tg a i nab e t t e rt r a d e o f fb e t w e e nc o m p r e s s e f f i c i e n c ya n dr o b u s t n e s s i na d d i t i o n ，am u l t i f r a m e sr e f r e s hm e t h o d i sp r o p o s e d t os o l v et h e p r o b l e m o ft o o m a n yi n t r a r e f r e s h e d m a c r o b l o c k s ，t h em a i n d r a w b a c ko fe r r o rt r a c k i n gi st h a ti tl a c kt h ea b i l i t yt oa c c u r a t e l ye s t i m a t e ，a tt h e d n c o d e r , t h eo v e r a l ld i s t o r t i o no ft h ed e c o d e rf r a m er e c o n s t r u c t i o n ，f u r t h e r ，i t r e l a yo nh e u r i s t i ct h r e s h o l d st om a k e m a c m b l o c k s m o d ed e c i s i o n s t h e r e f o r ei n t h i s p a p e r , at e c h n i q u e n a m e dr a t e d i s t o r t i o n o p t i m i z a t i o nw i t h f e e d b a c ki s i n t r o d u c e d ，w h i c hc a r lc o m p u t e t h eo v e r a l ld i s t o r t i o no ft h ed e c o d e rf r a m e r e c o n s t r u c t i o na tt h ee n c o d e rb yu t i l i z i n gf o r e g o n en e t w o r kp a c k e tl o s sa n dt h e d e c o d e r se r r o rc o n c e a l m e n tm e t h o d t h e nt h e o v e r a l j d i s t o r t i o no fe a c h m a c r o b l o c ko fc u r r e n te n c o d i n gf r a l n ec a nb ec o m p u t e da tp i x e ll e v e lp r e c i s i o n w et h e n i n c o r p o r a t e t h em a c r o b l o e k 7 so v e r a l id i s t o r t i o nw i t h i na r a t e d i s t o r t i o n ( r - d ) f r a m e w o r kt o s e l e c tt h eb e s tc o d i n gm o d es u c ht h a tt h e t r a d e o f fb e t w e e nc o m p r e s s e f f i c i e n c y a n dr o b u s t n e s si so p t i m i z e d a tt h ee n do f t h i sp a p e r , w eh a v ed i s c u s s e dt h i st e c h n i q u er e s p e c t i v e l ya c c o r d i n gt oa l g o r i t h m c o m p l e x i t y , a n ds i m u l a t i v ee x p e r i m e n t a lr c s u l t sb a s e dn e wv i d e oc o d i n gs t a n d a r d h 2 6 ld e m o n s t r a t et h a tt h i st e c h n i q u e ，u n d e rl o w e rr o u n dt r i pd e l a yc o n d i t i o n s ， h a ss i m i l a re f f i c i e n c yt oe r r o rt r a c k i n g ，b u ti ti s s u p e r i o rt oe r r o rt r a c k i n gw i t h 亘直奎道盎堂亟蟹塞垒堂焦迨塞 蔓堡夏一 h i g h e rr o u n dt r i pd e l a y k e y w o r d s ： i n t e r a c t i v ev i d e oe r r o rc o n t r o l ；e r r o rt r a c k i n g ；r a t e d i s t o r t i o n ；h 2 6 l 一一 亘壹童道盔兰塑亟窒生兰焦迨塞蔓! 亟一一 1 1引言 第1 章绪论 视觉是人类获取外部信息最为重要的途径。“百闻不如见”，视觉信 息给人们以直观、生动的形象。图像视频信息的数字表示带来了可以再生 中继、易于加密、抗干扰能力强等诸多优点，但数字表示需要的大量数据 量对存储和传输极为不利，已成为人类有效地获取和使用信息的瓶颈之一。 图像视频编码的一个主要目的，就是在保证一定重建质量的前提下，以尽 量少的比特数来表征图像视频信息l l j 。 近年来，光缆骨干网、v 9 0 调制解调器和电缆调制解调器的迅速普及 己大大提高了上网速率，基本满足了人们目前在i p ( i n t e m e tp r o t o c 0 1 ) 网 上浏览信息的需要。而以i m t - 2 0 0 0 以及我国大唐t d s c d m a 标准为核心 的第三代( 3 g ) 移动通信系统有效地改善了通信网的通信质量和通信带宽， 它以及第四代和后四代移动通信追求的主要目标之一就是实现多媒体业 务。另外，超大规模集成电路技术和宽带数字网技术的发展，更加使人们 对数字视频业务如可视电话、会议电视、安全监控、电视购物、高清晰度 电视、视频点播等产生了越来越浓厚的兴趣。 虽然第三代移动通信系统的出现和口网络的迅速发展，使得视频通信 正逐步成为通信的主要业务之一。然而，实际的无线和d 信道会导致传输 差错产生，例如：无线信道中的多径衰落产生的差错和d 信道上的阻塞丢 包等。由于信道带宽的限制，视频通信的数据往往是压缩编码以后的数据， 而压缩以后的数据对信道传输差错非常敏感，造成出现传输差错时的恢复 图像质量严重下降。因此，必须采用多种有效的差错控制方法来保证恢复 视频的质量，交互式差错控制技术是一种编解码相互协作控制差错的技术， 近年来有许多的交互式差错控制技术提出【2 1 ，这类技术一般不会增加太多 的数据冗余，也不会带来新的时延，已经在很多场合被证明是一种较好的 视频差错控制技术。 本章内容包括四部分，首先，讨论了图像压缩编码发展概况及其标准 - _ 一_ _ 一 亘直童湮盔茎亟圭盈窭篁堂笪鲨塞塑；夏 化进程；然后，介绍了新一代视频编码标准h 2 6 l 视频编码算法，着重介 绍了h 2 6 l 相对于以前视频编码标准的新特点和h 2 6 l 标准本身的差错控 制方法：接下来，阐述了交互式差错控制技术的相关概念，并对视频交互 式差错控制技术的研究现状给予了讨论；最后，概括了本文的组织结构。 1 2 视频编码技术的发展概况 视频中包含着大量的数据，比如普通的彩色电视信号的数据量就达到了 约l o o m b s 。这些数据往往是高度相关的，这些相关性会引起信息的冗余， 因此可以通过去除冗余信息来实现对视频数据的压缩，现有的视频编码方法 主要就是去除视频的空间和时间冗余来达到压缩视频数据的目的。 视频编码中常用的有变换编码、预测编码、熵编码等编码方法，下面分 别对这三种编码方法给予简单介绍，具体的视频编码流程参见图1 1 。 帧闸帧内指示 图像数据传输l 与否指示l 量化器指示l j 量化变换系数i i 去图像复 用编码器 位移矢量 图1 一l 视频编码流程示意图 变换编码是通过信号变换来消除视频数据空间性的一种有效方法。尽管 亘壹童逞主堂亟堑窒竺皇焦迨窒 塑三互l 图像变换本身不能对数据进行压缩，但由于变换后系数之间的相关性明显降 低，图像的大部分能量只集中到少数几个变换系数上，采用适当的量化和熵 编码可以有效地压缩图像的数据量。视频编码中常采用离散余弦变换( d c t ) 这种变换编码，h 2 6 l 视频编码标准采用的是一种近似于d c t 变换的整数变 换编码。h 2 6 3 + 视频编码标准中给出的8 x 8 d c t 和i d c t 的公式分别定义如 下； f = i 1co)c(v)琵厂cosl(2x+广1)utrz=0c 。s 譬竽 ( 1 - 1 ) qp哪“)l u 厂g ，y ) = ；主鸯c o ) c f o ，v ) c o s ( 2 x + 1 6 1 ) u t rc o s ( 2 y 1 + 丁1 ) v n - ( 1 - 2 )斗o p 4 01 ql u l 1 c o l c ( v ) 了i j 1 ， 当m 。v = 0 其它 ( 卜3 ) 上式中的厂( y ) 代表原图像( 帧内编码) 的像素值，或是两帧图像的差 分值( 帧闻编码) ，f “v ) 代表8 8 d c t 变换后的系数。 预测编码实际上是基于图像数据的空间和时间冗余特性，用相邻的己知 象素( 或图像块) 来预测当前象素( 或图像块) 的值，然后再对预测残差进 行量化和编码；预测编码可以在一帧图像内进行( 帧内预测编码) ，也可以在 多帧图像之间进行( 帧间预测编码) ，帧间预测编码主要利用视频序列相邻帧 间的相关性，即图像数据的时间冗余来达到压缩的目的，可以获得比帧内预 测编码高得多的压缩比。帧间预测编码般是针对图像块的预测编码，各种 图像视频编码标准中均采用了运动补偿预测编码技术。运动补偿预测编码的 基本概念指的是，在当前帧的前帧和后帧( 参考帧) 中找出某一区域( 块) ， 该区域与当前帧中同样大小的一区域十分匹配。如果找到这样的一块区域， 那么就能计算出当前帧中该块中的块亮度值与参考帧中块的块亮度值之间的 差分信号( d p c m 码) 。另外还可以计算出相应块的运动向量，该运动向量 表示的是相应块沿x 方向和y 方向的位移。 熵编码是纯粹基于信号统计特性的编码方法，它是一种无损编码，解码 后能无失真地恢复原图像。熵编码的基本原理是给出现概率较大的符号一个 较短的码字，丽给出现概率较小的符号一个较长的码字，这样使得编码后的 最终的平均码长最小。一个精心设计的熵编码器，其输出的平均码长接近信 亘盎童道盔堂亟亟窒圭堂焦途塞皇l 一 源的信息熵，即码长的下限。一般的视频编码标准中采用的熵编码为v l c ( 可 变长度编码) ，而在新的视频编码标准h 2 6 l 中，主要采用的是两种可选的熵 编码模式，一种被称为u v l c ( 统- - 变长编码) ，另一种被称为c a b a c ( 基于 内容的自适应二进制编码) 。 近十年来，图像视频编码技术得到了迅速发展和广泛应用，并且日臻成 熟，其标志就是多个关于图像编码的国际标准的制定，即国际标准化组织i s o 关于静止图像的编码标准i p e g j - p e g 2 0 0 0 ，关于活动图像的编码标准 m p e g 1 、m p e g 一2 、m p e g 。4 等，以及国际电信联盟i t u t 制定的视频编码 标准h 2 6 x 系列。这些标准采用的图像编码算法融合了各种性能优良的图像 编码方法，代表了目前图像编码的发展水平。表1 ，1 给出了近年制定的图像 视频压缩编码标准。 表1 1 近年制定的主要图像，视频压缩编码标准 标准发布日期标题主要应用场合 j p e g1 9 9 2 1 0连续色调静态图像的数字压缩数字照相、图像 编码编辑 j p e g 2 0 0 02 0 0 0 1 2下一代静态图像编码标准d 网、移动通 信、传真 田e g 一11 9 9 2 1 1 面向数字存储的运动图像及其光盘存储、家用 伴音的编码视频、视频监控 m 呼e g 21 9 9 4 1 l 运动图像及其伴音的通用编码数字电视、 d v d 、高清晰度 电视 m p e g 41 9 9 9 5 音频视频对象的通用编码p 网、交互式视 频、移动通信 h 2 6 11 9 9 0 1 2 p x 6 4k 的音视频业务的编解 i s d n 视频会议 码 重亘至追盎兰亟主叠窒塞坐焦迨塞篁i 夏 h 2 6 32 0 0 0 1 1低比特率通信的视频编码桌面可视电话、 移动视频 h 2 6 l ( 4 ) 2 0 0 3 5 新一代视频压缩的编码标准无线视频通信、 口视频会议和 d v d 视频压缩编码算法多种多样，下面将重点讨论新一代视频压缩编码标准 h 2 6 l ，本文的所有模拟实验都是基于h 2 6 l 平台完成的。 1 3 h 2 6 l 视频编码标准 h 2 6 l 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活 动图像编码专家组) 的联合视频组( t ：j o i n t v i d e ot e a m ) 开发的一个新的 数字视频编码标准，它既是i t u t 的h 2 6 4 ( 注：h 2 6 l 已2 0 0 3 年5 月正式作 为h ，2 6 4 发布) ，又是i s o i e c 的m p e g - 4 的第1 0 部分，并已成为新一代视 频压缩的编码标准1 3 】。制定h 2 6 l 标准的目的在于更加有效地提高视频编码 效率和它对网络的适配性，其编码码率从8 k b i t s s 到2 0 m b i t s s ，因此h 2 6 l 编码算法可广泛应用于无线视频通信、口视频会议和d v d 等。 在技术上，h 2 6 l 标准中有多个闪光之处，如统一的v l c 符号编码，高 精度、多模式的运动估计，基于4 4 块的整数变换、分层的编码语法等。这 些措旖使得h 2 6 l 算法具有很高的编码效率，实验证明，在相同的重建图像 质量下，能够比h 2 6 3 节约5 0 左右的码率。同时，h 2 6 l 的码流结构网络 适应性强，增加了差错恢复能力，能够很好地适应d 和无线网络的应用。 1 3 1 h 2 6 l 编码算法的新特点 h 2 6 l 编码标准制定的目的在于提高视频编码效率和对网络的适配性， 来满足多种视频应用的要求。与目前使用最广泛的h 2 6 3 + 标准相比，h 2 6 l 视频编码算法有许多新颖之处，本章在讨论视频交互式差错控制技术以前， 首先较为详细地介绍h 2 6 l 编码算法的新特点。 亘壹童道盍堂亟丛窒垒堂焦迨塞 篁i 亟 1 3 ，1 1 算法的分层结构 h 2 6 l 编码算法总体上分为两层：视频编码层( v c l ) 完成对视频内容 的有效描述；网络适配层( n a l ) 完成在不同网络上视频数据的打包传输， 如图1 2 所示。其中，v c l 与h 2 6 3 + 算法一样，都是采用基于块的编码算法， 差别在于v c l 的编码算法更加灵活，且加入了一系列新的编码方法来提高编 码效率。为了使v c l 的编码数据能够在不同特点的网络上传输，n a l 在它 和v c l 之间定义了独特的打包接口。因此，v c l 的设计目标是为了提高编 码效率，而n a l 是解决视频q o s ( 服务质量) 与网络q o s 的适配。 控 制 数 据 视频编码层( v c l ) ：i!：一 i 宏块 数据分割 分片数据分割 网络适配层( n a l ) 1 3 1 2 运动描述 图1 - 2h 2 6 l 的算法分层结构 h 2 6 l 支持不同形状和大小的编码块：1 6 1 6 ，8 1 6 ，1 6 8 ，8 8 ，4 8 ， 8 4 和4 x 4 像素。这些编码块在一个宏块中的编码顺序如图1 3 所示。 在h 2 6 l 中，运动预测的精度也有所改进，对q c i f ( 1 7 6 1 4 4 像素) 格 式的图像，使用1 4 像素精度；对c i f ( 3 5 2 x 2 8 8 像素) 格式的图像，使用 1 8 像素精度。其中，1 4 像素插值是先使用一个6 阶滤波器进行水平和垂直 滤波得到半像素插值点，然后对其进行线性插值。而1 8 像素插值是直接使 用一个8 阶滤波器进行水平和垂直滤波。 第7 页 在帧内编码模式下，h 2 6 l 对空间系数进行双向预测，而不是对变换后 的系数进行预测( 见h 2 6 3 + 的先进帧内预测模式) 。另外，与h 2 6 3 + 的附录 n 类似，h 2 6 l 支持参考帧可选模式，即在编码后续图像时，可以从编码缓 存中选择使用前面的参考帧( 多于一帧) 进行运动估计。 h 2 6 l 除了支持i 帧、p 帧和b 帧外，还提出了一种新的图像类型s p 帧， s p 帧也是预测编码帧，根据需要可以改变用于该帧预测的图像。s p 帧可用 于信道速率的改变、视频比特流的切换和码流随机接入等操作，在时变无线 信道上的视频通信和流媒体传输中有广泛的应用前景。 】6x1 68 x 】61 6 x88x8 4x8 8x44 x4 图1 - 3 宏块中编码块的排列顺序 1 3 1 3 整数变换编码 进行4 4 像素点变换时，h 2 6 l 使用整数变换编码代替传统的d c t 。其 基本编码特性与4 4 点的二维d c t 变换相同，先进行一维整数行变换，再 进行一维整数列变换，这里的一维变换是系数均为楚数的简单方程。例如， 亘直至湮盔堂亟亟窒圭堂焦迨塞篁夏 对一行( 列) 像素值乱b 、c 、d 的一维整数交换如下式所示： 爿= t 3 a + 1 3 b + 1 3 c + 1 3 d b = 1 7 a + 7 b 一7 c - 1 7 d f 1 4 1 c = 1 3 n 一1 3 b 一1 3 c + 1 3 d d = 7 口一1 7 6 + 1 7 c 一7 d 而一维整数变换的反变换公式如下： 口= 1 3 一+ 1 7 占+ 1 3 c + 7 d b = 1 3 4 + 7 占一1 3 c 一1 7 d f 1 5 1 c = 1 3 a 一7 b 一1 3 c + 1 7 d d = 1 3 a 一1 7 占+ 1 3 c 一7 d 与h 2 6 3 + 中8 8 点的d c t 变换编码相比，h 2 6 l 的4 4 点整数变换编码 有以下优点： 减小了方块效应； 算法简单，易于实现； 运算速度快，占用内存小； 运算结果精度高且不会溢出。 1 3 1 4 系数的扫描和量化 h 2 6 l 对4 x 4 块使用两种扫描方式，除了与h 2 6 3 + 类似的简单z 字形扫 描外，还使用双z 字形扫描来提高编码效率，这两种扫描方式如图1 4 所示。 z 字形扫描双z 字形扫描 图1 4h 2 6 l 使用的两种扫描方式 酉壶奎壅太堂亟塑窒圭! 差筐迨窒笺旦互l 一 为了使公式简洁，h 2 6 l 的整数变换编码没有包含尺度变换，所以鼍化 过程中使用尺度变换归一化变换编码后的系数，保证在3 2 位运算系统中t 计 算踣果有最大精度且不会溢出。 1 3 1 5 熵编码 在h 2 6 l 中，可以使用一个通用的可变长码表对所有的语法单元进行编 码( u v l c ) ，也可以使用基于内容的自适应二进制算术编码( c a b a c ) 。这 两种熵编码算法都大大提高了编码效率。 u v l c 对同一语法单元的不同取值设定不同的码号( c o d en u m b e r ) ，而 这些码号又对应着不同的码字( c o d ew o r d s ) ，如表l 一2 所示。 表1 - 2c o d en u m b e r 和c o d ew o r d s 的关系表示 c o d en u m b e rc o d ew o r d s 0l lo10 2o1 1 3o0100 400101 5oo110 60ol1 1 c a b a c 算法可分为三步： 首先根据大量观察选择一个合适的内容模型； 然后对编码数值进行二进制取值； 最后，通过概率估计，使用自适应二进制算术编码对二进制符号编码。 另外，h 2 6 l 还提出了基于预测环路的去方块效应滤波、s a d 的 h a d a m a r d 变换处理以及为了满足视频内容存储的临时媒体文件格式等，它们 都可以用于提高编码效率、保证恢复图像质量和满足多种视频应用的需求。 亘童窑适盔鲎亟主塑窭生堂焦迨窒篁! q 夏 由上面的讨论可知，与h 2 6 3 + 编码算法相比，h 2 6 l 提出的大量新颖编 码算法有效地提高了视频编码效率和对网络的适配性。而高效的h 2 6 l 视频 码流却对差错更为敏感，因此本文将研究基于h 2 6 l 的视频交互式差错控制 技术，来保证恢复图像的质量。 1 3 2h 2 6 l 标准中的差错控制方法 高效的h 2 6 l 视频码流对差错非常敏感，并且h 2 6 l 标准也使用基于块 的运动补偿编码，发生差错时也会引起差错扩散。因此，h 2 6 l 标准本身也 采用多种视频差错控制方法，来保证恢复视频的质量。 1 3 2 1自适应非对等保护算法 h 2 6 l 的数据分割( d p ) 模式可以将编码数据重新排列，即将每帧图像 中同一数据类型的所有v l c 码字排列在一起，并依次存储各种数据类型的码 字。d p 模式中定义的数据类型有： 图像头信息( th ) ，包括图像头和图像类型； 宏块头信息( tm h ) ，包括宏块类型和帧内预测模式等： 位移矢量( tm v ) ： 帧内帧间块的编码模式( tc b p ) ： 直流系数( td c ) ； 亮度信号的交流系数( tc y ) ； 色差信号的交流系数( tc u v ) ； 码流的结束标识( te o s ) 。 从数据类型的定义可以看出，h 2 6 l 视频码流中不同数据类型的重要程 度不同，在差错环境下它们对恢复图像质量的影响也就不同。例如，各种头 信息和位移矢量的出错，就会使恢复视频的质量急剧下降。 基于h 2 6 l 的d p 模式，首先将d p 模式中的不同数据类型分为两类： 第一类是相对重要的图像数据，包括th 、tm h 、tm v 和te o s ； 第二类是次要的图像数据，包括tc b p 、td c 、tc y 和tc u v 。 对于h 2 6 l 的d p 模式，传输时一般与f e c 码结合使用，通常在对h 2 6 l 码流进行f e c 保护时，使用纠错能力强、冗余度大的f e c ，码来保护重要的 亘夏至道盔鲎塑亟窭圭堂焦熊童蔓! ! 夏 第一类图像数据：而用纠错能力相对较弱、冗余度较小的f e c 2 码保护第二 类图像数据，如图1 - 5 所示。通过这种不等保护算法，保证了各类头信息和 运动矢量在高读码率环境下的正确恢复，而对f e c 2 码未能纠正的图像信息 采用差错掩盏技术进行掩盖。 1 1 一 u m 虬l 埘暖tc y , l c u vu u 缸t _ m v ，( t _ 脚) 卜删 - 图1 5 基于d p 模式的非对等保护算法 1 3 2 2 先进的差错掩盖算法 采用自适应不等保护算法后，解码端仍有可能出现差错。因此，要在解 码端使用差错掩盖算法来提高恢复视频的质量。 差错掩盖是指解码器试图用主观可以接受的、近似原始质量的视频数据 来遮盖差错受损数据，而不需要从编码器得到额外的信息。它利用视频图像 在空间和时间的高度相关性来掩盖差错带来的不良影响。对于基于块的混合 编码技术，受损的宏块( m a c r o b l o c k ，粕) 中有三种类型的信息需要估算和 恢复：纹理信息、运动向量以及编码模式( i n t r a i n t e r ) 。恢复的基础是自 然景物的低频特性，即空间和时间上相邻的像素具有平滑性，因此，可分别 在空域( s p a t i a l ) 、时域( t e m p o r a l ) 和频域( f r e q u e n c y ) 内进行插值恢复。 当视频图像受损区域为帧内( i n t r a ) 编码时，可用其周围的空域 ( s p a t i a l ) 信息或频域( f r e q u e n c y ) 信息进行插值掩盖。当受损区域为帧间 ( i n t e r ) 编码时，则主要采用时域( t e m p o r a l ) 掩盖。 1 3 2 2 1i n t r a 帧掩盖 掩盖1 n t 认帧内丢失宏块时，参考数据只取待掩盖宏块周围的宏块。 掩盖时采用基于像素值的加权平均。权值根据源像素和目的像素距离的倒数 ( i n v e r s e ) 确定。此外，如果待掩盖宏块周围至少有两宏块正确收到，则只参 亘查銮适盔堂亟主塑窭圭堂焦迨塞整! 呈夏 考正确收到宏块；否则参考掩盖后宏块。 13 2 2 1i n t e r 帧掩盖 i n t e r 帧掩盖方法是从当前帧或前某一参考帧内，用某正确宏块数据代 替当前帧内待掩盖宏块，其实现关键是如何估算出受损宏块的运动向量。候 选运动向量可从当前待掩盖宏块周围相邻( 空域或时域) 宏块已有的运动信 息中确定一个最适合当前待掩盖宏块的运动向量：确定了运动向量之后，就 用该运动向量所指向的参考帧中那个宏块的像素值作为当前帧内待掩盖宏块 相应像素的掩盖值。 在决定取周围哪个相邻宏块的运动向量作当前待掩盖宏块运动向量的 预测值时，t m l 9 0 掩盖算法依据选定的菜候选块与周围相邻块边界处的边 界匹配失真度( s i d em a t c hd i s t o r t i o n ) 。使边界处亮度值变化最小( 边界匹 配失真度最小) 的运动向量将被用作当前待掩盖宏块运动向量的预测值。预 测时，总将零运动向量也考虑进去，其处理方法和运动向量不为零时情况一 样。 计算边界匹配失真度时，采用公式( 卜6 ) 算法：将选定某候选块与周 围相邻块相邻的两行( 或列) 像素值逐个相减，取绝对值，然后再求和，得 到的值用作衡量边界匹配失真度的标准。 嘏老勰又厶= - 蒜”y ( m 伊) ，一妒 ( 1 6 ) 式( 1 - 6 ) 中：n 表示需计算的像素总数；】，甲表示周围相邻块边界处的 像素值；p ) 表示由m v 指向的参考帧内某宏块相应边界处的像素值； ( 卜6 ) 整个表示的就是使得与当前待掩盖宏块四个方向( t o p ，b o t ，l e f t ，r i g h t ) 总的 边界匹配失真度最小的那个候选宏块作为真正的掩盖宏块。 计算边界匹配失真度时，如待掩盖宏块周围相邻宏块中有正确收到宏 块，则只考虑正确收到宏块；否则考虑掩盖后宏块。 实验证明，采用h 2 6 l 先进的差错掩盖算法后，在视频序列变化不是特 别剧烈的情况下，对于网络传输差错的恢复都有着较好的效果。 亘直至通叁堂亟土堑窒生芏焦迨宴蔓! ：夏 1 4 交互式视频差错控制技术 1 4 1 交互式差错控制技术简介 交互式差错控制技术是编码器和解码器依赖于反馈信道而相互协作来 解决网络传输差错的一种技术。通常，把仅仅在编码器端采取的差错控制技 术称为前向差错控制技术，比如不对等差错保护、f e c 码、周期帧内更新以 及分层编码技术等，这类技术通常会在编码器中增加新的数据冗余，不利于 视频的低比特率传输；而把仅仅在解码器端采用的技术称为后向差错控制技 术，后向差错控制技术一般指的就是解码器端的差错掩盖技术，它的不足之 处在于仅仅只是对出错后的视频数据进行一手r 掩盖”，是一种事后补救措施， 差错恢复的效果有限，并且不能从根本上遏制差错的进一步扩散。交互式差 错控制是一种前、后向结合的差错控制技术，因而在很多场合下能表现出更 好的差错恢复效果。 t 交互式差错控制技术是需要反馈信道支持的，反馈信道并非必须是另外 的物理信道，重要的是编码器能获得解码器是否成功解码的反馈信息。虽然 这种反馈信息通常不属于视频语法的一部分，但它可以在一个协议栈中作为 与视频数据不同于一层而按照控制信息来进行传送。比方说，在h 3 2 4 低比 特率多媒体通信系统中，h 2 4 5 控制协议就允许解码器向编码器报告不能被 正确解码的宏块的时间和空间位置：而在基于包交换的h 3 2 3 视频系统中， 实时传输控制协议( r t c p ) 就可以通过一个反馈信道来传输控制信息，相对 于正向信道中传送的庞大视频数据，传送反馈信息所需的比特数是非常小的。 因此，为了保证反馈信息不会发生错误，通常可以采用一种重传协议来传送 反馈信息，所以本文下面的讨论中，将认为反馈信息的传输是可靠的。 1 4 2 交互式差错控制技术研究现状 如何对视频进行有效地差错控制和恢复已成为当前视频研究的一个重 要课题。近年来，视频交互式差错控制技术的研究进展很快，陆续提出了很 多新的具体差错控制方法 4 q 0 1 ，这些技术主要有基于信道状况的编码参数自 适应调整、基于反馈信息的参考帧选择技术( r p s ) 、无等待重传技术 ( n o w a i t i n ga r q ) 、基于反馈的差错跟踪( e r r o rt r a c k i n g ) 以及基于反 酉壶童道盍堂亟堑窒生堂焦迨窒璺上生至生一 馈的率失真优化技术( r - d ) 等。关于差错跟踪技术和基于反馈的率失真这两种 交互式差错控制技术，将分别在本文第二章和第三章中作详细介绍，接下来 简要介绍一下其它的几种交互式差错控制技术。 1 4 2 1 基于信道状况的编码参数自适应调整 在比如i p 网络和无线网络这种带宽和差错特性可变的信道中，重要的 是使编码后的比特率与可用信道带宽相匹配，以及在编码比特流中嵌入适当 的差错恢复性能。当以高于信道可以及时传送的比特率对信源编码时，根据 网络层的判断丢掉一些数据，这样通常会导致比以较低比特率编码该信源所 造成的信源编码失真更多的干扰效应。而且，当信道干扰噪声很大时，- 最好 是用较低的质量来表示信源，留下更多的比特用于在编码流中以f e c 或差错 恢复形式来进行差错保护。 基于信道状况的编码参数自适应要解决两个问题：首先，传输控制器必 须能基于反馈信息或其它传输层的相互作用，周期地估计并更新信道的q o s 参数( 例如带宽、往返时延、网络丢包率等) ；其次，对给定可用带宽和差错 特性，编码器必须适当地确定编码参数( 如帧内编码宏块的比例、同步标记 的频率、运动估计的搜索范围等) ，以满足目标比特率和所期望的差错恢复效 果。 1 4 2 l 基于反馈的参考帧选择技术 参考帧选择技术的基本思想就是根据解码器的确认( a c k ) 信息和否认 ( n a c k ) 信息，动态地更换参考帧，也就是从反馈信息中得知当前帧可能出错 时，不再采用前面的出错帧作为参考帧，而是采用发生错误之前的某帧作为 参考。由于该技术确定参考帧只能由解码器正确收到的帧组成，所以这种技 术能够阻止差错传播。除此之外，当往返延迟不是很大和不必要定进行重 传时，也可以用这种技术。由于这种技术仍然采用的是帧间编码，所以由此 带来的数据量的改变相对较小。 参考帧选择技术在编码器和解码器都需要额外的帧存，以保证在最大的 系统往返时延内存储过去的图像帧。该技术的n a c k 模式适用于网络状况不太 西南交通大学硕士研究生学位论文第1 5 页 恶劣的情况，编码效率较高，但差错会在往返延迟时间内扩散蔓延。而a c k 模式具有极强的抑制干扰扩散的能力，但当往返延迟较大时，编码效率明显 减低。并且，当往返时延较大时，此时选择的参考帧和当前帧的相关性可能 非常低，从而会引发大量的帧内编码。 1 t 4 2 无等待重传技术 传统的自动重传请求技术是在发送方将要发送的数据帧附加一定的冗 余检错码一并发送，接收方则根据检错码对数据进行差错检测，若发现错误， 就返回对出错数据重传的请求，发送方收到要求重传达的请求后，便重新传 送该帧的相关信息。为了重传数据，解码器的典型实现将不得不在处理相继 收到的数据前等待所请求的重传数据的到来。实际上，这是不必要的，在某 些视频传输应用中也是不允许的。用重传信息来恢复丢失的信息而不引入额 外的延迟是可能的。例如第帧数据受损时，为恢复受损数据向编码器发出 一个重传请求。这时解码器不用等待重传数据的到来，而用所选择的差错掩 盖方法对受损的视频部分先进行掩盖。然后，重新开始正常的解码，同时记 录下受到影响的象素及相关的编码信息( 如宏块编码模式和运动向量) 的跟 踪情况。然后根据例如在第+ 丘帧到来的重传数据，纠正那些受到影响的 象素，使得它们好像没有发生传输差错一样被重建出来。纠正信息是由重传 数据和所记录的跟踪情况得到的。这就是无等待的重传技术 】。 这种技术消除了与传统方案有关的延迟，而且不会损害视频质量。但它 的主要缺点就是实现的复杂度相对较高，而且当信道状况较差时会引发大量 的重传数据，从而影响系统性能。因此，在具有大量数据的视频传输和信道 带宽有限的条件下，这种技术难以得到实际的应用。 1 5 论文组织结构 本文结合西南交通大学科技发展基金项目“视频差错控制中的关键技术 研究”( 编号：2 0 0 2 a 0 4 ) ，就视频差错控制技术中基于反馈的编解码交互式 差错控制技术进行了研究，并重点研究了基于反馈的正向差错跟踪技术、基 于反馈的率失真优化这两种技术，最后在新一代视频编码标准h 2 6 l 平台上 西南交通大学硕士研究生学位论文第1 6 页 对算法进行了模拟实现。本文的结构组织如下： 全文共分四章，第一章为绪论，介绍了视频编码标准的技术发展概况和 新一代的视频编码标准h 2 6 l ，并讨论了交互式视频差错控制技术的研究背 景和现状。第二章紧接着引入了基于反馈的正向差错跟踪技术，并在对其进 行进一步扩展的基础上将其应用于h 2 6 l 编码标准中。第三章主要针对第二 章正向差错跟踪技术的不足之处，引入了基于反馈的率失真优化技术，并根 据实现算法的复杂度给予了分别讨论和实现。第四章是本文的结论部分。 西南交道大学硕士研究生学位论文第1 7 页 第2 章视频正向差错跟踪技术 差错跟踪技术只对当前帧中受到差错“污染”的宏块进行帧内编码，不会 带来数据量的急剧增加，同时如果选择很小的“差错阙值”，还可以从根本上 阻断差错的进一步扩散。本章中将正向差错跟踪的思想引入h 2 6 l ，并对其 算法作了进一步的扩展，提出了多帧分级更新策略，使得差错跟踪恢复后的 比特率得以平滑地过渡。然后在t m l 9 0 框架下对这种算法进行了实现。 2 1 基本差错跟踪技术 2 1 1 差错跟踪的提出 第3 帧第1 1 帧 第2 1 帧第3 1 帧 图2 1 视频的差错扩散 在基于i p 的互联网和移动通信中，由于不能提供可靠的q o s ( 服务质量) 保证，视频数据不可避免的会出现错误，这种错误在基于i p 的互联网上表现 为丢包，而在移动通信场台，则主要表现为误码。这些错误如果得不到及时 和准确的纠正，就会在后续的视频流中造成错误的扩散，从而最终使得视频 的质量严重恶化，图2 一l 给出的就是s u z i e 序列第3 帧丢失一个g o b ( g r o u p 亘童窒通盔堂亟盈窭生堂焦迨窒蔓! ! 夏 o f b l o c k ) 后的错误扩散示意图。 差错跟踪技术是一种基于反馈的交互式差错控制技术，该思想最早由德 国科学家e s t e i n b a c h ，f a r b e r 等人提出 1 ”。它基于如下思想：一方面解 码器所进行的差错控制技术不能从根本上解决差错的扩散问题：另一方面， 能够完全消除视频差错扩散的帧内编码技术又会带来无法接受的数据量的剧 增。因此希望在数据置和差错恢复的效率之间找到一个折衷的方法，来找出因 为前面某一帧的某些宏块出错，而扩散使之受到污染的当前帧中的宏块，然后 仅仅把这些受到污染的宏块进行帧内