（计算机应用技术专业论文）基于反馈的视频数据差错恢复技术的研究与实现.pdf

酉亩窑通太鲎盟究生掌僮诠空簋! 页 摘要 ， 、i 随着人们生活水平的提高，视频会议，视频电子邮件，可视电话等数字 视频通信应用需求的增加，越来越需要在公用电话网( p s t n ) 或无线网络中 传输视频数字信号。但是，公用电话网和无线网络的带宽是及其有限的，而 且这些线路上极其容易发生错误。并且人们在使用这样的系统时希望信号延 时小，能够实时的得到对方的响应。于是，就需要一种压缩率大，适应实时 信道，能有效抵抗信道错误的编码方式。 在现在流行的视频编码标准中( 例如h 2 6 3 + ) 均使用可变长编码( v l c ) 来获得高效的压缩比。但是v l c 编码对错误极其敏感，一旦某一位数据出错 ( 最坏的情况下是丢失数据包) ，解码器就不得不丢弃部分数据( 甚至是整个 帧) 。这样错误数据会形成空间扩散。而且，由于编码器利用帧间预测来降低 数据量，导致错误数据又会在时间域上进行扩散。因此视频数据需要较优的 错误恢复技术来克服视频编解码的先天缺陷。) 本论文首先较为详尽地分析了h 2 6 3 + 编解码系统结构。其次，总体上描 述了差错恢复技术。最后详细论述了适用于易错环境中实时应用开发的差错 掩盖、差错跟踪和奇偶g o b 分别打包传输技术，并且给出了它们的模拟结果。 差错掩盖较为简单，但却能较大幅度的提高重建视频的主观效果。差错跟踪 技术在编码器方实现，它通过把受错误感染的宏块重新采用帧内编码模式来 中止错误的扩散。该技术的实现仅需要少量的存储空间而且算法灵活，满足 实时应用的开发。此外，如果将一帧数据的奇序号g o b 和偶序号g o b 分别 放入不同的数据包( 奇包与偶包) 在基于i p 的网络上传输，即使发生丢包的 情况，重建数据也能获得较好的视觉效果。 关键词：差错跟踪；错误恢复；视频编码；视频传输；h ￥+ a b s t r a c t w i t ht h ed e v e l o p m e n to fh u m a n sl i v i n gl e v e l ，t h ed e m a n df o rd i g i t a lv i d e o c o m m u n i c a t i o ns u c ha sv i d e oc o n f e r e n c i n g ，v i d e oe - m a i l i n ga n dv i d e ot e l e p h o n y h a si n c r e a s e dc o n s i d e r a b l ys ot h a tt h e s ed i g i t a ls i g n a ls h o u l db et r a n s m i t t e do v e r t h ep u b l i cs w i t c h e dt e l e p h o n en e t w o r k s ( p s t n ) o rw i r e l e s sn e t w o r k s w h e n u s i n g t h e s e s y s t e m s ，p e o p l eh o p et h ea p p l i c a t i o n sh a v er e l a t i v e l yh i g hr e l i a b i l i t ya n d s m a l ld e l a y s b u t ，t r a n s m i s s i o nr a t e so v e rp s t na n dw i r e l e s sn e t w o r k sa r es t i l l l i m i t e d f u t h e r m o r e ，p s t na n dw i r e l e s sn e t w o r k sa r ee r r o rp r o n ee n v i r o n m e n t t h u s ，ac e r t a i nm e t h o d sc o m p r e s s i o np e r f o r m a n c ea n dc h a n n e le r r o rr o b u s t n e s s l e v e ls h o u l db ea c h i e v e dw i t he f f i c i e n ts o u r c ec o m p r e s s i o na n de r r o rr e s i l i e n c e a l lc u r r e n tv i d e oc o d i n gs t a n d a r d ss u c ha sh 2 6 3 + e m p l o yv a r i a b l el e n g t h c o d e s ( v l c ) ，t oa c h i e v eh i g hc o m p r e s s i o ne f f i c i e n c y h o w e v e li na ne r r o rp r o n e e n v i r o n m e n t ，b i te r r o r ( t h ew o r s t ：p a c k e tl o s s e s ) m a y l e a dt ot h el o s so f s y n c h r o n i z a t i o na tt h er e c e i v e rw h i c hc a ni nt u r nl e a dt ot h el o s so fm a n yv i d e o b l o c k sa n dp o s s i b l yf l u m e s s oe r r o rd a t ac a u s e s s p a t i a l e r r o r p r o p a g a t i o n m o r e o v e lw eu s ep r e d i c t i o nc o d i n gp r o c e s s t oa c h i e v e h i g l lc o m p r e s s i o n e f f i c i e n c y ，e r r o rd a t as t i l lc a u s ee r r o r st op r o p a g a t ei nt h et e m p o r a ld i r e c t i o n s o v i d e oo p t i m i z e de r r o rr e s i l i e n c et e c h n i q u e sa r en e c e s s a r yd u et ot h en a t u r eo f v i d e oc o d e c n l i st h e s i sf i r s tn a r r a t eh 2 6 3 + e n c o d e d e c o d es t r u c t u r e t h e nb r i e f l yt e l lo f t h ep r o g r e s so fe r r o rr e s i l i e n c e a tl a s tt h r e et e c h n i q u e so fe r r o rr e s i l i e n c ea r e p r e s e n t e d t h a ta r cs u i t e df o rr e a l - t i m ei m p l e m e n t a t i o ni ne r r o r - p r o n ee v n i r o n m e n t s a n dt h e i rs i m u l a t i o nr e s u l t sa r es h o w e d n 坨f i r s tt e c h n i q u ei se l t o rc o n c e a l m e n t i ti s s i m p l e ，b u te f f e c t i v e l y e l e v a t ef r a m e s q u a l i t ys u b j e c t i v e l y t h e s e c o n d t e c h n i q u ei se r r o rt r a c k i n g i ti si m p l e m e n t e d a tt h ee n c o d e r i tc a nt e r m i n a t e dt h e e r r o r - p r o g a g a t i o na f f e c t sb yi n t r ar e f r e s h i n gt h ea f f e c t e dm a c r o b l o c k s i t sl o w m e m o r yr e q u i r e m e n ta n df l e x i b l ea l g o r i t h m si nc o m p l e x i t ya r ep a r t i c u l a r l ys u i t e d 酉蘑至通太堂班盔生堂僮论文簋l l ! 页 f o rr e a l t i m ei m p l e m e n t a t i o n t h et h i r dt e c h n i q u ei so d da n de v e np a c k e t i z a t i o n s u i t e df o rr e a l - t i m ei m p l e m e n ti ni n t e m e t i f o d da n de v e n p a c k e t i z a t i o nt e c h n i q u e c o o p e r a t e 、i me r r o rc o n c e a l m e n ta n d e r r o rt r a c k i n g t h ev i d e ow i l la c h i e v eg o o d v i s i o n q u a l i t y k e yw o r d s ：e r r o rt r a c k i n g ；e r r o rr e s i l i e n c e ；v i d e oc o d e c ；v i d e ot r a n s m i s s i o n ； h 2 6 3 + 酉直窑通太掌班究生堂僮论空簋! 亟 1 。1 问置的提出 第一章绪论 h 。2 6 3 + 【1 j 是i t u ( 国际电信联盟) 于1 9 9 8 年底制定的甚低速率( v e r yl o w b i t r a t e ) 视频传输标准。该标准适用于视频会议或采用p s t n ( 公用电话网) 的可视电话。h 2 6 3 + 使用传统的编码理论，即将图像固定的划分为1 6 1 6 的宏块，采用基于时域特征的运动向量补偿，8 8 微块的d c t 变换和可变长 编码( v a r i a b l el e n g t hc o d i n g v l c ) 。 由于h 2 6 3 + 的码流采用v l c 编码，导致h 2 6 3 + 的码流对错误非常敏感， 严重时甚至一个比特的错误都会引起差错的扩散并使得解码器无法正常工 作。在v l c 编码中，由于码流的每一个码字占用比特位数都不一样，一旦某 一位数据出错，解码器无法判断该出错数据所在码字在何处结束，从而不可 能判断出下一个有效码字从何开始，这样解码器就不得不丢弃部分数据，而 寻找下个同步字头( 一般是g o b 头部控制信息) 。这就导致错误数据在空间 域上的扩散。 另外，h 2 6 3 + 使用运动向量补偿原理进行压缩，帧间( i n t e rm o d e ) 宏块使用前面参考帧的数据进行预测，如果将出错帧作为当前宏块的参考帧 进行预测就会引起错误在时间域上的扩散。图1 1 给出了视频测试序列 “s u z i e q c i f 中的第3 帧丢掉一个g o b ( 包括运动向量和运动补偿预测差值) 之后，错误在解码器的扩散情况： a ) 第3 帧 b ) 第1 1 帧 酉亩窒通太堂班究生堂僮i 金文筵2 豆 1 2 解决途径 a ) 第2 l 帧b ) 第3 1 帧 图l - 1 视频测试序列“s u z i e q c i f ”差错扩散示例 消除锯码器错误的一个简单办法是编码器后退重新从出错帧开始传输，即 a r q ( 自动请求重传) 技术，该办法的主要弊端是解码器要停顿等待重传回来的 正确信息，并且要求编解码器双方都要保存连续几帧的数据，因此，在具有 大量数据视频传输和信道带宽有限的条件下，a r q 技术几乎是不可能的。其 它一些纠错机制如非均匀出错保护( u n e q u a lp r o t e c t ) 等，则需要修改h 2 6 3 语法，产生的数据与标准码流不兼容。而差错掩盖( e r r o rc o n c e a l m e n t ) ，虽 然能够较好地将错误掩盖掉，并且能一定程度地控制错误在解码器方的扩散。 但是，由于差错掩盖是利用相邻帧对正确信号的一种机械猜测，并不能够彻 底完全得消除错误。为了减少后序帧数据对前面参考帧数据的依赖性，编码 器每隔一定帧数采用帧内编码模式( i n t r am o d e ) 压缩一帧图像能够消除 错误在解码器方的扩散，但它造成的数据过多，降低了压缩效率，这在低速 率传输中是不允许的，因为并不是该帧的每个宏块都需要进行帧内编码。 差错跟踪 2 1 技术是在不改变标准的情况下，编码器借助解码器通过反馈信 道传来的图像受损信息，根据事先保存下来的运动向量，依照差错扩散规律， 在编码器方评估解码器受损情况，并跟踪到当前待编码帧，确定出哪些宏块 需要采用帧内编码模式，以此来消除错误。该方法不需要重传损失的数据， 因而没有等待延迟，要求信道带宽也较少，且增加c p u 运算不多。 基于反馈信道的差错跟踪技术最早由e s t e i n b a c h , n fr b e r 等人提出【2 】， 它用帧内编码模式更新受错误扩散影响的宏块，并使用一种经过改进的a r q 技术来减少移动网络的突发错误和解码器方的错误扩散，以此提高差错跟踪 的效率。文献【3 】【4 】对差错跟踪技术同其他基于后向反馈信道的错误控制技术 酉亩窑通太望班宜生堂焦论空堇3 豆 进行了较为全面的横向比较和介绍。而文献【5 对差错跟踪技术进行了较为深 入的研究，并给出了几种快速算法。 在i n t e m e t 上传输视频数据时，数据的丢失的表现形式一般是丢包。因此 本文采用了一种满足实时应用的视频数据打包策略，并在不同的丢包情况下 对错误数据的恢复进行了仿真实验。 第二章h 2 6 3 + 编解码系统分析 2 1 输入输出 h 2 6 3 + 所支持的视频输入与输出格式采用“通用中间格式( c o m m o n i n t e r m e d i a t ef o r m a t ) ”系列或自定义格式。 需要注意的是h 2 6 3 + 并非与m p e g 1 和m p e g 2 一样是系统级标准，即 不仅有视频编码，而且还有音频编码和系统层的协议内容( 包括复用和同步 时基) ，因此m p e g 系列考虑比较完备，但是它们却将信源( 视频编码) 与信 道编码完全分离。h 2 6 3 + 贝t 不一样，它将视频编码和信道编码相结合，却不 包括音频编码和系统层。所以h 2 6 3 + 在使用时还需要其它一系列i t u t 建议 的配合。 2 2 采样与采样频率 视频采样信号比值( y ：c b ：c 0 是4 ：2 ：0 ，取样位置如下 xxxxxx oo o xx xx x x xxxx xx oo o xx xx xx xx xx xx oo o xxxxxx x 亮度信号取样 o 色度信号取样 块边界 图2 - 1亮度与色度信号取样位置 h 2 6 3 + 的图象采样频率是视频信号行频( v i d e ol i n er a t e ) 的整数倍。此时， 采样时钟频率和网络时钟频率是不一样的。 酉亩变通太堂班究生堂僮j 佥空簋豆 2 3 信源码算法 h 2 6 3 + 核心算法仍然使用混合编码，即利用帧间编码消除时间域上的冗 余，利用变换编码消除空间域上的冗余。解码器具有运动补偿能力，允许在 编码器方使用多种可选模式。运动补偿时可以使用半象素精度( h 2 6 1 只允许 使用整象素精度) 。使用可变长编码。 h 2 6 3 + 除了使用上面提到的核心算法，还可以使用1 8 种可选编码模式： 1 多点和视频多路模式( c o n t i n u o u sp r e s e n c em u l t i p o i n t a n dv i d e o m u l t i p l e xm o d e ) 2 无约束运动向量( u n r e s t r i c t e d m o t i o n v e c t o r m o d e ) 3 基于语法的算术编码模式( s y n t a x - b a s e d a r i t h m e t i cc o d i n gm o d e ) 4 先进预测模式( a d v a n c e d p r e d i c t i o nm o d e ) 5 p b 帧模式( p b f r a m e sm o d e ) 6 前向纠错( f o r w a r d e r r o rc o r r e c t i o n ) 7 先进帧内编码模式 8 去块效应滤波模式( d e b l o c k i n g f i l t e rm o d e ) 9 切片结构模式( s l i c e s t r u c t u r e dm o d e ) 1 0 补充的增强信息( s u p p l e m e n t a l e n h a n c e m e n ti n f o r m a t i o n ) 1 1 增强p b 帧模式( i m p r o v e d p b - f l a m e sm o d e ) l2 参考帧选择模式( r e f e r e n c ep i c t u r es e l e c t i o nm o d e ) 1 3 时域、s n r 、空间域分级( t e m p r o a l ，s b l l l a n ds p a t i ms c a l a b i l i t y ) 1 4 参考帧重采样模式( r e f e r e n c ep i c t u r er e s a m p l i n gm o d e ) 15 低分辨率刷新模式( r e d u c e d - r e s o l u t i o n u p a a t e m o d e ) 1 6 独立段解码模式( i n d e p e n d e n ts e g m e n td e c o d i n gm o d e ) 1 7 可替换的帧间v l c ( a l t e r n a t i v ei n t e rv l c ) 1 8 可变量化步长模式( m o d i f i e dq u a n t i z a t i o nm o d e ) 酉亩奎通太堂班究生堂僮论文簋亟 2 4 编码结构 2 4 1 图象的分割 h 2 6 3 + 将每帧图象划分为块组( g o b ) 或切片。 一个g o b 由p 1 6 线( 一行完整的象素) 组成，k 值的确定依赖于图象的 格式和是否使用了低分辨率刷新模式，如表所示。 表2 - 1确定g o b 大小的系数k 的取值 垂直方向上线使用低分辨率刷新不使用低分辨率刷格式 的数目模式时k 的取值新模式时k 的取值 4 ，4 0 0 2 l s u b - q c i f , q c i f , c i f 4 0 4 ，8 0 0 224 c i f 8 0 4 ，1 1 5 2 441 6 c i f 每个g o b 又细分成一些宏块，宏块的大小依赖于是否使用了低分辨率刷 新模式。如果没有使用该模式，则宏块的大小为1 6 象素1 6 象素，宏块中又 分为4 个8 x8 ( 象素) 的亮度块和两个色度块；如果使用低分辨率刷新模式， 则宏块的大小是3 2 象素x3 2 象素，而4 个亮度块和两个色度块尺寸是1 6 1 6 象素。每帧中各个层次的结构的序号按照从左到右，从上到下的顺序增加。 图象层： ；9 媲j 苎璺旦i ：宏块层： _ 矧 图2 - 2帧的划分层次 2 4 2 码流结构 h 2 6 3 + 的码流结构较为复杂，但大体可分为4 层：图像层，g o b 层，宏 块层和块层。 图2 - 3h 2 6 3 + 码流结构方块图表示 实际码流数字表示如下( 其中内为有效数据) ： d i c t u r es t a r tc o d e ：0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 ” g r o u pn u m b e ri np i c t u r eh e a d e r ：0 0 0 0 0 t i m er e f e r e n c e ：0 0 0 0 0 0 0 0 s p a r e ：1 ” a l w a y sz e l of o rd i s t i n c t i o nw i t hh2 6 1 0 ” s d l i ts c r e e ni n d i c a t o r ：0 d o c u m e n tc a m e r ai n d i c a t o r ：0 f r e e z ep i c t u r er e l e a s e ：0 s o u r c ef o r m a t ：。0 1 0 p i c t u r e c o d i n g t y p e ：。0 ” m y o u t s i d e f r a m e ：0 s a c c o d i n g ：0 a d vp r e d m o d e ：0 p b c o d e d ：0 ” q u a n t ：0 1 1 0 l cpm：0”pei：0 m b r i r ：0 c b p c m ( c b p = 6 0 ) ( c b p c m = 3 ) ：。1 c b p y ( c b p = 6 0 ) ( c b p y = 0 ) ：1 1 。 c o c 船n e c k o ： g o bs y n c ( g b s c ) ：0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 g n ：。0 0 0 0 1 g f i d ：0 0 删a n t ：0 1 1 0 1 蚰一n r ：1 1 c b p c m ( c b p = 6 0 ) ( c b p c m = 3 ) ：1 。 c b p y ( c b p = 6 0 ) ( c b p y = 0 ) ：1 1 c o e f f sb l o c k0 ： d c ：1 0 1 0 1 1 加。 r u n ：0l e v e l ：- 1 2c o d e ：0 0 0 0 0 1 0 0 0 0 0 1 r u n ：0l e v e l ：1c o d e ：1 0 0 图2 4 实际码流结构图 图像头 宏块头 g o b 头 块数据 、lr，、lf、rj 酉亩变通太望班究生堂位途室簋g 厦 码流中，除图象层开始码需要字节对齐外，其它编码没有特别要求一般不 需要对齐。 2 5 缩，解码流程 视 输 t 变换编码 q 量化p 帧存c c 编码控制 a 传输系数量化索引t 是否传输标记v 运动向量 q z 量化器指示p 帧内 9 贞间模式标记 图2 - 5h 2 6 3 + 编解码器结构 2 5 1 编码 1 预测编码 编码时采用预测编码的的称为帧间( i n t e r ) 模式；没有采用预测编码的 视路编；入多用骀鬻嚣 磅 p o 孵 q v 匿亩奎通太室班究生堂僮i 金空筻2 更 称为帧内( i n n 认) 模式。帧内编码模式可以出现在图象层( 对应帧称为i 帧) 也可出现在图象层采用帧间编码( 对应帧称为p 帧) 的宏块层( 与帧间 编码模式的其他宏块并存) 。b 帧指通过前后两个p 帧预测而来的帧。 佳匹配宏块 前一帧当前帧 图2 - 6运动预测与运动补偿 h 2 6 3 + 的预测编码的实质是把当前帧中的每个宏块( 块) 在参考帧中的 最佳匹配块找出来，然后求差，最后对差值进行编码。而宏块与最佳匹配块 之间的位移就是h 2 6 3 + 编码中非常重要的概念运动向量。寻找最佳匹配 块的过程被称为运动预测。运动向量与差值信息一同传递到解码方，解码器 利用运动向量和它保存下来的参考帧信息，找出对应宏块的预测值，然后加 上传递过来的差值信息，从而重建出本帧信息。这个过程称为运动补偿。 运动预测与运动补偿的基本假设是：当前帧中的象素是从参考帧中平移而 来，即图象没有变形。在运算时，基本计算单位( 宏块) 中的所有象素相对 位置保持不变。于是，每个宏块中的象素共用一个运动向量。 当确定了参考帧( 在h 2 6 3 + 中一般是前一帧) 之后，就可以进行运动预 测以求出最佳匹配块和运动向量。求最佳匹配块的过程其实就是块匹配的过 程。求块匹配涉及较多算法，但使用最广泛的是绝对差值和( t h e s u m o f - a b s o l u t e d i f f e r e n c e s ：s a d ) 驴i - j ( k ，1 ) - b i _ u j _ v ( 圳( 2 - 1 ) b i , i ( k ，1 ) ：当前帧中某一象素的值； b 。j ，( k ，1 ) ：前一帧某一象素的值； 州 | das 酉亩变通太堂班究生堂僮诠塞筮! q 亟 ( 巧) ：宏块坐标 ( k ，1 ) ：象素在宏块中的坐标 ( u ，v ) ：运动向量值 最佳匹配块是使得s a d 值最小的前一帧中的宏块。 假设运动向量水平和垂直分量的最大值为l ，那么搜索窗口是以当前宏块 为中心，大小为( 1 6 + 2 l ，1 6 + 2 l ) 的正方形。 最佳匹配块的搜索可以使用全象素，也可以使用半象素。但h 2 6 3 + 使用 半象素精度。半象素精度是在参考帧的基础上使用简单的双线性插值来实现 ( 图2 7 ) 。 ab整象素位置 a o b ，o半象紊位置 o c o a 薯黼悄。洲豫蝴 c ( a + c + l r c o n t r o l ) 2 cd d = ( a 十b + c + d + 2 r c o n t r o l ) 4 图2 7使用双线性插值的半象素精度预测 说明：如果图象头部指示该帧为扩展( e x t e n d e d ) p t y p e 时r c o n t r o l 等于m p p t y p e 的第六位比特值：其他情况下均为零。但在改进p b 帧模式中， b 帧的r c o n t r o l ，无论什么情况发生都置为零。 预测编码通过减少视频序列的时间域冗余，极大的降低了数据量。这属于 无损压缩，但是考虑到预测编码产生的数据还要经过量化，而量化属于有损 编码。这样当长时间使用预测编码之后，量化产生积累误差导致参考帧数据 不准确，从而引起预测编码的质量下降。于是，h 2 6 3 规定每隔1 3 2 个p 帧必 须出现一个i 帧。 2 变换编码 h 2 6 3 + 采取8 8 大小的d c t 变换，因为8 8 d c t 变换简单，有效、容 易用软件或硬件来实现，且数据块变换后边界效应不明显。其定义式如下： c m n = a ( m ) p ( n ) 喜缸c o s c 等产沁呱堕篙马 陋z ， 互亩窑通去堂班究生茎僮论室筻! ! 西 其中0 m ，r l s 7 ， ，厅 lj i当m = n = 0 时； a ( m ) = p ( n ) = 。 oj i 其它，0 m ，n 7 ； h 2 6 3 + 支持7 中基本编码模式的图象格式：i n t r a ，i n t e r ，p b ，i m p r o v e d p b ，b ，e l ，e p 。 3 量化 块数据经过d c t 变换之后，块数据分为直流分量和交流分量。由于人眼 的感观对直流分量比对交流分量更加敏感，因此直流分量和交流分量使用不 同的量化器。直流分量使用步长较小的量化器，交流分量使用步长较大的量 化器。 当没有使用改进帧内编码模式和可变量化步长模式时，h 2 6 3 + 系统存在 3 2 个量化器，1 号量化器( 步长为8 ) 用于帧内编码块的第一个系数( 直流系 数d c ) ，其余3 1 个量化器用来量化其它系数( 交流系数) 。这3 1 个量化器的步 长取值范围是2 6 2 之间的偶数。但是要注意的是同一块中的交流系数使用 相同的量化器，而块与块之间可以不同。 r 量化运算公式为c ：。= 丢业，0 m ，n 7 ( 2 3 ) v m “ 量化属于有损压缩，它造成数据丢失，重建帧无法还原为原始图象。量化 步长的确定是按照人眼对图象的接受程度确定的( 经验值) 。 4 熵编码 h 2 6 3 + 中的熵编码是通过可变长编码( v l c ) 来实现的。 熵编码的对象分为运动向量和量化之后的d c t 系数。 编码时首先根据当前宏块周围的宏块的运动向量值得到本宏块的运动向 量预测值，然后求本宏块实际运动向量与其预测值的差值，将差值提交给熵 编码器编码。 酉直奎通太堂班究生茔僮i 金文簋1 2 亟 夕厂71 厂夕厂夕 。 一 ， c，叶 y 。 ，1 ) z zz = 3 5好 3 0 3 5较好 2 5 3 0 可接受 2 0 2 5差 2 0 以下不可接受 ( 2 - 9 ) 酉酉窑通太堂班宝生堂僮论塞墓! 页 2 6 2 图象质量：主观评价 采用信噪比来评价图象质量并一定可靠。因此重要的评价还需使用主观评 价。主观评价的任务是要把人对图象质量的主观感觉与客观参数和性能联系 起来。 主观评价试验的准确性表现在试验结果的可重复性，或者说要求主观评价 试验结果具有足够的置信度，这要求试验各方面的条件严格规定。主观测试 可分为3 种类型，都有各自的分级标准和测试规程： 质量测试：观察者应评定图象的质量等级； 损伤测试：观察者评审出电视图象的损伤程度； 比较测试：观察者对一幅给定图象和另外一幅图象做出质量比较： 第三章差错控制简介 视频差错控制如图5 1 所示。视频编码器产生的差错主要是来源于两类： 第一类是由于编解码系统本身固有特性产生的，如有损压缩( 量化误差) 和 率失真( r a t e d i s t o r t i o n ) 。第二类是信道差错，它是由于传输中的干扰而带来 的。 r 。一一一一。一。一。一一。一一一一一一一。一一一1 视 频 输 入 图3 - 1h 2 6 3 + 传输差错控制图 酉亩变通太堂班究生堂僮论立整1 8 亟 3 1 错误检测与重同步 视频编码数据在通过信道传送时，除了利用传统的f e c ( 前向纠错： f o r w a r de r r o rc o r r e c t i o n ) 编码对差错进行检纠错外，在解码时还可以利用 h 2 6 3 + 的句法和语义对数据流中的信道差错进行检测。在典型的基于块的视 频压缩中，可以利用下列技术检测数据流中的错误：运动向量超出可能的范 围、v l c 表入口地址非法、d c t 系数超出规定范围、单个块中d c t 系数个 数大于6 4 等等。 当解码器在解码时确定上述任何一种情况发生后，即表明有错误发生， 从而转向差错处理过程。由于解码器通常不可能精确地确定差错发生的实际 位置( 使用r v l c 可逆变长码表的情况除外) 。当检测到差错后，解码器在数 据流中向前搜索，寻找码流的下一个同步字，一旦找到这个同步字，解码器 便又重新回到同步上。但是这样，两个同步点之间的数据就可能被丢弃。以 h 2 6 3 + 为例，在q c i f 格式中，一个g o b 作为解码的基本单位，在g o b 前 插入同步头。如果在传输过程中发现有差错，通常整个g o b 被丢弃。 h 2 6 3 + 中最重要的数据恢复( d a t ar e c o v e r y ) 技术便是r v l c ( r e v e r s i b l e v a r i a b l el e n g t hc o d i n g ) 【1 7 】技术。r v l c 是一系列特殊的v l c 编码，它们具 有一些特定的前缀特性，使其在正向和逆向均能得到唯一的解码。这些优点 在于，当解码器在正向解码检测到错误时，它便跳到下一个重同步点，然后 从反方向对数据流进行解码，直到遇到错误信息。这样，依靠双向的定位， 解码器可以恢复那些将被丢弃的数据，仅有极少数错误数据被真正丢弃。 例如h 2 6 3 + 中非常重要的数据运动向量就使用了r v l c 。为了减少 数据量，实际中真正编码的运动向量差值( 其单位插值之后的半象素精度) ， 即本宏块运动向量减去运动向量预测值。运动向量差值r v l c 编码方式如表 3 一l 所示： 酉亩蛮通太掌班宝生堂焦i 金室簋1 2 亟 表3 - 1 h 2 6 3 + 运动向量差值r v l c 编码 运动向量差值 编码 位数 ( 半象素精度) o ll l o s o3 “) c 0 ”+ 2 ( 2 3 ) o x o l s o5 “x i x 0 ”+ 4 ( 4 7 )0 x l l x o l s o 7 “x 2 x l ，c o ”+ 8 ( 8 - - 1 5 )0 x 2 1 x i l x o l s o 9 “x 3 x 2 x i ) ( 0 ”+ 1 6 ( 1 6 3 i )0 x 3 i x ：i x l i x o l s 0 i i “x * x 3 x 2 x l x o ”+ 3 2 ( 3 2 - 6 3 )0 x * l x 3 1 x 2 1 x ii x o l s o 1 3 “x 5 x * x 3 x 2 x l x o ”十6 4 ( 6 4 1 2 7 )0 x ，i x * i x 3 1 x 2 1 x l i x o l s o 1 5 “5 x * x j x 2 1 l x 0 ”+ 1 2 8 ( 1 2 8 2 5 5 )o x * i x s i x * i x 3 i x 2 1 x l i x o ls o 1 7 “x i x 6 x s x * x 】x 2 x l x 0 ”+ 2 5 6 ( 2 5 6 - - 5 l i )0 x t l x 6 1 x s l x d x 3 i x z l x l i x o l s 0 1 9 “x i x i x * x s x * x ：i x 2 x i x o ”+ 5 1 2 0 x s l x t l x e l x s l x 4 1 x ) 1 0 2 l x li x o l s o 2 1 ( 5 1 2 - - 1 0 2 3 ) “x g x w x 7 x * x s x 4 x 3 x 2 x l x o + 1 0 2 4 0 x g l x , i x t i x * i x s l x * i x 3 1 x 2 1 x ii x o l s o 2 3 ( 1 0 2 4 - 2 0 4 7 ) “x i o x g x i x t x 6 x s x * x ，x 2 x 1 x o + 2 0 4 80 x i o l x * l x , l x 7 l x 6 1 x 5 i x * l x 3 l x 2 1 x l l x o l s o 2 5 ( 2 0 4 8 q 0 9 5 ) 上表中括号内的数值表示运动向量差值范围。一个运动向量差值化为二进 制形式：l x i x i - 1 x 2 x i x o 。编码时取x i x i _ l x 2 x l x o s ( s 是运动向量的符号。0 为 正，1 为负) 在其前后添加0 ，各数字中间间隔添加1 ，组成实际传输的码字。 例如：如果运动向量差值是一1 3 ，则s = 1 ，1 3 ( 十进制) = i x 2 x i x o ( 二进制) = 1 1 0 1 ( 二进制) ，其实际码字为0 x 2 1 x l l x o l s 0 = 0 11 01 1 1 10 ，共占用9 位。 3 3 前向差错掩董 差错掩盖技术是视频差错恢复中十分重要的一步。 差错掩盖技术可以分为两种：基于时间域的时间外插和基于空间域的空 间内插。如果图象丢失数据较多，空间内插掩盖技术与时间外插相比较效果 就差许多，原因是空间内插使用错误宏块周围的数据来预测错误宏块的值： 如果图象中物体运动比较缓慢( 在h 2 6 3 + 的适用场所) ，而又存在运动向量( 至 少存在预测运动向量) 时，时间外插掩盖技术产生的重建图象适合人眼感受， 效果较好。只有当图象中物体运动剧烈复杂时，预测运动向量预测效果不太 酉亩奎通太堂瑟究生堂焦论塞簋2 q 及 适用的情况下，空间内插掩盖才具有较好的效果。 一般说来，时间外插掩盖技术又可以分为两类：前向差错掩盖( f e c ： f o r w a r de r r o rc o n c e a l m e n t ) 和反向信道差错掩盖( b a c k - c h a n n e lc o n c e a l m e n t ) 。 前者，解码器在解码过程中靠自己力量尽可能减小差错的影响，它适合于多 媒体数据库访问和广播这类的实时非对话服务；后者，解码器在解码过程中 利用反向信道请求编码器帮助其减小差错影响，它适合于可视电话、视频会 议等实时对话系统。本章讨论前向差错掩盖，第七章将论述反向信道差错掩 盖。 前向差错掩盖利用已有信息对错误数据进行掩盖，它主要分为两类【4 1 ： 前帧掩盖技术丢失的图像数据用前一帧中相应的或特定的数据来 代替。例如，假定解码器在某个数据块发现有差错，则可由前一帧中 与之对应的数据块来代替。由于差错检测出来时，实际差错已经发生， 如果假定差错发生在两个数据块之前，则可将这两个块也放弃，而用 前一帧中的三个数据块来代替这一区域。该方法最为简单，当图像中 物体运动较小时，效果很好。 前向补偿帧掩盖丢失的图像数据用前一个运动补偿帧中相应的或 特定的数据来代替。该方法同前面的方法十分相似，但用来进行差错 遮掩的是当前帧的前一个运动补偿帧中的数据，而不是前一连续帧。 当运动向量存在时，该方法可以取得更好的掩盖效果。 在h 2 6 3 + 传输过程中，通常是整个g o b ，或至少是g o b 中的大部分区 域被损坏，因为某一g o b 中间出现的错误，会由于v l c 编码而导致该g o b 中剩余的数据无法正确解码，解码器只有到达下一g o b 的同步头时才能恢复 正常，采用前向补偿帧掩盖技术的一种简单有效方法如下： 1 假定出错g o b 编码模式为帧间编码一掩盖假设； 2 判断丢失出错g o b 是否是该帧的第一个g o b 。如果是则该出错g o b 中的所有宏块运动向量预测误差值均设为零：如果不是则将该g o b 运动向量预测误差值取用它上方的g o b 所含的运动向量预测误差值 一掩盖假设： 3 使用新运动向量误差值，求运动向量一运动向量重建； 4 在参考帧中产生新的预测宏块( 填充块) ，用该宏块的数据直接代替 酉亩窒通太堂班宝生兰僮i 金立墓2 1 豆 相应位置出错的宏块一( 宏) 块重建过程； a ) 未使用差错掩盖b ) 使用差错掩盖 图3 - 3 差错掩盖效果对比 上图是视频序列“f o r e m a n q c i f ”第1 0 帧中序号为3 ，4 ，5 的g o b 丢失 后的情况。( a ) 没有使用差错掩盖，该帧信噪比为1 3 ；( b ) 是使用差错掩盖后 的效果，信噪比是2 3 5 。可见，无论从视觉效果还是客观信噪比数据都表明 差错掩盖极大提高图象质量，而且运算简便，应该提倡使用。 当然对前向补偿帧掩盖方法也可采用较完善的处理方法，如利用多个预 测图像来共同预测一个图像帧。当预测图像都正确时，最后的预测图像则为 西亩变通太堂班宜生堂焦论室簋2 2 亟 预测图像的平均，当其中任何一个差错感染，则只用剩下的正确的数据来预 测， 第n 一 第n 一 图3 _ 4多前向补偿帧掩盖 在差错掩盖处理之后，通常会出现方块效应。因此可以采用后期处理( 滤 波) 技术以减小解码图像中这种的不自然现象。这类方法有两种【6 】： 编码痕迹滤波器( f i l t e r sf o rc o d i n ga r t i f a c tr e d u c t i o n ) ：对编码过程中产 生的如d c t 斑块现象等人工痕迹进行消除，这类滤波器中较好的为 在m p e g 4 附录f 中指定的消除块状和环状的滤波器( d e b l o c k i n ga n d d e r i n g i n gf i l t e r s ) 3 1 。 差错痕迹滤波器( f i l t e r sf o re r r o ra r t i f a c tr e d u c t i o n ) ：用来减小和消除没 有检测出来的信道差错以及差错掩盖后的人工痕迹。如通过结合 m e p g - 4 的v o p 来判断象素值是否