（通信与信息系统专业论文）低比特率视频编码抗误码技术研究.pdf

华中科技大学硕士学位论文 摘要 厂 ( 当今世界数字视频在多媒体和通信领域中的应用越来越广泛。由于视频数据本身数据量 巨大，在对其进行传输或者存贮前必须对这些数据进行压缩。视频压缩技术对数据进行时间 上的预测、空间上的变换和基于统计特性的编码，从而大大减少了冗余，提高了传输的有效 性。无线和互联网协议( ip ) 分组视频通信势在必然，然而实际的无线和ip 信道不可避 免地存在噪声和分组丢弃。由于编码以后的视频码流对误码较为敏感，误码会导致恢复图像 质量的急剧下降，所以抗误码成为无线和分组视频通信的关键技术问题之一。j 作者在现有的 视频编码国际标准、_ i p e g 一4 和h 2 6 3 t 嗝基础上，研究了低比特率视频编码流的抗误码技术， 主要工作和研究成果包括： 测试和研究了i t u t 制定的视频编码国际标准h ，2 6 3 + + 的附加协议u 和v 。测试的内容包 括附加协议u 对视频编码效率的改善和它对编码码流抗误码能力的贡献，以及对附加协 议v 的抗误码性能的评估。掇据测试结果，进一步提出这两个附加协议尚有待改进的地 方以及附加协议v 与其它相关技术的结合应用。 采用h 2 6 3 t + 的附加协议u 中的长期预测( 1 0 n g - t e r mp r e d i c t i o n ) 的概念，提出一种 多帧复合预测的算法，提高预测的准确性。在抗误码方面，该算法有天然的抗误码能力， 通过对多个预测块的组合恢复实现对错误更强的抵抗性。 研究了视频编码中的数据划分( d a t ap a r t i t i o n ) 、基于优先级的非等重保护( u n e q u a l e r r o rp r o t e c t i o n ) 技术以及肝e g 一4 系统层对抗误码技术的支持。 在结合数据划分、非等重保护技术的基础上，提出一种基于率失真模型的信源信道联合 编码算法。在固定的信道输出码率下，通过对数据非等重保护等级的合适选择，使恢复 图像的质量尽可能地高。 关键词：m p e g - 4 、h 2 6 3 + + 、抗误码、长期预测、数据划分、非等重错误保护、信源 信道联合编码、率失真模型、m p e e = 中系绕层一f 华中科技大学硕士学位论文 ! 曼竺! 竺! 竺! ! ! ! ! 竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 苎! ! ! ! 竺! ! ! a b s t r a c t t h eu s eo fm u l t i m e d i ac o m m u n i c a t i o nn o w a d a y si sr a p i d l yb l o o m i n gi nt h ew h o l ew o r l d d u e t ot h e l a r g ev o l u m eo fd i g i t a l v i s u a ld a t a , i ti se s s e n t i a lt oc o m p r e s si tb e f o r et r a n s m i s s i o no r s t o r a g e c u r r e n tc o m p r e s s i o nt e c h n o l o g i e sa r em a i n l yb a s e do np r e d i c t i o no nt i m e ，m a t h e m a t i c t r a n s f o r mi n s p a c ea n ds t a t i s t i c a lc o d i n g b yt h i sm e a n sr e d u n d a n c yi nv i s u a ld a t ai sg r e a t l y r e d u c e da n dt r a n s m i s s i o no rs t o r a g ei sm o r ee f f i c i e n t 1 ti s p r o m i s i n gt ot r a n s m i tc o m p r e s s i o n d i g i t a lv i s u a ld a t ai nw i r e l e s sc h a n n e l o ro v e ri pn e t w o r k , i nw h i c hn o i s e sa n dl o s so f p a c k a g e e x i s t , i nt h ef u t u r e h o wt om a k ec o m p r e s s i o no nd i g i t a lv i s u a ld a t am o r ee r r o rr e s i l i e n ti sam o s t i m p o r t a n tt o p i c f o rm u l t i m e d i ac o m m u n i c a t i o n b a s e do nc u r r e n ti n t e r n a t i o n a lv i s u a l c o d i n g s t a n d a r d ，m p e g - 4a n dh 2 6 3 t h ea u t h o rd i ds o m er e s e a r c ho ne r r o rr o b u s t i c i t yo fl o wb i tr a t e v i d e oc o m m u n i c a t i o n t h i s p a p e ri n c l u d e s ： a f t e rt e s t i n gc o d i n ge f f i c i e n c ya n de r r o rr e s i l i e n c eo ft h ea r t n e xua n dvo fh 2 6 3 + + u n d e r w i n d o w s2 0 0 0 ，s o m es u g g e s t i o n sa b o u tt h e ma r ep u tf o r w a r da n dw a t e r m a r ki s i n c o r p o r a t e di n a l m e xvt oi m p r o v ei t sp e r f o r m a n c e b a s e do nl o n g - t e l t f lp r e d i c t i o n an e wa l g o r i t h mr e l a t e dt om u l t i h y p o t h e s i sf o rp r e d i c t i o ni s s t u d i e dt og e tb e t t e rc o m p r e s s i o n i ta l s oh a ss o m ea c h i e v e m e n t si ne r r o rr e s i l i e n c e s o m er e s e a r c h e so nd a t ap a r t i t i o n u n e q u a le r r o rp r o t e c t i o na n ds u p p o r to fm p e g - 4 s y s t e m l a y e rf o re r r o rr e s i l i e n c e aj o i n ts o u r c e - c h a n n e lc o d i n g ( j s c c ) a l g o r i t h m ，b a s e do nr a t e - d i s t o r t i o nm o d e l ，i n c o r p o r a t i n g d a t ap a r t i t i o na n du n e q u a le r r o rp r o t e c t i o ni st e s t e d t h ea l g o r i t h m f l i e st o i m p r o v eq u a l 崎o f r e c o n s t r u c t e df r a m e sw h i l em a i n t a i n i n go u t p u tb i tr a t ec o n s t a n t e x p e r i m e n tr e s u l ts h o w st h a tt h i s m e t h o di se 髓c t i v e k e y w o r d s ：m p e g 一4 、h 2 6 3 + + 、e r r o rr e s i l i e n c e 、l o n g - t e r mp r e d i c t i o n 、d a t ap a r t i t i o n 、u n e q u a l e r r o rp r o t e c t i o n 、j o i n ts o u r c e c h a n n e lc o d i n g 、r a t e d i s t o r t i o nm o d e l 、m p e g - 4 s y s t e ml a y e r i i 华中科技大学硕士学位论文 图表目录 图3 1 e r p s 模式下编码器框图 图32 附加协议0 的编码程序流图 图3 3 不采用附加协议u 和采用附加协议u 的f o r e m a n 主观效果对比 图3 4 不采用附加协议u 和采用附加协议u 的c o a s t g u a r d 主观效果对比 圈3 5 数据划分的语法结构 图3 6 附加协议v 的解码流图 图37 不采用附加协议v 和采用附加协议v 的c l a i r e 主观效果对比 图3 8 不采用附加协议v 和采用附加协议v 的c o a s t g u a r d 主观效果对比 图3 9 不采用附加协议v 和采用附加协议v 的f o r e m a n 主观效果对比 图3 1 0 数据错误滞后示意图 图3 11 结合水印嵌入的c + d c t + v l c 编码方案 图3 1 2 阀值t 的计算方法 图3 1 3 加入数字水印的编码框图 图3 1 4 普通编码器结构框图 图3 1 j 肝e g 一4 的基本编码框图 图3 1 6 长期预测示意图 图3 1 7 多帧复舍预测示意图 图3 1 8 峰值信嗓比( p s n r ) 为3 4 d b 时参考帧数与输出码率的关系( f o r e m a n ) 图3 1 9 峰值信噪比( p s n r ) 为3 4 d b 时参考帧数与输出码率的关系( m o b i l e & c a l e n d e r ) 图4 1m p e g 4 中数据划分格式 图4 2m p e g 一4 标准采用r v l c 进行错误恢复示意图 图4 3 p e g 4 终端功能图 图4 4a c k 模式 图4 5n a c k 模式 图4 6b c h 码在高斯信道下的性能曲线 图4 7 编码程序方框图 图4 8 解码程序方框图 图4 9 序列图c a r p h o n e 的实验结果 图4 1 0 序列图c l a i r e 的实验结果 图4 1 l 序列图m is s a 的实验结果 图4 1 2 序列图f o r e m a n 的实验结果 图4 1 3 信道输出码率1 2 8 k 时c l a i r e 序列的输出解码图像第1 2 9 帧 表3 1 不同码率下序列图c a r p h o n e 的实验结果 表3 2 不同码率下序列图f o r e m a n 的实验结果 表3 3 码率为1 5 0 k 时序列图像c a r p h o n e 的实验结果 i v 华中科技大学硕士学位论文 表34 码率为2 0 0 k 时序列图像f o r e m a n 的实验结果 表35 图像序列c o a s t g u a r d 的测试数据 表3 6 图像序列f o r e m a n 的测试数据 表37 图像序列c l a i r e 的测试数据 表3 8 图像序列c o a s t g u a r d 的测试数据 表3 9 图像序列f o r e m a n 的测试数据 表3 1 0 图像序列c l a i r e 的测试数据 表4 1 m p e g 4 推荐r v l 的数据和位置 表4 2 序列图c a r p h o n e 的实验数据 表4 3 序列图c l a i r e 的实验数据 表4 4 序列图m i s s a 的实验数据 表4 5 序列图f o r e m a n 的实验数据 一- - - _ _ - _ _ - - - _ - 一 v 华中科技大学硕士学位论文 1 绪论 11 视频编码技术发展概况 随着数字化通信、计算机网络以及多媒体技术的弋速发展，符合人类信息交换方式的多 媒体通信已经成为种不可避免的趋势。有统计表明，人类的感觉器官接收的各类信息中， 视觉类占了近7 0 。这些视觉信息经过数字化后，如果不进行压缩，其数据量之大将导致多 媒体信息完全无法进行应用意义上的存贮和传输。因此，视觉图像数据的压缩成为解决多媒 体通信和存储问题的关键。 香农信息论。和0 l i v e r 提出的脉冲编码调制理论“奠定了图像数据压缩的理论基础，目 前它已经发展成一个重要的研究领域。图像数据压缩技术”通过去除视觉图像数据中存在的 各种相关性来达到数据量压缩的目的。由于图像数据中有相当的数据冗余，而这些数据对于 视觉信息的表达意义不大，只需要把有意义的信息保留下来就可以了，因此图像数据具有很 大的压缩空间。所有的图像编码方法的目的都是去除视觉数据的冗余。在图像数据中，主要 存在以f 几种数据冗余8 ：时间冗余、空间冗余、统计冗余、结构冗余、知识冗余和视觉冗 余等。 根据图像数据中存在的冗余种类，人们提出了许多方法来对数据进行压缩。经典的视频 编码方法有三大类：预测编码、变换编码和统计编码。 1 预测编码 预测编码的基本思想是：根据图像数据的统计特性得到预测值，然后对图像像素与 其预测值的差值信号进行编码，可有效地压缩数据。自适应d p c m 编码是一种较为实用 的预测编码方法“。预测编码方法是目前视频编码标准基本原理之一“”“。帧间预测 如果进一步利用帧间图像运动信息，则发展成为运动补偿技术。 2 变换编码 变换编码的基本思想是利用某种数学变换，消除图像的空间冗余。在变换编码中， 正交变换是影响编码效率的关键。正交变换有：傅利叶变换、沃尔什变换、哈尔变换、 斜变换、余弦变换、正弦变换、k - l 变换和小波变换等。k - l 变换是均方差意义下的最 华中科技大学硕士学位论文 ! 竺= ! ! 竺! ! 竺! ! ! ! ! ! 竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 苎! ! ! ! ! ! ! ! 竺! ! 竺! ! 竺! 佳止交变换。当图像相邻像素间的相关系数接近l 时，k l 变换的基函数接近d c t 变换的基函数。虽然d c t 变换不是最优的变换”，但由丁d c t 变换存在快速算怯且 易丁- 硬件实现”“1 ，因此被广泛应用于视频编码的国际标准中。 3 统计编码 统计编码主要针对无记忆信源，根据信息码字出现概率的特征进行压缩编码。它需 要寻找概率与码字长度间的最优匹配，所以又称熵编码。统计编码均是无失真的压缩 编码方法。常用的统计编码方法有游程编码、哈夫曼编码和算术编码等。一般情况f 由于无法知道信源的概率分布，导致实际应用时哈夫曼编码往往无法达到理论上的最 佳性能。针对未知概率分布的信源，可以设计自适应算术编码器”1 ，以便与其分布相适 应。根据对算术编码和哈夫曼编码在h 2 6 3 实际应用中的统计，算术编码比哈夫曼编 码的效率高5 左右”“。该编码方法主要用于对预测编码和变换编码之后图像系数的进 一步编码。 在t o r r e s 和k u n t 等人的著作”3 1 中，上述的三种编码都被称为第一代编码技术。第一代 编码技术仅考虑了图像及图像序列中的时间冗余、空问冗余和信息熵冗余。其编码方法主要 以象素或象素块作为编码的基本实体，而没有或较少考虑人类视觉系统。除了以上的三种编 码以外，第一代编码方法还包括：脉冲编码调制”矢量量化”9 。2 。”1 以及子带和小波编码”1 “。八十年代初第一代编码技术发展碰到了阻碍，主要是因为其不能提供高的压缩比，不 能在低比特率编码中提供良好的视觉质量。而第二代编码技术在第一代编码技术基础上进 一步考虑了视觉数据中的知识、视觉和结构冗余，通过减少这些冗余提供更高的压缩比。第 一二代编码方法包括：基于分割的编码方法“，基于模型的编码方法“”和分形编码”“等。 基r 分割的编码是把图像数据按照某种语义分成多个实体或对象，对它们分别进行编码，包 括分裂一合并编码方法和基于内容的编码方法等。基于模型的编码首先由瑞典的f o r c h h e i m e r 等人于1 9 8 3 年提出”，主要分为语义基编码和物理基编码。这种编码方法需要对所编码的内 容建立模型，编码器通过图像分析从场景中提取模型参数，并只传输这些参数。解码端利用 这些参数和已有模型就可以恢复图像。它有极高的压缩能力”1 ，如利用线框模型，对可视电 2 华中科技大学硕士学位论文 话中特定头肩压缩后的数据速率可低达5 0 0 b p s 一1 k b p s j “。分形图像编码基于分形几何理论 ”。利用图像自相似性来编码。第二代图像编码方法建立在图像分析和合成、计算机图形学、 计算机视觉以及人工智能的基础上图像数据压缩的发展对相关技术提出了更高的要求，同 时也为人们开拓了更广泛的研究领域。 l - 2 图像及视频编码标准 实际应用中的低码率编码系统一般是多种编码技术的综合应用，这一点充分体现在低 速率视频编码国际标准的制定中。针对不同的应用场合，可以将不同的编码技术结合使用 如子带4 波编码特别适合纹理图像或图像中的纹理区域：基于分割或者形态学算子的编码 特别适合包含尖锐边缘的图像区域；而利用基于线性变换的方法处理图像中文字区域的效果 不大理想动态编码是克服这些缺点的有效方法视频编码标准正是有机地集中了视频编 码领域的鼍新研究成果而形成的商业标准当今国际上主要有两个制定有关视频编码国际标 准的组织：i s o 与i e c 成立的肝e g 和i n j _ t 肝e g 制定的标准有肝e g l 、i g p e g 一2 、m p e g - 4 、 盱e g 一7 和好e g 一2 l 等，1 1 1 j - t 制定的标准有h 2 6 1 ，h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和h 2 6 l 等 1 2 1l t u th 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和 1 2 6 l i t u t 最早开始有关图像与视频编码国际标准的制定，于1 9 9 0 年颁了l i 2 6 1 。i t u - t 制 定了i l2 6 1 后，又制定了i t 2 6 2 。由于h 2 6 2 与m p 既；- 2 的应用背景相近，h 2 6 2 后来很少被 提及但i t u t 面向低速率视频应用推出的标准h 2 6 3 获得了成功在低速率视频编码领域， h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + 有重要影响以下是h 2 6 x 系列标准的特点： f t 2 6 1 1 用于p x 6 4 k b i t s ( p = l ，2 ，3 0 ) 率下视频业务的视频编解码标准。它采用的 技术有i ) c t 编码、帧间预测、运动补偿等，支持c i f ( 3 5 2 x 2 8 8 ) 和q c l f ( 1 7 6 x 1 4 4 ) 两种图 像格式 h 2 6 3 1 是面向低比特率通信的视频编码标准。它从h 2 6 1 的基础上发展来，主要采用 的技术与h 2 6 1 相同，增加了无限制运动矢量、基于语法的算术编码、先进预测、p b 帧四种 3 华中科技大学硕士学位论文 ! ! ! 竺! 竺= 竺竺鼍! 竺! ! ! = ! ! = ! ! ! ! ! ! 竺竺! ! ! ! 竺! ! ! ! ! ! ! ! ! = ! = ! ! 可选模式。支持的图像格式也增加了s u b - q c i f ( 1 2 8 x 9 6 ) 、4 c i f ( 7 0 4 x 5 7 6 ) 和1 6 c i f ( 1 4 0 8 x i l 5 2 ) 三种模式。在小于6 4 k b i t s 的低比特率下h 2 6 3 的编码效果要优于h 2 6 1 。 一 h 2 6 3 + ”是h 2 6 3 的第二版，后向兼容h 2 6 3 。与h 2 6 3 相比，它增加了1 2 个可选的编 码模式：先进的帧内编码、滤波、片结构、附加增强信息，改进的p b 帧、参考图像选择、 时空及s n r 可伸缩、参考图像重抽样、减小分辨率刷新、独立分段解码、可替换的帧内v l c 和修改的量化模式。 l2 6 3 + + ”2 “1 是h 2 6 3 的第三版，它在h 2 6 3 + 的基础上又增a nt 3 个可选的编码模式： 增强参考帧选择模式、数据划分模式和额外增强信息模式。此外。它还考虑采纳仿射运动补 偿、选择系数扫描、误码控制编码及头信息重复等方法。 t u t 于1 9 9 8 年着手制定新的标准h 2 6 l ，它的一个显著特征是在视频编码层的基础上， 新增了网络适配层，提高编码器适应复杂信道的能力“”。 1 2 2i s o i e c m p e 6 系列 i p e g 是运动图像专家组( m o t i o np i c t u r ee x p e r t sg r o u p ) 的简称，它创立于1 9 8 8 年， 其最初使命是制订运动图像及其伴音的编码标准，关于m p e g 的历史及标准可见文献“1 。 m p e g 一1 1 是第一个1 4 p e g 标准。它把运动图像和伴音以1 4 b f o i t s 的比特率压缩在c d 上， 图像质量与盒式v h s 相当，在v c d 中获得广泛的应用。 m p e g 一2 1 是m p e g 的第二个多媒体标准，其大体框架与m p e g l 一样，但- t p e g 一2 的应用 领域更广。m p e 6 2 采用了工具集( t o o l k i t ) 来满足不同应用手工艺要求。肝e g 一2 主要用于 数字电视、d v d 和h d t v 上。 m p e g 一4 ”“1 是于1 9 9 9 年出台的一个新的多媒体标准。它更多的是定义一种格式和框架而 不是具体的算法。它将各种多媒体技术充分应用于编码，其中除压缩本身的一些工具外还包 括图像分析和合成计算机视觉、计算机图形学、虚拟现实和语音合成等技术。i v i p e g - 4 提供 了许多新的性能，提供了基于内容的交互性，定义了音视频对象可以对任意形状的视频对 象编码，可以高效地对自然或合成的多媒体数据编码，高效的压缩性具有更高的编码效率。 。- _ 。_ 。_ - _ _ _ - 。_ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ 。- - _ _ 。- _ _ _ - _ - _ - _ _ _ _ _ _ _ _ 一 4 华中科技大学硕士学位论文 ! ! ! ! 竺兰! ! ! ! ! 竺! ! ! 苎竺! ! ! ! ! ! ! ! ! 竺! ! ! ! ! 皇! 苎! ! 竺! ! ! = 竺! 竺 同已存在或即将形成的其它标准相比，m p e g 一4 在相同比特率下具有更高的视觉、听觉质量。 提供了易出错环境中的稳健性来保证其在许多无线和有线网络以及存储介质中的应用等等。 m p e g 一7 ”是m p e g 从1 9 9 6 年1 0 月开始制订的一个新标准，它的目的是为了高效地描 述和搜索多媒体内容。随着多媒体数据信息与日尉增，从中获得感兴趣的材料变得日益困难， m p e g - 7 就是用来解决上述问题的m p e g 家族新成员它是”多媒体内容描述接口”标准，它 将扩展已存在的内容标识方法，主要是加入更多的数据类型。换句话说m p e g 7 将规定一个 能用来描述不同类型的多媒体信息的标准描述子d e s c r i p t o r 集合它将标准化一些方法来定 义其它描述、子描述、子结构描述方法以及描述子之间的关系。描述即描述子的组合和描述 方法应该伴随内容本身来允许进行快速和高效地搜索用户感兴趣的材料。m p e g 7 还将标准 化一种规定描述方法的语言，即描述定义语言d d l 带有m p e g - 7 数据的视听材料可以被索 引和查找，这些材料包括静止图像、图形、3 d 模型、音频、语音、视频以及这些元素如何 组合成一个多媒体表现的有关信息。这些一般数据类型的特例可以包括面部表情和人的特 征。 m p e g - 2 1 1 是1 9 9 9 年底才开始的一个有关多媒体框架的标准活动。这个活动的目的是， 为了达到对支持电子内容传送的多媒体框架的共同理解，以期”制订s c 2 9 能力范围内的新标 准”。它将是一个与多媒体内容传送有关的标准。严格说来m p e g - 7 和m p e g - 2 1 己不属于编码 标准而应称为多媒体标准。 1 3 视频编码技术的现状和趋势 当前视频编码研究的热点及视频发展的趋势主要集中在三个方面：基于对象的视频编 码、合成自然混合数据编码和健壮的视频编码。 1 3 1 基于对象的视频编码 肝e g 一4 的一个非常重要的工作是制定“基于内容”的编码方法来支持极低码率视频编码 ( v l b v ) 因为它的一个重要的应用目的在于支持移动同和公众电话交换网( p s t n ) 上的多媒体 通信，囡此要求在码率为5 k b i t s s 6 4 k b i t s s 的范围内有较好的图像质量即除了能像 5 华中科技大学硕士学位论文 ! 竺! ! 竺竺! ! ! ! 竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 竺! ! 竺! ! ! ! ! ! 烹! ! 烹! m p e g i 2 目b 样为传统的图像、声音序列提供高效的编码外，还需提供“基于内容”的编码方 式来再现音频和视频数据，旨在利用一种更为灵活的方法使用和再现数据。m p e g 一4 。基于内 容”的编码方式使在压缩域已编码数据这一层次上对音、视频对象进行存取和操作成为可能， 例如：使用者可在图像或比特流中选择一具体的对象( 例如图像中的某个人、某个建筑等) ， 随后改变它的某些特性。基于对象的编码不同于传统的以帧为单位对图像数据进行的编码， 而是将场景划分为多个实体，对每个实体分别进行编码。这种编码方法可以提供高度的交互 性，支持无须额外编码就可进行基于内容的操作与比特流编辑。基于对象的编码可以对任意 形状的视频对象进行编码、传输和解码，但也由此而带来一些新的难题当前基于对象的视 频编码的研究集中在视频对象分割、基于对象的编码技术( 包括对象纹理形状编码及运动估 计算法等) 以及基于对象的速率控制方面。 1 3 2 合成一自然混合数据编码 合成自然混合数据编码( s n h c ) “。1 是用来表示和传输合成一自然的混合数据的技术，是 当前图像视频编码领域的又一个新的研究热点，同时也是m p e g - 4 支持的特性之一。现在越 来越多的实时交互应用需要对听觉视觉信息和2 1 3 、3 d 、计算机图形进行混合编码。音频、视 频和2 d 、3 d 的合成内容要求以不同的格式在不同的计算和显示平台上集成为数字媒体，在办 公室工厂、公共场合和私人场所等工作和娱乐场所进行的实时或交互应用，要求出现新的能 进行公共计算资源、工具、算法及原始数据集成的硬软件环境来传送媒体内容。同时随着 w w w 的出现，视觉听觉数据可用全新的自由度进行交互。然而却存在着许多问题：首先， 视听数据的形式是如此的众多，如视频游戏、机械c a d 、建筑c a d 和医学图像等，但却没有 统一的方法来改变和集成这些数据集，使之成为一个综合的场景；其次，这些视听数据的数 据量是如此的巨大，即使在宽带网络非实时的数据下载应用中也需要进行数据压缩；再次， 在一个真正灵活的环境中场景的一部分可能是实时的数据流如传统的视频，而另一部分可能 由当地的用户控制传送，因此要求有更细精度的事件同步。s n h c 就是为了满足这些需求而 兴起的一个新的研究领域。 6 华中科技大学硕士学位论文 1 3 3 健壮性视频编码 视频编码的目的是压缩视频信息，但是随着视频信息冗余度的减少，视频抗误码能力 也降低t 因此编码的高效性和健壮性成为视频编码系统中的一对矛盾。由于目前通信传输信 道不是理想信道，如i n t e m e t 网络不提供质量保证及无线网络的极低带宽高误码等特性，为了 能够有效地进行视频通信，需要健壮的视频编码技术。健壮视频编码传统上分为两个部分来 考虑：一是在信源编码端设计合适的编码，使编码本身有一定的检测和抗误码能力：另外在 信道中可以加入信道编码，提高信道中传送码流的冗余度从而提高码流的抗误码性能。随着 研究的深入，人们发现单纯地研究信源或者信道抗误码技术无法取得最好的效果，因此需要 联合考虑信源和信道两个方面。在不过度影响编码效率的情况下适当增加些冗余来提高比特 流抗误码能力。目前，信源信道联合编码技术已经成为视频编码研究的热点。h 2 6 3 和m p e g 4 标准是首先考虑编码健壮性的编码标准。它们已经采用了一些健壮编码方法，如h 2 6 3 + 中的 参考帧选择模式“”、h 2 6 3 + + 中的增强的参考帧选择模式及数据划分模式“”和m p e g 4 标准 中采用的可逆变长码”等技术。由于视频编码健壮性能的提高需要考虑编码的各个环节及之 间的配合，高效的健壮编码算法还有待进一步的研究。 目前，视频编码技术正向着更大的灵活性、更高的压缩效率、更强的健壮性和智能性 的方向发展。以后的视频编码技术将不仅仅着眼于传统的编码手段，而是综合应用计算机图 形学、图像处理和人工智能的编码技术。 1 , 4 本论文的研究背景和意义 作者所做的工作受到深圳华为公司的资助，研究方向是低码率视频编码抗误码技术。研 究成果已交付华为公司验收。 1 4 1 低码率视频编码抗误码技术的研究背景和意义 由于当今人们物质文化生活水平的提高，人们对多媒体的应用要求越来越高，以往单纯 的文本和简单图形的电子交流形式已无法满足人们的需要。因此，对包括视频编码在内的多 7 华中科技大学硕士学位论文 媒体编码技术的深入研究不可缺少。尽管宽带网络技术已经得到了长足的发展，但人们对信 息多样性的需求增长更加迅速。为了充分利用有限的带宽资源，必须提高图像数据自9 疰缩技 术，以适应多媒体业务在低码率信道，特别是无线信道中的应用。 对图像数据的压缩固然提高了带宽资源的利用效率，但由于视频数据中的冗余大量减 少，使其对噪声非常敏感。目前的通信信道并不是理想信道，如无线信道的比特差错率一般 在1 0 。以上，有时商达1 0 - 2 。在噪声信道中，运动估计和补偿技术的应用使图像中的错误不 但影响某一时刻的图像质量，而且会影响其后若干帧的恢复效果。特别是在低码率信道中， 由于误码引起的数据丢失造成恢复图像质量的下降将比中高码率信道更加严重。为此，在努 力提高视频编码的压缩性能的同时，还必须考虑编码中抗误码技术。 前人已经做了大量的关于低码率视频编码抗误码技术的研究，有些研究成果已经被现有 的视频编码标准所采纳。目前，人们正在寻找更加有效的算法，以提高低码率条件下视频编 码的健壮性。当前的研究热点包括多描述方案和联合编码等。多描述方案克服了分层技术要 求基本层必须无误传输的缺陷，实行相互独立的多种描述，任何一个描述均可以单独解码且 能对恢复的图像质量有一定的增强；联合编码综合考虑信源和信道状况，利用特定算法在编 码效率和抗误码性能之间进行权衡，达到最可能优化的折衷方案。 在无线多媒体应用越来越广泛的大背景下，怎样提高视频编码的抗误码性能将成为未来 研究的重要方向。 1 4 2 本论文的选题和主要内容 本文的选题主要针对低码率信道中视频编码的抗误码技术进行研究。本人作为2 0 0 1 年度 华基金研究项目的主要研究人员之一，对基于低码率编码系统( h 2 6 3 系列和m p e g 一4 ) 的抗 误码技术进行了一定的研究。研究内容和成果体现在本文以下的章节中。本文共分为五章， 主要内容如下： 第一章为绪论，作为背景知识对当前主要的视频编码标准进行了简要的介绍，概括论述 了视频编码技术的现状和发展。 8 华中科技大学硕士学位论文 第二章结合本文的重点对低码率视频编码的抗误码技术进行比较详细的说明。说明涵盖 了当前抗误码技术的相关内容，并阐述了几种关于抗误码技术的思想。 第三章着重介绍了i t u t 制定的h 2 6 3 1 雾际标准第三版( h 2 6 3 + + ) 对抗误码技术的支持。在 对h 2 6 3 + + 中的附加协议u 和附加协议v 进行程序实现的基础上，详细分析了这两个附加协议 在编码效率和抗误码性能上的效果。最后，采纳附加协议u 中的部分思想提出一种新的运动 估计补偿算法，实现图像数据编码中更高的压缩比和抗误码性能，并给出实验结果和分析。 此外，在附加协议v 的基础上结合易碎的数据水印对该附加协议的抗误码能力进一步进行 实验。 第四章讨论了肝阱一4 中的抗误码技术，对目前该领域的研究热点进行了说明，并提出一 种基于率失真模型的信源信道联合编码算法，实现低码率信道中图像编码的白适应错误保护 策略实验结果证明了该算法的可行性。 第五章是总结，针对下一步的研究做出初步设想，并且提出了作者工作中仍可挖掘的部 分。 9 华中科技大学硕士学位论文 2 低码率视频编码中的抗误码技术 2 1 引言 健壮编码技术对视频流，特别是低比特视频码流和基于对象视频流在信道中的实时传输 有重要的作用。由于编码后的视频流对信道的误码非常敏感，错误会造成解码后视频图像的 质量大幅度降低，甚至不能正确解码，产生丢帧现象。若采用重传技术来进行误码重传又增 加了延时，不满足视频传输的实时性。而健壮性编码技术在考虑尽可能地压缩倍源数据的同 时，恰当加入冗余以提高比特流的抗误码能力，如信源信道联合编码等。这些方法不仅可用 于基于矩形帧的视频编码中，而且可以充分利用基于对象视频流中对象的语义特性如重要程 度等来灵活编码，提高比特流的整体抗误码性能。 2 2 低码率信道中的抗误码技术 如前所述，抗误码技术是低码率信道中视频编码的关键点之一。在低码率信道中，误码 的产生以及由于数据压缩所带来的误码扩散”会严重影响图像恢复质量。抗误码技术”1 是 指无论何时何处检测到误码，都要使为此而丢弃的数据最少，使误码造成的损害最小。抗误 码技术主要分为三类：误码检测与误码隐藏、信源信道联合抗误码及交互式抗误码。 l误码检测与误码隐藏技术 与数据业务的传输不同，视频业务并不要求数据百分之百的正确无误，而是允许信号 存在一定程度的失真。误码隐藏技术利用人眼的差错遮蔽特性，以及视频信号的强相关 性，恢复出人眼可接受的视频信号。 误码检测可以在传输解码层和视频解码层上进行。前者在信道解码环节检测误码，后 者则在视频解码环节检测误码。在传输层添加头信息是常用的一种误码检测方法。例如， 利用协议h 2 2 3 的数据包头中包含数据包的顺序信息，该信息在解码端就可用来检测是 否存在丢包现象1 。前向纠错是在传输层常用的另一种误码检测方法。各种信道编解码 器，如分组码、卷积码、t u r b o 码1 等，均有一定的检错、纠错能力。 由于视频编码器对码流的结构有详细约定，所以可通过检查码流是否符合约定来检测 l o 华中科技大学硕士学位论文 是否发生误码。常见约束有：量化步长不应该为零、d c t 系数的个数不超过6 4 、运动 矢量的取值有一事实上的范围等等。有学者研究了基于d c t 域的误码检测技术】，分别 从v l c 层、同步层和数据层检测误码适用于h 2 6 1 、h 2 6 3 和其它采用i ) c t 的视频码流。 误码隐藏技术包括： 基于运动补偿的时间预测利用受损运动块的运动信息对其恢复，丢包率达1 0 - 2 时， 利用这种方法大约可将图像质量提高l d b ”1 。 平滑最优恢复技术则利用大多数视频信号具有的平滑特征，估计受损块d c t 系数时 通过最小化块内相邻像素空间和时间偏差，以及空间和时间相邻块之间的偏差，使估计 得到的视频信号最平滑。w a n g 等首先在空间域利用这种方法处理静止图像中的受损图 像块丑m 1 等则将其扩展到了时间域中，这时，误差不仅仅是空间域误差，而且还要加 上时间域上的误差。 凸集投影法利用了图像块的带宽有限性。由于它只利用了图像的空间信息，因此 它适用于受损的帧内编码类型图像块，以及静止图像。处理受损帧间类型图像块时，重 建图像块的初始值可以取作前一帧中的运动补偿块，然后利用凸集投影迭代，提高重建 图像质量。 其它的误码隐藏技术还有空域、频域插值法“，运动矢量的恢复技术”1 等。 2 信源信道联合抗误码技术 信源信道联合抗误码技术是在发送端采取的抗误码技术，包括以下几类： 分级编码与分层传输是视频传输系统中最为实用的一种抗误码技术在分级编码 设计中，常常要牺牲基本层的部分编码效率“”编码的分级性虽然对视频传输的鲁棒性 没有直接的贡献，但非常有利于结合不等重错误保护技术，构成一种有效抗误码的信源 信道联合编码方案。 分级编码与分层传输方案下，一般需要保证基本层码流能够无误传输。但这在无线多 径或者包交换网络环境下是难以实现的。一个视频源生成多个码流，即多视频源描述方 华中科技大学硕士学位论文 案是分级编码的一个改进技术。在信道中，多个描述码流被独立传输。在接收端，只要 有一种描述被正确传送，就可以恢复一定质量的视频信号。如果有多个描述被正确传送， 则恢复图像的质量就能得到进一步的增强“。更低层次上的信源信道联合编码技术是 以一定的信道误码统计特征为条件，通过设计量化器和熵编码器，最小化传输误码的影 响。文献”o “的研究表明当信道信噪比小于l o d b 对，与不使用任何误码纠错方案相比， 一般的室外图像的传输质量可以提高5 0 。典型的研究包括面向g s m 1 、瑞利信道“ 等传输环境的研究。 传统信源编码器的设计目标是得到最大的压缩比。如果以此作为源编码算法设计的唯 一准则，势必造成解码端不易恢复误码。健壮性的编码技术是改善这一问题有效方法。 前面已经说到，正是由于图像数据的相关性大大减少导致编码码流对错误的敏感。因 此可以考虑通过加入适当的冗余信息来提高编码健壮性，即编码器在码流中增加辅助信 息，配合解码器作误码恢复。例如，即使是帧内编码模式的图像块，也传送它的运动矢 量。当图像块在传输中受损时，可以利用它的运动矢量从前一帧图像估计受损图像块。 h 2 6 3 允许把图像分成多个”条”( s l i c e ) ，当条独立解码模式启动时，运动预测的范围 被限定在条结构内部。数据分割技术在添加重同步码字的同时，还根据一种事实上原则 对码流进行分割。这样既可以对其中较为重要信息做特别保护，也有利于检测误码是否 发生“。m p e g 一4 1 和h ，2 6 3 + + 1 等编码标准都采用了数据分割技术插入适当的同步标 志后t 如果同时采用了可逆变长编码“，解码可以从两个同步标志开始，按正反两个方 向同时解码，可最大限度地利用正确传输的数据。 前向纠错( f e c ) 技术非常适合在信源信道联合编码中使用。所谓前向纠错，是指信 号在被传输之前预先按一定格式进行处理，在接收端则按规定的算法进行解码，以达到 找出错码并纠错的目的。在信源信道联合编码的过程中，根据信道质量和信源编码的要 求，利用前向纠错编码对视频码流进行保护，可以取得较好的效果。 3 交互式抗误码技术 华中科技大学硕士学位论文 如果编解码器之间存在一条反馈通道，就可以应用交互式抗误码技术。在噪声信道中， 如果解码器能够向编码器提供受损图像块位置信息，编码器就可以采用帧内编码模式对 相应位置的图像块编码，这样误码对图像的损害将被有效地控制在有限的几帧内。这种 方法虽然有效，但它会明显降低图像的压缩比“ 近年来，在低码率视频编码的抗误码研究领域有一种融合的趋势，即将多种抗误码技术 同时使用这种使用往往不是这些技术的简单叠加，而是它们的有机结合。比如将多描述方 案和非等重错误保护技术联合使用，不仅给编码带来了更强的抗噪能力，还使得恢复图像的 质量更加平滑，在主观上有更好的效果。 2 3 本章小结 多媒体视频编码的抗误码技术的实际应用十分广泛。在现阶段，无论是有线还是无线信 道都不是理想的信道，都存在着数据丢失和错误的情况，抗误码技术的引入将增强视频编码 系统的应用效果目前的视频编码抗误码研究正向着综合化、边缘化的方向发展。压缩效率 和编码健壮性、信源压缩和信道传输必须同时考虑，例如小波编码的鲁棒编码问题1 和 肝e g 一4 形状编码的鲁棒性问题“。 华中科技大学硕士学位论文 3 h 2 6 3 + + 编码方案的编码效率和抗误码性能研究 3 1h 2 6 3 + + 新增标准 h 2 6 3 + + 是h 2 6 3 的第三版，在2 0 0 0 年1 1 月被提出它在h 2 6 3 + 的基础上又加上几个 可选的编码模式：附加协议u 称为增强参考帧