（信号与信息处理专业论文）变换域wynerziv视频编码的研究与实现.pdf

南京邮电大学 硕士学位论文 学科、专 研究方 作者： 英文题目： 一r e s e a r c h a n d i m p l e m e n t a t i o no nt r a n s f o r m 旦q 堡垒i nq 翌堕幽旦2 坠圣i yy i 亟星q q 亟i 塾g 主题词：d c t 变换，w y n e r - z i v 视频编码系统，边信息 k e yw o r d ：d i s c r e t ec o s i n et r a n s f o r m ，w y n e r - z i vv i d e oc o d i n gs y s t e m ， s i d ei n f o r m a t i o n 南京邮电大学硕士研究生学位论文 摘要 摘要 随着通信网络技术和无线视频技术的飞速发展，视频编码技术已经成为无线视频通信 领域中的关注热点。由于无线视频网络中带宽受限，信道质量不佳以及无线网络中视频终 端的计算能力不强和存储容量小等问题，使得传统的视频编码方案难以适应这些复杂应用 环境。而分布式视频编码( d i s t r i b u t e dv i d e oc o d i n g ，d v c ) 可以有效地解决上述问题。这种 新的编码方案具有编码简单，压缩率高，抗误码性强等特点。它能够将复杂计算从编码端 转移到解码端，并且从理论上证明，计算复杂度的转移不以牺牲压缩性能为代价，较好满 足了视频压缩编码与无线通信的需求。 本论文以分布式视频编码中的典型系统变换域w y n e r - z i v 视频编码作为研究课题， 对解码端的边信息生成技术进行分析与优化，提高边信息的预测精度，并以此为基础对变 换域w y n e r - z i v 视频编码系统提出改进方案，降低传输码率，改善编码效率，使其更加适用 于无线视频网络 本文的研究内容主要包括以下几方面： l 、对分布式视频编码的基本原理进行理论分析，深入理解它的工作原理。具体研究 分布式视频编码的典型系统变换域w 1 j n 昏z i v 视频编码系统。 2 、重点研究了边信息的预测方式。比较和分析分布式视频编码与传统视频编码中运 动预测补偿的区别和特点，提出一种新的边信息预测方法。此方法根据图像运动矢量的统 计特性和时域连续性，利用全局运动矢量调整运动估计搜索范围，对双向运动估计获得的 边信息进行二次修正从而预测出更加精确的边信息，并通过与典型边信息预测方法相比， 从主客观质量上均验证了论文所提边信息生成方法的优越性。 3 、分析和研究变换域w y n e r - z i v 视频编码技术的基本思路和原理，提出一种变换域 w y n e r z i v 视频编码改进方案。本方案在编码端利用图像块的运动剧烈程度，将其划分成静 止、低频和全频三种编码模式，解码端根据相应的编码模式分别采用平均插值、自适应搜 索双向运动估计插值和自适应搜索精细运动估计插值方法预测边信息。 4 、仿真实现本论文所提出的变换域w y n e r - z i v 视频编码系统的改进方案，并详细介绍 模块功能和工作流程。实验结果表明，相对于典型的变换域w y n e r - z i v 视频编码方案，本文 的改进方案在不增加编码端复杂度的前提下，具有更高的编码效率。 关键词：d c t 变换，w y n e r - z i v 视频编码系统，边信息 i r e s t r i c t i o no fc a p a c i t ya n dp o o rc a l c u l a t i o no fv i d e ot e r m i n a l f o r t u n a t e l y , d i s t r i b u t e dv i d e o c o d i n g ( d v c ) c a l l r e s o l v et h ep r o b l e m sm e n t i o n e da b o v ew h i c hs h i f tc o m p u t a t i o nc o m p l e x i t y f r o me n c o d e rt od e c o d e ra n dh a sl o wc o m p l e x i t ye n c o d e r , h i g hc o m p r e s s i o ne f f i c i e n c ya n dg o o d e r r o rr e s i l i e n c ea b i l i t y i tc a ns h i f tc o m p u t a t i o n a lc o m p l e x i t yf r o mt h ee n c o d e rt ot h ed e c o d e r s i n c et h es h i f td o e sn o ts a c r i f i c ec o m p r e s s i o np e r f o r m a n c eb yt h e o r e t i c a l l y , t h en e wc o d i n g s c h e m em e e t st h ed e m a n do fv i d e oc o m p r e s s i o nc o d i n ga n dw i r e l e s sc o m m u n i c a t i o n i nt h i sd i s s e r t a t i o n , t h et y p i c a ls y s t e mo fd v c 瑚l s f o i 舶d o m a i nw y n e r - z i vv i d e o c o d i n gs y s t e mi si n v e s t i g a t e d q u a l i t yo fd e c o d e di m a g e sh a sb e e ni m p r o v e db yo p t i m i z i n gt h e s i d ei n f o r m a t i o np r e d i c t i o nt e c h n o l o g y t h e na ni m p r o v e ds c h e m eb a s e do nt r a n s f o r md o m a i n w y n e r - z i vv i d e oc o d i n gs y s t e mi sp 1 1 d l 删t oe n l m m 七r a t ed i s t o r t i o np e r f o r m a n c eo ft h ev i d e o c o d i n gs y s t e m t h em a i nc o n t r i b u t i o n so f 蚰sd i s s e r t a t i o na r ec o n c l u d e da sf o l l o w s ： 1 r e s e a r c ho nb a s i cp r i n c i p l e so fd v c ，e s p e c i a l l yo nt y p i c a ld v cs y s t e m t h e t r a n s f o r md o m a i nw y n e r - z i vv i d e oc o d i n gs y s t e m 2 r e s e a r c ho np r e d i c t i o nm e t h o d so fs i d ef o r m a t i o n an e ws i d ei n f o r m a t i o ng e n e r a t i o n m e t h o di sp r o p o s e db yc o m p a r i n gt h ed i f f e r e n c e so fm o t i o np r e d i c t i o nc o m p e n s a t i o nb e t w e e n d v ca n dt r a d i t i o n a lv i d e oc o d i n gt e c h n i q u e s t h i sm e t h o dc a na c h i e v em o r ep r e c i s es i d e i n f o r m a t i o nb ya d j u s t i n gs e a r c hr a n g eo fm o t i o ne s t i m a t i o nw h i c ht a k e su s eo fg l o b a lm o t i o n v e c t o ra c c o r d i n gt os t a t i s t i c a lc h a r a c t e r i s t i c sa n dc o n t i n u i t yi nt e m p o r a ld o m a i n b yc o m p a r i n g w i t ht h et r a d i t i o n a ls i d ei n f o r m a t i o np r e d i c t i o nm e t h o d s ，t h ep r o p o s e dm e t h o dh a sg o o d p e r f o r m a n c e i nb o t l ls u b j e c t i v ea n do b j e c t i v eq u a l i t y 3 a ni m p r o v e dt r a n s f o r md o m a i nw y n e r - z i vv i d e oc o d i n gs c h e m ei sp r o p o s e db a s e do n t h em a i np r i n c i p l e so ft r a n s f o r md o m a i nw y n e r - z i vv i d e oc o d i n gt e c h n i q u e s t h i ss c h e m ed i v i d e c o d i n gm o d eo fe n c o d e ri n t o s t a t i cm o d e ，l o wf r e q u e n c ym o d ea n df u l lf r e q u e n c ym o d e 墅燮塑型婴燮 一 塑 。- _ _ - - _ - 一一，l u ，u l a c c o r d m gt ot h em o v e m e n ti n t e n s i t yi nai m a g eb l o c k t h e nc l e c o d c rc a ns e l e c tt h e 嗍e 觚即l a t i o n , a d a p t i v es e a r c hb i - d i r e c t i o n a lm o t i o ne s t i m a t i o ni n t e r p o l a t i o na n d 址l p 廿v es e a r c h r e 丘n e m e n tm o t i o ne s t i m a t i o ni n t e r p o l a t i o nr e s p e c t i v e l ya c c o r d i n gt ot h ec o d i n gm o d el l s e db y e n c o d e r 4 s i m u l a t i o no np r o p o s e di m p r o v e m e n tp r o g r a mo ft r a n s f o r md o m a i nw 油* z i v v i d e 0 c o d i n gs y s t e m , a n di n t r o d u c i n gt h ep r o c e s s i n gp r o c e d u r e s b y c o m p a r i n gw i t ht h et y p i c a l t r a n s f o r mw y n e t - z i vv i d e oc o d i n gs c h e m e , c x p e r i m t a lr e s u l t ss h o w s t h a tt h ep r o p o s e ds c h e m e 锄a c h i e v eg o o dc o d i n gp e r f o r m a n c ew i t h o u t i n c r e a s i n gc o m p l e x i t yo fe n c 0 抵锄d 恤 c o m p u t ec o m p l e x i t yo fd e c o d e rd e c r e a s e d k e yw o r d ：d i s c r e t ec o s i n et r a n s f o r m , w y n e r - z i vv i d e oc o d i n gs y s t e m , s i d e i 廊加1 a ：t i o n i i i 南京邮电大学硕士研究生学位论文目录 目录 摘要i a b s t r a c t i i 目录1 1 0 r 第一章绪论l 1 1 视频压缩编码技术的发展l 1 1 1 数据压缩技术1 1 1 2 视频编码技术发展2 1 1 3 传统视频编码标准的原理与实现7 1 2 分布式视频编码的研究意义8 1 3 分布式视频编码的研究现状9 1 4 本文的内容及安排1 l 第二章分布式视频编码系统1 3 2 1 分布式视频编码理论基础。1 3 ：1 1 s l e p i a n - w o l f 理论1 ：i 2 2 分布式视频编码框架。1 5 2 2 1像素域w y n e r - z i v 视频编码1 5 2 2 2 变换域w y n e r - z i v 视频编码1 6 2 2 3p r i s m 老琶爱蠹编莅马1 7 2 2 4 分级w y n e r - z i v 视频编码l8 2 3 分布式视频编码关键技术一1 9 2 3 1 边信息生成。一一1 9 2 3 2 码率控制1 9 2 3 3w y n e r - z i v 帧与边信息的统计相关性2 0 2 4 分布式视频编码的应用场合2 0 2 4 1 移动视频2 0 2 4 2 视频监控。2 l 2 4 3 传感网络视频。2 2 2 4 4 无线传输中多目视频2 2 2 5 本章小结。2 2 第三章边信息生成技术。2 3 3 1 边信息生成方法概述2 3 3 1 1 传统的运动补偿时域内插( m c t i ) 2 3 3 1 2 双向运动估计时域插值2 4 3 1 3 基于h a s h 的边信息生成法。2 5 3 2 分布式视频编码中的边信息估计技术2 6 3 2 1 分布式视频编码中边信息估计的特点2 6 3 2 2 分布式视频编码中边信息估计的局限性2 7 3 3 边信息优化重建技术2 7 3 3 1 自适应搜索的双向运动估计插值技术2 8 3 3 2 自适应精细运动估计插值技术3 l 3 3 3 插值多帧的边信息生成技术。3 3 南京邮电人学硕l：研究生学位论文l=l录 3 4 实验结果与分析3 4 3 4 1 运动估计搜索范围对边信息预测质昔的影响3 5 3 4 2 边信息预测方式对边信息预测质耸的影响。3 7 3 5 本章小结。4 1 第四章变换域w y n e r - z i v 视频编码软件仿真4 2 4 1 变换域w y n e r - z i v 视频编码整体方案4 2 4 2 系统的实现原理与方法4 2 4 2 1d c t 变换与模式选择4 3 4 2 2 鼙化器模块4 4 4 2 3 基于t u r b o 码的s l e p i a n w o l f 编码器4 4 4 2 4 解码端的边信息预测4 9 4 2 5 基于t u r b o 码的s l e p i a n w o l f 译码器5 0 4 2 6w y n e r - z i v 帧重建5l 4 3 仿真环境及参数设定5l 4 4 实验仿真结果分析5 2 4 5 本章小结5 3 第五章总结与展望5 4 5 1 本文工作总结5 4 5 2 展望5 4 致谢5 6 攻读硕+ 学位期间发表的学术论文5 7 攻读硕士学位期间参加的科研项目5 8 参考文献5 9 v 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 随着无线宽带通信技术的快速发展，尤其是工业与信息化部2 0 0 9 年对3 g 牌照的发放， 标志着我国正式进入3 g 无线通信时代，同时也为我国三家3 g 运营商开展更多更好的无线 视频业务提供了可能，无线视频通信技术及其应用将从此进入快速发展的新时期，成为无 线视频通信技术发展的一个重要标志。 8 0 2 1 6 、8 0 2 1 6 a 和8 0 2 1 l b 等一系列高速无线通信协议的推广应用，为大数据量的图 像视频类信号在无线网络上传输通信提供了必要的技术支持，特别是越来越多具有视频采 集、编码、传输能力的无线视频设备已经融入人们的生活，但是无线网络中恶劣的传输环 境给庞大的视频数据量在无线传输和压缩处理中带来了巨大的挑战。目前许多专家学者正 在致力于将多媒体视频应用于宽带无线网络中，使其稳定和无失真地传输，而仍存在许多 困难和挑战，如无线传输信道资源有限，传输不稳定、无线视频设备功耗容量较小等局限 性，因此实现视频信号的高效压缩、低编码复杂度和高纠错等性能将是视频编码在无线网 络中的发展方向。 本文阐述了应用于无线视频网络的变换域w y n e r - z i v 视频编解码技术。通过视频编解 码器如何将优质视频业务提供给广大用户或各种专业应用，将是视频领域研发人员面临的 研究课题，基于移动网、p 网和互联网环境下的视频通信必将成为下一个视频研究的热点。 1 1 视频压缩编码技术的发展 1 1 1 数据压缩技术 数据压缩就是解决数据表示的有效性问题，通过对信源压缩、扰乱、加密等处理，力 求用最少的数码来传输最大信息量。从信息论的角度来看，数据压缩的理论基础是信源 编码，也就是说，数据压缩的目的就是尽可能地去除信源所发出信号的冗余信息，减 少容纳给定信息集合的时域、空域及频域空间，使其减少传输数据的带宽和时间，达 到压缩目的。 数据压缩的理论基础来源于信息论。早在1 9 4 8 年，信息论之父c e s h a n n o n 发表的论 文 a m a t h e m a t i c a lt h e o r yo f c o m m u n i c a t i o n 中提出，任何信息都存在冗余，冗余大小与信 息中每个符号( 数字、字母或单词) 的出现概率或者不确定性有关，其借鉴热力学的概念， 南京邮电大学硕士研究生学位论文 第一章绪论 将原始信息去除相关性后得到的平均信息量称为“信息熵”，并给出了计算表达式。信息 熵概念和表明概率与信息冗余度关系的数学公式的提出，奠定了数据压缩算法的理论基 础。 数据压缩技术作为信息论早期研究中的一个重要课题，大致经历了两个发展阶段： 1 9 7 7 年至1 9 8 4 年为第一阶段，即基础理论研究阶段；1 9 8 5 年至今为第二阶段，即实用化阶 段。香农信息论指出，信源的熵是信源无失真编码的极限。不论采取何种压缩编码方式， 信源经过压缩后的码率必然不能小于该信源的熵，如果小于的话，这种压缩方式必然是失 真的；而对信源进行有损编码时，又要遵循信息论中率失真函数的关系。因此数据压缩大 致分为无失真压缩编码和有失真压缩编码两种。尽管香农阐明了信息编码应遵循的规律， 却并未给出具体的编码方法，因此后人以香农信息论为基础提出各种各样的编码方法。1 9 世纪4 0 年代香农在提出信息熵理论的同时，也给出了一种简单的编码方法一香农编码， 这是信息压缩编码方法的启蒙研究。随后，d a h t d s n a a 名e 1 9 5 2 年发表的论文“最小冗余 度代码的构造方法 中提出哈夫曼0 t u a n ) 编码。它根据数据中各字符出现的频率高低分 别赋以短、长不等的代码进行编码，保证文件的大部分字符由较短的编码构成。这种编码 方法依据信息中各符号出现的概率使得其信息尽可能占有较小空间，具有良好的压缩性 能，因此一直占据重要的地位。1 9 7 7 ，以色列科学家j a c o bz i v 和a b r a h a ml e m p e l 把无失 真压缩研究推向一个全新的阶段，同时发表论文。au a i v e r s a lf l g o f i t h mf o rs e q u e n t i a ld a t a c o m p r e s s i o n 一，提出基于字典的压缩算法l z 7 7 ，1 9 7 8 年又进一步提出l z 7 8 算法。 1 1 2 视频编码技术发展 视频编码技术的理论源于香农信息论，其基本思想是以经典集合论为基础，通过概率 统计模型描述信源。视频编码的发展历程是以香农信息论为出发点，利用视频数据间的相 关性，达到去除数据容易的目的。图像的压缩机制可以分为有损压缩和无损压缩。无损压 缩通常被用于文本文件的压缩，其中无信息丢失的数据的精确重建是压缩编码重点。对于 有损压缩，允许压缩后产生质量上的误差。有损压缩的优点是可以得到比无损压缩高得多 的压缩比，但它只能用近似的数据恢复出原始数据，而这种原始数据又必须是容易被压缩 的。在视频压缩编码中，通常采用有损压缩编码方式。 2 0 世纪5 0 年代开始，数字图像和视频编码技术已经开始得到关注，专家学者采用空间 插值脉冲编码调制( d p c m ) 技术；7 0 年代引入了变换编码技术和运动补偿预测编码技术； 1 9 7 4 年a h m e d 提出了基于块的离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 算法。n 8 0 年 2 南京邮电大学硕士研究生学位论文第一章绪论 代后期，相关学科的迅速发展及新兴学科的不断出现为视频编码的发展注入了崭新的活 力，同时关于人类视觉生理心理特性的研究也大大拓宽了人们视野。由此引发新一代视 频编码技术风暴，视频压缩编码的基本思想由基于像素和像素块转变为基于内容 ( c o n t e n t - b a s e d ) 。这种新的编码思想突破了香农信息论的束缚，考虑到人眼视觉特性及信源 特性，利用内容相关性消除数据冗余。 根据目前视频编码技术的发展现状，其编码方法可大致分为以下3 种： l 、利用图像信源的统计特性。以香农信息论为理论基础，采用预测编码、变换编码、 矢量量化编码、子带一小波编码、神经网络编码等方法； 2 、根据人眼视觉特性，充分考虑了信息接受者的主观特性和主观意义，采用基于方 向滤波的图像编码法、基于图像轮廓纹理编码法； 3 、考虑图像传递的景物特征，采用分形编码方法、基于模型的编码方法。这代表着 新一代的视频编码方向，是目前最为活跃的研究领域。 视频编码标准主要来源于国际电信联盟o t u - t ) 和国际标准化组织o s o a e c ) 。i t u 已经 发布了视频压缩标准h 2 6 x 系列，i s o 已经发布了m p e g - i 、m p e g - 2 和m p e g - 4 等系列标准 下面本文将对主要的视频编码标准做简要介绍。 l 、h 2 6 1 视频编码标准 1 - 1 2 6 1 视频编码标准从2 0 世纪年代开始产生至年代发展至成熟，于1 9 9 0 年由 v c e g ( 国际电信联合会下的视频编码专家组) 正式推出，是国际上第一个实用的数字视 频编码标准。h 2 6 1 标准也是由m 选定为可视电话和视频会议等业务的视频压缩标准， 其目的是在窄带综合业务数字网( n i s d n ) _ l 实现p x 6 3 k b s 的双向声像业务，其中p = 1 - - - 3 0 。 h 2 6 1 压缩编码算法采用预测编码减少时间冗余、变换编码减少空间冗余、可变长编 码减少信源相关性冗余的混合编码方法，具有压缩比高、算法复杂度低等优点。h 2 6 1 只 对c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种图像格式进行处理。c i f 和 q c i f 的亮度信号y 的分辨率分别为3 5 2 x 2 8 8 像素和1 7 6 x 1 4 4 像素，色度信号c r 和c b 的 水平和垂直分辨率均为亮度信号的1 2 ，即分别为1 7 6 x 1 4 4 像素和8 8 x 7 2 像素。h 2 6 1 仅使 用i 帧和p 帧，格式为i ppp i 。在i 帧和p 帧中每6 个8 x 8 的像素块( b l o c k ) 构成一个宏 块( m a c r ob l o c k ) ，其中包括4 个亮度( 块和2 个色度( c b 和c o 块。一定数量的宏块构成一 个块组g o b ( g r o u po f b l o c k ) ，若干块组构成一帧图像。块层、宏块层、块组层和帧层4 个 层次中每个层次都有说明该层次信息的头( h e a d e r ) ，编码后的数据和头信息逐层复用就构 成了h 2 6 1 的码流。 2 、m p e g 1 视频编码标准 3 南京邮电大学硕士研究生学位论文 第一章绪论 m p e g 1 标准即i s 伽e c i i l 7 2 标准全称是高于1 5 m b p s 的数字存储媒体( d i g i t a ls t o r a g e m e d i a , d s m ) 活动图像及其伴音编码。它于1 9 9 3 年正式推出，由视频，音频，同步和多路 复用的系统三部分组成。与h 2 6 1 相比，m p e g - 1 引入了双向运动补偿，将视频序列划分成 图像组( g r o u po fp i c t u r e ，c o o p ) 层、图像( 帧) 层、条层、宏块层和块层等。m p e g - 1 只对s i f 的图像格式进行处理，编码帧类型有三种，分别是i 帧、p 帧和b 帧。帧的排列如图1 1 所示， 图中表示一个g o p 图像，其中，i 帧的编码是通过对原始图像数据直接进行d c t 变换量化， 采用帧内编码；p 帧的编码方法则类似于h 2 6 1 标准中给出的方法，对每个宏块，应在时间 轴前面的i 帧或p 帧中找出最佳匹配的宏块，并获得最佳匹配运动矢量。b 帧编码和p 帧编码 方式有所不同，b 帧的运动补偿信息来自前后两个方向，因此称为双向运动补偿。对于每 个宏块估计出两个运动矢量，一个来自前向帧的i 帧或p 帧，一个来自后向帧的i 帧或p 帧， 然后从中选择一个最佳的运动矢量。由于对b 帧的编码需要利用序号前面和后面的i 帧或p 帧的信息，因此帧编码顺序不能按自然的帧号顺序进行。所以，应首先编码0 号帧( 帧内编 码) ，再编码3 号帧( p 帧) ，随后再处理l 号帧和2 号帧( b 帧) ，依次类推，直到下一个g o p 的第 0 帧的帧内模式出现时，再重新开始编码事实证明，在给定比特率时，采用双向运动补 偿的编码方法，m p e g - 1 的图像质量优于h 2 6 1 标准。对大多数原始图像内容，可得到无人 工痕迹的图像质量。 ，、- 、 曰日日日曰曰曰曰日日曰日日曰曰曰 图1 - 1m p e g 1 中g o p 图像 3 、m p e g 2 视频编码标准 为了满足高质量、高比特率图像的需求，m p e g 自1 9 9 4 年正式推出m p e g 2 。它克服并 解决了m p e g - 1 不能满足日益增长的多媒体技术、数字电视技术、多媒体分辨率和传输率 等各方面技术要求上的缺陷，能在很宽范围内对不同分辨率和不同输出比特率的图像信号 进行有效地编码，且广泛应用于多媒体、会议电视可视电话、数字电视、高清晰度电视 ( n o t v ) 、广播、通信和网络等领域。 m p e g 2 标准的基本算法也是运动补偿的预测和带有d c t 的帧内编码，其输入信号为 典型的c c i r 6 0 1 或相当的数字视频信号。如同m p e g - 1 标准一样，m p e g - 2 也有3 种图像编 4 南京邮电大学硕士研究生学位论文第一苹绪论 码类型，即i 帧、p 帧和b 帧。在p 帧和b 帧中，对图像数据适当地进行运动补偿和d c t 变换， 再进行量化编码。m p e g 2 标准还提供图像等级选择编码方式，这种方式对提供多种清晰 度的图像业务是非常有用的。m p e g - 2 视频标准后向兼容m p e g 1 ，支持隔行扫描，并增加 可分级功能，具有更大的伸缩性和灵活性，以适应不同画面质量、存储容量及带宽要求， 因此其被用于常规数字电视和高清晰度电视( h i g hd e f i n i t i o nt e l e v i s i o n , h d n 厂) 。 4 、h 2 6 3 视频编码标准 为了追求更低的码率，1 9 9 5 年h 2 6 3 视频编码标准由i t i 指定为视频会议低码率视频 标准。h 2 6 3 的编码算法在h 2 6 1 的基础上作了一些改善来提高编码性能。h 2 6 3 标准在低码 率下能够提供比h 2 6 1 更好的图像效果，其运动补偿能达到半象素精度，且能使用双向预测 估计，每个宏块能产生4 个运动矢量，同时还能支持5 种分辨率视频帧的编解码。但是h 2 6 3 仍保留h 2 6 1 中的四层图像结构。 5 、m p e 舛视频编码标准 m p e g - 4 标准于1 9 9 9 年初正式成为国际标准。m p e g - 4 的制定初衷是针对视频会议、可 视电话等超低比特率编码，但最后制订的m p e g 4 标准主要应用于因特网上的多种交互式 多媒体( 侧重于对多媒体信息内容的访问) ，针对可视电话、视频电子邮件和电子新闻等， 并可根据不同应用要求配置解码器。这意味着需要将基于内容的检索与编码结合起来考 虑，在压缩数据中应有描述视频内容的信息，从而使对多媒体信息内容的访问可直接针对 压缩数据进行，这就是基于内容的压缩。 m p e g - 4 采用基于对象的编码概念，即在压缩编码前将每个场景划分成背景区域和多 个前景区域，然后对背景和前景分别采用不同的压缩编码方法，再通过复合传输至解码端 对背景区域和前景区域分别解码，最后组合成视频图像。m p e g - 4 通过引入视频对象( v i d e o o b j e c t , v o ) 来实现基于内容的表示方法，也就是区域划分，这样可把视频流中的每一帧分 割成任意形状的图像区域，即视频对象平面( v i d e oo b j e c tp l a n e ，v o p ) ，然后根据每v o p 的 特点和需要，分别进行帧内、帧间编码。若视频未分割，编码结构则退化为只处理标准矩 形，从而实现与m p e g 1 及m p e g 2 的向下兼容。m p e g - 4 标准采用开放灵活、可扩展的结 构形式，它对具体算法不作规定。除以上特点外，m p e g - 4 还支持如下新功能：基于内容 的交互性、高压缩率、易错环境中的抗误码性和基于内容的可伸缩性等。 m p e g - 4 将众多的多媒体应用集成于一个完整框架内，旨在为多媒体通信及应用环境 提供标准算法及工具，并实现音视频数据的有效编码及灵活存取。它通过定义一种格式和 一种框架来建立更加自由的通信与开发环境，这为传统的多媒体数据压缩编码的发展提供 了广阔平台。 雨京邮电大学硕士研究生学位论文 第一苹绪论 6 、h 2 6 4 a v c 视频编码标准 h 2 6 4 a v c 视频压缩编码标准于2 0 0 3 年3 月正式颁布，由i t u t 和i s o 两个标准化组织 联合推出的最有效的视频压缩标准。它既是i t u 的h 2 6 4 ，又是i s o 的m p e g - 4 的第1 0 部分， 因此又称m p e g - 4a v c ，通常称为h 2 6 4 a v c 或h 2 6 4 。 h 2 6 4 着重解决压缩的高效率和传输的高可靠性，因而应用广泛，技术灵活。具体来说， h 2 6 4 支持三个不同档次的应用： ( 1 ) 基本档次：它是h 2 6 4 标准的简单版本，主要用于“视频电话 ，如会议电视、可 视电话、远程医疗、远程教学等； ( 2 ) 主要档次：它采用多项提高图像质量和增加压缩比的技术措施，主要用于标准清晰 度的电视( s d m 、高清晰度电视( h d l v ) 和d v d 等： ( 3 ) 扩展档次：它主要用于各种网络的视频流传输，如视频点播。 h 2 6 4 和以前的视频压缩标准一样，也是利用d p c m 和变换编码相结合的混合编码模 式。但其采用“回归基本 的简洁设计，不用众多的选项，获得比h 2 6 3 好得多的压缩性能； 加强了对各种信道的适应能力，采用“网络友好一的结构和语法，有利于对误码和丢包的 处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同( 传输) 存储场合的需 求；它的基本系统开放，因此使用无需版权。 在技术上，1 t 2 6 4 标准中也有不少先进之处，如统一的视频符号编码，高精度、多模式 的运动估计，基于4 x 4 块的整数变换，分层的编码语法等。这些措施使得h 2 6 4 标准具有很 高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 和m p e g - 4 节约5 0 左右的码率。 而且，h 2 6 4 的码流结构增加了差错恢复能力，能够很好地适应p 和无线网络的应用。 7 、h 2 6 5 视频编码标准 随着h 2 6 4 的成熟，n u t 的视频编码特别小组( v c e o ) 开始规划h 2 6 5 标准的制订，并 计划在2 0 0 8 2 0 1 0 期间推出。h 2 6 5 标准的目标是给音视频服务提供更好的视频编码方法。 视频服务包括会话式和非会话式音视频服务。其中会话式音视频服务包括视频会议和可视 电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储播放和数字摄像机。 h 2 6 5 标准围绕着现有的视频编码标准，保留原来的某些技术，同时对一些相关的技术 加以改进。新技术使用先进的方法改善码流、编码质量、延时和算法复杂度之间的关系达 到最优化设置。视频编码标准的发展将更加适应各种类型的网络，如i n t e m e t 、l a n 、m o b i l e 、 i s d n 、g s t n 、h 2 2 2 0 和n g n 等网络。具体的研究内容包括：提高压缩效率、提高鲁棒性 和错误恢复能力、减少实时传输的时延、减少信道获取时间和随机接入时延、降低复杂度 等。 6 南京邮电大学硕士研究生学位论文 第一章绪论 目前，h 2 6 5 还未形成新的标准，v c e g 仍然在征集各方意见和信息以获得性能上的提 升。h 2 6 5 标准的发布和成熟都还有待所采用的编码技术和当前网络技术的发展。伴随着其 他应用领域的应用需求和硬件技术的发展，h 2 6 5 的推出只是时间问题，目前估计这一新标 准的推出时间将在2 0 1 2 年之后。h 2 6 5 标准的发展和成熟应类似于h 2 6 4 ，也将是多种编码 方法和工具的混合使用，实现编码效率，编码复杂度，图象质量等方面的平衡。它的发展 也必将把视频编码理论技术和应用推向一个全新时期。 1 1 3 传统视频编码标准的原理与实现 尽管各种视频编码标准由不同组织制定，应用场合也不尽相同，但就其实现的方案可 以看作是殊途同归，下面以最有效的h 2 6 4 a v c 标准为例介绍这一类传统视频编码标准实 现的架构特点【i - 3 1 。 图l - 2 和图1 - 3 分别是h 2 6 4 的编码器和解码器结构。从图中可见，h 2 6 4 和以前的标 准( 如h 2 6 1 、h 2 6 3 、m p e g - 1 、m p e g - 4 ) q a 的编解码思想并没有什么区别，主要的不同在 于各功能块的细节。由于视频的内容时刻在变化，有时空间细节很多，有时大面积的平坦 这种内容的多变性就必须采用相应的自适应技术措施；由于信道在环境恶劣下也是多变 的，例如互联网，有时畅通，有时阻塞；又如无线网络，有时发生严重衰落，有时衰耗很 小，这就要求采取相应的自适应方法来对抗这种信道畸变带来的不良影响。这两方面的多 交带来了自适应压缩技术的复杂性。h 2 6 4 就是以实现的复杂性为代价获得压缩性能的明 显改善。 如图1 2 所示，输入的当前帧或场f n 以宏块为单位被编码器处理，其中宏块为1 6 x 1 6 的像素块。首先每个宏块按帧内或帧间预测编码的方法处理。如果采用帧内预测编码，其 预测值p r e d ( 图中用p 表示) 是当前片中已编码的参考图像经运动补偿( m o t i o n c o m p e n s a t i o n , m c ) 后得出的，其中参考图像用e l 表示。为了提高预测精度，从而提高压 缩比，实际的参考图像可在过去或未来( 指显示次序上) 已编码解码重建和滤波的帧中进 行选择，由此称为帧间预测编码。 当预测值p r e d 和当前块相减后，产生一个残差块d n ，经块变换、量化后产生一组量 化后的变换系数x ，再经熵编码与