（信息与通信工程专业论文）视频编解码中的预测编码技术研究.pdf

摘要 传统混合视频编解码框架是目前视频编码标准中广泛采用的框架，它集预测编码、变换 编码和熵编码于一体。当今主流的视频编解码标准如h 2 6 4 a v c 和a v s p 2 ，都基于传统混合 视频编解码框架而相对旧有的m p e g 2 标准获得了较大的编码压缩性能提升。而在此基础上， 国际国内领先的高效视频编解码技术的研究仍然十分活跃。 本文首先介绍了国际国内最前沿的高效视频编解码技术；在此基础上，分析传统混合视 频编解码框架中的预测编码技术，并指出传统混合视频编解码框架性能优化的关键在于预测 编码技术的效率提升，以及传统混合视频编解码框架的预测后仍然存在可以进一步去除的信 号冗余。 针对以上情况，本文提出了二重预测视频编解码系统。二重预测视频编解码系统是在传 统混合视频编解码框架上全新的概念，特别是其将帧间预测和帧内预测结合的尝试，突破了 以往预测编码技术的限制，将时空域三维的预测编码引入到传统混合视频编解码框架中，使 得将最先进的帧内预测技术与最先进的帧间预测编码相互结合而获得最大的编码压缩性能提 升成为可能，将有利于先进高效的视频编解码技术的研究和实现。 更进一步地，本文具体设计并实现了两种二重预测视频编解码系统的平台，并针对此平 台设计了多项创新性的关键技术，如非方块的帧内预测技术、使用方向信息选择最大可能编 码模式技术及第二重模式对应码表动态刷新技术等，同时在设计中兼顾了硬件实现复杂度的 考虑。 最后，通过具体实验证明，二重预测视频编解码技术能够相对国际主流最先进的 h 2 6 4 a v c 标准参考软件得到优秀的编码性能提升，不仅在业内通用测试条件下从q c i f 到高 清的测试序列上均能获得编码码率节省，而且对于高清序列的高质量视频编码，展现出其获 得更优秀性能的潜力：二重预测视频编解码技术在高清测试序列上能得到2 7 的编码码率 节省，高清序列平均可以节省4 0 5 码率，相当于0 1 4 d b 的编码增益。可以说二重预测视频 编解码技术能够在当今主流的技术基础上得到性能提升，并且更加适应于高效视频编解码技 术未来的发展。最后本文根据已经实现了的二重预测视频编解码平台及其关键技术，指出二 重预测视频编解码系统未来发展的潜力方向并分析了其改进过程中各项技术联合优化权衡的 必要性。 关键词：预测编码、二重预测、时空域三维预测、h 2 6 4 a v c 标准、a v s 标准、视频编码 a bs t r a c t a i m e da tt h eh i g h e rc o d i n ge f f i c i e n c yo fv i d e oc o m p r e s s i o n , t h i sp a p e rp r o p o s e san o v e lc o n c e p t n a m e d “s e c o n d a r yp r e d i c t i o n ”o n t ot h et r a d i t i o n a lh y b r i dv i d e oc o d i n gs c h e m e t oa c h i e v eh i g h e r e f f i c i e n c yo fp r e d i c t i v ec o d i n g , s e c o n d a r yp r e d i c t i o n ”c o m b i mm u l t i p l eh i g he f f i c i e n tp r e d i c t i o n t e c h n i q u e st o g e t h e r , t h u se n a b l e sak i n do fs p a t i o - t e m p o r a lt h r e e d i m e n s i o n a lp r e d i c t i o ni n t ot h e h y b r i dc o d i n gs c h e m e a n dc a nb e n e f i tf r o ml a t e s td e v e l o p m e n t so fb o t hi n t r a - p r e d i c t i o na n d i n t e r - p r e d i c t i o nt e c h n i q u e a l o n gw i t ht h ed e t a i l e dd e s i g na n di m p l e m e n t a t i o no ft w os e t so f “s e c o n d a r yp r e d i c t i o n s y s t e m ， t h i sp a p e rp r o v i d e si n n o v a t i v ek e yt e c h n i q u e sf o rt h es e c o n d a r yp r e d i c t i o ns u c ha st h en o n - s q u a r e d i n t r a - f r a m ep r e d i c t i o n , p r e d i c t o ro fm o s tp r o b a b l es e c o n d a r ym o d eu n d e rd i r e c t i o n a lc r i t e r i af r o m i m g ep r e d i c t o ra n dt h ed y n a m i cu p d a t i n go fm o d ei n d i c a t o r e x p e r i m e n t a lr e s u l t ss h o ws i g n i f i c a n t b db i tr a t es a v i n ga m o n gt e s ts e q u e n c e sw h o s es i z e sa r ef r o mq c i ft o7 2 0 p , w h i c hi s2 - 7 f o r d i f f e r e n t s e q u e n c e sa n d4 0 5 ( e q u i v a l e n t 0 1 4 d bo fb dp s n rg a i n ) i na v e r a g ea m o n g h i g h - d e f i n i t i o n ( 7 2 0 p ) t e s ts e q u e n c e sf o rt h ep r o p s e dt e c h n i q u ec o m p a r e dt oh 2 6 4 a v c ：a tl a s t , 17 p o t e n t i a ld e v e l o p m e n ta n do p t i m i z a t i o np o s s i b i l i t i e so ft h e “s e c o n d a r yp r e d i c t i o n ”s y s t e m sa r e l i s t e da n dd e s c r i b e df o rf u t u r ew o r k k e yw o r d s ：p r e d i c t i v ec o d i n g ，s e c o n d a r yp r e d i c t i o n ，s p a t i o - t e m p o r a lt h r e e d i m e n s i o n a lp r e d i c t i o n ， h 2 6 4 a v c ，a v s ，v i d e oc o d i n g , i i 4 1 3 基于帧间预测编码、残差帧问编码的二重预测视频编解码系统及其关键技术设计 6 5 1 第二重预测关键技术a a ) 第一重预测参考值取值来源设计6 6 2 第二重预测( 关键技术l ) 第一重预测参考帧中的第一重运动信息选取6 7 3 第二重预测( 关键技术e e ) 二重预测宏块模式判断及表达6 8 4 第二重预测( 关键技术m ) 适于二重预测的帧存管理设计6 9 5 本方案小结”7 0 4 2 基于帧间预测编码的二重预测视频编解码系统的实现、性能测试结果及分析- - - - - 7 0 4 2 1 基于帧间预测编码，残差帧内编码的二重预测视频编解码技术实现及性能分析 7 0 4 2 2 基于帧间预测编码、残差帧间编码的二重预测视频编解码性能结果8 0 4 3 二重预测视频编解码系统的性能提升潜力方向及其联合优化权衡8 3 4 3 1 二重预测视频编解码系统的技术联合优化及权衡8 3 4 3 2 第二重预测能力的提升一8 3 4 3 3 二重预测技术乖视频编解码框架其他技术的配合设计8 4 4 4 本章小结8 5 5 总结与展望 参考文献 作者在硕士期间的相关工作- 致谢 图目录 8 7 图1 1d p c m 编解码系统框图1 0 图1 2传统混合视频编码框架11 图2 1h 2 6 4 中使用的4 x 4 变换及量化编码流程。1 7 图2 24 x 4 块扫描顺序示意。18 图3 1序列n e w s 第二帧原始图像和其水平相邻像素点差值图像。2 9 图3 - 2序列n e w s 第一、二帧原始图像和两帧的差值图像。3 0 图3 - 3三个常用测试序列的第一帧图像及其亮度直方图 图3 4 参考文献【1 1 1 】中的图像像素间相关系数与像素距离关系图3 2 图3 5f o o t b a l l 序列在h 1 6 4 参考软件中被编码时在帧间预测帧中使用帧内预测块示例3 5 图3 石h 2 6 4 标准中的8 方向预测方向示意3 6 图3 7 传统混合视频编解码框架中的帧间预测示意3 7 图3 8 h 2 6 4 参考软件对n e w s 序列第一帧编码( q p - - 4 ) 的残差阻像3 8 图3 - 9 h 2 6 4 参考软件对n e w s 序列第二帧编码( q p - - 4 ) 的残差图像3 9 图3 1 0 h 2 6 4 参考软件对n e w s 序列第二帧编码( q p - - 4 ) 预测效率分析4 1 图3 1 l l 形分块预测技术【1 1 7 】4 1 图3 1 2传统预测编码示意( 帧间预测) 4 2 图3 1 3二重预测示意( 基于帧间预测) 4 3 图3 1 4二重预测视频编解码系统的编码流程图( 基于帧问预测) 。4 3 图3 15二重预测系统编解码框图4 4 图4 1基于帧间预测编码、残差帧内编码的二重预测视频编解码中第一重残差参考值位置4 7 i v 图4 2基于帧间预测编码的二重预测视频编解码具体设计图4 8 图4 3c r e w 序列在h 2 6 4 的j m l 0 1 参考编码器中未量化的帧问编码残差4 9 图4 _ 4c r e w 序列在h 2 6 4 的j m l 0 1 参考软件中q p - 3 3 时的帧问编码残差5 0 图4 - 5基于帧间预测编码、残差帧内编码的二重预测视频编解码系统的第一重预测参考值来 源的改进中所使用的已编码解码像素示意一5 l 图4 6基于帧间预测编码、残差帧内编码的二重预测视频编解码系统的第一重预测参考值来 源的改进后二重预测编解码系统框图5 2 图4 7来自m a t h i a sw r e n 的自适应变换研究【l1 8 】中参考值预滤波技术的说明5 3 图4 8非方块帧内预测模式示意( m o d e 3 ) 5 5 图4 9非方块帧内预测模式示意( m o d e 7 ) 5 6 图4 - 1 0非方块帧内预测模式示意( m o d e s ) 5 7 图4 - l l基于帧问预测编码、残差帧内编码的二重预测视频编解码系统的第二重预测模式选择 改进中s o b e l 算子计算点的区域6 l 图4 1 2基于帧间预测编码、残差帧内编码的二重预测视频编解码系统的第二重预测模式选择 改进中方向信息统计的分区划分5 l 图4 1 30 阶指数哥伦布码和定长码的码流比较( 左：0 阶指数哥伦布码；右：1 + 3 定长码) 6 4 图4 1 4基于帧间预测编码、残差帧间编码的二重预测视频编解码系统原理图6 6 图4 - 1 5基于帧问预测编码、残差帧问编码的二重预测视频编解码系统的第一重预测参考值来 源示意 6 7 图4 - 1 6基于帧间预测编码、残差帧间编码的二重预测视频编解码系统中第一重残差参考值重建 中的第一重预测参考帧中的第一重运动信息选取示意6 8 图4 17基于帧间预测编码、残差帧间编码的二重预测视频编解码系统帧存管理示意6 9 图4 - 18第二重预测模式d c 模式选择阅值ks 取值测试结果曲线( c r e w 序列) 7 1 图4 1 9第二重预测模式d c 模式选择阙值ks 取值测试结果曲线( c r e w 序列) 7 2 图4 - 2 0基于帧间预测编码、残差帧内编码的二重预测视频编解码性能曲线图7 6 图4 - 2 l4 1 2 节中各项技术加入至4 平台前后带来的性能变化柱形示意图7 8 图4 - 2 24 1 2 节中各项技术加入到平台前后带来的性能曲线比较图7 8 表2 1 表4 1 表4 - 2 表4 3 表“ 表4 5 表4 6 表4 7 表4 8 表4 9 表4 1 0 表目录 k t a 技术简表”2 0 基于帧问预测编码、残差帧内编码的二重预测视频编解码系统中的宏块模式码表5 9 h 2 6 4 a v c 标准中的9 种帧内预测模式码表6 0 第二重预测方向模式动态刷新计数6 2 第二重预测方向模式动态刷新举例6 3 基于帧间预测编码、残差帧内编码的二重预测视频编解码系统的改进技术分析6 4 基于帧问预测编码、残差帧问编码的二重预测视频编解码系统中的宏块模式码表6 8 第二重预测模式d c 模式选择阈值k s 取值测试结果( c r e w 序列，第0 帧开始) “7 0 第二重预测模式i x ：模式选择阈值k s 取值测试结果( b i g s h i p s 序列，第2 0 0 帧开始) 7 l 基于帧问预测编码、残差帧内编码的二重预测视频编解码q c i f 序列性能结果“7 2 基于帧问预测编码、残差帧内编码的二重预测视频编解码c i f 序列性能结果- 7 3 v 表4 1l 基于帧间预测编码、残差帧内编码的二重预测视频编解码高清序列性能结果7 3 表4 - 1 2基于帧间预测编码、残差帧内编码的二重预测视频编解码高清序列性能结果 ( d e b l o c k i n go f f ) 7 6 表4 1 34 1 2 节中各项技术加入到平台前后带来的性能变化测试结果7 7 表4 1 4基于帧间预测编码、残差帧内编码的二重预测视频编解码高清序列性能结果( 技术替 换)7 9 表4 - 1 5 基于帧间预测编码、残差帧间编码的二重预测视频编解码在f o r e m a n q c i f 序列上的性 能结果 8 0 表4 1 6基于帧间预测编码、残差帧间编码的二重预测视频编解码在m o b i l e q c i f 序列上的性 能结果 8 l 表4 1 7基于帧间预测编码、残差帧间编码的二重预测视频编解码在b i g s h i p s 序列上的性能结 果( 从1 9 0 帧开始) 8 l v i 1 引言 未来人类社会将是信息化社会。图像和视频信息，作为人类最有效和最重要的信息获取 形式，具有数据海量性的特征。数字化后的原始图像和视频的海量信息的存储和传输，需要 较大的资源和消耗，是人类有效获取和使用信息的的瓶颈问题之一。因此，研究和开发有效 的多媒体数据压缩技术是必要的。 本章内容简要回顾视频编码的发展历程和介绍当前视频编解码领域的发展情况，其组织 结构如下：1 1 节回顾视频编码的发展历程；1 2 节简要介绍早期用于视频编码的d p c m 系统 和当前主流使用的传统混合视频编码框架；1 3 节简要介绍当今主流的国际国内最先进视频编 解码标准，包括m p e g 4p a r t l 0 i - i 2 6 4 - a v c 和我国国家标准a v s ；i 4 介绍当今最先进的高效 视频编解技术的发展情况；1 5 节概述本文的研究成果。 1 1 视频编码的发展历程 人类接受的信息中有7 0 来自于视觉系统。在以信息为导向的社会中，承载巨大信息量 的图像和视频信息所扮演的角色日益重要，因此对图像和视频信息的需求在数量和质量上都 不断提升。在市场需求和技术发展的驱动下，图像和视频信息的高保真有效处理和传输成为 世界领域的研究热点，有着广阔的应用前景和巨大的经济价值。 图像信息，特别是视频信息，数据量极为巨大，并以与时间密切相关的流的形式存在， 因此视频数据的表达、组织、存储和传输都有很大的难度。视频信号压缩成为视频信号处理 中非常重要的部分。幸而在视频信息中存在着大量的冗余信息，这为视频信号压缩提供了可 能性。视频信号编码压缩技术的起源可以追溯到2 0 世纪5 0 年代，伴随着相关技术比如集成 电路技术的进步，视频信号编码压缩技术研究和产品开发也在不断进步。同时，新的视频应 用领域的发掘，对视频压缩技术的性能即压缩效率提出了更高的要求。在保证压缩后视频图 像质量的前提下，尽量降低视频信号的冗余信息，以尽可能少的数据量来表示视频信号，节 约视频信号的存储空间和传输带宽使之适应新应用领域的需求，仍然是非常有挑战性和应用 意前景的研究方向。 压缩编码的理论基础是信息论。信息论中，压缩就是去掉信息中的冗余，即用更接近信 息本质的描述来代替原有冗余的描述，此更接近信息本质的描述称为信息量。但信息量并非 孤立和绝对的，而是与信息的传输密切相关。由于接受者知识结构的复杂性，很难对信息构 造数学模型，而只能对其进行具有普遍意义的某种限定，这就是香农信息论。香农信息论以 经典集合论为基础基于某种统计概率模型来描述信源。在1 9 4 8 年发表的论文 通信的数学理 论( am a t h e m a t i c a lt h e o r yo fc o m m u n i c a t i o n ) ) ) 中，信息论之父c e s h a n n o n 第一次用数学 语言阐明了概率与信息冗余度的关系。s h a n n o n 指出，任何信息都存在冗余，冗余大小与信 息中每个符号( 数字、字母或单词) 的出现概率或者说不确定性有关。s h a n n o n 借鉴了热力 学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表 达式。信息熵及相关的定理用数学手段精确地描述了信息冗余的程度，从而奠定了所有数据 压缩算法的理论基础。利用信息熵公式可以计算出信息编码的极限，在定的概率模型下， 无损压缩的编码长度不可能小于信息熵公式给出的结果。 视频编码的历史始于2 0 世纪6 0 年代，最早在模拟电话视频系统中就采用了差分脉冲编 7 码调制的方法( d p c m ：d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，d p c m 即对差分信号进行p c m 1 】 编码的技术。这个系统需要花销相当大的带宽，却只能传输明信片大小的黑白图像，而且没 有携带音频信号。 2 0 世纪7 0 年代，由于美国政界各党派间的辩论的应用需求，除了语音通讯方面，还需要 图像通讯系统对参与者进行身份鉴定，所以视频会议系统概念被提出。但这样的视频会议系 统在当时的带宽限定下，需要更高效的视频编码压缩技术才有可能实现。在这些应用需求的 推动下，视频编码压缩技术在2 0 世纪7 0 年代有了很大的突破，首先是成熟的变换编码技术 被提出：1 9 7 4 年科学家a h a m 发明了基于块的离散余弦变换( d c t d i s c r e t ec o s i n e t r a n s f o r m ) 【2 】的编码方法，将空域中的像素值转化为频域中的系数。与像素值相比，频域系数相关性小， 需要传输的有效系数少，实际上降低了空间上的冗余信息从而对信号进行了去相关性的压缩。 在7 0 年代预测编码技术也逐渐成熟，运动补偿预测技术开始出现并运用在视频编码中【3 】【4 】。 这些技术的发展是此后视频编码技术的标准化的有效铺垫和准备。 2 0 世纪8 0 年代，在当时已有技术的基础上，视频编解码标准化进程逐步启动。国际电话 与电报顾问委员会组织( c c i t t ：i n t e m a t i o n a lt e l e p h o n ea n dt e l e g r a p hc o n s u l t a t i v ec o m m i t t e e ) 将基于d p c m 方法的视频编解码器标准化，称为h 1 2 0 标准。h 1 2 0 标准的目标带宽是北美 1 5 4 4 m b p s ，欧洲2 0 m b p s 。但是d p c m 方法是基于像素的方法，对每个像素逐点求差，逐点 编码，要达到每个像素只能用不多1 个比特来表示是不现实的，所以h 1 2 0 标准的编码性能当 时虽然能保证视频信号不错的空间分辨率，但是时间分辨率很差，它以降低时间上的分辨率 为代价来降低码率。 只有将多个像素点聚集编码，才有可能达到每个像素点平均分配的比特不到1 个的要求。 于是在压缩技术中基于像素块( 简称块) 的编码技术，即“b l o c k - b a s e d ”技术被提出。在8 0 年 代的研究讨论中，国际电信联盟电信标准化部门( i t u t i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，其前身就是c c i t t 组织) 总共收到过15 种基于块 的视频编解码方案，其中1 4 种是采用d c t 变换的方法，一种是直接采用矢量量化( v q ：v e c t o r q u a n t i z a t i o n ) 的方法。根据当时的报告，采用d c t 变换和直接采用v q 的方法在客观质量上 没有明显的差别，且两者的编码性能相近。但在同一时期即1 9 8 4 至1 9 8 8 年问，图片编码联 合专家组( j p e g ：j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 选择了d c t 作为静止图像编码压缩标准中 的重要技术。这对l t u t 组织造成了影响，使其随后也选择了基于块和采用d c t 变换的视频 编码方案，而舍弃了直接采用v q 的视频编码方案。至今各视频编码标准中的变换技术仍主要 是d c t 变换。 8 0 年代后期，l t u t 组织推荐的应用于视频会议的编解码器，同时包含帧问d p c m 技术 和d c t 技术。1 9 8 9 年我们熟知的h 2 6 11 5 视频编码标准的技术标准化工作宣告完成，它基于 带宽为p x 6 4 k b p s 的系统( 其中p 是l 到3 0 的整数) ，并能提供比h 1 2 0 优越很多的编码性能。 事实上，当时研究表明，要满足视频会议方面的应用，带宽为3 8 4 k b p s 以上的情况下较为合理； 如果要求更高质量的图像，n - - i 以使带宽在i m b p s 左右。 9 0 年代初期，国际标准化组织( i s o ：i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 和国际电 工协会( i e c ：i n t e r n a t i o n a le l e c t r o n i c sc o m m i t t e e ) 下属的运动图像专家组( m p e g ：m o v i n g p i c t u r ee x p e r t sg r o u p ) 着力研究面向视频存储介质的视频编码压缩技术，其主要目标是对运动 比较剧烈的视频信号，比如电影信号，进行有效的编码压缩，以存储在硬盘或光盘等介质上。 这个与h 2 6 1 同一时代的标准称为m p e g 一1 1 6 视频编码标准，它能够在1 s m b p s 的带宽下完 成数字存储介质中运动图像及其伴音的编码。经过m p e g 1 标准压缩后，压缩效率可以达到 8 1 1 0 0 至1 2 0 0 。因为m p e g 1 是面向介质存储的视频编码标准，编码和解码的时延和复杂度 限制比较宽松，这样可以采用时延较大、复杂度较高的技术来获取更高效压缩效率。比如， 空间域上采用d c t 技术取代d p c m 技术，时问域上采用运动估计的d p c m 技术取代简单的 d p c m 技术。m p e g 1 采用的框架就是众所周知的混合视频编解码框架，集预测编码、变换编 码和熵编码于一体，这种混合视频编解码框架称之为“传统混合视频编解码框架”。 此后，视频编码标准的制定工作蓬勃发展起来，i t u - t 制定了h 2 6 3 1 7 、h 2 6 3 + 等标准， m p e g 组织制定了m p e g - 2 8 和m p e g - 4 9 等标准，还有m p e g 和i t u 下属的视频编码专家 组( v c e g ：v i d e oc o d i n ge x p e r t sg r o u p ) 共同成立的联合视频小组( j v t ：j o i n tv i d e ot e a m ) 在2 0 0 3 年完成了h 2 6 4 m p e g - 4 a v c 1 0 标准，简称为h 2 6 4 ，有时也被称为“m p e g - 4p a r t1 0 ”。 2 0 0 2 年，我国音视频专家针对国内音视频产业的需求开始着手制定中国自主知识产权的音视 频标准a v s ( a u d i oa n d v i d e o c o d i n gs t a n d a r d o f c h i n a ) ，其中第二部分a v s l 0 【】已经于2 0 0 6 年2 月被定为国家视频编码标准。h 2 6 x 系列、m p e g - x 系列以及a v s 视频编码标准都是采用 基于块的传统混合视频编解码框架。 1 2 视频编解码基本框架 视频编解码框架即视频编解码采用的基本结构，从早期采用的基于像素的d p c m 系统， 到现在视频标准都采用基于块的集预测编码、变换编码和熵编码于一体的传统混合编解码框 架，编解码框架经历了许多阶段的发展。 最早的视频编解码使用的框架是基于d p c m 技术的。d p c m 技术指的是对信号的差分信 号进行编码，而不是对原来的信号直接编码。其基本思想是利用了信源的相关性。信源的相 关性即，绝大多数信源产生的信号，前者和后者表现出相似的性质，也即前者和后者具有一 定相关性。这种相关性体现于空间上位置相近的点之间，称为空间相关性；体现于在时间上 出现顺序相近的点之间，称为时间相关性。空问相关性是一种空间冗余信息，时间相关性是 一种时间冗余信息。针对这些冗余信息的去除，基于像素的d p c m 系统将视频信号在空间域 和时间域上做简单的差分，再对差分信号做p c m 编码。图1 1 是d p c m 编解码系统框图， 在编码器中包含预测器、量化器和熵编码器三部分。输入原始信号s 在与预测信号s 作差之后， 得到差分信号e ，以下e 也称为残差信号：对口进行量化得到量化后有损信号e 。：最后e 进行 熵编码得到输出码流。e 。同时与预测信号s 相加得到参考信号，s 送入预测器，以便产生 下一个预测信号。d p c m 视频编码系统基于像素点，输入信号5 是单个像素点；预测器产生的 预测信号s 可以是来自空间上相邻的点，也可以是相邻图像帧中对应位置的点。 9 f - 一孺毳聂霾一： ： 编粥过程 ! li il 一j 图1 1d p c m 编解码系统框图 当今最为主流的视频编解码技术即传统混合视频编码框架，是从d p c m 系统发展起来的。 此框架综合考虑了预测编码、变换编码和熵编码，降低视频信号空间上、时间上以及数据间 的冗余信息。它有以下几个特点： 1 利用预测编码技术降低空间上、时问上的冗余信息： 预测编码使用已经编码或者已经解码的序列信息对当前需要编码或者解码的部分进行预 测，只编码预测值和实际值的差值从而获得数据压缩。 2 利用基于块的变换技术降低空间上的冗余信息： 变换技术是将数据进行二维变换编码以降低数据相关性的过程。在传统混合视频编码框 架中，预测编码后产生的残差数据通过变换得到变换系数，然后在变换域中对变换系数进行 量化。 3 。 利用熵编码去除数据间的冗余信息： 熵编码技术是信号进行熵编码的过程。在传统混合视频编码框架中，变换量化后得到的 信号经过扫描将二维信号转换成一维信号，再进行熵编码后写入码流传输，即为编码压缩后 的码流。 视频通过编码以后需要传输的数据量大大减少，在宏块级别，编码器只需要传输编码模 式信息、运动矢量、残差数据的变换量化系数和少量其他头信息。解码器接收到编码模式信 息和运动矢量，即可对当前解码块进行预测，获得其预测值，再对残差信号的变换量化系数 进行反量化反变换，与预测值相加即可得到重建图像块。图l - 2 是传统混合视频编码框架图， h 2 6 4 和a v s 标准都基本遵循此编码流程。它主要由预测模块( 包括帧内预测和帧间预测) 、 变换、量化模块以及熵编码模块组成( 扫描模块和熵编码模块统称为熵编码模块) 。此外还包 括环路滤波模块，也叫去块滤波模块，此模块主要作用是减少基于块编码带来的块效应问题。 图1 2传统混合视频编码框架 早期的视频编码标准如h 2 6 1 、m p e g 1 的编码框架基本上与图1 2 相同，也即视频编码 技术近2 0 年来的发展都是基于传统混合视频编码框架，性能的提高主要来自于各个功能模块 的技术改进。 1 3 当今主流视频编解码标准 标准化是产业化活动成功的前提。标准的制定保证了数据流可以在不同的终端和应用问 交换。而数字视频技术的广泛应用，促使了许多视频编码标准的产生，如1 1 节提到的，最早 是上世纪8 0 年代后期的h 2 6 1 【5 】和9 0 年代初期的m p e g 1 【6 】视频编码标准，其后是l t u t 制定的h 2 6 3 1 7 、h 2 6 3 + 等标准和m p e g 组织制定的m p e g 2 1 8 和m p e g 4 1 9 等标准，以及 最新的在2 0 0 3 年完成的h 2 6 4 m p e g 4a v c 1 0 标准，和2 0 0 3 年发布并于2 0 0 6 年2 月被定为 国家视频编码标准a v s ( a u d i oa n dv i d e oc o d i n gs t a n d a r do f c h i n a ) 第二部分a v s i 0 11 1 。h 2 6 x 系列、m p e g x 系列以及a v s 视频编码标准都是采用基于块的传统混合视频编解码框架。 1 3 1 h 2 6 4 简介 最新一代的视频编码标准h 2 6 4 m p e g - 4a v c 1 0 ，简称为h 2 6 4 ，有时也被称为“m p e g - 4 p a r t1 0 ，由m p e g 和l t u 下属的视频编码专家组( v c e g ：v i d e oc o d i n ge x p e r t sg r o u p ) 共同 成立的联合视频小组( j v t ：j o i n tv i d e ot e a m ) 负责制定并在2 0 0 3 年完成。h 2 6 4 视频编码标 1 1 准集以往视频编码技术的优点，并吸取标准制定过程积累的经验，最终达到了m p e g - 2 标准2 倍的编码压缩效率，然而其复杂度同样提升到m p e g - 2 的4 倍。复杂度的增加虽然加大了h 2 6 4 实现的难度，但是现代v l s i 技术的发展，使得芯片运算速度越来越快，功耗越来越小，这使 h 2 6 4 的具体实现成为可能。事实上，现在许多公司都已经生产出实用的h 2 6 4 编解码器芯片， 甚至可以达到h i g hp r o f i l e 层次的编解码能力。 h 2 6 4 不仅有高效的视频编码性能，还有很好的网络适应性 1 2 1 1 1 3 1 。h 2 6 4 编码标准分成 两个层次：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ：n e t w o r ka b s t r a c t i o n l a y e r ) 。v c l 层专注于提高视频编码效率；n a l 层将编码码流打成n a l 单元，适合网络传输。 n a l 单元不仅可以支持视频信息在电路交换信道上基于比特流的格式传输，也支持视频信号 在因特网上利用r t p u d p i p 做基于包的格式传输。 h 2 6 4 在视频压缩编码上性能的提高来自于对传统混合视频编码框架中各个功能模块技 术的改进【1 4 】。比如：可变块大小的运动补偿技术，块最小可以达4 x 4 ；四分之一亚像素精度 的运动补偿技术；多帧参考的运动补偿技术【1 5 】；方向性的帧内预测技术；更小块的变换技术， 4 x 4 块大小整数变换技术 1 6 1 ：上下文自适应的算术编码技术【1 7 】：环路滤波技术【1 8 】等等。 1 3 2 a v s 简介 目前，我国在音视频产业领域已经具备较强的产业基础，但相关企业的发展长期受制于 国外持有标准化专利与技术的企业和组织。2 0 0 2 年，我国音视频专家针对国内音视频产业的 需求开始着手制定中国自主知识产权的音视频标准a v s 。a v s 标准是由中国数字音视频领域 的科研机构和企业牵头，相关国际组织和企业广泛参与，按照国际开放式规则制定的针对中 国音视频产业需求的标准。a v s 工作组在掌握数字音视频编解码关键技术并妥善解决专利问 题的基础上，在国际先进水平的研究开发工作基础上，制定出我国具有自主权的数字音视频 编解码标准，推动音视频编解码芯片、整机和软硬件系统的开发。 a v s 标准是信息技术一先进音视频编码系列标准的简称。a v s 总共包括9 个部分， 其中第二部分( a v s p 2 ) 【1 1 】和第七部分【1 9 】是视频压缩标准。 a v s 第二部分( a v s p 2 ) ，俗称a v s l 0 ，是针对高分辨率视频应用的编码标准，其编码 效率在不同的视频画面尺寸下，是m p e g 2 视频的2 3 倍，逼近国际最新的h 2 6 4 标准，而且 其方案简洁，实现复杂度明显低于h 2 6 4 ，是更加针对实际应用的技术标准，在高清晰度应用 方面处于国际领先水平。在a v s p 2 中，融合了8 8 的整数变换、8 x 8 的方向性帧内预测模式、 8 x 8 的运动补偿模式、四分之一像素精度的运动补偿模式、环路滤波以及二维联合的变长编码 等技术，很大程度上提高了视频编码效率【2 0 】。a v s p 2 的目标是服务于高分辨率高质量的数 字音视频广播、高密度数字存储媒体、多媒体通讯、互联网宽带流媒体等重大信息产业应用。 a v s 第七部分，俗称a v s m ，是针对较低分辨率的移动视频编码标准，服务于多媒体信 息、业务流媒体和广播、实时通讯、移动手持设备的采集编码和播放。2 0 0 4 年1 2 月完成了第 一阶段的制定工作。a v s m 第一阶段的标准主要针对应用于手持设备上的播放，以及流媒体 和无线传输。考虑到能量消耗以及丢包等情况。新的标准采用了简洁的编码工具，如简化的 帧内预测和熵编码，预缩放技术等。同时，与a v s p 2 相比，引入了抗误码机制，如灵活参考 帧，不作参考的p 帧，逐步解码刷新g d r ( g r a d u a ld e c o d i n gr e f r e s h ) 等。 1 2 1 4 高效视频编码领域最新成果 在h 2 6 4 标准的制定之后，随着视频相关应用更加商业化以及网络技术尤其是无线网络技 术的高速发展，视频压缩编码的更高性能仍然一直是工业界和学术界持续追求的对象。进一 步提高压缩性能，用更小码率实现更高的图像和视频质量即更高的视频压缩效率一直是视频 技术发展的一个非常重要的方向，也是新的技术应用、产业和市场对视频压缩编码提出的需 求。 2 0 0 3 年9 月，视频编码专家组v c e g 的s a nd i e g o 会议上，组长gs u l l i v a n 在包括t 会议和m p e g 会议的历次视频相关技术会议中技术提案的基础上，对一些潜在的可以进一步 提升h 2 6 4 a v c 编码性能的技术做了总结 2 1 】【2 2 】。2 0 0 4 年l o 月，gs u l l i v a n 对提升压缩效 率的潜在技术再次总结【2 3 】之后，v c e g 会议决定成立“关键技术领域”的研究平台，命名为 k e yt e c h n i q u e a r e a s ( k t a ) ，并成立“压缩效率特别小组( a h g o nc o d i n ge f f i c i e n c y ) ”，对有 利于提升压缩性能的新技术进行专项研究。会议强调k t a 只作为关键技术的研究。几年来， k t a 已经在h 2 6 4 参考软件的基础上发展出自己的测试平台，并且在平台中加入了不少的新 技术。这些技术包括：1 8 象素精度插值技术【2 4 】【2 5 】【2 6 】；自适应滤波技术【2 7 】【2 8 】【2 9 】【3 0 】【3 1 】； 空域频域自适应压缩技术【3 2 】【3 3 】【3 4 】；自适应量化技术 3 5 1 1 3 6 ；以及改进的帧内预测和变换 技术【3 7 】【3 8 】【3 9 】等。在本文2 2 节将详细介绍这些技术。 v c e g 组织之外的国际视频编码领域研究同样活跃。2 0 0 5 年4 月召开了第一届关于 视频压缩技术将来发展方向的特别会议。在特别会议上，j o s t e r m a n n 就目前传统混合编码框 架下压缩效率要进一步提升的技术来源做了报告【4 0 】。报告指出在以后的研究中，熵压缩对性 能提升不多，预测压缩对压缩效率有很大的提升空间，报告还指出“纹理替换 ( t e x t u r e r e p l a c e m e n t ) 4 1 4 2 1 1 4 3 1 技术很有潜力。“纹理替换”技术不再局限于象素空问的逼近，而是在 压缩前从人眼视觉系统特性出发，分析纹理的特性，用易于压缩但人眼察觉不到区别的纹理 来替换图像中难于压缩的纹理。除了基于传统视频编解码框架的技术改进，越来越多的跨领 域技术加入到视频编解码框架中的尝试方兴未艾，比如将计算机视觉技术引入静态图像编码， 从图像的性质出发，研究基于区域分割、目标分割的压缩技术。2 0 0 3 年微软亚洲研究院( 简 称m s r a ) 就将基于结构的修复技术( s t r u c t u r e a w a r el n p a i n t i n g ) 【4 4 和基于边沿的修复技术 ( e d g e b a s e di n p a i n t i n g ) 【4 5 】等图像修复技术用于图像压缩，相对于j p e g 图像压缩技术，有高 达5 0 的压缩性能增益。2 0 0 0 年以来，将人类