（微电子学与固体电子学专业论文）基于h264的视频解码系统的设计.pdf

摘要 论文题目：基于h 2 6 4 的视频解码系统的设计 学科专业：微电子学与固体电子学 研究生：刘艳宏 指导教师：杨嫒教授 摘要 签名： 签名： h 2 6 4 是i t u - t 的视频编码专家组( v c e g ) 和i s o i e c 的运动图像专家组( m p e g ) 共同开 发的视频压缩标准。采用了4 4 整数变换、1 4 像素精度的运动估计、基于上下文的熵 编码、空间域内的帧内预测等最新视频编码技术，使得在图像质量相同的情况下，编码效 率大幅提高，在视频实时通信、数字电视广播和网络视频流媒体传输等各个方面的应用越 来越广泛。 基于h 2 6 4 视频解码系统利用输入比特流来重建图像，可以分为比特流语法解析和重 建数据两大模块。比特流语法解析模块包含比特流缓存、头信息检测器和熵解码器等几个 模块，它的输出送入重建数据模块来指导图像重建过程。重建数据模块包含几个大的功能 块：反量化反变换、帧内预测、帧间预测、去块滤波。本文针对整个解码器系统，重点研 究熵解码、反量化反变换和帧内预测三个模块。反量化反变换采用可以同时处理四个数据 的四级并行结构，对具有运算相似性的反h a d a m a r d 变换与反d c t 变换进行模块复用，用 两次一维快速蝶形运算实现二维变换。帧内预测针对不同的预测块大小和不同的预测模 式，采用自适应流水线结构减小预测延迟，并采用滑动窗机制来得到相邻像素的正确位置， 通过分析预测值求解算法采用一个先求和再移位的通用运算电路实现大部分预测模式的 预测值计算，并采用4 个p e 运算单元的并行结构来提高解码速度。 本文在深入研究h 2 6 4 标准的基础上，设计了解码分辨率为3 5 2 2 8 8 、c i f 格式视频 序列、基本档次h 2 6 4 硬件解码器系统，在m o d e l s i m 平台上对其进行功能仿真。重点分 析熵解码、反量化反变换和帧内预测三个模块，对这三个模块分别进行功能仿真，仿真结 果与标准算法计算结果相比较是正确的。 关键词：h 2 6 4 解码器；熵解码；反量化；反变换；帧内预测 西安理工大学硕士论文 t i t l e ：t h ed e s i g no fv i d e od e c o d i n gs y s t e m b a s e do nh 2 6 4 m a j o r = m i c r o e l e c t r o n i c sa n ds o l i de l e c t r o n i c s n a m e ：y a n h o n g l i u s u p e r v i s o r ：p r o f y u a ny a n g a b s t r a c t s i g n a t u r e ： s i g n a t u r e ： h 2 6 4i si o i n td e v e l o p m e n to ft h ev i d e oc o m p r e s s i o ns t a n d a r d sb yt h ei t u - tv i d e o c o d i n ge x p e r tg r o u p ( v c e g ) a n di s o i e cm o v i n gp i c t u r e se x p e r tg r o u p ( m p e g ) u s a g eo f t h el a t e s tv i d e oe n c o d i n gt e c h n o l o g i e ss u c ha s4 x 4i n t e g e rc o n v e r s i o n ，1 4p i x e la c c u r a c y m o t i o ne s t i m a t i o n t h ee n t r o p yc o d i n gb a s e do nt h ec o n t e x t ，i n t r ap r e d i c t i o no fs p a c e d o m a m a n ds oo nm a k et h ec o d i n ge f f i c i e n c yg r e a t l yi m p r o v e di nt h es a m ei m a g eq u a l i t y c a s e s i th a sa w i d e s l ：i r e a da p p l i c a t i o ni nr e a l t i m ev i d e oc o m m u n i c a t i o n ，d i g i t a lt e l e v i s i o nb r o a d c a s t ，n e t w o r k s t r e a m i n gm u l t i m e d i aa n d o t h e rv a r i o u sa s p e c t s t h ev i d e od e c o d i n gs y s t e mb a s e do nh 2 6 4t a k e sa d v a n t a g eo fi n p u tb i t s t r e a mt or e b u i l d p r e d i c t e dp i c t u r e s i t c a nb ep a r t i t i o n e d i n t ot w om a i np a r t s ，ab i t s t r e a mp a r s e ra n da r e c o n s t n l c t i o nd a t ap a t h t h eb i t s t r e a mp a r s e r c o n t a i n ss e v e r a lb l o c k s ， b i t s t r e a mb u f f e r , h e a d i n g o n ed e t e c t o r , e n t r o p h yd e t e c t o ra n ds oo n t h eo u t p u to ft h eb i t s t r e a mp a r s e ra r ef e d i n t ot h er e c o n s t r u c t i o nd a t ap a t ht od i r e c tf u r t h e rp i c t u r er e c o n s t r u c t i o n t h er e c o n s t r u c t i o nd a t a d a t h c o n t a i n ss e v e r a lm a jo rf u n c t i o nb l o c k s ，i q i td e c o d e r , i n t r ap r e d i c t i o n e n g i n e ，i n t e r p r e d i c t i o ne n g i n ea n dd fe n g i n e a i m e d a tt h ew h o l ed e c o d i n gs y s t e m ，e n t r o p h yd e t e c t o r , i q i t d e c o d e ra n di n t r ap r e d i c t i o ne n g i n ea r ed i s c u s s e di nd e t a i l a4 - p a r a l l e la r c h i t e c t u r ew h i c hi s c a p a b l eo fh a n d l i n gf o u ri n p u td a t a ss i m u l t a n e o u s l yi sa d o p t e di ni q i t t h ep a p e r u s e st h e s 锄em o d u l ea c c o r d i n gt ot h es i m i l a ro p e r a t i o nc h a r a c t e ro fi n v e r s eh a d a m a r dt r a n s f o r ma n d i d c t t w o d i m e n s i o n a l t r a n s f o r m a t i o n i s a c c o m p l i s h e db y t w i c e o n e 。d i m e n s i o n a l t r a n s f o m a t i o nw h i c hi sc a r r i e do u tb yf a s tb u t t e r f l y s h a p e do p e r a t i o n d u et o d i f f e r e n ti n t r a p r e d i c t i o nb l o c ks i z ea n dd i s t i n c tp r e d i c t i o n m o d e s ，as e l f - a d a p t i v ep i p e l i n e s t r u c t u r e1 s p r o p o s e dt or e d u c ep r e d i c t i o nl a t e n c ya n das l i d i n gw i n d o wm e c h a n i s m i se m p l o y e dt op r o v i d e c o l l r e c tp o s i t i o no fn e i g h b o r i n gp i x e l si ni n t r ap r e d i c t i o n f u r t h e r m o r e ，t h ep r e d i c t e dv a l u ei n m o s to fp r e d i c t i o nm o d e si sc a l c u l a t e db yag e n e r a la r i t h m e t i cc i r c u i tw h i c hs u m sf i r s ta n d s h i f t sa g a i n ap a r a l l e la r c h i t e c t u r ec o n s i s t i n go f4p eo p e r a t i o nu n i t si se m p l o y e dt o1 m p r o v e t h ep r o c e s s i n gs p e e d t h eh 2 6 4d e c o d i n gs y s t e mo fd e c o d i n gr e s o l u t i o n3 5 2 2 8 8 、c i f v i d e os e q u e n c e sa n d 西安理工大学硕士论文 b a s e l i n ep r o f i l ei sd e s i g n e da f t e rr e s e a r c hd e e p l yi n t oh 2 6 4s t a n d a r d s i m u l t a n e o u s l yf u n c t i o n a l s i m u l a t i o ni sc a r r i e do u ti nm o d e l s i m t h et h r e eb l o c k so fe n t r o p yd e c o d i n g ，i q i ta n di n t r a p r e d i c t i o na r ed i s c u s s e dm a i n l y a l s of u n c t i o n a ls i m u l a t i o na r ec a r r i e do u ti nt h e s eb l o c k s t h e s i m u l a t i o nr e s u l t sa l er i g h tc o m p a r e dw i t hs t a n d a r da l g o r i t h mc a l c u l a t i o nr e s u l t s k e y w o r d s ：h 2 6 4d e c o d e r ；e n t r o p h yd e t e c t o r ；i n v e r s eq u a n t i f i c a t i o n ；i n v e r s et r a n s f o r m a t i o n ；i n t r a p r e d i c t i o n 目录 目录 摘要i a b s t r a c t i i i 目蜀毛i 1 绪论1 1 1 研究背景1 1 2 本课题的提出与研究意义3 1 3 本文内容安排与组织结构3 2h 2 6 4 视频编解码结构及相关技术5 2 1h 2 6 4 视频编解码结构5 2 2h 2 6 4 关键技术介绍6 2 2 。1 帧内预测编码一6 2 2 2 帧间预测编码一7 2 2 3 整数d c t 变换和量化8 2 2 4 变长编码一9 2 3 5 去块效应滤波10 3 h 2 6 4 视频解码系统11 3 1 系统分割11 3 2 系统结构1 1 3 2 1 比特流r a m 12 3 2 2 视频解码器1 2 3 2 3 显示控制器1 2 4 熵解码器实现15 4 1c a v l c 解码15 4 1 1 解码c o e f ft o k e n 中的t o t a l c o e f f s 和t r a i l i n g o n e s 17 4 1 2 解码t r a i l i n g o n e s 符号位1 9 4 1 3 解码非零系数幅值2 0 4 1 4 解码t o t a l z e r o s 2 1 4 1 5 解码r u n b e f o r e 2 2 4 1 6c a v l c 系统仿真一2 3 4 2e x p g o l o m b 解码一2 4 5 反量化反变换模块实现2 7 5 1 基本算法2 7 t 西安理工大学硕士论文 5 1 1 反变换2 7 5 1 2 反量化2 9 5 2i q i t 解码实现3 0 5 2 1 反变换3 1 5 2 2 反量化一3 3 5 2 3 转置3 5 5 2 4 循环3 6 6 帧内预测模块实现3 9 6 1i n t r a4 4 预测模式解码3 9 6 2 帧内预测方式4 1 6 2 1 亮度i n t r a4 4 预测4 1 6 2 2 亮度i n t r a1 6 1 6 预测4 4 6 2 3 色度i n t r a8 x 8 预测4 5 6 3 帧内预测结构4 6 6 3 1 自适应流水线4 6 6 3 2 滑动窗控制4 9 6 4 帧内预测仿真5 0 7h 2 6 4 视频解码系统仿真5 3 8 本文总结及展望5 5 8 1 本文总结5 5 8 2 展望5 5 致谢5 7 参考文献5 9 1 绪论 1 绪论 1 1 研究背景 在人们的日常学习、工作和通信中视频和图像信息由于信息量大、直观并易于理解， 具有不可替代的重要性。研究表明，人们每天通过视觉获取的信息占外界信息总量的7 0 左右【】。近年来随着信息技术的飞速发展，数字化的图像和视频信息己经渗入到人们日常 工作和生活中，成为人们获取信息的重要来源。 视频信号所包含的信息量大，其内容可以是静止的，也可以是活动的；可以是黑白 的，也可以是彩色的；有时变化多、细节多，有时变化十分平坦。一般而言，视频信号信 息量大，传输网络需要的带宽相对宽。例如，一路会议电视信号或可视电话，由于活动内 容少，所需带宽窄，但要达到良好质量，不压缩约需若干m b i t s ，压缩后需要3 8 4 k b i t s ；又 如，一路高清晰度电视信号( h d t v ) ，由于其信息量巨大，不压缩需1 g b i t s ，利用m p e g 2 压缩后，还需2 0 m b i t s 列。因此，我们必须对原始图像和视频数据进行高效的压缩，并以 压缩码流的形式传输和存储这些数据。 随着超大规模集成电路( v l s i ) 技术的飞速发展，先进的视频编码算法不断涌现，使编 码效率得到了显著提高【3 j 。视频编码技术作为多媒体通信中的核心技术，一直是学术界的 研究和应用热点。视频编码技术标准化为编码视频的交互和更为广泛的应用创造了必要条 件，给不同的视频提供者和厂商奠定了一个共同工作的基础。视频编码国际标准的制定主 要由国际电信联盟组i t u t 和国际标准化组织i s o i e c 负责。国际标准化组织i s o i e c 起草了m p e g x 系列如：m p e g 1 ，m p e g 2 ，m p e g 一4 视频编码标准，主要用于视频存 储( d v d ) 、视频广播、视频流( 如互联网视频以及无线视频) 4 1 。此外，该组织还针对普通 的多媒体架构和多媒体内容标识分别提出了m p e g 7 和m p e g 2 1 两类标准。i t u t 提出 了h 2 6 x 系列( 如：h 2 61 ，h 2 6 2 ，h 2 6 3 等) 视频编码标准，主要用于网络视频会议的实时传 输和可视电话等领域【5 。0 l 。该组织面向全球所有对此感兴趣的科研单位，在每三个月一次 的会议上，讨论各个科研单位的技术提案，完善编码技术标准【4 j 。由于两大标准化组织所 提出的视频编码标准分别针对不同的应用领域，因此存在着应用局限性【l 。1 9 9 7 年，i t u t v c e g 联合i s o i e cm p e g 组成j o i n tv i d e ot e a m ( j v t ) ，用于建立一套简单高效的视频编 码标准即h 2 6 l 标准。2 0 0 3 年，该系列标准已经发展到h 2 6 4 版本，正式命名为 a v c ( a d v a n c e dv i d e oc o d i n g ) ，分别作为i t u t 的h 2 6 4 标准和i s o i e c 的m p e g 4 的第 1 0 部分【1 2 j 。表1 1 给出了相关国际标准的进展情况。 目前视频编码领域中的研究热点和发展趋势主要体现在以下几方面【1 3 j ： ( 1 ) 编码算法的优化设计以及高编码效率视频编码方法 视频编码技术将向更高压缩效率发展。处理器计算能力的不断增强促使各类先进的视 西安理工大学硕士论文 频编码技术层出不穷，不断提高编码效率。例如，早期的h 2 6 1 标准，由于受到当时处 表1 1 国际视频编码标准 标准标题制订者目标应用场合 v i d e oc o d e cf o ra u d i ov i s u a l 综合业务数字网i s d n 中的 h 2 6 1i t u t s e r v i c e sa tp x 6 4 k b i t s s视频会议 c o d i n go fm o v i n gp i c t u r e s a n da s s o c i a t e da u d i of o r 光盘存储、家用视频摄像、 m p e g 1m p e g d i g i t a ls t o r a g em e d i au pt o 视频监控等 1 5 m b i t s s g e n e r i cc o d i n go fm o v i n g 数字电视、d v d 、高清晰度 m p e g 2m p e g 电视、有线电视及卫星电 p i c t u r e sa n da s s o c i a t e da u d i o 视、视频点播等 v i d e oc o d i n gf o rl o wb i t桌面可视电话、移动视频通 h 2 6 3 h 2 6 3 +i t u t r a t ec o m m u n i c a t i o n信等 i p 网络视频会议、交互式视 c o d i n go f a u d i o - v i s u a l m p e g 4m p e g频通信、便携式视频通信终 o b j e c t s 端、专业视频等 v i d e oc o d i n gf o rl o wb i t桌面可视电话、移动视频通 h 2 6 3 + + i t u t r a t ec o m m u n i c a t i o n 信等 有线电视、无线视频通信、 包基网络的视频流传输、i p m p e g & h 。2 6 4 | 斟cj o i n tv i d e os p e c i f i c a t i o n 网络视频会议、光盘存储、 i t u t 高质量视频编解码系统、多 媒体邮件等 理器计算能力的限制，只支持整像素精度的运动矢量；而最新的h 2 6 4 标准则可以支持 1 4 和1 8 像素精度的运动矢量【1 4 1 。此外，h 2 6 4 标准还采用了帧内预测、多种块尺寸 的运动估计、环路滤波器、基于内容的自适应二进制编码等多种先进的视频编码技术，使 h 2 6 4 的编码效率与之前的视频编码标准相比有了明显提高【l5 。1 6 j 。例如在相同质量下， h 2 6 4 比h 2 6 3 和m p e g 4 节省约5 0 的码率【l7 。1 8 j 。同样，h 2 6 4 的高编码效率也是 以高复杂度为代价的，据统计h 2 6 4 编码算法的复杂度大约相当于h 2 6 3 的2 到3 倍 1 9 - 2 0 j 。然而过高的复杂度对于p d a 和手机等移动终端等应用将造成巨大的挑战。为了在 这类计算能力和功耗都非常有限的平台上实现h 2 6 4 编解码算法，我们就必须对算法进 行高效优化，使得在编码效率基本不变或稍有下降的条件下，显著降低算法的复杂度，缩 短运行时间【2 。因此，基于不同平台的视频编码算法的优化技术已成为当前视频编码领 1 绪论 域中的研究热点【2 2 - 2 3 。 ( 2 ) 面向网络传输的视频编码技术 由于移动通信技术和网络技术的迅猛发展，由面向存储转变为面向传输也成为视频编 码技术的发展方向。实时视频业务比其他数据业务具有更大的数据量，对传输延时也有更 严格的要求。然而，传统的因特网只能提供“尽力而为”( b e s t e f f o r t ) 的服务，无法保证 视频传输的服务质量( q o s ，q u a l i t yo f s e r v i c e ) ，使得在因特网上传输视频面临着诸多挑战， 例如带宽受限、网络丢包、时延抖动、网络和终端的异构性等【2 4 】。为此，人们对面向网 络传输的视频编码技术展开了广泛和深入的研究，研究的重点包括：可扩展编码、码率分 配、码率控制、转码、码流切换以及自适应编码等1 2 。 ( 3 ) 拥有自主知识产权的视频编码技术和标准 为了促进国内音视频产业的发展，国家信息产业部科学技术司于2 0 0 2 年6 月批准 成立了数字音视频编解码技术标准工作组( 简称a v s 工作组) ，联合国内企业和科研机 构，共同制定拥有自主知识产权的音视频编码标准a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 口1 | 。除强调自主支持产权以外，a v s 中采用的视频编码技术还具有很高的编码效率，同 时也充分考虑到算法的实现复杂度等问题，以利于该标准最终的实用化和产业化【2 5 - 2 7 1 。 1 2 本课题的提出与研究意义 目前已经被各种市场领域所广泛接受视频标准是m p e g 2 ，比如数字机顶盒、数字化 视频光盘( d v d ) 和数字电视广播( 覆盖电缆和通讯卫星) 。在同等的图像质量条件下， h 2 6 4 比m p e g 2 具有更高的数据压缩比，约为m p e g 一2 的2 3 倍，可以说它的设计出 发点是节省每一- l l 特。因此h 2 6 4 编码的视频数据传输需要的带宽更少，也更加经济，它 将逐渐取代以前的视频编码标准。但是，获得优越性能的代价是计算复杂度的大幅增加， 例如分层设计、多参考帧、多模式运动估计、改进的帧内预测等，h 2 6 4 a v c 编码复杂度 大约是m p e g 2 的4 - - 5 倍，解码复杂度大约是m p e g 一2 的2 1 3 倍 4 1 。如果单纯用软件编 解码很难达到很高的性能，尤其是在实时应用中高清晰度视频难以实现实时解码，这样就 需要设计专门的硬件解码电路或者进行硬件加速。因此本文设计了解码分辨率为 3 5 2 x 2 8 8 、c i f 格式视频序列、基本档次h 2 6 4 硬件解码器系统。 1 3 本文内容安排与组织结构 本文设计了具有基本档次、c i f 分辨率h 2 6 4 硬件解码器系统。全文共分七章，结构 安排如下： 第一章是绪论部分，首先论述了课题研究背景以及研究的意义，分别说明了视频编码 的必要性和各类视频编码标准的演变历史，然后概述目前视频编码领域中的研究热点和发 西安理工大学硕士论文 展趋势，最后简要说明论文的章节安排。 第二章介绍h 2 6 4 视频编码理论与相关技术，主要包括视频编码基本概念，h 2 6 4 的 特点和基本结构以及h 2 6 4 所采用的关键技术。 第三章介绍视频解码系统的结构，以及组成系统的三个部分。 第四章介绍熵解码的原理和解码步骤，对其进行仿真。 第五章介绍反量化反变换模块的基本算法，以及为提高运算速度采用的新型结构和 算法，对其进行仿真，并对整个反量化反变换模块做仿真。 第六章介绍帧内预测的原理及实现方法，对各个模块进行仿真后，整体也做仿真。 第七章进行系统仿真。 第八章主要是论文的总结与进一步的展望。 4 2h 2 6 4 视频编解码结构及相关技术 2h 2 6 4 视频编解码结构及相关技术 2 1h 2 6 4 视频编解码结构 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编例了码的视频比特 流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通， 在实现上具有较大的灵活性，而且有利于相互竞争。 图2 1 和图2 2 是h 2 6 4 的编码器及解码器框图。编码器采用的是变换和预测的混合 编码法。 图2 1h 2 6 4 视频编码结构框图 f i g u r e2 1 b l o c kd i a g r a mo fh 2 6 4v i d e oc o d i n g 由图2 1 可知，输入的帧或场f n 以宏块( 1 6 1 6 ) 为单位被编码器处理。首先，按 帧内或帧间预测编码的方法进行处理。 若采用帧内预测编码，其预测值p r e d ( 图中用p 表示) 是由当前片中已编码的参考 图像经运动补偿( m c ) 后得出的，其中参考图像用f n 1 表示【2 8 l ；若采用帧间预测编码， 参考前面已经解码过的一帧f n 1 或几帧f n 1 ，进行运动估计和运动补偿，得到待编码 块的预测块p 以及相应的运动矢量1 2 引。 预测值p 和当前块相减后，产生一个残差块d n ，经块变换、量化后产生一组量化后 的变换系数x ，再经熵编码，与解码所需的一些边信息( 如预测模式量化参数、运动矢量 等) 一起组成一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存储用【2 8 】。 编码器必须有重建图像的功能来提供预测用的参考图像。因此必须使残差图像经反量 化、反变换后得到的d n 与预测值p 相加，得到u f n ( 未经滤波的帧) 1 2 引。为了去除编 解码环路中产生的噪声，提高参考帧的图像质量，进而提高压缩图像性能，设置了一个环 路滤波器，滤波后的输出f n 即重建图像即可用作参考图像【3 0 】。 图2 2 中压缩码流经熵解码重排序得到量化后的一组变换系数x ，再经反量化、反变 换，得到残差数据d n 。利用从该比特流中解码出的头信息，解码器就产生一个预测块 p r e d ，它和编码器中的原始p r e d 是相同的，当解码器产生的p r e d 与残差d n 相加后 就产生u f u ，再经滤波后得到f n ，这个f n 就是最后的解码输出图像【3 0 】。 s 西安理工大学硕士论文 图2 - 2h 2 6 4 视频解码器结构框图 f i g u r e2 - 2 b l o c kd i a g r a mo fh 2 6 4v i d e od e c o d i n g 2 2h 2 8 4 关键技术介绍 2 2 1 帧内预测编码 冒 帧内预测模式下，预测块p 是基于当前块和已编码重建块形成的。针对亮度像素，p 块用于1 6 1 6 宏块或者4 x 4 子块的相关操作。1 6 1 6 亮度块有4 种预测模式，预测整 个1 6 1 6 块，适用于平坦区域图像编码；4 4 亮度子块共有9 种可选预测模式，独立预 测每一个4 4 子块，适用于带有大量细节的图像编码。色度块有4 种预测模式，类似于 1 6 1 6 亮度块预测模式。编码器通常选择使编码块和p 块之间差异最小的那种预测模式。 另外，还有一种称为ip c m 的帧内编码模式。在该模式下，编码器不经过预测和变 换，直接传输图像的像素值。在一些特殊的情况下，特别是图像内容不规则或者是量化参 数非常低时，该模式比“常规操作”( 帧内预测变换量化熵编码) 效率更高【2 引。i p c m 编码模式用于以下目的： ( 1 ) 提供表示不规则图像内容的准确值，而不引起重大的数据量增加。 ( 2 ) 允许编码器精确表示像素值。 ( 3 ) 严格限制宏块解码比特数，但不损害编码效率。 6 输出 图2 3 帧内预测编码流程图 f i g u r e2 - 3 t h ef l o wo fi n t r ap r e d i c t i o ne n c o d i n g 帧内预测编码的流程图如图2 3 所示。帧内编码在m p e g 4 、h 2 6 3 + 等视频压缩编码 2h 2 6 4 视频编解码结构及相关技术 标准中就被引入变换域。h 2 6 4 帧内编码参考预测块左方或者上方的已编码块的邻近像素 点，被引入空间域；但如果参考预测块是帧间编码宏块，该预测会因参考块的运动补偿引 起误码扩散2 引。所以参考块通常选取帧内编码的邻近块。 2 2 2 帧间预测编码 帧间预测是一种去除图像时间相关性的重要编码方法，采用从之前的一帧或几帧已经 编码的图像中进行预测，然后将当前编码帧宏块数据与预测数据相减得到残差信息并进行 编码。h 2 6 4 标准的帧间预测编码与以往的视频编码标准相类似，其主要区别在于块尺寸 范围更广( 从1 6 1 6 到4 4 ) 、亚像素运动矢量的使用( 亮度采用1 4 像素精度m v ) 及多参 考帧的运用等，大大提高了其预测效率和精度。预测方向有单向、双向、混合等数种方式， 多参考帧在对背景相互切换、快速的周期性运动、物体存在遮蔽现象等情况进行预测时可 以提供更好的帧问预测效果，参考图像最多可达1 5 帧。 ( 1 ) 树状结构运动补偿 h 2 6 4 为了更有效地进行帧间运动补偿，引入了树状结构像素分割技术，即将一帧图 像分割为大小不同的块。宏块的亮度运动补偿共采用了7 种尺寸：1 6 1 6 、1 6 8 、8 1 6 、 8 8 、8 4 、4 8 、4 4 。其中，1 6 x1 6 、1 6 8 、8 1 6 、8 8 为宏块的分割方式，如 图2 4 ，8 8 、8 4 、4 8 、4 4 为亚宏块的分割方式，如图2 5 。 1 688 1 6 8 8 图2 4 宏块分割方式 f i g u r e2 - 4 m a c r o b l o c kp a r t i t i o n s 44 图2 5亚宏块分割方式 f i g u r e2 - 5 s u b m a c r o b i o c kp a r t i t i o n s 实验结果表明，与仅采用1 6 x 1 6 块相比，采用全部的7 种运动补偿块模式可以节约 1 6 的码率，其中8 0 以上是由于采用8 x 8 以上的块尺寸。另外小于8 x 8 的块尺寸仅在高 码率的时候有用，4 x 4 块尺寸带来的p s n r 增益最小f 2 3 1 。因此，采用小尺寸的块对于高分 辨率的序列来说没有太大的益处。此外h 2 6 4 的多参考图像编码性能与视频序列的内容有 很大关系。对于大多数序列来说，采用多个参考图像与一个参考图像相比所节省的码率平 均小于5 ，最高可达2 0 。因此，如果视频编码器能够自动识别视频序列的内容，那么 7 西安理工大学硕士论文 就可以自适应地选取参考图像的数目，降低运动补偿的复杂度【3 1 1 。 ( 2 ) 运动矢量与亚像素精度插值 帧间编码宏块的每个分割或者子宏块都是对参考图像的某一相同尺寸区域进行预测 得到的，二者之间的补偿值即为运动矢量( m v ) 。运动估计是利用视频图像的时域相关性， 产生相应的运动矢量，尽可能精确的描述对象( 块或宏块) 的时域运动【3 2 1 。因此运动矢量的 精度越高，运动估计的残差越小，视频质量越好。h 2 6 4 支持亮度分量的1 4 象素和色度 分量的1 8 象素的运动估计，利用6 抽头滤波器产生1 2 分数象素，线性插值产生1 4 分 数象素，4 抽头滤波器产生最高1 8 分数象素1 3 3 1 。与整像素相比，h 2 6 4 使用的1 4 像素 精度的运动估计性能要好得多，但是代价是增加了运算复杂度p 引。 h 2 6 4 引入分像素精度预测来提高运动补偿的精度，这需要对分数像素点进行内插处 理。若运动矢量是整数，则直接获得像素值；若运动矢量是分数，则通过像素内插获得分 像素值。该像素值作为预测值和反变换值相加得到解码值。图2 - 6 给出了亮度像素1 4 精 度内插示意图( 其中大写字母表示整数位置像素点，小写字母表示分数位置需要内插的像 素点) 。 口口 田口 固 圈 固 田 团 田 囚曰 曰圈 园口口 回口口 ga b ch def g hi j km n pq f msn 田田 园困 田圈 口口因园圈口口 口口田园回口口 图2 - 61 4 亮度像素内插 f i g u r e2 - 6q u a r t e rl u m ap i x e li n t e r p o l a t i n g 2 2 3 整数d c t 变换和量化 h 2 6 4 采用变换编码预测处理编码后的数据以消除视频信号的频域冗余。变换针对 4 x 4 子块，采用整数d c t 变换取代传统d c t 变换。整数d c t 变换是对传统d c t 的一种 改进，用整数运算取代d c t 中的浮点运算，从而极大提高了算法的运行速度【3 5 】。下面为 d c t 与整数d c t 的表达式，式( 2 1 ) 为d c t 变换，式( 2 2 ) 为整数d c t 变换。 8 2h 2 6 4 视频编解码结构及相关技术 y ：a x a 7 ： 口口 b c 口一口 f- b 口口 一c 一6 一口口 b- b ab 口c 口c 口一6 口c 一口一6 - ab 口一c 式中口= 仫6 = 店c 。s ( 詈) ，c = 压c 。s ( 詈) 。 y _ - q x c 歹。够= l1 21 l一1 l一2 1l 一1 2 一ll 2一l l2 11 ll l一2 ll ll l2 l 一1 a 2 a b 2 口2 a b 2 b 2 4 a b 2 口2 a b 2 口2 a b 2 b 2 4 a b 2 ( 2 1 ) ( 2 2 ) 斤 【- 了a b 百b了a b 百bj l 上2 式中口= 1 2 ，62 专， 表示按相应位相乘。 为了在不降低视觉效果的前提下减少图像编码长度，进而去除视觉冗余，整数d c t 变换后对变换系数进行量化操作。h 2 6 4 采用标量量化技术，式( 2 3 ) 给出了量化编码器的 数学模型。 f q _ r o u n d l ( 鲈y - z - j q 3 式中q p ( o - 5 1 ) 为量化步长，y 为输入变换编码，f q 即为y 的量化值，r o u n d 是取整函数。 当y 较小时选用较小的q p ，反之选用较大的q p ，则编码器可以实时调整q p 值来进行 码率控制，这样可以针对不同的内容达到最优的压缩效果。 2 2 4 变长编码 h 2 6 4 支持c a v l c ，c a b a c 和e x p g o l o m b 这3 种变长编码。其中c a v l c 与c a b a c 针对像素信息编码，e x p - g o l o m b 编码针对所有的语法信息。e x p g o l o m b 编码的构造方式 如下： m 个0 0 i n f o 】( 2 4 ) 式中i n f o 是长度为m 的信息位，每个e x p g o l o m b 编码的码字长度2 m + l 【3 2 j 。m 和i n f o 通过下式得到： m = f l o o r ( 1 0 9 码序+ l 】)( 2 5 ) i n f o = 码序+ 1 - 2 m ( 2 6 ) e x p g o l o m b 编码和c a v l c 编码的详细过程将在后面章节讨论。基本档次不包含 9 西安理工大学硕士论文 c a b a c 编码，因此本文不予讨论。 2 3 5 去块效应滤波 h 2 6 4 视频编解码标准中，视频解码端经过反变换、反量化后的重构图像会出现方块 效应( 类似轻微的马赛克现象) ，其产生的原因有两个：一是由于量化过程相对粗糙，使得 反量化后的图像块在边界上不连续；二是由于运动补偿预测，由于运动补偿是在不同的图 像帧之间搜索匹配块，匹配块很难完全匹配，会在预测块重构时产生边界的不连续【3 引。 h 2 6 4 采取去方块滤波技术来抑制方块效应，降低对视频质量的影响。去方块滤波算法具 有高度的自适应性，算法复杂度极高，