（通信与信息系统专业论文）h264avc关键算法的研究及优化.pdf

重庆大学硕七学位论文 中文摘要 摘要 i t u t 和i s o i e c 联合制定的新一代视频编码标准h 2 6 4 a v c 标准，支持 各种网络环境中甚低码率下的高质量视频通信，具有同类标准无法企及的编码优 势。由于标准中采用了更先进的编码技术，使得运算量和编码复杂度大大增加， 严重限制了它的实际应用。为了尽可能的克服h 2 6 4 a v c 编码系统的缺点，以充 分发挥其优势，本论文开展了对h 2 6 4 a v c 关键算法的研究。 论文简要分析了视频压缩原理和现有编码标准，详细的介绍了h 2 6 4 a v c 编 解码器的整体构架和相关技术，对其中的帧内预测、帧间预测、变换量化和熵编 码等模块进行了分析讨论。重点对运动估计中的块匹配算法和帧间预测算法进行 了改进。 由于现有块匹配算法存在搜索路径单一和搜索模板与块运动矢量分布状况适 应性不强的不足，为增强搜索的针对性和自适应性，论文提出了基于块运动范围 分类并按类分模板展开搜索的混合型块匹配算法，该算法还融合了起始点预测、 运动类型判定等技术，最后在v c 平台上对其性能进行了验证。结果表明，该算法 搜索速度快，精度高，能获得均匀的运动矢量场，利于传输编码。 官方参考软件j m 采用“遍历”的帧间预测方式，尽管效果最好，但是时间消耗 极大。某些快速算法只通过对部分预设模式进行检测来提高选择速度，却由于选 择原则过于粗糙，导致编码性能严重下降。为了兼顾编码质量和编码速度，论文 提出了模式分组提前终止的快速模式选择算法。该算法基于视频序列特征和模式 之间的相关性，确定出当前块所在的模式组，从该组内选出最佳模式，从而减少 计算冗余，加快编码速度。实验表明，与目前的编码标准算法相比，本算法在峰 值信噪比和码率相近的条件下，编码速度有很大程度的提高，有利于h 2 6 4 a v c 标准的实用化。 关键词：h 2 6 4 a v c ，块匹配，帧间预测，率失真优化 重庆人学硕七学位论文 英文摘要 a b s t r a c t h 2 6 4 a v c ，t h en e wg e n e r a t i o ns t a n d a r dw a sm a d eu pb yt h ei t u ta n d i s o i e ct o g e t h e r t h es t a n d a r dh a st h eu n i q u ea d v a n t a g et h a ts u p p o r t st h et r a n s m i t t i n g o fh i g hq u a n t i t yv i d e ou n d e rv a r i e t yn e te n v i r o n m e n t sw i t hv e r yl o wb i tr a t e b u t b e c a u s ei ta d a p t ss o m en e wa d v a n c e dt e c h n o l o g y , t h ec o m p l e x i t yo ft h eh 2 6 4 a v c c n c o d e ri s v e r yh i 曲，w h i c hm a k e si t sa p p l i c a t i o nl i m i t e d t og i v ef u l lp l a yt o i t s a d v a n t a g e s ，r e d u c i n gt h ee n c o d e rc o m p l e x i t yw i t hg o o de n c o d i n gp e r f o r m a n c ea n di s o n eo ft h eg o a l si nt h ef i e l d ，w h i c hi st h eg o a lo ft h i sp a p e rt o o t h i sp a p e rr e s e a r c h e dt h e k e ya l g o r i t h m so fh 2 6 4 a v c f o l l o w i n gs i m p l ea n a l y s i sa b o u tv i d e oc o m p r e s s i o np r i n c i p l ea n dc u r r e n tv i d e o e n c o d es t a n d a r d s ，h 2 6 4 a v c e n d e c o d e ri si n t r o d u c e d ，i n c l u d i n ge n c o d i n gf r a m e w o r k ， c h a r a c t e ro ft h ec u r r e n ta l g o r i t h m sa n dt h er e a s o nf o rt h e i rw e a k n e s s ，t h i sp a p e r p r o p o s e ds o m en e wa l g o r i t h ma sf o l l o w s ： w h e nb l o c km a t c h i n g ，i tw a sf o u n dt h a ts o m ea l g o r i t h m sc a nn o tb ea c c o r dw i t h t h ed i s t r i b u t i o no fm o t i o nv e c t o rv e r ym u c hb e c a u s em e ya d o p to n l yo n es e a r c hm a s ko r t h es h a p eo ft h em a s k s ，t om a k et h es e a r c h p r o c e s sm o r eo b j e c t - o r i e n t e da n d a d a p t i v e ，t h i sp a p e ri d e n t i f i e dt h eb l o c ka sc e r t a i nt y p eb a s e do nt h em o t i o na r e a ，a n d t h e na p p l yr e l e v a n ts e a r c hm a s kt os e a r c hf i n e i nt h ep r o c e s s i n go ft h es e l e c t i o no fm a c r ob l o c kp a r t i t i o nm o d e s ，j mr e f e r e n c e s o f t w a r ec h e c ka l lt h em o d e sa n ds e l e c tt h eb e s to n g ，s om a k et i m ec o n s u m p t i o nt o o m u c h w h i l es o m eo t h e ra l g o r i t h m sm a k et h es e l e c t i o np r o c e s s i n gf a s t e rb yo n l yc h e c k s o m e “s a m p l e ”m o d e s ，a n db e c a u s ei ti sc o a r s e ，t h ee n c o d e rp e r f o r m a n c ei sw o r s e a f t e r d i s c u s s i n gt h e r e a s o nf o rn o tm a k i n gag o o db a l a n c eb e t w e e nt h e e n c o d i n g p e r f o r m a n c e sa n de n c o d i n gc o m p l e x i t y , b a s e do nt h ec h a r a c t e ro fv i d e os e q u e n c e sa n d t h er e l a t i o n s h i pb e t w e e nt h ep a r t i t i o nm o d e s ，t h i sp a p e rp r o p s e daf a s ta l g o r i t h mw h i c h b a s e do nm o d e sg r o u pa n de a r l yt e r m i n a t i o n b yt h eu p p e rt w oo p t i m i z a t i o n s ，t h en e w p r o c e s s i n gg e t sp u r p o s i v ea n ds i m p l e r t h ee x p e r i m e n tr e s u l t ss h o w e d t h a t c o m p a r e d w i t l lt h e p r e s e n t s t a n d a r d a l g o r i t h m s ，t h en e wa l g o r i t h mp r o p o s e di nt h i sp a p e rc a l ls a v es o m ee n c o d et i m ew i t h a l m o s tt h es a m ep s n ra n db i t r a t e s ot h en e wa l g o r i t h mi s g o o df o rp r a c t i c a l i t yo f h 2 6 4 几w cs t a n d a r d k e yw o r d s ：h 2 6 4 a v c ，b l o c km a t c h ，i n t e rp r e d i c t i o n ，r a t e - d i s t o r t i o no p t i m i z a t i o n i l 2 1 2 学位论文独创性声明 文 研究 ，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：j 兰 签字日期： 冲蚋 签字日期：1 哥闲彳矽 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中 库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文数 据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论文 全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c i n k i 中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联 网上传播，同意按“章程”规定享受相关权益和承担相应义务。本人授权重庆大学 可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内容。 作者签名：j 兰丝 导师签名： 备注：审核通过的涉密论文不得签署“授权书 ，须填写以下内容： 该论文属于涉密论文，其密级是，涉密期限至 年 月一日。 说明：本声明及授权书兰隧装订在提交的学位论文最后一页。 重庆大学硕士学位论文1 绪论 1 绪论 1 1 引言 随着数字视频处理技术的快速发展，各种数字视频应用已经广泛深入到我们 的日常生活中，例如数字电视、可视电话、视频会议和网络多媒体。而第三代移 动通信( 3 g ) 更是把无线视频传输作为其一大热点。视频应用的快速发展无疑推 动了视频编码标准的制定。 视频信息具有很多优点，如直观性、高效性、确切性和广泛性等，但通常视 频信息所需的数据量是很大的，要使视频技术能真正实用化，就无可避免的面临 视频压缩的问题，视频压缩通常会丢失一定的信息，导致视频质量的下降，并且， 通常压缩比与视频恢复质量这两个方面是矛盾地存在的，因此，开发出具有较大 压缩比又有较好视频恢复质量的视频压缩编码技术成为视频领域的一个重要研究 目标。 从上世纪8 0 年代初c c i t t 公布第一个视频压缩标准以来，i t u t 等国际标准 化组织陆续制定了近十个视频压缩编码标准，大大地推动了视频通信和数字电视 技术的发展，但上述矛盾却未能得到很好的解决。 i t u t i s o 于2 0 0 3 年3 月正式公布了h 2 6 4 a v c 视频压缩标准【l 】，该标准由 于具有比以往标准更出色的编码性能，而被称为新一代视频压缩编码标准。比如， 与h 2 6 3 或m p e g 4 标准相比，在同等质量下，其码率能降低一半左右，或者说 是在同等传输码率下，视频恢复质量大大改善。 1 2 视频压缩的必要性 信息数字化带来卓越性能的同时也带来了“信息爆炸 。比如对数字电视图 像而言，若采用s i f 格式，n t s c 制彩色，4 ：4 ：4 采样，每帧数据量为2 5 3 k b ，以 3 0 帧s 的速度播放就需每秒数据量为7 6 0 3 m b ，则一张c d r o m 就只能存储1 2 6 6 k 帧，只能存储1 4 2 分钟的电视节目【2 1 。巨大的数据量给存储器的存储容量、通信 的信道传输率和计算机的处理速度等都提出了非常高的要求，称为多种视频应用 技术实用化所面临的主要问题之一。解决方式大致有两种：第一，扩大存储器的 容量，增加通信信道的数据传输速率和提高计算机处理速度，但是这受到硬件本 身性质的限制，能提升的性能毕竟有限，难以圆满适应需求；第二，通过数据压 缩技术来降低数据量，以压缩的形式来存储和传输数据，从根本上缓解巨大数据 量带来的问题。 视频图像本身的特点也决定了视频压缩的可能性。信源视频图像数据中各个 重庆大学硕士学位论文1 绪论 数据点之间不是独立存在的，它们存在很强的相关性，使得原始数据中存在巨大 的冗余量，去除这些相关性就可以减少冗余数据，从而达到压缩数据的目的。在 视频数据中冗余的存在形式有很多中，有空间冗余、时问冗余、结构冗余、视觉 冗余等，它们为视频压缩技术的应用提供了可靠的基础。基于这些冗余的特点， 人们发明了很多去除冗余，实现压缩编码的方法。 1 3 视频编码标准发展概况 1 3 1 国际视频编码标准的发展 1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 建议。 1 9 8 8 年c c i t t 通过了“p 6 4 k b p s ( p = l ，2 ，3 ，4 ，5 3 0 ) 视像编码标准h 2 6 1 建议， 被称为视频压缩编码的一个里程碑。从此，i t u t 、i s o 等公布的基于波形的一系 列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法。 1 9 8 6 年，i s o 和c c i t t 成立了联合图像专家组( j p e g ) ，研究连续色调静止 图像压缩算法国际标准，1 9 9 2 年7 月通过了j p e g 标准。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m e p g ) 。1 9 9 1 年公布了m p e g 一1 视频编码标准，码率为1 5 m b p s ，主要应用于家用v c d 的视频 压缩；1 9 9 4 年1 1 月，公布了m p e g 2 标准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰电视( h d t v ) 。 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4 k b p s 的低码率视频传输，如 p s t n 信道中可视会议、多媒体通信等。1 9 9 8 年和2 0 0 0 年又分别公布了h 2 6 3 + 、 h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月，i s o i e c 通过了“视听对象的编码标准”m p e g 4 ，它除了定 义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布了h 2 6 4 a v c 视频压缩标准，不仅 显著提高了压缩比，而且具有良好的网络亲和性，加强了对口网、移动网的误码 和丢包的处理。 这些标准的制定发展过程可以参看图1 1 所示。 2 重庆大学硕士学位论文1 绪论 臣叵正叵匹蛋互 匮匦臣叵 ! 匣亟三 互 图1 1 视频编码标准的发展过程 f i g 1 1d e v e l o p m e n to ft h ev i d e oc o d e cs t a n d a r d 1 3 2 重要视频编码标准简介 h 2 6 1 1 3 1 h 2 6 1 主要是为会议电视和可视电话制定的，它支持p x 6 4 k b p s ( p = l ，2 ，3 ，4 ，5 3 0 ) 的码率。用于可视电话时，p = 2 ，用于会议电视时，p = 6 。h 2 6 1 采用4 ：2 ：0 采 样格式，支持q c i f ( q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t ，公共中间格式) 和c i f 两 种图像格式。h 2 6 1 是第一个成功用于实际的数字视频标准。h 2 6 1 这种基于块运 动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基 础。 m e p g 1 t 4 1 该标准于1 9 9 1 年制定，目标码率是大约1 2 m b p s ( 包括音频和视频在内1 5 m b p s ) 的码率下生成接近v h s 质量的视频。可以用于视频传输或者视频存储，如家庭 v c d 的视频压缩，由于预见到大多数的多媒体内容是在c d r o m 上发布的，因此 在开发m p e g 1 时，将1 5 m b p s 作为c d r o m 播放器的访问速度，视频格式定为 s i f 。最终的标准可支持更高的速率和更大的图像尺寸。由于m p e g 1 标准是为逐 行扫描的视频而设计的，则在编码前必须将视频图像转换为逐行扫描图像。 m e p g 2 t 5 】 m p e g 2 标准主要是因为m p e g 1 不能以广播质量有效地压缩隔行数字视频 而制定的。m p e g 2 使i t u rb t 6 0 14 ：2 ：0 格式的隔行视频具有m p e g 1 的功能， 能产生4 - - 8 m b p s 码率的电视质量图像和1 0 - - - 1 5 m b p s 码率的高质量图像，因此能 够解决s d t v 或h d t v 隔行视频的高质量编码问题。码率从4 m b p s 、1 5 m b p s 直 到1 0 0 m b p s 不等，分别用于不同档次和不同级的视频压缩中。多用于数字广播 ( d v b ) ，家庭d v d 和高清晰度( h d t v ) 。 该标准包括系统、视频、音频和符合性( 检测和测试视音频以及系统码流) 4 个文件，分别对标准进行具体说明。 h 2 6 3 t 6 1 3 重庆人学硕+ 学位论文1 绪论 h 2 6 3 标准的基本结构基于h 2 6 1 标准，是通过对h 2 6 1 标准的改进形成的， h 2 6 3 相对于h 2 6 1 的主要区别在于：运动估计的精度由整像素细化为半像素；对 变换系数的熵编码采用v l c ，宏块层次采用不同于h 2 6 1 的v l c 码表；编码模式 增加了无限制运动矢量模式，基于语法的算数编码模式，p 、b 模式和先进预测模 式这4 个可选模式。之后的h 2 6 3 + ，h 2 6 3 + + 标准则是在h 2 6 3 基础上进行总结和 提高，支持更多种的帧编码类型和图像分辨率，包含了更多的可选模式来进一步 提高压缩效率和增强差错检测和系统的鲁棒性。 m p e g 一4 m m p e g 4 标准是基于视频对象的压缩标准，于1 9 9 9 年制定。它除了定义视频 压缩编码标准外，还强调了多媒体通信的交互性和灵活性。它的制定是为了满足 能同时支持传统视频应用和新一代高度交互性多媒体应用系统的需求。这些多媒 体应用系统除高效编码外，还要求有更先进的功能，例如基于对象的交互性、内 容的可分级性和高度的差错恢复性能。 在编码实现上，m p e g 一4 标准主要包含音视频对象的编码工具和编码对象句法 语言两个部分，提供自然的和合成的音频、视频以及图形的基于对象的编码工具。 接受者可以下载用于视音频信息的语法描述，并被v l s i 技术支持。m p e g 4 标准 的编码基于对象，便于控制和操作，它为了支持高压缩率，基于内容交互和内容 分级扩展，以基于内容的方式来表示视频数据，引入a v o ( a u d i o v i d e oo b j e c t ) 的概 念实现基于内容的表示方法。m p e g 4 通过用运动、纹理和形状参数对物体独立地 编码，使与视频对象进行基于内容的交互成为可能。一个场景是由几个视频对象 ( v o ) 组成。一个v o 可由几个视频对象层( v o l ) 组成。v o l 的一个时间瞬间 称为一个视频对象平面( v o p ) 。一个v o p 可以是任意形状的或矩形的，由其纹 理变化和其形状完全描述。视频编码器把运动、纹理和形状编码工具用于v o p ， 所使用的i 、p 和b 模式类似于m p e g 2 的编码模式。同时将m p e g 1 2 的帧内图 像、预测图像以及双向预测图像的概念扩展到v o p ，分别称为i - v o p ，p - v o p 和 b v o p 。m p e g 4 主要用于可视电话和视频会议等。 h 2 6 4 a v c t 8 】 h 2 6 4 a v c 是由i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的移动图像 专家组( m p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。 h 2 6 4 a v c 标准的编码框架与现有的视频编码框架一致，都是基于块的混合编码 方法，它采用了全新的编码技术，比如帧内预测，可变块大小的运动补偿、多参 考帧预测、1 4 像素精度的运动估计，4 x 4 整数d c t ，去方块滤波器等，使其性能 远远高于其他标准。其内容将在下一章中详细介绍。 h 2 6 4 a v c 代表了当前业界最先进的视频压缩技术，且具有以下无可比拟的 4 重庆入学硕士学位论文1 绪论 优越性，主要体现在下面几个方面： 码率低：和m p e g 2 等压缩标准相比，在同等图像质量下，采用h 2 6 4 a v c 技术压缩后的数据量只有m p e g 2 的1 2 1 1 3 。显然，h 2 6 4 a v c 压缩技术的采 用将大大节省用户的下载时间和数据流量收费。 图像质量高：h 2 6 4 a v c 能提供连续、流畅的高质量图像。 容错能力强：h 2 6 4 a v c 提供了解决在不稳定网络环境下容易发生的丢包 等错误的必要工具； 网络适应性强：h 2 6 4 a v c 提供了网络适应层，使得h 2 6 4 a v c 的文件 能容易地在不同类型的网络上传输。下面对上面几种典型标准作一个简要的比较， 如表1 1 所示。 h 2 6 4 a v c 的应用场合相当广泛，包括可视电话、实时视频会议系统、视频 监控系统、因特网视频传输以及多媒体信息存储等。目前，各国都在研究将该标 准产品化，国际上，加拿大的u bv i d e o 公司开发出了一套基于t m s 3 2 0 c 6 4 x 系列 的h 2 6 l 实时视频通信系统，它可以在1 6 0 k b i t s 的码率下获得与h 2 6 3 + 在3 2 0 k b i t s 下相同的图像质量；加拿大的另一家公司v i d e ol o c u s 通过在系统中插入一块基于 f p g a 的硬件扩展卡，在p 4 平台上实现了h 2 6 3 的实时编解码。 在国内，一些科研院所和企业也开始研究应用该标准的相关产品。 表1 1m p e g 1 ，m p e g 2 ，m p e ( “和h 2 6 4 a v c 的比较 疋山l e1 1c o m p a r i s o no fm p e g 1 m p e g 2 。m p e g - 4a n dh 2 6 4 a v c f e a t u r e m p e g - 1 m 咿e g 2m 口e g _ 4h 2 6 4 a v c s t a n d a r d 宏块尺寸8 x 81 6 x 1 6 8 x 81 6 x 1 6 块尺寸 变换 变换尺寸 量化步长 熵编码 运动估计与补 偿 像素精度 d ( 了rd c t 8 x 88 x 8 固定增长固定增长 汇c旺c 是是 d c t 小波变换 8 x 8 向量量化 v l c 是 1 ，1 2 像素1 ，1 2 像素1 ，1 2 或1 4 像素 1 6 x 1 6 1 6 x 1 6 ，8 1 6 ，1 6 x 8 ，8 x 8 ，8 x 4 ， 4 x 8 , 4 x 4 4 x 4 4 x 4 以1 2 5 速度增长 u v l c ，c 心以c ，c a b a c 是，较灵活，每个宏块可有多 达1 6 个运动矢量 1 ，1 2 或1 4 像素 重庆人学硕士学位论文l 绪论 续表1 1 ： f e a t u r e s t a n d a r dm p e g 1m p e g 2m p e g - 4h 2 6 4 a v c p r o f i l e 参考帧数 图像类型 同放与随机访问 容错健壮性 传输码率 复杂度 兼容性 一 5 个，下含几8 个，下含几个3 个，每个包含几个l e v e l “ 个l e v e ll e v e l lll通常5 个 i , l b ，di ，p bi , e bi ，p ，b ，s i ，s p 是是 是是 数据分割，重同步，数据分割，能够在易错的无线信道 同步与隐藏要数据包的头扩展，可逆v l c 处理包丢失和比特错误 f e c 传输编码 1 5m b p s2 1 5m b p s 6 4k b p s - 2m b p $6 4k b p s 一1 5 0m b p $ 低中等中等高 是是是否 1 4 本文的研究工作和章节安排 论文作者阅读了大量关于h 2 6 4 a v c 的文献以及官方提供的参考源代码【9 】， 深入研究了h 2 6 4 a v c 视频压缩标准的相关问题，对其编解码器的主要特性以及 重要算法进行分析，从而提出本文的算法。本论文在已有的参考模型基础上，重 点对编码中时间消耗最多的运动估计部分中的块匹配算法进行详细的剖析，针对 现有块匹配算法的缺点和图像的特征，提出了基于搜索块运动范围加以分类的多 模块的块匹配搜索算法，并对此算法在v c + + 6 0 t 1 0 】平台上进行实验，得出性能结 论。 为了进一步提高编码器的编码速度，还对帧间宏块分割模式的选择算法作深 入的研究，提出了对模式进行分组提前中止的快速选择算法。 全文的内容安排如下： 第1 章绪论。简述了视频压缩的必要性和视频压缩技术原理，简介了相关 国际视频压缩编码标准，说明了论文的主要工作和内容安排； 第2 章h 2 6 4 a v c 编码器及其相关技术。详细分析了视频压缩编码标准 h 2 6 4 a v c 的编码框架，基本概念和编码框架中各个组成部分的特点； 第3 章块匹配搜索算法的研究和优化。重点分析了块匹配的原理，几种典 型快速块匹配算法原理及其性能特性，在此基础上结合视频序列的特点，有针对 的提出基于块运动范围分类，多模板搜索( m p b f m e a ) 的块匹配搜索算法： 第4 章帧间模式选择算法改进。详细分析了帧问宏块分割模式选择原理和 依据，分析了现有的帧间分割模式快速选择算法的原理和性能，提出了基于模式 分组提前终止( m b e t ) 的模式快速选择算法，并对算法的性能进行了实验验证； 第5 章全文总结。 6 重庆大学硕士学位论文 2h 2 6 4 a v c 编码器及其相关技术 2h 2 6 4 a v c 编码器及其相关技术 自上个世纪8 0 年代以来，i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两 大系列视频编码标准的推出，开创了视频通信和存储应用的新纪元。从h 2 6 1 视 频编码建议，到h 2 6 3 h 2 6 3 + h 2 6 3 h 、m p e g 1 2 4 等都有一个共同的不断追求 的目标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图象质量。而且，随 着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益显现出 来。于是，i e o i e c 和i t u t 两大国际标准化组织组成联合视频组( t ，i o i n tv i d e o t e a m ) 开发一个新的数字视频编码标准h 2 6 4 a v c 来解决这些问题。h 2 6 4 a v c 既是i t u t 的h 2 6 4 a v c ，又是i s o i e c 的m p e g 4 的第1 0 部分，于2 0 0 3 年3 月正式发布。 h 2 6 4 a v c 和以前的标准一样，也采用差分脉码调隹j l j ( d p c m ，d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ) 加变换编码的混合编码模式。但它采用“回归基本 的简洁设 计，引入更多的先进的编码技术，获得比h 2 6 3 + + 好的多的压缩性能；加强了对各 种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处 理，应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场 合的需求；它的基本系统是开放的，使用无需版权。 2 1h 2 6 4 a v c 编码器结构 h 2 6 4 a v c 标准中并不对编码解码器的实现过程作明确的规定，而只是规定 了一个编码后生成的视频比特流的句法，和对该比特流的解码方法。这样就有利 于各个厂商的编码器和解码器在这个框架下能够互通，在实现上有较大的灵活性， 并且有利于相互竞争。由于视频图像的内容时刻在变化并且变化丰富，有时空间 细节很多，有时大面积的平坦，甚至是相对静止不动，这样内容的多变性就必须 采用相应的自适应技术措施；同时信道在环境恶劣下也是多变的，例如对互联网， 信息通畅性时好时差，甚至发生阻塞，对无线网络，衰落有时严重有时轻微，这 就要求根据实际情况采取相应的自适应方法来对抗这种信道畸变带来的不良影 响。这两个方面的多变性同时存在就带来了自适应技术的复杂性，h 2 6 4 a v c 就 是利用事先的复杂性来获得压缩性能的明显改善。 为了实现高效率编码和增强网络适应性，h 2 6 4 a v c 在视频编解码结构的概 念设计上分为视频编码层( v c l ，v i d e oc o d el a y e r ) 和网络适配层( n a l ，n e ta b s t r a c t l a y e r ) 两层( 见图2 1 ) 。v c l 负责高效率视频编码压缩；n a l 负责网络适配， 即提供对不同网络性能匹配的自适应处理能力，它针对下层网络的特性对数据进 7 重庆大学硕士学位论文 2h 2 6 4 a v c 编码器及其相关技术 行封装，包括成帧、发送相应信号给逻辑信道、利用同步信息进行处理等。n a l 从v c l 获得数据信息，包括头信息、段结构信息及实际载荷信息，进而将它们映 射到下层的各传输协议上。这些协议有h 3 2 0 、h 3 2 3 、h 3 2 4 、m p e g 2 等。n a l 单元按r t p 序列号顺序传送，序列号设置可发现丢失的是哪一个v c l 单元，即使 基本编码图像丢失，借助冗余编码图像，仍可获得“粗糙的图像恢复。同时， 借助图像的片( s l i c e ) 、片组、宏块( m b ) 结构及黑白宏块非扫描顺序的灵活宏 块顺序( f m o ) ，安排与切换p 帧( s p ) 、切换i 帧( s i ) 的流切换、流拼接、 随机接入与差错恢复等，都有利于提高其误码掩盖及抗干扰能力，并有助于压缩 效率的提高。n a l 层的引入，大大提高了h 2 6 4 a v c 对不同网络及复杂信道的适 应能力。 图2 1h 2 6 4 a v c 编码器结构设计分层 f i g 2 1a y e r e ds t r u c t u r a ld e s i g no fe n e o d e r n 与以前的标准一样，h 2 6 4 a v c 的v c l 仍然遵循基于块的混合编码框架。首 先将输入图像划分为互不交叠的宏块( 1 6 x 1 6 像素块) ，利用帧内或帧间预测去除 冗余信息，然后对预测残差进行整数d c t 变换得到一系列变换系数。变换之后残 差系数能量相对集中，再进行量化，按其所含的能量大小分配不同数据量来描述 图像信息，最后用熵编码对量化后的数据进行二进制编码，进一步消除量化后数 据的冗余度，编码器结构【l l 】如图2 2 所示。特别注意的是，因为这编码过程是非可 逆的，则在宏块预测时，预测块的数据不是取自于原始图像，而是取自于由反量 化、反变换和反预测后所得到的重建图像块，以使编码端和解码端相一致。 重庆大学硕士学位论文 2h 2 6 4 a v c 编码器及其相关技术 图2 2h 2 6 4 a v c 编码器原理框图 f i g 2 2p r i n c i p l ed i a g r a m o fe n c o d e r 与以前标准不同，h 2 6 4 a v c 中很多模块采用了新的编码算法，它们是实现 h 2 6 4 a v c 优越编码性能的基础。这些新编码算法包括：在运动估计时，增加宏 块分割模式的种类，由以往标准中的2 种增加到7 种，最小的块尺寸可达4 x 4 ；参 考帧的个数可由以前的1 个增加到5 个；亮度分量部分的搜索精度也由以前的1 2 像素提高到1 4 像素。在变换量化时，将变换块的尺寸由以前标准中8 x 8 变成4 x 4 大小，同时采用整数d c t 变换，并把变换和量化整合起来，减少运算复杂度。在 熵编码时，新增加c a b a c 方法，并通过对编码参数与图像数据等分类型采取不 同的编码方式以提高效率。在帧重构时还加入去方块滤波器以提高恢复图像的质 量等。由此可见，h 2 6 4 a v c 编码效率的提高并不是靠单位编码技术实现的，而 是由多个较小的改进累加起来才得到的。在本章后续各节中将对上面新的算法进 行比较深入的分析。 与编码器相对应，h 2 6 4 a v c 采用如图2 3 所示的解码器，由于h 2 6 4 a v c 协议对码流结构作了严格的规范，解码器可以对任何h 2 6 4 a v c 压缩比特流进行 解码。解码器接受符合协议规则的h 2 6 4 a v c 压缩比特流后，首先根据协议语法 和句法，从码流中提取出图像编码数据和编码控制参数，然后根据控制参数对图 像编码数据进行熵解码，重排序，再经过反量化，反变换得到图像残差数据块， 同时根据图像的头信息从已经解码出的图像帧中产生一个预测块，将图像残差块 和预测块相加，再经过去方块滤波，就得到了重构图像，这就是最后的解码输出 图像。 9 重庆人学硕士学位论文2h 2 6 4 a v c 编码器及其相关技术 图2 3h 2 6 4 a v c 解码器原理框图 f i g 2 3p r i n c i p l ed i a g r a mo fd e c o d e r 2 2 视频源格式和宏块编码类型 2 2 1 视频源的格式 h 2 6 4 a v c 支持对图像格式为w v4 ：2 ：0 的连续或隔行编码图像的编码和 解码，其中4 ：2 ：0 的取样格式如图2 4 所示，不同y u v 格式的图像含义为： 4 ：4 ：4 表示色度频道没有下采样； 4 ：4 ：2 表示色度频道水平下采样为2 ：l ，没有垂直下采样； 4 ：2 ：0 表示色度频道水平下采样为2 ：1 ，垂直下采样为2 ：1 ； 4 ：1 ：1 表示色度频道水平下采样为4 ：1 ，没有垂直下采样。 编码图像可以由视频的一场或一帧形成，通常视频帧可以分为两种类型：连 续或隔行视频帧，在电视中，把一帧分成两个隔行的场，则场内邻行之间的时间 相关性较强，而帧内的邻近行之间空间相关性较强，因此活动量较小或者静止的 图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场编码方式。 oo o o o o coo oo o o o o coon 、， 吕ob ob o ；二cco q o o o o o oo 凸 2 2 2 宏块编码类型 1 0 重庆大学硕十学位论文 2h 2 6 4 a v c 编码器及其相关技术 叠的若干宏块，一个宏块由一1 6 x 1 6 亮度块和一8 8 c b 和一8 x 8 c r 色度块组成。 宏块的编码类型有帧内预测编码( i n t r a ) 和帧问预测编码( i n t e r ) 两大类，前 者包含4 4 小块为单位的9 种帧内预测模式和1 6 x 1 6 为单位的4 种帧内预测模式， 总共1 3 神帧内预测模式；后者具体分成3 类：第一种是跳过( s k i p ) ，表示本宏 块与上一帧相对应的宏块完全相同，没有附加的信息需要传送，在解码端只需要 将上一帧解码后的图像中对应的宏块拷贝一份进行图像重建即可，第二种，代表 本宏块采用帧间预测的方法，而且进行运动搜索的预测块的大小为m ，根据n 和m 的不同，一种有7 种分割模式，每种模式所需要传输的运动矢量的个数从1 到1 6 个不等，第三种是帧内预测模式，当帧内预测模式比帧间预测的压缩效果好 的时候采用这种预测方式。 此外，为了增强传输的容错性，在编码时将宏块按照一定规则组合成片( s l i c e ) ， 对每个片独立进行编码，同时在传输时候还根据数据的类型把数据分割成几个包， 将编码参数和编码数据分开装入不同的数据分割包中独立进行传输以抵抗丢包和 误传带来的不良影响，提高系统的鲁棒性。 宏块可以有多种编码模式，但是究竟采用何种模式进行编码与其所处帧的类 型和片的类型有关，根据编码性质，将片分成i 片，p 片和b 片共3 种类型，相应 地也将宏块分成i 宏块p 宏块b 宏块这3 种类型。其中，i 片只包含i 宏块，p 宏 块可以包含i 和p 宏块，而b 片可以包含i 和b 宏块。i 宏块利用从当前片中已解 码的像素作为参考进行帧内预测( 不能取其他片中的解码像素作为参考进行帧内 预测) ；p 宏块利用前面己解码的图像作为参考图像进行帧间预测；b 宏块则利用 双向的参考图像( 当前和未来已编码图像帧) 进行帧间预测。 实际编码就是针对具体的宏块从帧内或帧间预选的编码模式中选择初最佳的 模式作为实际编码模式进行编码，以压缩宏块的数据量。下面对编码器中各个部 分原理和技术进行分析。 2 3 帧内预测 在帧内预测模式【1 3 】中，预测块p 是基于已编码重建块和当前块形成的。对亮 度像素而言，p 块用于4 x 4 子块或1 6 x 1 6 宏块的相关操作。4 x 4 亮度子块有9 种可 选预测模式，独立预测每一个4 x 4 亮度块，适用于有大量细节的图像编码；1 6 x 1 6 亮度块有4 种预测模式，预测整个1 6 x 1 6 亮度块，适用于平坦区域图像编码：色 度块有4 种预测模式，类似于1 6 x 1 6 亮度块的预测模式。编码器通常是采用预测 块和编码块之问的差异最小的预测模式。此外还有一种帧内编码模式称为i p c m 编码模式，在该模式下，编码器直接传输图像的像素值，而不经过预测和变换。 在一些特殊的情况下，特别是图像内容不规则或者量化参数非常低时，该模式比 重庆入学硕十学位论文 2h 2 6 4 a v c 编码器及其相关技术 常规操作( 帧内预测一变换一量化熵编码) 效率更高。 在以往h 2 6 3 + ，m p e g 4 等视频压缩编码标准中，帧内编码被引入变换域。 h 2 6 4 a v c 帧内编码则参考预测块的左边或者上方的已编码块的邻近像素点，被 引入空问域。但是，如果预测参考块是帧间编码宏块，该预测会因为参考块的运 动补偿引入误码扩散。所以，参考块通常选用帧内编码的邻近块。 2 3 14 x 4 亮度预测模式 如图2 5 所示，4 x 4 亮度块的上方和左方像素a - 一m 为已编码并重构的像素， 用作编解码器中的预测参考像素，a p 为待预测像素，利用a - - - m 值和9 种预测 模式来实现。其中模式2 ( d c 预测) 根据a - 一m 中已编码像素进行预测，而其余 模式只有在需要的预测像素全部提供后才能使用。图2 6 中的箭头表示每种模式的 预测方向。对模式3 - - - 8 ，预测像素由a - - m 加权平均得到，表中给出了图2 7 这9 种模式的描述。 mabcdefgh iabcd jcf g h kl j kl l mn0 p 图2 5 利用像素a m 对方块中a p 像素进行帧内预测 f i g 2 5i n t r ap r e