（通信与信息系统专业论文）h264量化参数选择及码率控制算法研究.pdf

摘要 摘要 h 2 6 4 标准是由国际电信联盟电信标准化组织( i t u t ) 和国际标准化组织 ( i s o ) 联合制定的最新的视频编码国际标准。该标准相对以往的标准来说具有更 高压缩效率和更好的网络适应能力，支持无线移动视频、数字视频广播及在线流 媒体等多种应用，但同时算法复杂度的增加也限制了其在一些应用中的性能表现。 因此，为了在不同平台和环境下有效使用h 2 6 4 标准，根据需求改进其算法或优 化其结构，具有重要的理论和实际意义。 本文在上述背景下首先对h 2 6 4 标准进行简要介绍，然后以率失真技术为主 线，针对h 2 6 4 帧内预测模式选择算法和码率控制算法进行研究，主要内容为： ( 1 ) 详细阐述了率失真理论及其模型，并对拉格朗日乘子理论、虚拟参考解码 器等进行了简要介绍。 ( 2 ) 针对h 2 6 4 支持的帧内预测模式众多，全部进行率失真优化导致算法复杂 度过高的问题，分析总结了现有的基于率失真优化的h 2 6 4 帧内预测模式选择快 速算法，并提出了一些改进思路。 ( 3 ) 深入研究了h 2 6 4 标准的三层码率控制机制。针对标准算法中初始量化参 数选择过于粗略的不足，通过定义i 帧复杂度的度量标准，提出了一种根据i 帧复 杂度自适应选择初始量化参数的算法；为更好解决“鸡蛋”悖论，提出了结合时 空域m a d 提高线性预测模型预测精度的改进算法。 ( 4 ) 在j m l 3 1 参考平台上实现了本文提出的码率控制算法，并通过大量仿真 与官方提案j v t h 0 1 7 进行对比，证实了本文提出的优化算法能更精确的计算初始 量化参数，相对于官方标准提供了更好的码率控制精度和率失真优化效果。 关键词：h 2 6 4 ，率失真优化，帧内预测模式选择，初始量化参数，码率控制 a b s t r a c t h 2 6 4i st h eu pt od a t ei n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dw h i c hi s i o i n t l y d e v e l o p e db yi t u ta n di s o c o m p a r e dw i t ho t h e rv i d e oc o m p r e s s i o ns t a n d a r d s h 2 6 4h a sm a d eo b v i o u sp r o g r e s s e si nc o d i n ge f f i c i e n c ya n dn e t w o r ka d a p t a b i l i t y a l l r a n g eo fs e r v i c e ss u c ha sw i r e l e s s ( m o b i l e ) v i d e o ，d i g i t a lv i d e ob r o a d c a s t i n ga n do n l i n e s t r e a m i n gm e d i aa r es u p p o r t e d h o w e v e r ，t h ei n c r e a s i n gc o m p l e x i t yo fi t sa l g o r i t h m i m p o s e sl i m i t so ni t sp e r f o r m a n c e i no r d e rt od e p l o yt h es t a n d a r do nd i f f e r e n tp l a t f o r m a n di nv a r i o u se n v i r o n m e n t s ，i ts h o u l db eq u i t em e a n i n g f u lt o i m p r o v et h ea l g o r i t h m s a n ds t r u c t u r e so fh 2 6 4s t a n d a r d a c c o r d i n gt ot h ep r a c t i c a ln e e d sf o ra c a d e m i ca n d i n d u s t r i a lp u r p o s e s f i r s t l y ，t h i sd i s s e r t a t i o nb r i e f l yi n t r o d u c e st h eh 2 6 4s t a n d a r d s e c o n d l y ，t a k i n gt h e r a t e - d i s t o r t i o nt e c h n o l o g ya st h ec e n t r a lt h r e a d ，t h er e s e a r c ho ni n t r a f r a m e p r e d i c t i o n m o d ed e c i s i o na n dr a t ec o n t r o la l g o r i t h mw i l lb e p r e s e n t e d t h em a i nc o n t e n ti sa s f o l l o w s ： ( 1 ) r a t e d i s t o r t i o nt h e o r ya n di t sc o r r e l a t i v em o d e lw i l lb ee l a b o r a t e da tl e n g t h w h i l e l a g r a n g em u l t i p l i e rm e t h o da n dh y p o t h e t i c a lr e f e r e n c ed e c o d e ra r es i m p l y a d d r e s s e d ( 2 ) d u et ot h en u m e r o u sc a n d i d a t em o d e sf o ri n t r a f r a m ep r e d i c t i o n t h ec o s to f c o m p l e t er a t e d i s t o r t i o no p t i m i z a t i o n ( r d o ) i su n b e a r a b l e s ot h el a t e s t f a s tm o d e d e c i s i o nm e t h o d sb a s e do nt h er d oa l g o r i t h m sa r es u m m a r i z e da n da n a l y z e d a f t e r w h i c hs o m es c h e m e sa r ep r o p o s e dt ob e t t e rt h ep e r f o r m a n c e ( 3 ) t h et h r e e l a y e rr a t ec o n t r o lm e c h a n i s mo fh 2 6 4i se x p l o i t e d a i m i n ga tt h e d e f i c i e n c yo fr o u g hi n i t i a lq u a n t i z a t i o np a r a m e t e r ( q p ) d e c i s i o no fh 2 6 4 ，a na d a p t i v e i n i t i a l q p s e l e c t i o n a l g o r i t h m i s p r e s e n t e dt h r o u g hd e f i n i n gt h ec o m p l e x i t y m e a s u r e m e n to flf r a m e t h e na no p t i m i z e dl i n e a rm o d e lf o rm e a na b s o l u t ed i f 艳r c n c e ( m a d ) p r e d i c t i o nc o m b i n i n gt h et e m p o r a la n ds p a t i a ld o m a i nm a di sb r o u g h tf o r w a r d t os o l v et h ec h i c k e na n d e g gd i l e m m a 1 i a b s t r a c t ( 4 ) t h ei m p r o v e da l g o r i t h ma b o v ei si m p l e m e n t e db ye m p l o y i n gt h eh 2 6 4 r e f e r e n c es o f t w a r ej m13 1 i n t e n s i v es i m u l a t i o ni sc o n d u c t e dt oc o m p a r ew i t ht h e o f f i c i a lr e s o l u t i o n t h 017 t h er e s u l t sv a l i d a t et h a tt h ep r o p o s e dm e t h o dc a l c u l a t e s t h ei n i t i a l q pm o r ea c c u r a t e l y a n d p r o v i d e s b e t t e rr a t ec o n t r o lp r e c i s i o na n d r a t e d i s t o r t i o no p t i m i z a t i o ne f f e c t k e y w o r d s ：h 2 6 4 ，r a t e - d i s t o r t i o no p t i m i z a t i o n ，i n t r a f r a m ep r e d i c t i o nm o d ed e c i s i o n ， i n i t i a lq u a n t i z a t i o np a r a m e t e r ，r a t ec o n t r o l i i i 图目录 图目录 图1 1h 2 6 4 标准采用的编码模式2 图1 2 码率控制在视频编码传输系统中所处的位置。3 图2 1h 2 6 4 标准体系结构6 图2 2h 2 6 4 a v c 编码器结构图7 图2 3h 2 6 4 a v c 解码器结构图8 图2 4t e m p e t e 序列第6 帧编码时的宏块划分9 图2 5 整数及次像素运动估计示例。9 图2 6c a r p h o n e 序列去块效应滤波效果对比1 2 图2 7 使用s p 帧进行码流切换l3 图3 1 典型率失真函数曲线2 0 图3 24 4 亮度宏块预测模式。2 4 图3 31 6 1 6 亮度宏块预测模式。2 5 图3 4w a t e r f a l l 序列率失真优化编码效果对比3 4 图3 5f o r e m a n 序列率失真优化编码效果对比。3 4 图3 - 6s o c c e r 序列率失真优化编码效果对比。3 5 图4 1 码率控制与率失真优化之问的“鸡蛋”悖论。3 6 图4 2h r d 缓冲区模型3 9 图4 3 初始q p 值重要性示意4 8 图4 4b p p 与最佳q p 的关系5 0 图4 5 改进后的码率控制流程5 5 图4 6f o r e m a n 序列每帧图像的平均p s n r 对比5 7 图4 7n e w s 序列每帧图像的平均p s n r 对比j 5 7 图4 8m o b i l e 序列每帧图像的平均p s n r 对比5 8 图4 9p a r i s 序列每帧图像的平均p s n r 对比5 8 图4 10n e w s 序列的r d 曲线5 9 图4 1 1f o r e m a n 序列的r d 曲线5 9 图4 12m o b i l e 序列的r d 曲线。6 0 v i i 表目录 表目录 表1 1 图像质量主观评分标准4 表2 1h 2 6 4 标准定义的需要被编码并传输的参数。1 1 表4 1 t h 0 17 与优化算法仿真结果对比5 6 v i l l 缩略词表 英文缩写 d c t d p c m f m o g o p h r d h v s i d r m a d m b a f f m s e n a l p s n r q p r b s p r d o s a d s a t d s s d v c l c a b a c c a v l c 英文全称 缩略词表 d i s c r e t ec o s i n et r a n s f o i t n d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n f l e x i b l em a c r o b l o c ko r d e r i n g g r o u po fp i c t u r e h y p o t h e t i c a lr e f e r e n c ed e c o d e r h u m a nv i s u a ls y s t e m i n s t a n t a n e o u sd e c o d e rr e f r e s h m e a na b s o l u t ed i f f e r e n c e m a c r o b l o c ka d a p t i v ef r a m e f i e l d m e a ns q u a r e de r r o r n e t w o r ka b s t r a c t i o nl a y e r p e a ks i g n a lt on o i s er a t i o q u a n t i z a t i o np a r a m e t e r r a w b y t es e q u e n c ep a y l o a d r a t e d i s t o r t i o no p t i m i z a t i o n s u mo fa b s o l u t ed i 仃e r e n c e s u mo fa b s o l u t et r a n s f o r n ld i 仃e r e n c e s u mo fs q u a r e dd i f f e r e n c e v i d e oc o d i n gl a y e r c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g c o n t e x t - b a s e d a d a p t i v ev a r i a b l el e n g t h c o d i n g i x 中文释义 离散余弦变换 差分脉冲编码调制 灵活宏块排序 图像组 虚拟参考解码器 人类视觉系统 即时解码更新 平均绝对差值 宏块自适应帧场模式 均方误差 网络抽象层 峰值信噪比 量化参数 原始字节序列载荷 率失真优化 绝对差值之和 绝对变换差值之和 差的平方和 视频编码层 基于内容的自适应二进 制算术编码 基于内容的自适应变k 编码 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：熊 日期：砷年j - 月节日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：撖导师签名： 日期：砷 第一章绪论 1 1引言 第一章绪论 2 l 世纪互联网技术的蓬勃发展真正使人们体会到在信息海洋中邀游的快感， 视频作为信息的重要表现形式，具有直观、高效等突出的优点，但在现有网络带 宽、硬件处理能力等客观条件的制约下，视频信息的诸多优点并不能充分发挥出 来。因此为了缩小需求与现实之间差距，一种合理的方式是从视频的编码方式上 寻求突破，冈而涌现出了各种视频压缩标准，其中的佼佼者为2 0 0 3 年i t u t i s o 公布的h 2 6 4 a v c 标准。在相同感观质量下，其与m p e g 4 等标准相比，编码输 出的码率能降低一半左右1 1 2 】，极大地改善了视频的压缩效率与重建质量。 作为最新的视频编码国际标准，h 2 6 4 采用了一系列先进的技术手段以提高压 缩效率，例如自适应选择编码参数或模式、基于内容的自适应熵编码等。但作为 视频编码器的重要组成部分并对编码器的压缩效率具有直接影响的码率控制模块 在h 2 6 4 标准中并没有得到足够的重视。鉴于以往经典的码率控制方案均不能直 接应用于h 2 6 4 ( 由于量化参数被同时用于码率控制和率失真优化而导致) ，针对 该标准的码率控制研究及优化成为热点，本文亦在此背景下探讨其率失真优化、 帧内预测模式选择及码率控制技术。 1 2h 2 6 4 a v c 标准简介 图像处理和视频编码技术在当今的各行各业均能发现其身影，这主要归功于 商业需求与相关标准之间相辅相成，互相促进的作用。目前负责制定视频压缩标 准的国际组织主要包括国际标准化组织( i s o ) 的运动图像专家组( m p e g ，m o t i o n p i c t u r ee x p e r tg r o u p ) 和国际电信联盟( i t u t ) 的视频编码专家组( v c e g ，v i d e o c o d i n ge x p e r tg r o u p ) 。m p e g x 和h 2 6 x 系列视频压缩编码标准就由上述两大 组织分别制定。2 0 0 3 年二者联手推出了h 2 6 4 a v c 标准( 具体由i t u t 和i s o i e c 共同组建的联合视频组j v t - - j o i n tv i d e ot e a m 负责) ，a v c 即m p e g 4 第1 0 部 分p j ，本文后面将h 2 6 4 a v c 统称为h 2 6 4 。 电子科技大学硕士学位论文 1 2 1h 2 6 4 标准概况 h 2 6 4 标准考虑用户需求定义了模式档次( p r o f i l e ) 和级别( l e v e l ) 的概念， 共包含三种模式( 后续有扩展) ，每种模式支持一组特定的编码功能，针对一类 特定的应用【4 1 ，而参数设置的不同( 如采样速率、原始视频尺寸、编码比特率等) 则对应相同模式下的不同级别。该标准的模式划分如图1 1 所示： 扩展模式基础模式主模式 图1 - 1h 2 6 4 标准采用的编码模式 1 ) 基础模式( b a s e l i n e ) ：主要应用场合为低延时视频应用，处理性能受限 的平台，分组丢失率很高的环境等； 2 ) 主模式( m a i n ) ：提供最高的编码压缩效率，适用于数字广播电视与数字 视频存储等领域； 3 ) 扩展模式( e x t e n d e d ) ：支持根据重要性进行数据分割( d a t ap a r t i t i o n i n g ) ， 主要应用于流媒体。 1 。2 2h 2 6 4 标准最新进展 ( 1 ) f r e x t ( f i d e l i t yr a n g ee x t e n s i o n s ) h 2 6 4 标准最开始仅支持8 比特像素的源图像，且采样方式仅限于4 ：2 ：0 2 0 0 4 年7 月t 对h 2 6 4 标准作了重要补充，称为f r e x t 5 1 。f r e x t 扩展了视频源序列 的采样格式与比特深度，将h 2 6 4 的应用范围扩大到高分辨率、高保真的视频压 缩领域，并进一步提高了编码效率。 f r e x t 的改进主要包括：引入高级模式( h i g h ) ，能够自适应变换宏块尺寸( 增 加了8 8 整数d c t 变换) ，与m p e g 2 一样可以选择量化矩阵进行量化，针对 c a b a c 增加了3 个内容模型；增加了4 ：2 ：2 与4 ：4 ：4 的采样格式：视频源序列的 2 第一章绪论 比特深度最高可达1 2 比特；支持无损压缩；为了避免色度空间转换( r g b 与y c b c r 相互转换) 的舍入误差( 浮点运算) ，增加了新的彩色空间y c g c o 。 ( 2 ) 可分级可伸缩编码( s v c ，s c a l a b l ev i d e oc o d i n g ) 2 0 0 3 年m p e g 开始s v c 技术的研究，并于2 0 0 5 年和v c e g 达成一致，交由 t 完成s v c 项目，将最终结果作为补充加入h 2 6 4 标准1 6 】。针对h 2 6 4 的可分 级扩展，主要是在现有标准的基础上改进编码部分，解码时需先进行码流提取， 然后按原标准进行解码。也即经s v c 编码的输入视频序列在信源端被编码后，将 生成包含多层信息的码流。解码端在解码时可根据实际传输情况，提取符合用户 要求的某一层码流进行解码。当前主要的可分级类型有时间、空间和质鼍可分级。 1 3 视频编码中的码率控制技术 码率控制模块作为编码端不可或缺的部分，在图像传输理论中已得到了广泛 的研究，并随着视频编码压缩标准的发展衍生出多种不同的控制方案。通常情况 下，码率控制一般采用基于缓冲区反馈的方式，如图1 2 所示。码率控制器负责收 集输出码率、编码延时和缓冲区占用等状态信息并调节相关参数，维持系统性能 ( 通过计算输入缓冲区的占用程度，码率控制模块可以通过改变量化步长来调整 输出码率，同时避免缓冲区上溢或下溢) ，缓冲区则用于平滑输出码率的波动。 输入 编码输入 缓冲区 解码输出 缓冲区 输出 图1 - 2 码率控制在视频编码传输系统中所处的位置 实际上，现有的码率控制算法主要是通过调整量化参数( q p ，q u a n t i z a t i o n p a r a m e t e r ) 的大小来控制输出码率( 量化参数与量化步长一一对应，各种编码标 准都有相应的换算关系) 。量化参数间接反映了视频的压缩状况，较小的q p 保证 了有更多的比特数用于图像编码，可以在视频重建时提供尽可能多的空间细节； 较大的q p 保证了输出码率不会超过缓冲区的限制，但增加了视频重建后的失真。 3 电子科技大学硕一1 二学位论文 1 4 视频压缩质量的评价标准 为了方便不同算法间进行对比，应该定义一些评价压缩后图像质量的准则。 下面介绍两种常用的评价标准：主观评价和客观评价【1 2 1 。 ( 1 ) 客观质量评价 客观质量评价对压缩还原后的图像与原始图像的误差进行定量计算，常用的 衡量标准有均方误差( m s e ，m e a ns q u a r ee r r o r ) 和峰值信噪比( p s n r ，p e a ks i g n a l t on o i s er a t i o ) 。 m s e 定义为： 脚2 击m 萋- - i 裂。- - i 巾棚一何( f ，川2 ( 1 - 1 ) 其中r e f ( i ，j ) 为参考( 重建) 图像。 p s n r 定义为： ( p s n r ) a 口= 1 0 x l o g l 0 筹 ( 1 2 ) ( 2 一1 ) 2 为图像中最大可能的像素值的平方。表示用于编码每个像素的比特 数，一般图像采用2 5 5 灰度级的编码，即等于8 。 ( 2 ) 主观质量评价 一种被广泛采用的主观质量评价方法为d s c q s ( d o u b l es t i m u l u sc o n t i n u o u s q u a l i t ys c a l e ) 。该方法按顺序向评价者播放包含两段短片的视频对( p a i r ) ，并 要求评价者根据表1 1 中定义的质量等级为每个短片打分。a 、b 短片分别为未经 改动的参考序列和经待测系统或过程修改后的同一序列。主脱评价容易受到个体 因素的影响，如性格、年龄、教育背景以及评价时的心情、注意力等。 表1 1 图像质量主观评分标准 得分评价标准一评价标准二 5非常好 感觉不到大真 4 好感觉列失真，但没有不舒服感觉 3一般稍有感觉到不舒服 2较差不舒服 1差非常不舒服 4 第一章绪论 1 5 论文主要研究工作 本文以广东省科技计划项目一基于i p 的无线多媒体数据传送关键技术研究为 主要背景，首先简介了h 2 6 4 视频编码标准和码率控制技术，阐述了视频压缩质 量的评价标准。其次对h 2 6 4 标准采用的关键技术和经典码率控制算法作了详细 介绍。在对率失真理论及模型进行分析的基础上，针对h 2 6 4 帧内预测模式选择 问题进行深入探讨。接着洋细描述t h 0 1 7 码率控制提案并分析了其不足，通过 定义对初始i 帧复杂度的度量，提出了一种能够自适应精确预测初始量化参数，并 能更好解决“鸡蛋”悖论的码率控制算法。最后在j m l 3 1 平台上编码实现改进后 的算法并与j v t h 0 1 7 标准进行对比。 1 6 论文章节安排 第一章为绪论，主要阐述课题研究的背景、相关标准、论文的主要研究工作 和论文的章节安排。 第二章首先介绍h 2 6 4 标准体系结构以及h 2 6 4 标准采用的帧间预测、残差 图像整数d c t 变换、环路去块效应滤波等关键技术，接着针对经典码率控制算法 进行简介。 第三章着重介绍与码率控制密切相关的率失真理论，以及与该理论相联系的 其它视频编码标准采用的率失真函数模型等，并以拉格朗日乘子理论和率失真优 化算法为基础，针对h 。2 6 4 帧内预测模式选择问题，总结了当前的快速模式选择 算法并提出了改进方案，最后通过仿真证明率失真优化技术的性能。 第四章详细分析了t h 0 1 7 提案中的三层码率控制算法，然后阐述了三层体 制各自的不足之处。接着提出了一种新的自适应计算初始量化参数的g o p 层码率 控制算法，改进了j v t h 0 17 提案中帧层和基本单元层的线性预测模型和头信息比 特数的估计方法，最后在官方参考软件j m l 3 1 平台下实现上述优化算法并与 t h 0 1 7 提案进行对比。 第五章为全文总结和对未来工作的展望。 5 电子科技大学硕士学位论文 第二章h 2 6 4 标准及经典码率控制算法 本章对h 2 6 4 视频编码标准进行简要介绍，主要包括其体系结构，编解码器 结构等，并重点阐述其所采用的不同于以往标准的关键技术；然后简介以往视频 编码标准所采用的码率控制算法，对这些经典算法的核心思想加以说明。 2 1h 2 6 4 标准体系结构 多数视频编码标准( 如h 2 6 3 、m p e g 2 和m p e g 4 等) 均以提高压缩率为主 要目标，信道的传输特性往往被忽略。近年来，随着基于i p 和无线的多媒体应用 需求不断增加，为了保证视频流在不同网络环境中均能有效传输：其一要求高压 缩率，其二要求无缝与传输协议相连，多数视频编码标准不能满足条件二的要求， 因此网络友好性在制定h 2 6 4 标准时就成为重中之重。 h 2 6 4 标准在体系e 分为两层：视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 负责 高效的表示、有效的描述视频内容；网络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的适当的方式对v c l 数据打包( 由原始字节序列载荷表示) 、 传输视频序列参数设置和头信息数据等，一个视频序列就是一系列n a l 单元的集 合。h 2 6 4 体系结构如图2 1 所示【7 】： 萋耄 蜒舌 u 视频编码层 ( v i d e oc o d i n gl a y e r ) 已编码宏块 ( c o d e dm a c r o b i o c k ) 数据分割 ( d a t ap a r t i t i o n i n g ) 已编码片数据分区 ( c o d e ds l i c e p a r t i t i o n ) 回圈圈围困 图2 1h 2 6 4 标准体系结构 6 第二章h 2 6 4 标准及经典码率控制算法 2 2h 2 6 4 编解码结构简介 与先前的m p e g 系列标准类似，h 2 6 4 标准没有规定编解码器的细节，而是 对已编码视频比特流的语法和解码该比特流的方法进行了规范【8 1 。h 2 6 4 的编解码 器在功能组成上与以往标准并没有太大区别，重要的变化在于功能的实现细节。 2 2 1 编码器 h 2 6 4 的编码器包含两个数据通路：前向通路和重建通路( 分别由图2 2 中的 实线和虚线表示) 。 a l 图2 - 2h 2 6 4 a v c 编码器结构图 ( 1 ) 前向通路：设c 代表当前需要编码的帧，编码器的基本处理单位为宏块 ( 对应于原始图像中1 6 1 6 的像素区域) 。每个宏块的编码方式在帧内和帧间进 行选择。在任意种编码方式下，重建帧都被用来产生当前宏块的一个估计值尸。 在帧内编码模式下，p 使用e 中已编码、解码且重建后的采样值预测得到( 图中 的识，代表重建p 使用的是未经滤波的采样值) 。帧问编码模式下，尸通过对一 帧或多帧参考图像( 图中的c ) 进行运动补偿得到。需要注意的是，参考帧可以 是以时间顺序属于未来的帧，只要该帧已编码且已重建( 不按时间顺序编码) 。 从当前块中减去其估计值尸得到残差块n ，再经变换和量化得到量化后的变 换域系数x ，系数经重排序和熵编码后，与解码需要的相关边信息( 运动矢量、 量化步长等) 一起构成压缩后的码流，然后交由n a l 层进行传输或存储。 ( 2 ) 重建通路：量化后的系数x 被解码以重建后续编码需要的参考帧，x 经 7 电子科技大学硕士学位论文 反量化和反变换产生残差图像见，由于量化操作引入的误差，乜7 与q 并不相同。 p 与见相加得到重建后的宏块蛾，然后进行去块效应滤波得到c ，一系列的c 构成重建帧。 2 2 2 解码器 解码流程与编码器中的重建通路类似，如图2 3 所示。事实上之所以在编码器 中加入重建通路是为了保证编解码器使用相同的参考帧，并在编解码端产生相同 的宏块估计值尸。如果尸在编解码端的值不相同，编解码器间将产生误差或者说 “漂移。 图2 3h 2 6 4 a v c 解码器结构图 2 3h 2 6 4 标准的关键技术 2 3 1 帧间预测 ( 1 ) 宏块分割【8 】 为了对运动细节进行更为准确地描述，h 2 6 4 标准定义了7 种不同尺寸和形状 的宏块大小，即一个1 6 x1 6 图像块可以按以下四种方式划分：1 6 1 6 ，1 6 x 8 ，8 x1 6 ， 8 8 ：一个8 8 的图像块可以继续划分为：8 8 ，8 x 4 ，4 x 8 ，4 x 4 ，这种将宏块 细分成多种子块大小的运动补偿方式被称作树状结构运动补偿，其灵活性可以更 好的实现运动隔离，极大提高运动估计的精确度。 在上述子块分割方式下，每个宏块可以包含l 、2 、4 、8 或1 6 个运动矢量， 因为对于每种分割或子分割都需要单独的运动矢量加以描述，同时每个运动矢量 必须同宏块类型一样被编码和传输。合理选择宏块大小对编码压缩性能具有重要 的影响，但一般而言，较大的块划分适用于运动程度较低的区域，而精细的子块 r 第一辛h2 6 4 标准及经典码率控制算法 分割适埘于包古丰富细节的区域。图2 - 4 给山了怀准祝i 试序列t e m p e t e 第6 帧在编 码叫的宏块划分方式，从圈中可咀看山在花和树叶飘过的中占l ；和矗f 角区域使用 丁较多的4 4 宏块而罔像的j i 部包含静i r 术栅栏和蓝也天空的区域删大多使j 口 了1 6 x 1 6 的宏封： 图2 4t e m p e t e 序列第6 帧编码时的宏块划分 ( 2 ) 1 ，4 像素精度运动估计l a 运动估计技术用于尽可能准确地描述视频对象( 宏块或于块) 的时域运动， 因此提高运动矢量的精度能在降低输出码率的同时提高视频的重建质量( 凼为 残差数据更小) 。 。oo。o。 o 。， 。oo oooo o 。，p ， o。ooo o o ， 。ooo。o o ，e o ，o oo o o o oo ooo oo o o 0 oo oooo o ooo o0ooo o o ( 左)( 中) ( 右) 图2 5 整数及次像素运动估计示例 如图2 - 5 所示，h2 6 4 标准通过规定分数像素的计算方法引入了l “像素精度 进一步提高了运动估计的效果。亮度分量的l 尼像素点利用6 抽头滤波嚣得到，1 4 9 电子科技大学硕士学位论文 像素点则由相邻的整像素点线性插值产生。三幅图中的空心圆代表亮度整像素点， 两个整像素点之间是1 2 像素点，而1 4 像素点由右图中的灰色圆点表示。 ( 3 ) 多参考帧 h 2 6 4 标准允许使用多参考帧( 与h 2 6 3 + + 类似) ，从而使得通过多次运动估 计找出当前宏块的最佳运动矢量成为可能。这样既避免了传输差错在时序上的传 递，提高了不同环境下的差错恢复能力和鲁棒性，也使得帧间预测对复杂视频内 容的适应能力得以提高。虽然在绝大多数情况下，前一帧是当前帧的最佳参考帧， 但对于包含剧烈运动的视频序列，时间上更靠前的帧有可能改善当前帧局部区域 运动估计( 补偿) 的效果。 2 3 2 整数d c t 变换 h 2 6 4 标准引入的4 x 4 整数d c t 变换避免了浮点运算带来的舍入误差，极大 降低了算法复杂度，而4 x 4 的块大小则更有助于降低边界区域的块效应。d c t 变 换在h 2 6 4 标准中可进一步细分为：亮度直流系数的4 x 4 变换( 仅针对1 6 x1 6 帧 内预测模式) ；色度直流系数的2 x 2 变换；其它残差系数的4 x 4 变换。 h 2 6 4 标准的整数d c t 变换公式如下： y = c i x c fo e ， 11 1 l一12 111 22一l 12 ll ll 12 1l l 之 一l2 11 a a b 2 t t l 2 a b 2 a b 2 6 2 4 a b 2 轷| 口2 a b 2 口2 a b 2 o h 2 6 2 4 a b 2 b 2 f 4 ( 2 - 1 ) 其中口= 1 2 ，6 = 历，p 表示两个矩阵中对应位置的元素相乘。由上述公 式可知，矩阵c ，瑚哆中只包含系数1 和2 ，可通过加法和移位操作完成计算，另 外“o q ”部分可通过快速查表完成。 式( 2 1 ) 的反变换公式如下： x t = c ：q q e ? 、) c l 1 1 2 一l 一1 1l 1 - 1 2 巨 la b l l1 1 1 1 2 - 1 2 - 1 l 一1一l l l 2 - 11 - 1 2 ( 2 2 ) _-_il_l-i_l_j 、， 6 2 6 2 的扩铲 水萨 6 2 6 2 ， 动矿动矿 m 2亿，。啦叫o jll t i 第二章h 2 6 4 标准及经典码率控制算法 2 3 3 熵编码 h 2 6 4 标准中定义的需要被编码并传输的参数如下： 表2 1h 2 6 4 标准定义的需要被编码并传输的参数 参数描述 序列、帧、片层语法元素 宏块类型每个已编码宏块的预测方式 己编码4 4 子块的模式 指示宏块中哪些子块包含已编码的系数 量化参数 传送与上一最化参数的差值a q e 参考帧索引指明帧内预测使用的是多参考帧中的哪一个 运动矢鼍 传送与预测得到的运动矢量的差值 残差数据4 4 ( 亮度) 或2 2 ( 色度) 子块的系数数据 h 2 6 4 标准支持两种熵编码方式：第一种相对简单的方式是使用单一的无限扩 展的码字表对除了量化后的变换系数之外的所有语法元素进行编码，但是并没有 给每个语法元素都定义不同的v l c 表，只是根据数据的统计特性自适应的选择到 码字表的映射，码字表中的e x p g o l o m b 码都比较简单且具有规律的解码特性。 针对量化后的变换系数的传输，定义了第二种更有效率的编码方式：基于内 容的自适应变长编码( c a v l c ) 和基于内容的自适应二进制算术编码( c a b a c ) 。 ( 1 ) c a v l c c a v l c 基于已经传输的语法元素在针对不同语法元素的v l c 表间进行切换， 由于v l c 表是针对特定的条件统计数据而设计的，因而与使用单一v l c 表的编 码方式相比效率进一步提高。c a v l c 对非零量化系数的个数，实际人小，位置分 别进行编码：首先编码系数的个数和t 1 ( t r a i l i n g + - 1 ) 的个数，接着编码每个t l 的符号位，其次编码剩余非零系数的符号位和值，再次编码最后一个系数之前零 系数的总个数，最后编码每个非零系数之前零系数的个数( 游程) 。 ( 2 ) c a b a c c a b a c 可以进一步提高熵编码的效率，它允许为字母表中的每个字符分配非 整数个比特( 可以是小数) ，这对编码概率大于0 5 的符号尤其有利。换言之， c a b a c 可以根据符号的动态统计特性自适应地对码长进行调整。其另一个重要的 电子科技大学硕 学位论立 _ 生质是基于内容的模型，c a b a c 根据已编码语法元素的统计数据计算条件概率， 然后根据这些条件概率在多个预测概率模型之间进 r 切换。在l - i 2 6 4 标准中，算 术编码的核心引擎和与之相关的概率预测是没有乘法操作的( 使用低复杂度的移 位和查找表b 1 1 - i 实现) 。与c a v l c 编码相比，c a b a c 提供了更高的编码效率， 可以减少5 0 旷1 5 的比特率n 234 去块效应滤波器 h2 6 4 标准叶1 有两种操作会引入块效应，其中一个最显著的来源是残差图像编 码时采用的帧内或帧问4 4 整数d c t 变换，变换系数的粗粒度量化将导豉宏块的 边界产生影响观感的明冠的不连续陆。另个主要来源为运动补偿估计经过运 动补偿的宏块有uj 能是从不同参考帧的不同位置拷贝经内插的像素产生的，由于 插值数据井不十分精确，吼u 不周拷m 块边界上的不连续性一般会更加明屁。 视频编解码器中使用去块效应滤艘器主噩有两种方式：后处理滤波和环路滤 波。后处理滤波仪作用存编码环蹄之外的显示缓冲匣，其操作并没有被标准化， 但也为解码器的实现提供，最大的自由。环路滤波器则位丁编码环路之内，电就 是c 兑经滤被的帧会作为运动补偿的参考帧，这就强制曼求解码器实现与编码器相 同的滤波效果以避免漂移现象：罔2 - 6 展示了h2 6 4 上块效应滤波的效果，右罔相 比左罔人物面部和头发纹理更加平滑。 23 5 其它特性 f 1 1s p 和s i 帧 右) 滤波后 崮2 - 6c a r p h o n e 辱列去块效应滤波效果对比 第二章h 2 6 4 标准及经典码率控制算法 印设一讥 la 叫 曰叶留一伊侈_ 留啪 2 4 经典码率控制算法 经典的码率控制算法主要包括：h 2 6 1 中的r m 8 ( r e f e r e n c em o d e l8 ) ，m p e g 2 中的t m 5 ( t e s tm o d e