（交通信息工程及控制专业论文）H264AVC标准中关键技术的研究.pdf

捅要 在过去的十几年中，国际标准化组织制订了系列的国际视频编码标准并广泛 应用到各种领域。其中，i t u t 制订了满足实时视频通信应用的标准，例如h 2 6 1 、 h 2 6 3 、h 2 6 3 + 和1h 2 6 3 + + ；i s o 制定了满足视频存储、广播视频和视频流需要 的m p e g 标准，包括m p e g 一1 、m p e g 一2 及m p e g 一4 等。而h 2 6 4 a v c 是i t u t 和i s o 联合推出的新标准，采用了近几年视频编码方面的先进技术，以较高编码 效率和网络友好性成为新一代国际视频编码标准。 h 2 6 4 a v c 仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有： 增强的运动预测能力；准确匹配的较小块变换；自适应环内滤波器；增强的嫡编 码。测试结果表明这些新特征使h 2 6 4 a v c 编码器提高5 0 编码效率的同时，增 加了一个数量级的复杂度。实际中恰当地使用h 2 6 4 a v c 编码工具可以较低的实 现复杂度性得到与复杂配置相同的编码效率。故实际编码系统开发需要在运算复 杂性和编码效率之问进行折衷，兼顾考虑。 h 2 6 4 a v c 引入的新编码特征既增加基本模块的复杂度，也成倍增加算法的复 杂度。针对它们的作用和实现方法的不同，可采用不同的优化方法：对于基本模 块可用多媒体指令来优化；对于实现算法可研究快速算法来代替。本文基于上述 思路进行优化，具体的工作包括： 针对帧内预测编码的复杂性，本文阐述一种基于率失真优化( r d o ：r a t e d i s t o r t i o no p t i m i z a t i o n1 的快速帧内预测模式选择算法。该算法利用当前宏块色度 块和亮度块帧内预测模式间的相关性、4 4 亮度块和1 6 1 6 亮度块模式选择间的 相关性以及亮度块预测模式内部的相关性，以r d o 为主，结合较简单的s a t d ( s u m o f a b s o l u t et r a n s f o r md i f f e r e n c e ) 为判决依据快速进行帧内预测模式选择。 针对整数变换的复杂性，本文阐述一种整数变换零块预先判决算法通过计算 s a d 值来判断是否为零块，减少了d c t 变换和量化的次数，并且提前终止了位移 估值和整数参数改进算法，笔者提出的改进办法，在原有h 2 6 4 的算法基础上， 更加快速、有效地提高效率，精度没有大的变化。优化后的参考模型适合精度不 高，处理速度快，实时性强的工业应用。 实验结果表明， 二述的优化编码器在普通p c 机e 就可实现实时编码。与其它 同类型编码器相比，编码性能相当或略好些。 关键词：国际视频编码标准h 2 6 4 a v c 优化实时编码 a b s t r a c t i nt h ep a s ta b o u tt e ny e a r s ，as e r i e so fi n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d sa r e d e v e l o p e da n dw i d e l yu s e di nav a r i e t yo fd o m a i n s s o m es t a n d a r d sf o rr e a l - t i m e t e l e c o m m u n i c a t i o na p p l i c a t i o n sh a v e b e e ne s t a b l i s h e d b yi t u - t i n c l u d i n gh 2 6 1 ， h 2 6 3a n dl a t e re n h a n c e m e n t so fh 2 6 3k n o w na sh 2 6 3 + a n dh 2 6 3 + + o t h e r sf o r v i d e os t o r a g e ，b r o a d c a s ta n ds t r e a ma p p l i c a t i o n sb yi s o i e c ，s u c ha sm p e g 一1 2 4 h 2 6 4 a v ci st h en e w e s ts t a n d a r da p p r o v e db yt h ei t u ta n di s o i e co r g a n i z a t i o n s w h i c hr e p r e s e n t san u m b e ro fa d v a n c e si nv i d e oc o d i n gt e c h n o l o g ya n db e c o m e st h e n e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r db e c a u s eo fb o t hh i g hc o d i n ge f f i c i e n c ya n d n e t w o r kf r i e n d l i n e s s t h e d e s i g n o fh 2 6 4 a v ci sb a s e do nc o n v e n t i o n a lb l o c k b a s e d m o t i o n c o m p e n s a t e dh y b r i dv i d e oc o d i n gc o n c e p t s ，b u tw i t hs o m ei m p o r t a n td i f f e r e n c e s r e l a t i v et op r i o rs t a n d a r d s ：e n h a n c e dm o t i o n - p r e d i c t i o nc a p a b i l i t y ；as m a l lb l o c k - s i z e e x a c t - m a t c ht r a n s f o r m ；a d a p t i v ei n - l o o p d e b l o c k i n gf i l t e r ；e n h a n c e de n t r o p yc o d i n g m e t h o d s t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ei m p r o v e dc o d i n ge f f i c i e n c yu pt o5 0 ， c o m e sw i t hac o m p l e x i t yi n c r e a s eo fm o r et h a no n eo r d e ro fm a g n i t u d ea tt h ee n c o d e r i nf a c t ，ap r o p e ru s eo ft h eh 2 6 4 a v ct o o l sl e a d st or o u g h l yt h es a m ep e r f o r m a n c e sa s t h ec o m p l e xc o n f i g u r a t i o n s ob o t hc o m p u t a t i o n a lc o m p l e x i t ya n dc o d i n ge f f i c i e n c y s h o u l db et h o u g h ta n dm a d et ot h eo p t i m a lt r a d e o f fi nt h ei m p l e m e n t a t i o no fa c t u a l c o d i n gs y s t e m t h en e wf e a t u r e so fh 2 6 4 a v ci n c r e a s en o to n l yt h ec o m p l e x i t yo fc o d i n gb a s i c m o d u l e s ，b u ta l s ot h eo n eo fa l g o r i t h m sb yt i m e s t h em u l t i m e d i ai n s t r u c t i o nm a yb e u s e dt oo p t i m i z et h eb a s i cm o d u l e s ；t h ef a s ta l g o r i t h m sa r ed e v e l o p e di n s t e a do ft h eo l d o n e s t h i sd i s s e r t a t i o ni sb a s e do nt h ea b o v em e t h o d s ，a n dm a j o rw o r k sa r ea sf o l l o w s t or e d u c et h ec o m p l e x i t yo fi n t r ap r e d i c t i o n ，af a s ti n t r a - p r e d i c t i o nm o d es e l e c t i o n a l g o r i t h mi sp r o p o s e d i tu s e st h em o d es e l e c t i o nc o r r e l a t i o nb e t w e e nc h r o m ab l o c ka n d l u m ab l o c k t h ec o r r e l a t i o nb e t w e e nl u m a4 4b l o c ka n dl u m a1 6 1 6b l o c ka n dt h e s e l e c t i o nc o r r e l a t i o ni nl u m ab l o c km o d e sw i t hd i f f e r e n tc r i t e r i o n s r r d o ：r a t e d i s t o r t i o no p t i m i z a t i o n ) o rs a t d ( s u mo fa b s o l u t et r a n s f o r md i f f e r e n c e ) ) t of a s t d e t e r m i n et h eb e s tm o d e t oi m p r o v et h ee f f i c i e n to fi n t e g e rd c tt a n s f o r mo fh 2 6 4 ，a na l g o r i t h ma b o u t d e c i s i o no fa l l z e r ob l o c k sb e f o r ei n t e g e rt r a n s f o r ma n dq u a n t i z a t i o ni sp r o p o s e d a n d a l s ow eu s ec o n s tv a l u ei n s t e a d a l lt h i sw ed o n ei st oi n c r e a s et h es p e e do fe n c o d i n g t h ee x p e r i e n c er e s u l t ss h o wt h a tt h eo p t i m i z e de n c o d e rc a nr e a l i z et h er e a l - t i m e e n c o d i n go nt h ec o m m o np c i tc a na c h i e v ea sm u c ha so rb e t t e re n c o d i n gp e r f o r m a n c e c o m p a r e dw i t ho t h e rs i m i l a re n c o d e r s k e y w o r d ：i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d ，h 2 6 4 a v c , o p t i m i z a t i o n ，r e a l t i m e e n c o d i n g 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含 其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确地说明并表示了谢意。 本人签名 书军缉日期：一竺 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分 内容，可以允许采用影印、缩印或其他复制手段保存论文。( 保密的论文在解密后 遵守此规定) 本人签名： 芋址 日期：塑型 导师签名：主跹r 期：迎：! ：竺! 第一章绪论 3 第一章绪论 1 1 引言 在过去的十五年中，国际标准化组织己制订一系列的国际视频编码标准且已 应用到各种领域，包括个人视频电话、商务视频会议、v c d 、d v d 、数字电视( 卫 星、广播和有线分布1 和其它很多方面。新的应用仍在继续出现，例如移动视频和 数字影院，并以惊人的速度不断增长。视频电话和移动视频通常需要在码率6 4 k b p s 或更低码率下使用，而数字影院需要码率高达每秒百万位或者更高。各种各样的 应用需求加速了新的视频编码标准的不断诞生。从二十世纪九十年代以来，1 1 r u t 和i s 0 制订了一系列视频压缩编码标准，极大地推动了视频通信的发展。通常。 i t u t 制订的标准都是为了满足实时视频通信应用，例如h 2 6 1 和h 2 6 3f 后来发 展为h 2 6 3 + + 和h 2 6 3 + + ) ；而i s o 的m p e g 标准大多为了满足视频存储、广播视 频和视频流需要而制定，包括m p e g 1 、m p e g 2 及m p e g - 4 等。在一些标准内部 还给出了不同的类、级规定，被称为“p r o f i l e ”和“l e v e l ”，具体描述了编码特征、 参数设置和推荐的应用场合( 如h 2 6 3 、m p e g 2 和m p e g - 4 ) 。这要求解码器能够 实现各个标准所定义的工具集的一个子集，以便能够设计出符合标准的解码器， 使之面向特定应用领域。 h 2 6 1 是基于块的整像素运动估计的混合编码器。它是第一个成功用于实际的 数字视频标准，并成为后来其它视频编码标准的基础。h 2 6 1 主要用于i s d n 线上 传输的视频会议中，其视频编码码率在6 4 k b p s 和2 m b p s 之间。而h 2 6 3 ( 其最新扩 展版本h 2 6 3 + 和h 2 6 3 + + ) 扩一展了h 2 6 1 ，并且增加了许多特性( 包括半像素运动 补偿) ，因此使编码视频能够以低于5 6 k b p s 的速率在模拟电话线上传输，广泛用于 各种典型视频场合。 m p e g 1 也源于h 2 6 1 ，但增加了许多关键性的特征，包括b 帧的双向预测编 码、半像素的运动估计和其它方面的改善，以便满足大约1 2 m b p s 速率的编码视 频以及c i f 分辨率的c d r o m 的视频需求。m p e g 2 ( 即h 2 6 2 ，与i s o i e c 联 合开发) 是至今为止最成功的视频编码标准，也是第一个能以s d t v ( 标准数字电视) 和h d t v 分辨率隔行视频编码的标准。它扩展了m p e g 1 ，为隔行视频引入了新 的预测模式，可以提供大约4 m b p s 速率的t v 广播以及1 5 m b p s 的高质量视频，被 广泛应用于d v d ，广播、卫星和有线电视。在m p e g 2 和h 2 6 3 基础上发展的 m p e g - 4 引入了基于对象的功能，不仅用运动和纹理，而且用形状来描述视频对象。 形状信息与亮度信号同位，并且采用基于上下文的算术熵编码进行编码。 毒 珏。2 6 4 a v c 标准孛美毽鼓零鲍辑究 h 2 6 1 和h 2 6 3 标准只给出了视频压缩内容，丽m p e g 1 2 4 标准除此外还描 述音频表示以殿能联合传输音频视频信号的系统表示。m p e g 1 2 4 标准使音视频 数据的交换成为可能。而其后的m p e g - 7 的目的是馒搜索和浏览这些音视频数据 成为可能。凌嗲终端豹诤算施力农逐年提毫秘编璐按零熬不叛发展，1 9 9 8 年， i t u - t q 。6 s g1 6 ( v c e g ：v i d e oc o d i n ge x p e r t sc r o u p ) 撵窭磅究薪一筏缀弼标准 ( h 2 6 u ，其目的怒进一步提高编码效率并应用到更广阔的领域。1 9 9 9 年8 月b e r l i n 会议，推出了第一个校验模型t m l1 ( t e s tm o d e ll o n g - t e r m ) ，并于2 0 0 1 年6 月通 过i s o f l e c m p e g 测试，被确认为是当前晟先进的视频压缩编码方法。2 0 0 1 年1 2 月，v c e g 秘l s o l i e cm p e g 缎成t 一个联会视频缀0 v t ：j o i n tv i d e ot e a m ) ，以 掰曩珏2 6 l 凳蒸穑，联合舞发耨锭撬簇编码蠡灌，激逡一步提裹编蕊效搴秘鹜 像质量，将其命名为j v l n 。2 0 0 3 年3 月，通过了激终视频编码标准荜襞，正式 命名为h 2 6 4 a v c l l l 。并被m p e g 收入m p e g - 4 橼猴的第1 0 部分，即m p e g - 4 a r c ( a d v a n c e dv i d e oc o d i n g ) 。 h 2 6 4 l a v c 采用了近凡年在襁频编码方面发震的先进技术，并将它们缀好结 会莛来。宅黻羧舞编褥效率窝瓣络发磐毪寝之裁为耨一我豹莺际褪菝骧弼毒蠡雄， 僮珏2 6 4 a v c 商效编码是以较高的运算复杂健和对硬件的离要求为代价静， 实验结果f 2 l 表明与以前的标准相比，在提高5 0 的编码效率的同时，在编码端增加 了一个数量级的复杂度，在解码端摄高2 倍以上的复杂度，因此要将h 2 6 4 a v c 运用到实际中去还需进一步优化。本文针对h 2 6 4 a v c 的运算复杂性，从时闻复 杂蛙移空阉结：耱) 复雾 经嚣方嚣溺采圣| | 己纯珏，2 6 4 a v c ，一方瑟磅突錾懿快速算法来 降低编码时溺消耗：另一方面运用多媒体指令集对耗辩模块进行优纯，疑终运鬟 h 2 6 4 a v c 的寅时实现。 1 2 视频编码系统概述 褪颥编褥嚣遴过信源模鍪l 来臻逑褫频序列静起容。鬻1 1 给密一令筏频编鹨系 统的基本组成。 r r 厂 视频吲模型参数分析吲量化( 有损) 酬二进制编码( 无损) 眵倍道 i 。、，一j 。，。、。，_ j 1 ，。_ l 图1 1 撬赣编码系统缀j 覆 在编鼹器审，营先采用信源模型的参数来捂述数字褫频序磺，如采袋蔫像素 统计独立的僚源模型，那么这种佰源模型的参数就悬每个像素的亮度和甑度幅度； 如果把一个场景描述成几个物体组合的模型，那么参数就是每个物体的形状、纹 理和运动。接下来将信源模型参数爨化成有限的符号榘，量化参数取决予比特率 第一章绪论 5 与失真度之间的折衷。最后，利用无损编码将量化参数映射成二进制码字，产生 的比特流在信道上传输或存储。 下面综述几种基本视频编码算法，它们的相应信源模型、参数和所用的编码技 术如表1 1 所示。大体上可以将它们分为基于波形和基于内容的两种类型编码。 表1 1 信源模型、参数集和编码技术比较 信源模型 编码参数 编码技术 统计独立的象素 每个象素的颜色p c m 变化编码、预测编码 统计相关的象素每个块的颜色和矢量量化 平移运动的块母个块盯颜色和琏明矢萤基于块的混合编码 运动未知的物体每个块的形状、运动和颜色分析与合成编码 运动己知的物体每个已知块的形状、运动和基于知识的编码 颜色 行为已知的物体每个物体的形状、颜色和行为语义编码 1 基于波形的编码 基于波形的编码方法试图准确表示每个像素的颜色值，而并不考虑一组像素 可以表示一个物体的事实。如果将像素假设为统计上独立，那么得到的信源模型 是最简单的，其对应编码技术为脉冲编码调带t j ( ( p c m ) 。视频编码通常不会采用这 种p c m 表示，因为与其它信源模型相比其效率最低。在大多数图像中，相邻像素 具有较强的相关性，因此可利用变换来进行编码，如k l t 变换、离散余弦( d a d 或小波变换。变换的目的是去除原始抽样点间的相关性，把原始信号的能量集中 在几个系数上，然后对这些变换系数进行量化和编码。另一种利用相邻样点间相 关性进行编码的方法是预测编码，这种方法是由已经编码的样点来预测待编码的 样点，然后对预测误差进行量化和编码。预测误差与原始信号相比具有较小的相 关性和较低的能量。变换编码和预测编码都可看作是矢量量化的一种特殊情况。 矢量量化1 4 j 一次量化一组样点块( 一个矢量) ，从本质上说，它是寻找出现在信号中 的典型块模式，并用典型模式之一来近似任何一个块。 现有的视频编码标准h 2 6 1 ，h 2 6 3 ，m p e g 1 ，m p e g 2 和m p e g 4 都采用基于 块的混合编码方法，它综合了预测编码和变换编码两种方法。将每幅图像分成固 定大小的块，用第k 1 帧的一个块来估计第k 帧已移位的相同尺寸的块，这样产生 的图像叫做预测图像。编码器将所有块的二维运动矢量传送到解码器，以便解码 器能够计算出同样的预测图像。编码器从原始图像中减去此预测图像，就得到预 测误差图像。如果预测误差超过了某个阈值，就用变换编码将预测误差变换后传 6 珏。2 6 4 a v c 轹壤中美键控米豹研究 送给解码器。解码器将预测误差与预测豳像相加，从而合成解码图像。因此，然 于块的混合编码是根据块的平移运动信源模型而来的。故除了传输预测误差的变 羧系数外，还必须传邀运动矢量。 2 。基予肉容瓣缡鹑 上述基于块的混合编码实际上是髓霞定大小的方块涞邋钕场景中物体静形 状，因此在物体边界处的块会产生较商预测误差。这些边界块往往包含具有不同 邀动的两种物体，因此用个运动矢鬣并不能说明两个不同的运动。为此，繁予 内容的编码希望能够将视频帧分成对威乎不同物体豹区域，分别编码这些物体。 掰对于每个耪体，除了运动彝绞理痿患终，还强须簧送其影捩偿惹。 例鲡，基予物体静分析与合成掰的内容编码通过模墅来搦透视频场景的每个逡 动物体。为了描述物体的形状，采用分割算法。此外，还薅估计每个物体的运幼 芹口纹理参数。在最简单的情况下，以二维轮廓描述物体形状，以运动矢量场描述 窀的运动，而以颜色波形描述它的纹理。此外，也可采用三维线框来描述物体， 缡鹞器惩第k - 1 帧孛携体熬形状窝颜急以及澎凌窝运动熬受赣参数寒搓述第k 姣巾 豹物体。缤鹞器罔涤瓣运动和形状参数良及莉一赖静颜色参数合成豹俸。露仪瓣 那些图像合成失败的图像区域才传送黼识信息。 如果已知视频序列中的物体种类，聊采用基于知识的编码i q 。这种编码使用特 别设计的线框来描述己识别出的物体炎溅，现已开发了几种用预定义的线框来编 鹚入头豹方法。霆冀该定义线框可戳警物体靛形状稷适疲，溷j 迦可强提高编磁效 搴。有对虿荛这耱羧零称为基于模鍪豹编码。 当已知物体的w 能类型和行为时，w 采用语义编码l 7 1 1 8 l 。例如，入脸的“行为” 指的是与特殊表情棚关的一系列面部特征点的时间轨迹。熊可能行为包括典型面 部表情，诸如高兴、悲伤、生气等。猩这种情况下，将描述物体行为的参数传送 给瓣码器即可。这种缡码方法能够达到嚣鬻舞的编码效率，鞭必物髂f 如验) 可麓的 移为鼗霉菲豢夺，掰渡诞疆毒亍兔繇嚣豹魄特数魄弱簧统豹逡葫_ 耱蕨色参数箍盍蠡赛 际行动所需的比特数少得多。 但在目前，得到广泛应用的仍是蕊于块的混合编码方法。 1 3 1 简套 1 3 视频编码标准发展过程 数字视频通信臻求许多人能够接收辩乏自不同信源的视频信号。目前主要存在 三类用于视频通信的设备：数字电视机戚机顶盒、视频电话和个人计算机。这三 必设备琴激渍是入翻瓣莶静稷额篷务娶浓。瑟援菝壤羁搽壤m 歼始嚣为巍频毫旗鄹 第一章绪论 7 视频电视开发的。 自1 9 8 9 年r r u 玎的前身c c i t r 发布了第一个数字视频编码标准h 2 6 1 ( 草案) 后，迄今为止己推出了包括h 2 6 1 、h 2 6 3 、h 2 6 4 在内的视频编码标准。i s o f l e c 下属的联合技术委员会( ( j t c t ) 也成功推出了音视频编码标准m p e g 1 、m p e g 2 和m p e g - 4 。图1 2 给出了r r u - t 与m p e g 两个标准化组织制定视频编码标准的 发展过程。 9 8 4 1 9 “ l 螂1 9 9 01 9 9 21 9 9 41 9 9 61 9 9 52 0 0 02 0 0 22 0 0 4 图1 2m 卜t 与m p e g 制定视额标准的发展过程 1 3 2 各类视频编码标准的概述 h 2 6 1 h 2 6 1 标准发布于1 9 9 0 年，其应用目标是视频电视会议。它的出现使能经i s d n 上进行视频会议，是第一个成功用于实际的数字视频标准。h 2 6 1 这种基于块的运 动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基 础。h 2 6 1 采用了4 ：2 ：0 采样格式，其主要特点包括： 1 定义了尺寸为1 6 x l f i 像素的宏块，将一个宏块划分为4 个8 x 8 的亮度块和两 个8 x 8 的色度块卜一个用于c r 分量，一个用于c b 分量1 。 2 采用8 8 d c t 变换来减少空间冗余。 3 使用单向整像素静向运动补偿构成环路d p c m ，以减少时间冗余。 4 采用了一种二维环路滤波器对运动补偿预测信号进行低通滤波，以减少预测误 差并降低预测图像的块效应。 5 对d c t 系数采用两个量化器，用步长为8 的均匀量化器来量化帧内模式的d c 系数，用步长2 至6 2 的近似均匀的量化器柬量化帧内模式和帧间模式的a c 系 数。 6 运动向量的范围限制在1 6 个像素内 7 编码控制信息包括宏块类型( m t y p e ) 、具有或不具有环路滤波的运动矢量的差 分编码( m v d ) 、编码块模式( ( c b p ) 以及量化器步长( m q u a n t ) 等。 8 珏。2 6 4 a v c 标准中关键技术的研究 8 经“z ”形扫描使量化系数转换成编码符号( 游程，擞化值) ，每一个符号用可变 长码( v l c ) 进行编码。 h 。2 6 3 h 2 6 3 据礁魄楚基予h 。2 6 1 编鹚握架的。由于褫颧压缩技术的进步潋及菇性能 台式计算机的逐步普及，删呵强h ，2 6 3 中逐步弓l 入复杂性和编码效率都较篙的算 法。h 2 6 3 的发展分为三个阶段：h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ，如图1 2 所永。 与h 2 6 1 相比，h 2 6 3b a s e l i n e 采用了以下新的技术： 1 支持双内鞭测模式，并使运动估计约搜索赣度捉赢裂半像素，半像索i 激避双线 性内疆诗冀褥列；其次秘用邻近兰个宏块懿孛壤运渤肉量俸为对当髓宏块鲍运 动矢量的预测。 2 采用了量维v l c ( l a s t , r u n ，l e v e l ) 来提高d c t 系数编码的效率，l a s t 标 志是否为最后一个非零系数。 3 。在块组级以及釉e 和c b p 编码中降低开销。 4 - 魄h 2 6 1 支持受多的图像格式，增热了较丈足寸酌豳像，如1 6 c i f 。 除以上改善，h 2 6 3 还提供7 以下特谯作为可选项： i 非限制运动向最，允许矢量指向图像外面，搜索范围扩展到卜3 1 53 1 1 。 2 用基予语法“sy n t a x - b a s e d ) 的算术编码来替代可变长编码，这对于p 帧可节省 4 码率，对于l 帧可节省l o 。 3 。先迸静时域颥测模式，还惫括溪个辫掘改善：一个怒藿叠块运动补偿( o b m c ) ； 另一是允诲一个宏块含畜强个运动矢量，鼯每令8 8 亮度块一个运动囱塞。 4 支持p b 帧图像模式，将双向预测图像与一般前向预测图像一起编码。 删批准了h 2 6 3 最初版本后，不断添加了一然可选模式，最终推出了 h 2 6 3 + + 。 其最重要豹特征包疆： 1 先进的顿蠢编褥模式，即顿内块耀左侧或上方黔浃逶避预瓣来进行编码。 2 去块滤波嚣，在解码后的8 x 8 块边界进行自适应滤波，以减小块效应。 3 附加增强信息，提供由h 2 6 3 应用系统定义的用于外部应用的标志信息。 4 改进的p b 帧模式，使常规的双向预测成为可能。 实验结鬃表明，当没有可选颈器重，h 。2 6 3 优予h 。2 6 1 邋2 d b 。如果使用先进颈 溅、基于语法豹算零编码葶曩p b 顿这些这项，可以另外获褥1d b 的增藏。如果穗 h 2 6 3 的运动矢鳖限制在整像索会降低编码效率3 d b ，这是由于降低了补偿精度和 h 2 6 3 没有低通滤波器所引起的。1 4 2 6 3 对变换系数的三维v l c 编码以及对 m t y p e 和c p b 的改进，使信噪比随着码率的增加而明最提高，在1 2 8 k b p s 时可达 l d b 。上述翳选矮使h 2 6 3 提高编璐效率的网对也使复杂度成蘩增长。 第一章绪论 9 m p e g - l m p e g 1 标准是为逐行扫描的视频而设计的，目标码率是大约1 2 m b p s ( 包括音 频和视频在内1 s m b p s ) 的比特率下生成接近v i t s 质量的视频。 m p e g 1 与h 2 6 1 有很多相似之处，也采用混合编码框架，与h 2 6 1 相比，有 如下区别： 1 不用环路滤波。 2 采用了半像素精度的运动矢量，运动矢量范围扩大到士6 4 像素。 3 采用l 帧，p 帧，b 帧三种帧类型，尤其提出了完善的b 帧理论。 4 对于i 帧，d c t 系数的量化是适应人类视觉系统的，用一个加权矩阵来除这些 系数，虽在相同比特率条件下降低了解码图像的p s n r ，但提高了主观质量。 另一个区别是一个l 块的d c 系数可以由它的左邻块的d c t 系数预测。 5 提出了图像组( g o p ：g r o u po f p i c t u r e ) 结构。每一个g o p 都以一个i 帧开始， 后跟一定数量的p 帧和b 帧，以实现视频的随机访问。 6 定义了一个特殊的编码参数子集，称为约束参数集( ( c p s ) ，可以用来限制解码 器计算复杂度、缓冲器大小以及存储器带宽。 m p e g - 2 m p e g 2 标准主要是因为m p e g 1 不能以广播质量有效地压缩隔行数字视频而 制定的。其主要目的是使u r b t 6 0 14 ：2 ：0 格式的隔行视频具有m p e g 1 的功能， 产生4 8 m b p s 码率的电视质量图像和1 0 1 5s m b p s 码率的高质量图像，因此 m p e g 2 能够解决s d l 或i - i d t v 隔行视频的高质量编码问题。 m p e g 2 是以电视演播室以及标准清晰度和高清晰度电视广播为目的的。与 m p e g 1 相比主要区别如下： 1 m p e g 2 移动0 5 逐行编码的4 ：2 ：0 格式与m p e g 1 相比，其色度采样点的位置 水平个像素。 2 m p e g 2 还支持4 ：2 ：0 格式的隔行编码。 3 m p e g 2 允许d c t 系数有其它的扫描格式( 如垂直交替扫描) ，并具有1 6 x 8 像 素尺寸的块运动补偿。 4 d c t 的d c 系数用1 0 比特量化，以及采用非线性量化和较好的v l c 表等也提 高了逐行扫描视频序列的编码效率。 5 m p e g 2 支持各种的可分级性，如空间可分级性、时间可分级性和s n r 可分级 性。 6 m p e g 2 定义了类( p r o f i l e ) 和级( l e v e l ) ，扩展了m p e g 1 的受约束参数集概念， 设计了更为广泛的特征子集和参数范围。 h 2 6 4 a vc 标准中关键技术的研究 7 允许更高的码率。 m p e g - 4 视频编码理论不断发展为视频编码质量的提高提供了技术保障，而更多的服务 需求，如个人无线视频通信系统、交互电视、视频点播( v o d ) 等，为新的视频编码 标准提供了应用平台，因此性能更好的编码标准一直为业界所追求，这导致了 m p e g - 4 和h 2 6 4 a v c 等现代视频编码标准的出现。 m p e g 4 标准的制订是为了支持传统视频应用的同时，满足新一代高度交互性 多媒体应用系统的需求。这些多媒体应用系统除高效编码外，还要求由更先进的 功能。m p e g 4 提供自然的和合成的音频、视频以及图形的基于对象的编码工具。 m p e g - 4 通过用运动、纹理和形状参数对物体独立地编码，使与视频对象进行 基于内容的交互成为可能。一个场景是由几个视频对象f v 0 ) 组成。一个v o 可由 几个视频对象层( v o l ) 组成。v o l 可以表示可分级比特流的不同层或v o 的不同 部分。v o l 的一个时间瞬间称为一个视频对象平面( v 0 p ) 。一个v o p 可以是任意 形状的或矩形的，由其纹理变化和其形状完全描述。视频编码器把运动、纹理和 形状编码工具用于v o p ，所使用的i ，p 和b 模式类似于m p e g 一2 的编码模式。同 时将m p e g 1 2 的帧内图像、预测图像以及双向预测图像的概念扩展到v o p ，分 别称为1 v o p 、p v o p 和b v o po m p e g - 4 除了因基于对象的性质引起视频编码的明显改变之外，还引入以下工具 以提高编码效率： 1 与m p e g 1 2 相比改进了的d c 系数预测，可以选择当前块的左块或者上块来 预测当前d c 系数值。 2 采用a c 系数预测，对第一列或第一行的a c 系数可由d c 系数预测块相同位置 的系数来预测。 3 在m p e g 2 的垂直交替扫描d c t 系数的基础上，增加了水平交替扫描方法。 4 采用与h 2 6 3 类似的三维v c l 编码。 5 采用与h 2 6 3 类似的四个8 x 8 块运动矢量。 6 无限制运动矢量，与h 2 6 3 相比，可以选择更宽的运动矢量范围，最大可以到 士2 0 4 8 像素。 7 采用全局运动补偿，有助于改善最挑剔的场景中的图像质量。 8 采用精确到1 4 像素的运动补偿，其中亮度块的运动矢量为1 4 ，而色度像素以 半像素精度进行补偿。 除了上述特征外，m p e g 4 包括了基于对象的视频编码算法，其主要工具包括： 二进制形状编码、低通填充、形状自适应d c t 和灰度形状编码等。 第一章绪论 1 1 h 2 6 4 a v c 早在1 9 9 8 年，r r u - tv c e g 提出研究新一代编码标准饵2 6 l ) ，其目的就是与 己存在的视频编码标准相比能够成倍提高编码效率并可应用到更广阔的领域。其 高编码效率和网络友好性使它成为新一代的国际视频编码标准。 相对于以前的视频编码标准，比如m p e g 2 等，有如下比较突出的特点【9 】： 1 提出n a l ( n e t w o r k a b s t r a c t i o nl a y e 0 的概念，使之与视频编码层( v c l ) 相分离， 能更友好地适应于网络的应用。 2 先进的帧间编码技术：宏块由以前标准的1 6 1 6 和8 x 8 模式，扩展为7 种不 同大小块模式：运动矢量精度由以前标准的1 陀像素提高到1 4 像素，色度块提 高到1 8 像素。允许多参考帧，平均可采用5 个参考帧，允许b 帧作为其它帧 的参考帧【1 0 l 。 3 多种模式的帧内空间预测编码，有效提高了预测质量，从而提高了帧内编码效 率。 4 采用4 x 4 的整数类d c t 变换，降低了变换的计算，减小了d c t 浮点运算带 来的变换与反变换上的漂移。 5 基于上下文的自适应嫡编码，包括c a v l c ( c o n t e x t - a d a p t i v e v a r i a b l e - l e n g t h c o d i n g ) 和c a b a c ( c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 6 将自适应的循环去块滤波器用于编码器，不仅有效提高了去块滤波效果，而且 一定程度上提高了帧间预测效果。 7 提出了包括f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) ，a s o ( a r b i t r a r ys l i c e o r d e r i n g ) , s p s i ( s y n c h r o n i z a t i o n s w i t c h i n gp i c t u r e s ) 等。 上一节简要介绍了视频编码标准发展过程以及各种编码标准的特点和基本内 容。相比于以前的视频编码标准，h 2 6 4 a v c 之所以能成为下一代的视频编码国 际标准，具有以下的优越性。 1 使用参数集来提高视频传输的健壮性 以前的视频编码标准其中一个关键的问题是它的分层特性，这导致视频传输 在容易丢包的环境下缺乏健壮性。这些编码标准通常在开始传递每个s l i c e ， p i c t u r e ，g o p 和s e q u e n c e 之前都要先传递与它们对应的头信息，这些头信息包的丢 失往往使那些与之有关的数据变成无效。h 2 6 4 a v c 克服了这个缺点，使在一个 实时多媒体环境下同步传递的包变得相互独立，即每个包不依赖其它包能够独立 重建。所有高层的信息依赖于系统，而不依赖具体内容，因此可以异步传输。它 将那些经常变化的参数放入s l i c e 层。而将其他参数集中起来构成参数集。另外， h 2 6 4 a v c 标准中关键技术的研究 h 2 6 4 a v c 还采用一种特殊n a l 单元来传送参数集。它可以在传递v c ln a l 单 元的信道内传递，在一些特殊应用场合下，也可以使用一种比视频通道更加可靠 的传输机制来优先传递参数集【l l j 。 2 具有网络友好性 以前的视频编码标准通常为某种特殊应用场合而设计的，通常使用开关电路或 直接面向比特流环境。而j v t 专家组在开始设计时考虑到在固定和无线网络传输 中包传递的重要性，加强了这方面的设计。这种传输通用的测试环境包括固定网 络中的会话服务，以及网络中基于包交换的会话服务和流服务。对于口网络通常 在网络层采用口协议，在传输层采用u d p 协议，在应用层采用r t p 协议。口和 u d p 只能提供一种不可靠的传输包服务，而r t p 使媒体传输成为可能。序号通常 可以用来恢复无序的口包。r t p 负载并没有增加比特流，但是可以定义如何解释 媒体信息。 3 可支持不同的码率、缓冲区尺寸和缓冲的启动延迟 在许多视频应用中，峰值比特率随网络路径变化或网络环境随时波动。此外， 视频比特流被传递给各种拥有不同缓冲能力的设备。因此，h 2 6 4 a v c 提供了一 种灵活的解码器缓冲模型，可支持各种视频应用环境( 包括码率、缓冲器大小和缓 冲器的起始延迟) 的广泛变化。h 2 6 4 a v c 要求被传输的比特流能够被 h r d ( h y p o t h e t i c a lr e f e r e n c ed e c o d e r ) 在参考缓冲器无上溢或下溢情况下解码。具体 分析可参照文献l “，其目的为了支持不同码率。 4 改进的帧问预测 以前的标准中最多使用两个预测帧。对于双向预测帧( b 帧) ，通常一个为当前 帧的前面帧，另一个采用它的后面一帧。而h 2 6 4 a v c 允许多个参考帧预测，通 常可以采用5 个参考帧。尽管增加了编码器的复杂度，但能够被显著改善预测性 能。文献1 1 3 】给出了多种b 帧情况，其中也可以全都是两个前向