（通信与信息系统专业论文）h264avc实时编码系统及其相关算法的研究.pdf

l 海大学博士学位论文 h 2 6 4 a v c 实时编码系统及其相关算法的研究 摘要 在过去的十几年。h 国际标准化组织制订了一系列的国际视频编码标准并广泛应用到各种 领域。其中，i t u t 制订了满足实时视频通信应用的标准，例如h 2 6 1 、h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ； i s o 匍l 定了满足视频存储、广播视频和视频流需要的m p e g 标准，包括m p e g 1 、m p e g 一2 及 m p e g ，4 等。而h 2 6 4 a v c 是i t u - t s n l s o 联合推出的新标准，采用了近几年视频编码方面的先进 技术，以较高编码效率和网络友好性成为新一代国际视频编码标准。 f i 2 6 4 a v c 仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有：增强的运动 预测能力；准确匹配的较小块变换：自适应环内滤波器：增强的熵编码。测试结果表明这些新 特征使h 2 6 4 a v c 编码器提高5 0 * 0 编码效率的同时，增加了一个数量级的复杂度。实际中恰当 地使用h 2 6 4 a v c 编码工具可以较低的实现复杂度性得到与复杂配置相同的编码效率。故实际 编码系统开发需要在运算复杂性和编码效率之间进行折衷，兼顾考虑。 h 2 6 4 a v c 引入的新编码特征既增加基本模块的复杂度，也成倍增加算法的复杂度。针对 它们的作用和实现方法的不同，可采用不同的优化方法：对于基本模块可用多媒体指令来优化 对于实现算法可研究快速算法来代替。本文基于上述思路进行优化，具体的工作包括： 针对帧内预测编码的复杂性，本文提出一种基于率失真优化( r d o ：r a t ed i s t o r t i o n o p t i m i z a t i o n ) 的快速帧内预测模式选择算法。该算法利用当前宏块色度块和亮度块帧内预测模式 间的相关性、4 x 4 亮度块和1 6 x 1 6 亮度块模式选择之间的相关性以及亮度块预测模式内部的相 关性，并以r d o 为主，结合较简单的s a t d ( s u mo f a b s o l u t et r a n s f o r md i f f e r e n c e ) 为判决依据 快速进行帧内预测模式选择。 针对帧间编码模式的复杂性本文提出一种快速模式判决算法。该算法将全部编码模式进 行分类，对s k i p 模式采用提前终止判决，而对其它模式可通过判别宏块的一致性和比较宏块 的空时相关性逐类型比较，可有效减少判决的模式数量。 针对运动估计的复杂性，结合h 2 6 4 a v c 运动估计引入的新特征，本文提出了一种快速整 像素运动估计算法。该算法通过统计和分析当前块的相关矢量确定运动估计的搜索范围和方向， 再辅以有效搜索路径，可以显著减少搜索点数量并能达到较好的匹配效果。 针对多参考帧运动估计的复杂性，本文提出一种快速多参考帧选择算法。该算法根据实际 中多参考帧的应用特点，利用序列的纹理特征来判定可能的参考帧数目，然后根据运动信息和 r d o 的单调性进一步确定1 6 x 1 6 ，8 x 8 和4 x 4 模式的最佳参考帧，而其它模式可根据与这三种模 式的参考巾贞选择相关性来自适应确定可能选中的参考帧，有效降低搜索帧数目，避免搜索不必 要的参考帧。 本文基于上述算法还进行b a s e l i n ep r o f i l e 编码器的研究，以简化r d o 为模式判决依据，给 l 晦大学博士学位论文 h2 6 4 a v c 实时编码系统及其柏关算法的研究 出了。种实时编码器结构。该编码器提出了一种基于简化r d o 的快速模式选择算法，将模式选 择、运动估计和多参考帧选择结合起来，合理利用它们之间的相关性，节约大量多余计算，最 终达到实时编码。 本文还对优化后编码器的基本模块进行分析，对比较耗时的s a d ( s u mo fa b s o l u t e d i f f e r e n c e ) 、s a t d 、整数变换和亚像素内插等模块采用i n t e l 多媒体指令集进行优化，可进步 提高编码速度。 实验结果表明，上述的优化编码器在普通p c 机上就可实现实时编码。与其它同类型编码 器相比，编码性能相当或略好些。 关键词：国际视频编码标准，h 2 6 4 a v c ，优化，实时编码 本项研究得到国家技术创新计划项目卫星多媒体传输关键技术研究( 项目编号： 0 1 b k - 2 7 2 ) 和国家自然基金重点项目移动宽带视频广播传输系统及关键技术研究( 项目编 号：6 0 3 3 2 0 3 0 ) 的资助。 上海大学博十学位论文 h2 6 4 a v c 实时编码系统及其相关算法的研究 a b s t r a c t i nt h ep a s ta b o u tt e ny e a r s ，as e r i e so fi n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d sa r ed e v e l o p e da n d w i d e l yu s e di nav a r i e t yo fd o m a i n s 。s o m es t a n d a r d sf o rr e a l 二t i m et e l e c o m m u n i c a t i o na p p l i c a t i o n s h a v eb e e ne s t a b l i s h e db yi t u t 。i n c l u d i n gh 2 6 1 ，h 2 6 3a n dl a t e re n h a n c e m e n t so f h 2 6 3k n o w na s h2 6 3 + a n dh 2 6 3 + + ，o t h e r sf o rv i d e os t o r a g e ，b r o a d c a s ta n ds t r e a ma p p l i c a t i o n sb yi s o i e c ，s u c h a sm p e g 一1 2 4 h 2 6 4 a v ci st h en e w e s ts t a n d a r d a p p r o v e db yt h el t u - 1 1 a n dl s o l e c o r g a n i z a t i o n s ，w h i c hr e p r e s e n t san u m b e ro fa d v a n c e si nv i d e oc o d i n gt e c h n o l o g ya n db e c o m e st h e n e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r db e c a u s eo fb o t hh i g l lc o d i n ge f f i c i e n c ya n dn e t w o r k f r i e n d l i n e s s t h ed e s i g no fh 2 6 4 a v ci sb a s e do nc o n v e n t i o n a lb l o c k - b a s e dm o t i o n c o m p e n s a t e dh y b r i d v i d e oc o d i n gc o n c e p t s ，b u tw i t hs o m ei m p o r t a n td i f f e r e n c e sr e l a t i v et op r i o rs t a n d a r d s ：e n h a n c e d m o t i o n - p r e d i c t i o nc a p a b i l i t ；as m a l lb l o c k - s i z ee x a c t - m a t c ht r a n s f o r m ；a d a p t i v ei n - l o o pd e b l o c k i n g f i l t e r ；e n h a n c e de n t r o p yc o d i n gm e t h o d s t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ei m p r o v e dc o d i n g e f f i c i e n c y ，u pt o5 0 ，c o m e sw i t hac o m p l e x 埘i n c r e a s eo fm o r et h a no n eo r d e ro fm a g n i t u d ea tt h e e n c o d e r i nf a c tap r o p e ru s eo ft h eh 2 6 4 1 a v ct o o l sl e a d st or o u g h l yt h es a r o ep e r f o r m a n c e sa st h e c o m p l e xc o n f i g u r a t i o n s ob o t hc o m p u t a t i o n a lc o m p l e x i t ya n dc o d i n ge f f i c i e n c ys h o u l db et h o u g h t a n d m a d e t o t h eo p t i m a l t r a d e - o f f i n t h e i m p l e m e n t a t i o n o f a c t u a lc o d i n gs y s t e m t h en e wf e a t u r e so fh 2 6 4 a v ci n c r e a s en o to n l yt h ec o m p l e x i t yo fc o d i n gb a s i cm o d u l e s ，b u t a l s ot h eo n eo fa l g o r i t h m sb yt i m e s t h em u l t i m e d i ai n s t r u c t i o nm a yb e u s e dt oo p t i m i z et h eb a s i c m o d u l e s ；t h ef a s ta l g o r i t h m sa r ed e v e l o p e di n s t e a do ft h eo l do n e s t h i sd i s s e r t a t i o ni sb a s e do nt h e a b o v em e t h o d s ，a n dm a j o rw o r k sa r ea sf 0 1 1 0 w s t or e d u c et h ec o m p l e x i t yo fi n t r ap r e d i c t i o n ，af a s ti n t r a - p r e d i c t i o nm o d es e l e c t i o na l g o r i t h r ai s p r o p o s e d i tu s e st h em o d es e l e c t i o nc o r r e l a t i o nb e t w e e nc h r o m ab l o c ka n dl u m ab l o e k t h ec o r r e l a t i o n b e t w e e nl u m a4 x 4b i n e ka n dl u m a1 6 x 1 6b i n e ka n dt h es e l e c t i o nc o n e l a t i o ni nl u m ab l o e km o d e s w i t hd i f f e r e n tc r i t c t i o n s ( r d o ( r a t ed i s t o r t i o no 硼m i z a t i o n ) o rs a t d ( s u mo fa b s o l u t et r a n s f o r m d i f f e r e n c e ) ) t of a s td e t e r m i n et h eb e s tm o d e t or e d u c et h ec o m p l e x i t yo fi n t e rp r e d i c t i o n ，af a s ti n t e rm o d ed e c i s i o na l g o r i t h mi sp r o p o s e d i t c l a s s i f i e sa l lm o d e sb yb o t hh o m o g e n e i t ya n ds p a c o - t i m ec o r r e l a t i o no fm a c r o b l o c k t h es k i pm o d e c a nb ee a r l yt e r m i n a t e d ，a n do t h e rm o d e sc a nb ec o m p a r e dt y p eb yt y p e 。s ot h en u m b e ro fc a l c u l a t e d m o d e sc a nb ed e c r e a s e de f f i c i e n t l y t or e d u c et h ec o m p l e x i t yo fm o t i o ne s t i m a t i o n ，af a s ti n t e g e rp i x e lm o t i o ne s t i m a t i o na l g o r i t h m c o m b i n e dw i t ht h en e wf e a t u r e si n t r o d u c e db yh 2 6 4 a v ci sp r o p o s e d i ta n a l y z e sr e l e v a n tm o t i o n v e c t o r so fc u r r e n tb l o c kt od e t e r m i n es e a r c hr a n g ea n dd i r e c t i o n ，a n dd e s i g n se f f e c t i v es e a r c hp a t h ， w h i c hc a ne f f i c i e n t l yd e c r e a s et h en u m b e ro f s e a r c hp o i n t sa n dc o m et oag o o dm a t c h i n g t or e d u c et h ec o m p l e x i t yo fm u l t i p l er e f e r e n c ef r a m e s ，af a s ts e l e c t i o na l g o r i t h mo fr e f e r e n c e 卜海大学博士学位论文h 2 6 4 a v c 实时编码系统及其相关算法的研究 f r a m ei sp r e s e n t e d a c c o r d i n gt ot h ea c t u a lc h a r a c t e r i s t i c so fc h o s e nr e f e r e n c ef r a m e ，i tu t i l i z e st h e t e x t u r ec h a r a c t e r i s t i co fs e q u e n c et oe s t i m a t et h ep o s s i b l en u m b e ro fr e f e r e n c ef r a m e s ，a n df u r t h e r d e t e r m i n et h eb e s tr e f e r e n c ef r a m eo f1 6 x 1 6 ，8 x 8a n d4 x 4m o d e sa c c o r d i n gt ot h em o t i o ni n f o r m a t i o n a n dt h em o n o t o n yo fr d oa m o n gd i f f e r e n tr e f e r e n c ef r a m e s s ot h el i k e l yr e f e r e n c ef r a m e so fo t h e r m o d e sm a yb ea d a p t i v e l yc h o s e na c c o r d i n gt ot h ec o e l a t i o no fr e f e r e n c ef r a m es e l e c t i o nw i t ht h e a b o v em o d e s i tc a nd e c r e a s et h en u m b e ro fs e a r c h e df l a m e sa n da v o i dr e d u n d a n tr e f e f e n c ef r a m e s t h i sd i s s e r t a t i o na l s os t u d i e st h eb a s e l i n ep r o f i l ee n c o d e rb a s e d0 1 1t h ea b o v ea l g o r i t h m s i tu s e s t h es i m p l i f i e dr d 0a st h em o d ed e c i s i o nc r i t e r i o na n dp r o v i d e sar e a l - t i m es t r u c t u r eo fe n c o d e r t h i s e n c o d e rp r o v i d e saf a s tm o d ed e c i s i o na l g o r i t h mb a s e do nt h es i m p l i f i e dr d o ，w h i c hi si n t e g r a t e d w i t hm o t i o ne s t i m a t i o na n dm u l t i f r a m es e l e c t i o n m u c hc o m p u t a t i o nc a nb es a v ea n dt h er e a l q i m e e n c o d i n gi sr e a l i z e d n eb a s i cm o d u l e so f t h eo p t i m i z e de n c o d e rm a n a l y z e d n l er e l a t i v e l yt i m e - c o n s u m i n gm o d u l e s s u c ha ss a d ，s a t d , i n t e g e rt r a n s f o r ma n ds u b - p e li n t e r p o l a t i o na r eo p t i m i z e dt h r o u g ht h ei n t e l m u l t i m e d i ai n s t r u c t i o ns e t ，w h i c hc a nf u r t h e ri m p r o v et h ee n c o d i n gr o t e t h ee x p e r i e n c er e s u l t ss h o wt h a tt h eo p t i m i z e de n c e d e rc a nr e a l i z et h er e a l - t i m ee n c o d i n go nt h e c o m m o np c i tc a na c h i e v ea sm u c ha so rb e t t e re n c o d i n gp e r f o r m a n c ec o m p a r e dw i t ho t h e rs i m i l a r e n c o d e r s k e y w o r d s ：i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d ，h 2 6 4 a v c ，o p t i m i z a t i o n ，r e a l q i m ee n c o d i n g i v f 一海大学博士学位论文h 2 6 4 a v c 实时编码系统及其相关算法的研究 1 1 引言 第一章绪论 在过去的十五年中，国际标准化组织己制订一系列的国际视频编码标准且己应 用到各种领域，包括个人视频电话、商务视频会议、v c d 、d v d 、数字电视( 卫星、 广播和有线分布) 和其它很多方面。新的应用仍在继续出现，例如移动视频和数字 影院，并以惊人的速度不断增长。视频电话和移动视频通常需要在码率6 4 k b p s 或更 低码牢下使用，而数字影院需要码率高达每秒百万位或者更高。各种各样的应用需 求加速了新的视频编码标准的不断诞生。从二十世纪九十年代以来。i t u t 和i s o 制订了一系列视频压缩编码标准，极大地推动了视频通信的发展。通常，l t u t 制 订的标准都是为了满足实时视频通信应用，例如h 2 6 1 i 1 】和h 2 6 3 1 2 1 ( 后来发展为 h 2 6 3 + t 3 1 和h 2 6 3 + + 【5 】) ；而i s o 的m p e g 标准大多为了满足视频存储、广播视频 和视频流需要而制定，包括m p e g 1 t 6 1 、m p e g - 2 t 7 - 8 】及m p e g 4 t 9 ，等。在一些标准 内部还给出了不同的类、级规定，被称为“p r o f i l e ”和“l e v e l ”，具体描述了编码特 征、参数设置和推荐的应用场合( 如h 2 6 3 、m p e g - 2 和m p e g 4 ) 。这要求解码器 能够实现各个标准所定义的工具集的一个子集，以便能够设计出符合标准的解码器， 使之面向特定应用领域。 h 2 6 1 是基于块的整像素运动估计的混合编码器。它是第一个成功用于实际的 数字视频标准，并成为后来其它视频编码标准的基础。h 2 6 1 主要用于i s d n 线上 传输的视频会议中，其视频编码码率在6 4 k b p s 和2 m b p s 之间。而h 2 6 3 ( 其最新扩 展版本h 2 6 3 + 和h 2 6 3 + + ) 扩展了h 2 6 1 ，并且增加了许多特性( 包括半像素运动 补偿) ，因此使编码视频能够以低于5 6 k b p s 的速率在模拟电话线上传输，广泛用于 各种典型视频场合。 m p e g ，1 也源于h 2 6 1 ，但增加了许多关键性的特征，包括b 帧的双向预测编 码、半像素的运动估计和其它方面的改善，以便满足大约1 2 m b p s 速率的编码视频 以及c i f 分辨率的c d r o m 的视频需求。m p e g 2 ( 即h 2 6 2 ，与i s o i e c 联合开 发) 是至今为止最成功的视频编码标准，也是第一个能以s d t v ( 标准数字电视) 卜海大学博士学位论文 h 2 6 4 a v c 实时编码系统及其相关算法的研究 和h d t v 分辨率隔行视频编码的标准。它扩展了m p e g 1 ，为隔行视频引入了新的 预测模式，可以提供大约4 m b p s 速率的t v 广播以及1 5 m b p s 的高质量视频，被广 泛应用于d v d 、广播、卫星和有线电视。在m p e g 2 和h 2 6 3 基础上发展的m p e g 4 ， 引入了基于对象的功能，不仅用运动和纹理，而且用形状来描述视频对象。形状信 息与亮度信号同位，并且采用基于上下文的算术熵编码进行编码。 h 2 6 1 和h 2 6 3 标准只给出了视频压缩内容，而m p e g 1 2 4 标准除此外还描述 音频表示以及能联合传输音频视频信号的系统表示。m p e g 1 2 4 标准使音视频数据 的交换成为可能。而其后的m p e g 7 t “，1 2 的目的是使搜索和浏览这些音视频数据成 为可能。 由于终端的计算能力在逐年提高和编码技术的不断发展，1 9 9 8 年，i t u t q 6 s g l 6 ( v c e g v i d e oc o d i n ge x p e r t sg r o u p ) 提出研究新一代编码标准( h 2 6 l ) ，其 目的是进一步提高编码效率并应用到更广阔的领域。1 9 9 9 年8 月b e r l i n 会议。推出 了第一个校验模型t m l i ( t e s tm o d e ll o n g - t e r m ) ，并于2 0 0 1 年6 月通过i s o i e c m p e g 测试，被确认为是当前最先进的视频压缩编码方法。2 0 0 1 年1 2 月，v c e g 和 i s o i e cm p e g 组成了一个联合视频组( j v t ：j o i n tv i d e ot e a m1 ，以i t u th 2 6 l 为 基础，联合开发新一代视频编码标准，以进一步提高编码效率和图像质量，将其命 名为j v t 1 3 】。2 0 0 3 年3 月，通过了最终视频编码标准草案，正式命名为h ，2 6 4 a v c t l ”。 并被m p e g 收入m p e g 4 标准的第1 0 部分，即m p e g 4a v c ( a d v a n c e dv i d e o c o d i n g ) 。 h 2 6 4 a v c 采用了近几年在视频编码方面发展的先进技术，并将它们很好结合 起来。它以较高编码效率和网络友好性使之成为新一代的国际视频编码标准。 但h 2 6 4 a v c 高效编码是以较高的运算复杂性和对硬件的高要求为代价的，实 验结果b 5 表明与以前的标准相比，在提高5 0 的编码效率的同时，在编码端增加了 一个数量级的复杂度，在解码端提高2 倍以上的复杂度，因此要将h 2 6 4 a v c 运用到 实际中去还需进步优化。本文针对h 2 6 4 a v c 的运算复杂性，从时间复杂性和空 间( 存储) 复杂性两方面【l6 】来优化h 2 6 4 a v c ，一方面研究新的快速算法来降低编 码时间消耗；另一方面运用多媒体指令集对耗时模块进行优化，最终达到h _ 2 6 4 a v c 的实时实现。 f 海大学博士学位论文h 2 6 4 a v c 实时编码系统及其相关算法的研究 1 2 视频编码系统概述 视频编码器通过信源模型来描述视频序列的内容。图1 1 给出一个视频编码系统 的基本组成。 视频 ( 】至至垂至重 叫( 三至二至叵 吒三至至堕至二日信道 图1 1 视频编码系统基本组成 在编码器中，首先采用信源模型的参数来描述数字视频序列，如果采用像素统 计独立的信源模型，那么这种信源模型的参数就是每个像素的亮度和色度幅度：如 果把一个场景描述成几个物体组合的模型，那么参数就是每个物体的形状、纹理和 运动。接下来将信源模型参数量化成有限的符号集，量化参数取决于比特率与失真 度之间的折衷。最后，利用无损编码将量化参数映射成二进制码字，产生的比特流 在信道上传输或存储。 下面综述几种基本视频编码算法，它们的相应信源模型、参数和所用的编码技 术如表1 1 所示。大体上可以将它们分为基于波形和基于内容的两种类型编码。 表1 1 信源模型、参数集和编码技术比较 信源模型 编码参数编码技术 统计独立的像素 每个像素的颜色p c m 变化编码、预测编 统计相关的像素每个块的颜色 码和矢量量化 平移运动的块每个块的颜色和运动矢量基于块的混合编码 运动的未知物体每个块的形状、运动和颜色分析与合成编码 每个已知物体的形状、运动和 运动的已知物体基于知识的编码 颜色 行为已知的物体每个物体的形状、颜色和行为语义编码 1 基于波形的编码 e 海大学博士学位论文h 2 6 4 t a v c 实时编码系统及其相关算法的研究 基于波形的编码方法试图准确表示每个像素的颜色值，而并不考虑一组像素可 以表示一个物体的事实。如果将像素假设为统计上独立，那么得到的信源模型是晟 简单的，其对应编码技术为脉冲编码调带o ( p c m ) 。视频编码通常不会采用这种p c m 表示，因为与其它信源模型相比其效率最低。在大多数图像中，相邻像素具有较强 的相关性，因此可利用变换来进行编码，如k l t 变换、离散余弦( d c t ) 或小波变换。 变换的目的是去除原始抽样点间的相关性，把原始信号的能量集中在几个系数上， 然后对这些变换系数进行量化和编码。另一种利用相邻样点间相关性进行编码的方 法是预测编码，这种方法是由已经编码的样点来预测待编码的样点，然后对预测误 差进行量化和编码。预测误差与原始信号相比具有较小的相关性和较低的能量。变 换编码和预测编码都可看作是矢量量化的一种特殊情况。矢量量化【”】一次量化一组 样点块( 一个矢量) ，从本质上说，它是寻找出现在信号中的典型块模式，并用典型 模式之一来近似任何一个块。 现有的视频编码标准h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 和m p e g 4 都采用基于 块的混合编码方法，它综合了预测编码和变换编码两种方法。将每幅图像分成固定 大小的块，用第k - 1 帧的一个块来估计第k 帧已移位的相同尺寸的块，这样产生的图 像n q 做预测图像。编码器将所有块的二维运动矢量传送到解码器，以便解码器能够 计算出同样的预测图像。编码器从原始图像中减去此预测图像，就得到预测误差图 像。如果预测误差超过了某个阈值，就用变换编码将预测误差变换后传送给解码器。 解码器将预测误差与预测图像相加，从而合成解码图像。因此，基于块的混合编码 是根据块的平移运动信源模型而来的。故除了传输预测误差的变换系数外，还必须 传送运动矢量。 2 基于内容的编码 上述基于块的混合编码实际上是用固定大小的方块来近似场景中物体的形状， 因此在物体边界处的块会产生较高预测误差。这些边界块往往包含具有不同运动的 两种物体，因此用一个运动矢量并不能说明两个不同的运动。为此。基于内容的编 码希望能够将视频帧分成对应于不同物体的区域，分别编码这些物体。而对于每个 物体，除了运动和纹理信息外，还必须传送其形状信息。 例如，基于物体的分析与合成【l8 】的内容编码通过模型来描述视频场景的每个运 j ：海大学博十学位论文h2 6 4 a v c 实时编码系统及其翱关算法的研究 动物体。为了描述物体的形状，采用分割算法。此外，还要估计每个物体的运动和 纹理参数。在晟简单的情况下，以二维轮廓描述物体形状，以运动矢量场描述它的 运动，而以颜色波形描述它的纹理。此外，也可采用三雏线框来描述物体，编码器 用第k - l 帧中物体的形状和颜色以及形状和运动的更新参数来描述第k 帧中的物体。 解码器用当前运动和形状参数以及前一帧的颜色参数合成物体。而仅对那些图像合 成失败的图像区域才传送颜色信息。 如果己知视频序列中的物体种类，可采用基于知识的编码【l 。这种编码使用特 别设计的线框来描述己识别出的物体类型，现已开发了几种用预定义的线框来编码 人头的方法。因为预定义线框可以与物体的形状相适应，因此可以提高编码效率。 有时可把这种技术称为基于模型的编码。 当已知物体的可能类型和行为时，可采用语义编码 2 0 2 ”。例如，入脸的“行为” 指的是与特殊表情相关的一系列面部特征点的时间轨迹。其可能行为包括典型面部 表情，诸如高兴、悲伤、生气等。在这种情况下，将描述物体行为的参数传送给解 码器即可。这种编码方法能够达到非常高的编码效率，因为物体( 如脸) 可能的行 为数目非常小，所以说明行为所需的比特数比用传统的运动和颜色参数描述实际行 动所需的比特数少得多。 但在目前，得到广泛应用的仍是基于块的混合编码方法。 1 3 视频编码标准发展过程 1 3 1 简介 数字视频通信要求许多人能够接收来自不同信源的视频信号。目前丰要存在三 类用于视频通信的设备：数字电视机或机项盒、视频电话和个人计算机。这三类设 备可以满足人们对各种视频业务要求。而视频编码标准开始时主要为视频电话和视 频电视开发的。 自1 9 8 9 年i t u t 的前身c c i t t 发布了第一个数字视频编码标准h 2 6 t ( 草案) 后，迄今为止已推出了包括h 2 6 1 、h 2 6 3 、h 2 6 4 在内的视频编码标准。i s o i e c 上海九学博士学位论文 h 2 6 4 a v c 实时编码系统及其相关算法的研究 下属的联合技术委员厶( j t c l ) 也成功推出了音视频编码标准m p e g 1 、m p e g 2 和 m p e g - 4 。图1 2 给出了i t u t 与m p e g 两个标准化组织制定视频编码标准的发展 过程。 竖l ! 至 叵亚堕翟 一 l 1 t 联u - 合t 标m p 准e gl 匹h 2 圜6 2 m p e g2 h 圈2 6 4 l 联合标准 ilii 厂1 丽翮 一 堑堡il 二竺竺：- 上1 竺f ! 竺：! ll 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 8 2 0 0 0 2 0 0 2 2 0 0 4 图1 2i t t i t 与m p e g 制审褪炳标准的枯属讨稃 1 3 2 各类视频编码标准内容概述 h 2 6 1 h 2 6 1 标准发布于1 9 9 0 年，其应用目标是视频电视会议。它的出现使能经i s d n 上进行视频会议，是第一个成功用于实际的数字视频标准。h 2 6 1 这种基于块的运 动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基础。 h 2 6 l 采用了4 ：2 ：0 采样格式，其主要特点包括： 1 定义了尺寸为】6 x1 6 像素的宏块，将一个宏块划分为4 个8 x 8 的亮度块和 两个8 8 的色度块( 一个用于c r 分量，一个用于c b 分量) 。 2 采用8 8 d c t 变换来减少空间冗余。 3 使用单向整像素前向运动补偿构成环路d p c m ，以减少时间冗余。 4 采用了一种二维环路滤波器对运动补偿预测信号进行低通滤波，以减少预测 误差并降低预测图像的块效应。 5 对d c t 系数采用两个量化器，用步长为8 的均匀量化器来量化帧内模式的 d c 系数，用步长2 至6 2 的近似均匀的量化器来量化帧内模式和帧间模式 的a c 系数。 6 运动向量的范围限制在1 6 个像素内。 上海_ 人学博士学位论文 h2 6 4 a v c 实时编码系统及其相关算法的研究 f 属的联合技术委员会( j t c l ) 也成功推出了音视频编码标准m p e g - l 、m p e g - 2 和 m p e g 4 。图1 2 给出了i t u t 与m p e g 两个标准化组织制定视频编码标准的发展 过程。 图圆蟹_ 圈i 【圜霜霞雹圈ji 1 9 8 4 1 9 8 6 1 9 印 1 9 9 0t 9 9 21 9 9 41 9 9 61 9 9 8 2 | o o o 2 0 0 22 0 0 4 图1 2i t u _ t 与m p e g 制定视频标准的发展过程 1 3 2 各类视频编码标准内容概述 h 2 6 1 h 2 6 1 标准发布于1 9 9 0 年，其应用目标是视频电视会议。它的出现使能经i s d n 上进行视频会议，是第一个成功用于实际的数字视频标准。h 2 6 1 这种基于块的运 动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基础。 h ，2 6 1 采用了4 ：2 ：0 采样格式，其主要特点包括： 1 定义了尺寸为1 6 1 6 像素的宏块，将一个宏块划分为4 个8 8 的亮度块和 两个8 8 的色度块( 一个用于c r 分量。一个用于c b 分置) 。 2 采用8 8 d c t 变换来减少空间冗余。 3 使用单向整像素前向运动补偿构成环路d p c m ，以减少时间冗余。 4 采用了一种二维环路滤波器对运动补偿预测信号进行低通滤波，以减少预测 误差并降低预测图像的块效应。 5 对d c t 系数采用两个量化器，用步长为8 的均匀量化器来量化帧内模式的 d c 系数，用步长2 至6 2 的近似均匀的量化器来量化帧内模式和帧间模式 的a c 系数。 6运动向量的范围限制在1 6 个像索内。 l 海大学博士学位论文 h 2 6 4 a v c 实时编码系统及其相关算法的研究 7 编码控制信息包括宏块类型( m t y p e ) 、具有或不具有环路滤波的运动矢量的 差分编码( m v d ) 、编码块模式( c b p ) 以及量化器步长( m q u a n t ) 等。具体宏 块类型包括以下1 0 种类型：i n t r a 、1 n t r a + q 、i n t e r 、i n t e r + q 、 i n t e r + m c 、i n t e r + m c + c b p 、 i n t e r + m c + q 、 i n t e r + m c + f i l 、 i n t e r + m c + f i l + c b p 、 m t e r 十m c + f i l 十q 。 8 编码控制原则通常是选择m t y p ，c b p 及m v d 使预测误差最小。 9 ，经“z ”形扫描使量化系数转换成编码符号( 游程，量化值) ，每一个符号用 可变长码( v l c ) 进行编码。 h 2 6 3 h 2 6 3 标准也是基于h 2 6 1 编码框架的。由于视频压缩技术的进步以及高性能 台式计算机的逐步普及，i t u t 在h 2 6 3 中逐步引入复杂性和编码效率都较高的算 法。h 2 6 3 的发展分为三个阶段：h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ，如图1 , 2 所示。 与h 2 6 1 相比，h 2 6 3b a s e l i n e 采用了以下新的技术： 1 支持双向预测模式，并使运动估计的搜索精度提高到半像素，半像素通过双 线性内插计算得到；其次利用邻近三个宏块的中值运动向量作为对当前宏块 的运动矢量的预测。 2 采用了三维v l c ( l a s t ，r u n ，l e v e l ) 来提高d c t 系数编码的效率，l a s t 标志是否为最后一个非零系数。 3 在块组级以及m t y p e 和c b p 编码中降低开销。 4 比h 2 6 1 支持更多的图像格式，增加了较大尺寸的图像，如1 6 c i f 。 除以上改善，h 2 6 3 还提供了以下特性作为可选项： 1 非限制运动向量( 附件d ) ，允许矢量指向图像外面，搜索范围扩展到f 3 1 5 ， 3 1 】。 2 用基于语法( s y n t a x - b a s e d ) 的算术编码( 附件e ) 来替代可变长编码，这对于 p 帧可节省4 码率，对于i 帧可节省1 0 。 3 先进的时域预测模式( 附件f ) ，还包括两个附加改善：一个是重叠块运动 补偿( o b m c ) ；另一是允许个宏块含有四个运动矢量，即每个8 8 亮度块 【一海大学博士学位论文h 2 6 4 a v c 实时编码系统及其相关算法的研究 一个运动向量。 4 支持p b 帧图像( 附件g ) 模式，将双向预测图像与一般前向预测图像一起 编码。 1 t u 批准了h 2 6 3 最初版本后，不断添加了一些可选模式，最终推出了h 2 6 3 + + ， 其最重要的特征包括： 1 先进的帧内编码模式( 附件i ) ，即帧内块用左侧或上方的块通过预测来进行 编码。 2 去块滤波器( 附件j ) ，在解码后的8 x8 块边界进行自适应滤波，以减小块 效应。 3 附加增强信息( 附件l ) ，提供由h 2 6 3 应用系统定义的用于外部应用的标 志信息。 4 改进的p b 帧模式( 附件m ) ，使常规的双向预测成为可能。 实验结果表明，当没有可选项时，h 2 6 3 优于h 2 6 1 近2 d b 。如果使用先进预 测、基于语法的算术编码和p b 帧这些选项，可以另外获得l d b 的增益。如果将h 2 6 3 的运动矢量限制在接像素会降低编码效率3 d b ，这是由于降低了补偿精度和h 2 6 3 没有低通滤波器所引起的。h 2 6 3 对变换系数的三维v l c 编码以及对m t