（信号与信息处理专业论文）转换编码技术及其应用于mpeg2h264+avc标准的研究.pdf

中文摘要 视频转换编码技术是数字多媒体应用中的一项关键技术，近年来已成为国际 上的研究热点。转换编码就是将多媒体内容的原始格式转换成另一种需要格式的 处理技术，也就是对已经压缩编码的比特流进行再处理，使经过处理后的数据满 足传输信道与或解码器对编码比特流的特殊要求。新一代视频压缩标准 h 2 6 4 a v c 具有编码效率高、网络适应性强和抗误码能力好等优点，可以广泛应 用于移动视频传输、交互视频服务及p 信道传输等领域。对h 2 “，a v c 与m p e g - 2 系统节目资源共享的迫切需求使得研究两个标准之间的转换编码成为该领域一 个引人关注的新课题。 论文较为全面地综述了转换编码技术，并详细讨论了它的分类。针对其中的 视频转换编码技术及其当前研究进展进行了系统探讨，对空间、时间分解力下变 换中运动矢量合成的几种主要算法进行了实验研究。论文设计并实现了个全面 的m b p g - 2 到h 2 6 4 a v c 的转换编码器和一个全面的p g - 2 到h 2 6 4 a v c 空间 分解力下变换转换编码器，它们可以实际应用在数字电视广播和移动视频领域。 另外，论文研究并实现了h 2 “，a v c 到m p e g - 2 的转换编码，它为使用数字电视 机顶盒收看网络视频提供了可能。 论文的主要创新点为： 率先全面地实现了m p e g - 2 到h 2 6 4 a v c 的转换编码，即支持对全部 m p e g - 2 帧类型的转换。 率先实现了全面的m p e g - 2 到h 2 6 4 a v c 的空间分解力下变换转换编码。 首次实现了4 2 6 4 a v c 至i j m p e g - 2 的转换编码。 关键词：视频转换编码、m p e g - 2 、h 2 6 4 a v c 、分解力下变换、运动矢量合成 本课题由国家自然科学基金( 6 0 0 删资助。 a b s t r a c t v i d e ot r a n s c o d i n gi sak e yt e c h n o l o g yi na p p l i c a t i o n so fd i g i t a lm u l t i m e d i a r e c e n t l y , i th a sb e c o m eas t u d yf o c u si n t e r n a t i o n a l l y t r a n s c o d i n gi sap r o c e s s i n g t e c h n o l o g yf o rc o n v e r t i n gm u l t i m e d i ac o n t e n tf m mi t so r i g i n a lf o r m a tt o a n o t h e r s u i t a b l ef o r m a t , t h a ti s ，t or e - p r o c e s st h ec o m p r e s s e ds t r c a l nt om e e tt h es p e c i f i cn e e d s o f t r a n s m i s s i o nc h a n n e la n d o rt a r g e td c c x l e lh 2 6 4 a v ci san e wg e n e r a t i o nv i d e o c o m p r e s s i n gs t a n d a r d w h i c hf e a t u r e sh i g hc o d i n g e f f i c i e n c y , f l e x i b l en e t w o r k a d a p t a t i o n , r o b u s t i t o rr e s i l i a l ，a n ds oo i lt h e r e f o r e ，h 2 6 4 a v cc 缸b eb r o a d l y u s e di nf i e l d ss u c h 舔m o b i l ev i d e ot r a n s m i s s i o n , i n t e r a c t i v ev i d e os e r v i c ea n di p t r a n s m i s s i o n ，t h eg r e a tn e e do fs h a r i n gp r o g r a m sb o 脚0 1 1h 2 6 4 a v ca n dm p e g - 2 s y s t e m sh a st h er e s e a r c ho nm p e g - 2 h 2 6 4a v ct r a a s c o d i n gb e c o m i n gan e w a t t 翰c t i v et o p i ci nt l l i sa r e a t h ed i s s e r t a t i o nm a k e sa c o m p r e h e n s i v e s u m m a r i z a t i o no f i z a n s c o d i n g t e c h n o l o g ya n dd i s c u s s e si t sc l a s s i f i c a t i o ni nd e t a i l f r o mv a r i o u ss u b d i v i s i o n s ，t h e v i d e ou 删i n gt e c h n o l o g y 嬲w e l la si t su p - t o - d a t or e s e a r c ha d v a n c e si s i n v e s t i g a t e ds y s t e m a t i c a l l ya n ds e v e r a lm a i na l g o r i t h m so f m o t i o n v e c t o rc o m p o s i t i o n i n t e m p o r a l s p a t i a l r e s o l u t i o n d o w n - s c a l i n ga s t u d i e de x p e r i m e n t a l l y 1 1 1 e d i s s e r t a t i o nd e s i g n sa n dr e a l i z e sa na l l - r o u n dm p e g - 2t oh 2 6 4 a v ct r a n s c o d e ra n d 如a l l - r o u n ds p a t i a ld o w n - s c a l i n gi i + d n s c o d e r b o t hs u p p o r ta l lf l a m et y p e si nm p e g - 2 a n dc a nb ea p p l i e dt of i e l d so fd t v b r o a d c a s t i n ga n dm o b i l ev i d e ou a n s m i t t i n g i n a d d i t i o n , i ts t u d i e sa n df u l f i l l st r a n s c o d i n g 丘n mh 2 6 4 a v c t om p e g - 2 w h i c h o p e n s u pp o s s i b i l i t i e sf o rp l a y i n g n e t w o r kv i d e ow i t hd t v s e t 4 0 pb o x t h et h r e em a j o ri n n o v a t i o n sl i ei n ： t a k e s t h el e a di ni m p l e m e n t i n gm p e g - 2t oh 2 6 4 a v ct r a n s c o d i n gi na n a l l - m a n dw a y , t h a ti s , c o n v e r s i o n so f a l lf r a m et y p e si nm p e g - 2a r es u p p o r t e d t a k e st h el e a di nr e a l i z i n gm p e g - 2t oh 2 6 4 a v cd o w n - s c a l i n gt r a n s c o d i n gi n a na l l - r o u n dw a y f o rt h ef i r s tt i m e ，t h eh 2 6 4 a v ct om p e g - 2t r a s c o d i n gi sr e a l i z e d k e y w o r d s ：v i d e ot r a n s e o d i n g + m p e g - 2 ，h - 2 6 4 a v c ，d o w n - s c a l i n g , m o t i o nv e c t o r c o m p o s i t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫鲞盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：禚南强 签字日期；硝年，) 月) ，日 学位论文版权使用授权书 本学位论文作者完全了解鑫注盘堂有关保留、使用学位论文的规定。 特授权墨鲞盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名，禚风维 导师签名： 稍笊 签字日期：知巧年p 月哆日签字日期：卫口盯年z 月日 前言 1 课题选题背景 前言 近年来，电视领域里发生了一系列巨大的变化，会议电视、v c d 、d v d 、数 字电视以及高清晰度电视( 卸) t 、，) 等新技术和新系统正迅速走进我们的生活。与 传统的模拟电视相比，这些新系统的突出特点是采用了全数字的图像声音处理技 术。随着这些数字电视系统的日益成熟和不断发展，针对不同的应用领域，一系 列相应的数字视频音频编码标准也迅速地推出并不断得到完善和广泛应用，其中 包括：应用于会议电视及可视电话的h 2 6 1 ，用于静止图像压缩的j p e g ，用于v c d 的m p e g - 1 和用于广播电视、d v d 以及h d t v 的m p e g - 2 ，用于无线和移动网络、 i n t e r a c t 网络的m p e g - 4 。与此同时，迅猛发展的互联网和日益普及的宽带无线通 信技术为世人提供了方便快捷的大规模信息服务，逐渐成为人们交流、娱乐和工 作的重要工具。 用网络传输多媒体图像在数据压缩的高效性和适应网络环境多变的抗误码性 以及网络接口的多样性方面提出了更高的要求，促使h 2 6 4 a v c 标准应运而生。 h 2 6 4 a v c 标准与先前的标准类似，也是基于预测变换和混合编码框架，但在预 测、变换、量化和熵编码等细节方面都有了一些改变，这些改变构成了h 2 6 4 a v c 的主要技术特性，提高了压缩比并且更适合于网络传输。与先前标准相比，它的 优越性可以归纳如下。 1 比特率低。和m p e g - 2 等压缩技术相比，在同等图像质量下，采用 h 2 6 影a v c 技术压缩后的数据量只有m p e 砣的1 2 1 3 。显然，h 2 6 4 ，硒，c 压缩 技术的采用将大大节省用户的下载时间和数据流量。 2 图像质量高。h 2 6 4 a v c 能提供连续、流畅的高质量图像。 3 容错能力强。h 2 6 4 ，a v c 提供了必要的工具，可以解决在不稳定网络环境 下容易发生的丢包等问题。 4 网络适应性强。h 2 6 4 a v c 提供了网络抽象层，使h 2 6 4 a v c 的文件能方 便地在不同网络间传输。 目前，m p e g 之标准在数字电视和d v d 等消费电子领域已经得到了广泛应用， 节目资源最为丰富。随着无线视频和网络流媒体技术的发展，必定会有更多的应 用系统采用更高效的h 2 6 4 a v c 标准。因此，与m p e g - 2 系统的节目资源共享会 成为迫切需求。从另一方面考虑，目前大量使用的符合m p e g - 2 标准的数字电视 机顶盒( s t b - - - s e t - t o pb o x ) 及数字个人视频记录器( p v r - - p e r s o n a lv i d e o r e c o r d e r ) 尚不能支持h 2 6 4 a v c 格式，这就限制了用户观看通过网络传输的符合 h 2 6 4 a v c 标准的视频内容。因此，研究m p e g - 2 与h 2 6 4 a v c 标准之间的转换 具有重要的实用价值。 2 论文的主要研究内容 论文主要进行了三方面的工作，一是对m p e g - 2 编码比特流空间分解力下变换 和m p e g - 2 到h 2 6 3 时间分解力下变换转换编码方法进行了实验研究；二是实现 了将m p e g - 2 编码比特流转换成h 2 6 4 a v c 比特流的功能，还可支持转换编码时 空间分解力的下变换；三是实现了将h 2 6 4 a v c 编码比特流转换成m p e g - 2 比特 流的功能。 3 论文内容安捶 第1 章介绍转换编码的由来和发展，对视频转换编码技术及其进展现状进行研 究分析和综述，详细给出了转换编码的分类和各类技术的要点。 第2 章对新兴的国际标准h 2 6 4 a v c 傲了详细阐述。 第3 章论述对m p e g 2 标准空间分解力下变换和m p e g - 2 标准到h 2 6 3 标准 的时间分解力下变换转换编码的主要技术进行的实验研究。 第4 章讨论了目前广泛使用的m p e g - 2 标准与h 2 6 4 a v c 新标准的异同；同 时，在此基础上研究了m p e g - 2 到h 2 6 4 a v c 标准的转换编码结构和方法，并实 现了对全部m p e g - 2 帧类型的转换。还进一步研究并实现了m p e g 2 到h 2 6 4 a v c 标准空间分解力下变换转换编码。 第5 章研究了h 2 6 4 a v c 标准到m p e g - 2 标准的转换编码方法，并实现了对 h 2 6 q7 心7 c 标准的p 帧所有宏块类型的转换。 最后，在结束语中归纳了本文的主要工作和创新点，并对在本论文基础上的进 一步工作提出了一些建议。 2 第l 章转换编码技术综述 1 1 引言 第1 章转换编码技术综述 上世纪8 0 年代开始，数字多媒体技术开始发展并逐渐成为一个科学研究的热 点。数字多媒体技术在数字电视、v c d 、d v d 、视频点播、视频会议等领域中得 到了广泛的应用。多媒体系统的发展在图像和视频编码领域产生了重要的影响。 有关视频数据在计算机、蜂窝电话和电视系统之间的交互和集成的问题相对新颖， 并得到世界范围的广泛研究。 随着网络数量、设备类型和内容重现格式的增加，在不同系统和不同网络之 间的互操作性正变得更为重要。因此，必须对像网关、多点控制单元和服务器这 样的设备进行研发以提供在内容的生成和内容的使用之间的无缝交互能力，而视 频转换编码正是其中的一项关键技术。 总的来说，转换编码就是将多媒体内容的原始格式转换成另一种需要格式的 处理技术，亦即对已经压缩编码的比特流进行再处理，使经过处理后的数据满足 传输信道或解码器对编码比特流的特殊要求。广义地说，转换编码包括媒体类型 内的转换和媒体类型间的转换，前者如一种编码标准的图像转换成另一种编码标 准的图像；后者如语音转换成文字、文字转换成三维图像等。 在最早的转换编码工作中，主要的兴趣集中在降低比特率以适应可用的信道 容量。另外，研究人员还对固定比特率( c b r ) 和可变比特率( v b r ) 之间的转 换进行了研究，以对视频进行更加有效的传输。后来，出现了显示能力和处理能 力受限的移动设备，用于降低空问分解力以及时间分解力的转换编码也得到了研 究。而随着通过移动访问网络传输的分组无线业务的出现，为了提高原始数据流 对传输错误的抗御能力，近来抗误码的视频转换编码非常受重视。本文对转换编 码的类型和一些关键技术进行讨论，探讨转换编码在视频处理和网络通信中的应 用及下一步的发展方向。 1 2 视频编码流的转换编码 视频编比特流的转换编码可以理解为一种视频压缩格式到另一种视频压缩格 式的转换。这里所说的格式包括比特流的句法和比特流中的格式参数如编码比特 率、图像空间格式等。需要对已编码视频信号进行转换编码的原因归纳起来主要 有以下几点： 1 多种视频压缩编码国际标准的存在和它们在不同领域的广泛应用。如h 2 6 1 、 3 第1 章转换编码技术综述 h 2 6 3 在电信领域；m p e ( 3 - 2 在数字电视领域；m p e g - 4 在移动，无线网络和i n t e r a c t 领域；最新的h 2 6 4 a v c 标准预期可以应用于电视广播、数字存储、无线和移动 网络通信等多个领域。然而，随着数字技术的广泛发展和应用，将出现电信业、 广播传媒业和计算机业相互融合的趋势，它们之间不可避免地会通过网络相互交 换节目，此时至少需要在不同的视频编码标准间进行句法的转换。 2 复杂多变的网络环境。由于不同的网络以不同的带宽运行，有时会出现编码比 特流与传输信道不匹配的情况。例如在视频点播系统中，节目经过高质量的压缩 编码后，储存在视频服务器上，用户可以通过不同的网络进行访问，还可以根据 节目的内容和自己的喜好来选择不同的质量等级，这就要求系统具有比特率转换 的能力。 ， 3 解码器资源的限制，包括解码器的运算速度、比特流缓存器容量和参考帧存储 器的大小等。实际硬件实现时，解码器的设计通常由具体的应用环境来决定，为 了使解码器具有较高的性能价格比，要尽量避免解码器的资源浪费，因此解码器 资源是有限的。这就造成一个解码器通常只能对指定的分解力和一定比特率的比 特流进行有效解码，从而需要对已编码比特流进行比特率和分解力转换。 4 显示格式的不同。目前在广播电视、计算机以及电信界存在着多种不同的图像 格式，图像显示格式的转换可以在解码后处理阶段完成。但从节省传输带宽和运 算资源角度看，对视频编码比特流进行处理比在解码后处理有优越性。 5 特殊应用的需要。例如p 、喂在节目录制时，可以在记录正常节目的同时，对 输入比特流进行处理，产生另外一个低质量、低比特率的附加比特流，用于快进、 快退等特技模式。 综上所述，随着图像压缩编码技术、宽带数字通信技术和多媒体网络技术的 发展，数字视频技术已经在广播电视、计算机和通信领域获得了广泛的应用，视 频转换编码作为多种应用标准之间的桥梁在系统中扮演着不可或缺的角色。 视频转换编码主要分为三种类型：比特流的比特率变换、分解力变换和不同 标准间的句法转换。比较而言，单纯的句法转换从技术实现的角度来看比较简单， 所以重点分析比特率变换和分解力变换。 1 2 1 比特率变换 视频编码比特流的比特率变换的目的有两个，一是为有效传输节目和节省带 宽；二是为了与特定型级的编码相兼容。在电视广播和i n t e r a c t 流式应用时需要 这种转换。例如现有一个比特率是4 m b p s 的m p e g - 2 编码比特流，要通过一个容 量是2 m b p s 的视频点播信道传输，就需要将编码比特流的比特率降为2 m b p s 。实 4 第1 章转换编码技术综述 现编码视频比特率交换的最直接方法是标准解码器与标准编码器的级联，即先对 编码比特流解码，然后按新的目标比特率对解码重建图像再进行编码。 国外对视频编码比特流的比特率变换技术的研究可以追溯到1 9 9 4 年，在i e e e 第一届图像处理国际会议( i c i p 9 4 ) 上，文献【l 】通过对采用数据划分工具的 m p e g 2 分层编码方法进行了研究，采用了拉格朗日方法对d c t 系数的截取进行 率失真优化，这可以看成是对采用频率截除方式来实现m p e g 2 编码视频流比特 率变换的研究。此后，对转换编码器的结构和比特率控制算法的研究广泛地展开， 比较有代表性的如下：在i c 口9 5 会议上，a e l e f t h e r i a d i s 和d a n a s t a s s i o u 对文献 【l 】中提出的频率截除方式的编码视频流比特率变换算法进行了改进1 2 ；1 lj s a f i a n e k 等率先明确提出单运动补偿预测环路的视频编码比特流比特率变换器 结构吲；1 9 9 6 年，h u i f a n gs u n 等在文献【4 】中对m p e g - 2 编码视频流的比特率变 换进行了比较全面的研究，归纳了四种可能的比特率变换结构，即截除高频系 数；加大量化步长；用比特流中原有的运动矢量和宏块模式进行重新编码； 用比特流中原有的运动矢量和重新判断的宏块模式进行编码：文献【5 】在假定 m p e g - 2 中的运动补偿是一种线性运算的条件下，对文献【4 】中的双运动补偿预测 环路结构进行了分析，对编码视频流比特率变换器由双预测环结构到单预测环结 构的演变进行了详细的推导。双预测环结构实际上就是解码器与编码器级联构成 的比特率变换结构，在这种结构中解码部分和重新编码部分各有一个运动补偿预 测环路，如图1 1 所示。单预测环结构是对双环结构的简化，将运动补偿预测环 由两个减少为一个，如图1 2 所示。 图1 1 双预测环视频编码比特流比特率交换结构的框图 第1 章转换编码技术综述 图1 2 单预测环视频编码比特流比特率变换结构的框图 级联的比特率转换编码器对每一个宏块都重新计算了运动矢量和编码模式， 可以达到最好的转换效果。尽管如此，如果可以通过利用原始输入比特流中包含 的信息，在保持可以接受的图像质量的同时显著减少复杂性，考虑构造简化的结 构，将运动补偿在频率域直接进行，也是值得研究的课题。简单的开环结构如图 1 3 所示，它是将输入编码比特流经过变长解码( v l d ) 和反量化得到包括运动 矢量和d c t 变换系数的宏块级信息，然后直接通过重新量化或滤波处理，把编码 比特流的比特率调整到新的目标值上，最后将重新量化后的系数和储存的宏块级 信息进行可变长编码( v l c ) 【5 “。另一种更简单的开环结构是文献 4 】中提到的 直接截除每个宏块的高频数据。将高频数据去掉不再进行变长编码，对宏块编码 时可以去掉与高频系数相对应的部分码表，使目标比特率满足需要。 图1 - 3 频率域比特率转换开环结构框图 比特率变换一般是指由较高比特率r l 向较低比特率r 2 转换，转换时对d c t 变换系数先用量化步长q 1 解量化，然后再用新量化步长值q 2 进行再量化，显然 q 2 q 1 。文献 9 】提出了两种方法来选取新量化步长值q 2 ，一种是根据m s e ( m e a n s q u a r e de r r o r ) 函数的量化，另一种是根据m a p ( m a x i m u m a p o s t e r i o r i ) 函数的 量化。m s e 是根据使原始值与量化值的均方误差最小来选择新量化值；m a p 是 根据使原始d c t 值落入新区间的后验概率最大来选取新量化值。这两种方法都是 基于适当的d c t 系数分布模型，因此，估计参数分布是再量化的一个重要问题。 通常，d c t 系数的a c 分量符合拉普拉斯分布，即概率密度函数为 m ) = 詈w 第1 章转换编码技术综述 其中口= 1 4 1 4 o ，盯为方差。一般而言，不同的频率分量有不同的方差，频率 越高方差越小。在比特率转换系统中，原始的d c t 值是不知道的，只知道反量化 后的值。因此，不能用通常的最大似然法。针对这个问题，文献 1 0 、1 1 1 给出了 估计分布系数的几个具体算法，分布参数作为转换编码的附加信息进行传送，实 验证明可以改进转换编码图像的质量。为了减小再量化误差，文献 1 2 1 讨论了转 换编码器结构，分析了引入再量化误差的原因，提出了可用于固定比特率和可变 比特率转换编码的可选择量化方法。 通过重新量化的开环结构能达到较高的编码效率，但会引起漂移。一般而言， 漂移是高频信息丢失引起的。从作为下一个p 帧的参考帧的i 帧起，转换编码器 为了满足新的目标比特率的要求就把高频信息丢掉了，随后的残差块也可能被丢 掉高频信息。当解码器接收到这一转换编码比特流时，它所解码并储存的i 帧就 已是质量降低的图像：在解码下一个p 帧时，这个质量降低的i 帧作为预测参考 帧并加到质量降低的残差分量中。残差信号是用来精确描述原始图像与运动补偿 预测图像之差的，而现在无论是残差还是预测分量都与编码器所用的不一样，这 样就会在重构帧中引入误差。这个误差是由于预测和残差不匹配造成的。随着时 间的推移，这种不匹配会逐渐累积，后果是重构帧的质量将严重下降。 如图1 - 4 所示的f j j 环结构采用了与解码器和编码器级联相类似的结构，以消 除预测与残差间的不匹配【1 3 1 。级联型像素域转换结构与这种简化方案在结构上的 主要差别是：在前者的结构下，参考帧重构是在空间域进行的，因此需要两个重 构环路，进行一次d c t 和两次i d c t 运算。另一方面，在图1 4 所示的简化结构 下，只需要一个重构环路，进行一次d c t 和一次i d c t 运算。采用简化的结构会 引入一些由于重构环路的非线性特性造成的计算偏差，但这种近似对图像质量仅 有轻微的影响。除了这种细小的偏差外，该结构与解码器编码器级联的方法在运 算效果上是相当的。文献 1 4 1 进一步研究了在这种结构下由于浮点运算的不精确 而带来的漂移。然而总的来说，与前面讨论的开环结构相比，因为预测分量和残 差分量的失配得到了补偿，所以漂移被消除了。 7 第1 章转换编码技术综述 图1 4 闭环结构 对于比特率转换的研究工作也有是在固定比特率和可变比特率之间进行的， 在文献 1 5 1 中，作者研究了a t m 网络的可用频道带宽，并对c b r 比特流进行了 相应的适配处理。处理方法是通过先把比特流降低到一个平均比特率较低的v b r 比特流，再将v b r 流分割成信元并通过一个通信量整形算法( t r a f f i cs h a p i n g a l g o r i t h m ) 来控制信元的发生速率。 目前比特率变换研究需要解决的主要问题是如何改善由于再量化误差和漂移 造成的图像质量下降和部分地减小解码的复杂性。 1 2 2 分解力转换编码 分解力交换又可分为空间分解力变换和时间分解力变换，其目的除了实现有 效传输、节省带宽和与特定的编码类级兼容外，还为了使比特流可以解码显示在 低分解力屏幕以及可以满足终端的处理需求减少帧率。 1 2 2 1 空间分解力转换编码 国外对视频编码比特流的分解力转换编码的工作开展较晚。直到1 9 9 8 年，文 献【1 6 】在对基于h 2 6 3 标准的视频编码比特流的转换编码的研究中，才第一次涉 及到视频编码比特流的空间分解力转换技术。最初的工作重点仅在运动矢量的缩 放上，但是对低分解力图像重新编码使用的运动矢量，只是简单地从4 个相关高 密度运动矢量中选择一个，然后除以2 ，因此帧间预测的效果较差。对视频编比 特流的空闻分解力下变换，传统的方法是对输入编码先解码，在像素域实行向下 取样，再进行编码，如图1 - 5 所示。 第1 章转换编码技术综述 已编码比特流 输出 图1 5 像素域空间分解力下变换结构框图 由于运动估计的计算量至少占整个编码运算量的6 0 ，这种转换编码方法的 计算量很大。因此开始出现许多在频域直接进行空间分解力下变换的研究工作。 在频域直接进行空间分解力下变换的关键问题是寻找低分辨图像编码所需的运动 矢量场。得到它的最直接而准确的方法就是在一定大小的搜索窗内重新进行运动 估计。由于在实际应用系统中，需要实时的编码视频流分解力转换编码，要求分 解力转换系统的运算量尽可能地低。这促使人们寻找一种可以比较简便地获取低 分解力图像运动矢量场的新途径，这就是充分利用输入比特流的信息，对高密度 的运动矢量场进行抽样。 m p e g - 2 、h 2 6 1 、h 2 6 3 和h 2 6 4 a v c 编码均由帧内编码和帧间编码组成， 帧内编码不包含运动信息，因此，只需要对帧间编码图像进行运动矢量抽样。对 某些压缩编码标准而言，如h 2 6 3 和m p e g - 4 允许每个8 x 8 块有一个运动矢量， 这样，原分解力图像的1 6 x 1 6 宏块运动矢量经过简单的除以2 作为下变换图像一 个8 x 8 块的运动矢量也是可以的。但编码4 个运动矢量需要更多的比特，会降低 编码效率，故还需要对运动矢量的抽样。 在前向预测编码帧中，4 个宏块经分解力下变换后变为一个宏块。在分解力下 变换之前，4 个宏块各自都有一个最佳运动矢量，在分解力下变换后，宏块的运 动矢量变成了图像予块8 x 8 的运动矢量，即分解力下变换后，每个宏块有4 个输 入待选运动矢量。实现运动矢量二分之一抽样最直接的方法是对4 个输入的运动 矢量求平均，然后将结果除以2 ，称为简单平均法。即 万：三匦 (1-2)24 、， 9 第1 章转换编码技术综述 其中一是输入的第i 个运动矢量。 舢l 如果相邻4 个宏块的运动矢量大小、方向相似，那么采用简单地求平均再除 以2 的方法是比较适宜的。如果其中某一宏块的运动矢量明显不同于其余3 个， 那么这种求平均的方法会产生很大的误差。 实际上对输入4 个运动矢量进行二分之一抽样时，不仅要考虑其中每个运动 矢量的数值，还要考虑在图像分解力下变换前用该运动矢量做运动补偿预测的效 果，因此文献 1 7 1 采用自适应运动矢量再取样方法( a m v r ) ，即用加权平均的方法 来实现运动矢量的二分之一抽样。文献 1 8 1 提出用宏块的量化参数作为空间活动 性测度，因为在t m 5 中一个宏块的量化参数与它的空间活动性成比例，量化参数 可以代表宏块活动性。文献 1 9 1 提出了另一种获取分解力下变换后运动矢量的方 法，称为最大平均相关法( m a c ) 。从输入比特流的4 个运动矢量中选取具有最 大加权平均相关的一个作为新矢量，可以进一步减少计算量。 为了适应不同传输时的带宽，有时需要非整数比例的下变换，所以近来的研 究工作也向这个方向拓展。文献 2 0 l 在像素域进行变换编码，先对输入比特流上 取样，然后经过近似理想的低通滤波，最后再下取样，从而获得分解力降低的图 像。文献【2 1 】讨论任意比例空间分解力下变换中运动矢量提取的问题。设畈和矾 分别是水平和垂直方向的下变换因数，o ) ) 这种多模式的灵活的块划分方式，大大提高了运动预测和运动补偿的精确程 度。通常，在图像中对象分布均匀的区域采用较大的分块尺寸；而在细节丰富的 区域，则采用较小的分块尺寸。 h 2 6 舭w c 在标准制订之初仅支持4 ：2 ：0 的色度格式和对于亮度、色度像素值 的8 - b i t 采样精度，且前标准已经扩展支持到4 ：2 ：2 和4 ：4 ：4 色度格式以及高于8 - b i t 的采样精度。 第2 章h 2 6 4 a v c 视频编码标准概述 1 6 x 1 6 1 6 x 88 x 1 68 x 8 8 x 8 o l 8 x 4 0 1 0l 4 8 图2 5 宏块和亚宏块的划分模式 ( a ) 宏块的划分；c o ) 亚宏块划分 o1 23 4 x 4 ol 23 s l i c e 由宏块组成，它是一个宏块序列，当不采用灵活的宏块组织顺序( f m o ， f l e x i b l em a c r o b l o c ko r d e r i n g ) 时，s l i c e 是以光栅扫描顺序处理的。一个图像可以 分成一个或几个s l i c e ，每个s l i c e 是能进行独立解码的单元，当去块滤波器越过宏 块边缘时可能需要其它s l i c e 的一些信息。需要注意的是，当采用基于宏块的帧或 场自适应解码时，s l i c e 则是一个宏块对( m bp a i r ) 的序列。 f m o 是h 2 6 4 a v c 标准中一种新的图像划分方法，将图像划分为一个或几个 条组( s l i c eg r o u p ) ，每个s l i c e 成为条组的一个独立可解码子集，当一个条组发生 数据丢失时，可利用与之邻近的已经正确接收的另一条组中的宏块进行有效的隐 错。采用f m o ，图像可以分成分散的条组形式，如一个或几个“前景”条组和一 个“剩余”条组，或分成棋盘形状，如图2 6 所示。 第2 章h 2 6 4 a v c 视频编码标准概述 l s t c ec r 唧* 。i i s l i c eg r o u p # 1 l ”。t ”p1 2 图= s l i c eg r 。u p # o 圆= $ 1 i c eg r o u p # l 图2 - 6 采用f m o 时图像条组的划分 不管是否使用f m o 模式，h 2 6 4 a v c 标准都支持5 种s l i c e 编码类型。is l i c e 里所有宏块都采用帧内预测。ps l i c e 和bs l i c e 中宏块可以采用帧问预测，但ps l i c e 每个预测块最多有一个运动补偿预测信号，而bs l i c e 每个预测块可以有两个运动 补偿预测信号。与以前标准相同的是，按照显示顺序，bs l i c e 的一个运动预测可 以来自前面的图像，另一个预测来自将来的图像；但与先前标准不同的是，也可 能两个预测都来自先前的图像，或者两个预测都来自后面的图像。s p ( s w i t c h i n g p ) 和s i ( s w i t c h i n gi ) 是该标准采用的两种新类型，用于在不同比特率的比特 流间进行切换。s ps l i c e 编码也是采用帧间预测，类似于ps l i c e ，但它能够在使 用不同的参考帧情况下重构相同的图像帧。利用这一特性可以实现比特流的随机 切换功能，即s p 帧可以在流间切换( b i t s t r e a ms w i t c h i n g ) 、拼接( s p l i c i n g ) 、随 机接入( r a n d o m a c c e s s ) 、快进，快退和纠错等应用中取代i 帧。与s p 帧相对应， s i 帧利用了帧内编码技术，其重建图像和对应的采用运动补偿预测的s p 帧的重 建图像相同。 2 2 2 2 自适应帧，场编码 在隔行扫描帧中，当物体运动或摄像机移动时，与连续帧相比相邻两行的统计 依赖性减少，在这种情况下，将两场分开来压缩更有效。为了提高压缩效率， h 2 6 4 ，a v c 允许编码器编码一帧时作以下选择： 将两场合并成一个编码帧( 帧模式) ； 不合并，两场单独编码( 场模式) ； 第2 章h 2 6 4 a v c 视频编码标准概述 合并两场成一帧，但当编码一帧时先将垂直相邻的两个宏块对分成两场或两帧 宏块对。 序列中的每场可以自适应地在三种方式中选择。前两种选项称为图像自适应帧 ，场编码( p a f f ，p i c a t r ea d a p t i v ef r a m e f i e l d ) 。当一帧编码成两场时，每场划分 为宏块再进行编码，与帧编码方式类似，主要区别在于：运动补偿用参考场而非 参考帧；变换系数的扫描方式不同；场宏块的水平边缘不采用去块滤波，因为场 行的空间距离是帧行的两倍，滤波器的长度要覆盖很大空间。 当一帧中有混合区域，即有的区域是运动的，有的区域是静止的或运动小的， 则对非运动区域用帧编码模式，对运动区域用场编码模式更有效。因此一帧中每 一垂直宏块对可以独立地选择帧场编码模式，这就是宏块自适应帧场编码 ( m b a f f ，m a c r o b l o c ka d a p t i v ef r a m e f i e l d ) 。对用帧模式编码的宏块对，每一 宏块包含帧行；对用场模式编码的宏块对，顶宏块包含顶场行，底宏块包含底场 行。图2 7 所示为m b a f f 宏块对的示意。 糟瀚 图2 - 7 宏块自适应帧，场编码示意图 ( a ) 帧模式；( b ) 场模式 与m p e g - 2 不同，帧场选择是在宏块对级而非宏块级。这样选择的理由是为 了保持基本宏块处理结构的完整性，并且允许运动补偿区域与宏块尺寸一样大。 场宏块对的每一宏块处理与p a f f 编码场中宏块处理类似。尽管如此，在m b a f f 帧中可能出现混合帧场宏块对，因此实现z i g - z a g 扫描、运动矢量预测、帧内预测 模式选择、去块滤波、熵编码时上下文建模的方法都需要考虑混合的情况。m b a f f 口口 多 一亘雪。口口 第2 章h 2 6 4 a v c 视频编码标准概述 的主导思想是尽可能保持空间连续性。 m b a f f 和p a f f 的另一个重要区别是在m b a f f 帧中的一场不能用同一帧的 另一场中的宏块做运动预测参考。因此，有时p a f f 编码比m b a f f 编码更有效 ( 特别是在快速的全局运动、场景切换、帧内刷新的情况下) ，有时却相反。 2 2 2 3 帧内( i n t r a ) 预测 对i n t r a 宏块的预测称为帧内预测，在以前的视频编码标准中。帧内预测是在 变换域进行的，而h 2 6 4 a v c 标准的帧内预测则在像素域进行，即通过对相邻宏 块( 或4 x 4 块) 的相邻边缘进行线性内插得到像素的预测值。这些相邻的宏块( 或 4 x 4 块) 都在此前被解码，可以是上方的或者左边的宏块。 根据宏块所在s l i c e 的编码类型，每个宏块可分别采用几种预测编码模式中的 一种。帧内预测编码支持三种模式：i n t r a4 x 4 、i n t r a1 6 x 1 6 和ip c m 预测模式。 i n r a4 x 4 模式分别预测每个4 x 4 亮度块，适于对图像中有显著细节的部分编码。 i n t r a1 6 x 1 6 对所有的1 6 x 1 6 亮度块进行预测，适于对图像中特别平滑的区域编码。 除i n t r a4 x 4 和i n t r a1 6 x 1 6 之外，还有ip c m 编码，它允许编码器不经过预测和 变换编码处理，直接传送宏块的像素值。lp c m 模式的采用有以下目的，即允 许编码器精确地表示像素值；提供一种能精确表达不规则图像内容的准确值而 不显著增加数据量的途径；严格限制宏块解码的比特数，而不降低编码效率。 当采用i n t r a4 x 4 模式时，亮度分量的每个4 x 4 块可使用9 种预测模式即8 种 方向预测和一种d c 模式中的一种，图2 8 是9 种模式的示意图。像素a 、b 、c 、 h 以及i 、j 、k 、l 、m 是周围已经解码后的像素，它们都可用来计算当前4 4 块中各个像素的预测值。例如，如果使用垂直方向的预测，像素a 用来预测第l 列像素，像素b 用来预测第2 列像素。同样地，在水平方向预测时，像素i 、 j 、k 、l 分别预测一行像素。在d c 预测的情况下，a 、b 、c 、d 、i 、j 、k 、l 8 个像素的平均值用来预测4 x 4 块的1 6 个像素中的每一个。依据指定的预测方向， 方向性预测使用了a h 、i m 像素的一个线性加权平均。 i n t r a _ 1 6 x 1 6 模式支持四种预测模式，其中水平、垂直、d c 这三种模式与 i n t r a4 x 4 模式类似，还有一种平面( p l a n e ) 预测模式，使用了水平和垂直方向的 邻近像素加权组合来进行预测。 色度分量的预测与i n t r a1 6 x 1 6 亮度宏块预测类似，因为色度通常在很大区域 内是平坦的