（信号与信息处理专业论文）可伸缩视频编码算法研究与优化.pdf

一 & j 0 j i l llll p i i j i pr j i ijpi r l l f i jpiillrfifli l l l l i y 17 5 8 7 12 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：茵垴臣 日期： 全! 血盔主目z 臼 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 童j 翊巨日期：麴坦垒弛z 旦 导师签名： 终生强 日期： 迎望= ：正 ， ， 妒 一 一 j j 1 勺 可伸缩视频编码算法研究与优化 摘要 近年来面向网络应用的视频服务飞速增长，视频越来越多地被各 种应用所采用。由于用户使用的设备具有多样性，视频应用环境差异 性很大，加上网络带宽的时变性，使得传统的只有单一速率的视频码 流很难满足终端设备多样化、网络异构以及带宽变化的特性，因此视 频业务系统需要一种能够适应于各种不同的网络环境和用户终端的 编码系统。可伸缩视频编码由于具有单次编码多次解码的特性，为解 决视频码流的适应性问题提供了新的思路，成为目前研究的热点。 本文对基于h 2 6 4 和基于小波变换的可伸缩视频编码算法进行 了深入研究，分析两种方法的编码原理和实现框架，比较了两者在性 能上的差异。在此基础上，论文对优势明显的h 2 6 4s v c 编码方案进 行了优化，主要包括以下两个方面： ( 1 ) h 2 6 4s v c 的编码优化。原始编码算法在宏块编码模式的 判决时，采用率失真优化全遍历策略对不同分块进行运动估计来选取 最优模式，极大增加了编码器的计算复杂度。s v c 与a v c 最大的差 异就是多层编码，各空间层图像之间具有相关性，论文利用编码过程 中的层间预测信息，提出了一种基于层间统计的快速模式决策算法， 大大缩短了宏块编码模式判决时间，提高了编码效率。 ( 2 ) h 2 6 4s v c 的解码优化。由于s v c 码流具有空间、时间和 质量可分级特性，因此解码算法的复杂度比较高，很难满足实时应用 的需要。论文对h 2 6 4s v c 解码算法进行了优化，综合使用程序代码 优化、处理器优化和算法改进多种手段，提高了解码速度。 经过优化，s v c 编码端速度提高了一倍，解码端可实现在普通 p c 平台上4 c i f 视频的实时解码，取得了较好的优化效果。 关键词：可伸缩视频编码小波层间预测率失真优化 一 p 卜 ，： p s t u d ya n d0 p t i m i z a t l 0 no ns c a i 。a b l e d e 0c o d i n g a b s t r a c t n e t w o r ko r i e n t e dv i d e os e r v i c ea p p l i c a t i o n sh a v ear a p i dg r o w t hi n r e c e n ty e a r s v i d e oh a sb e e ni n c r e a s i n g l ya d o p t e db yaw i d er a n g eo f a p p l i c a t i o n s t h em u l t i f o r m i t yo ft h eu s e rf a c i l i t y , t h ew i d ed i v e r s i t yo f v i d e oa p p l i e de n v i r o n m e n ta n dt h et i m e - v a r y i n gn e t w o r kb a n d w i d t h ，a l l o ft h e s em a k ei th a r df o rt h et r a d i t i o n a ls i n g l es p e e dv i d e os t r e a mt om e e t t h en e e d so ft e r m i n a ld i v e r s i t y , h e t e r o g e n e o u sn e t w o r ka n dt h ev a r y i n g b a n d w i d t h s ov i d e os e r v i c es y s t e mr e q u i r e sa ne n c o d i n gs y s t e mw h i c h c a na d j u s td i f f e r e n tk i n d so fn e t w o r ke n v i r o n m e n t sa n du s e rt e r m i n a l s s c a l a b l ev i d e oc o d i n gh a sap r o p e r t yo fe n c o d i n go n c ew h i l ed e c o d i n g m a n yt i m e s ，w h i c hp r o v i d e san e wi d e at os o l v et h ea d a p t a b i l i t yo fv i d e o s t r e a m s ，s os v c b e c o m e sar e s e a r c hh o t s p o to fv i d e oc o d i n g i nt h i sp a p e r ic o n d u c t e da ni n d e p t hs t u d yo nb o t hh 2 6 4 - b a s e da n d w a v e l e t b a s e ds c a l a b l ev i d e oe n c o d i n ga l g o r i t h m s ，a n a l y z e dt h ee n c o d i n g p r i n c i p l ea n di m p l e m e n t a t i o ns k e l e t o no ft h et w os y s t e m s ，c o m p a r e dt h e d i f f e r e n c ei n p e r f o r m a n c eb e t w e e nt h e m o n t h i sb a s i s ，t h et h e s i s o p t i m i z e d t h eh 2 6 4s v ce n c o d i n gs c h e m ew h i c hh a do b v i o u s a d v a n t a g e s ，m a i n l yi n c l u d i n gt h ef o l l o w i n gt w oc o m p o n e n t s ： ( 1 ) t h ee n c o d i n go p t i m i z a t i o no fh 2 6 4s v c t h eo r i g i n a le n c o d i n g a l g o r i t h mu s e dr a t e d i s t o r t i o no p t i m i z a t i o n t od e t e r m i n em a c r o - b l o c k c o d i n gm o d e ，a n dt h i sf u l lt r a v e r s a ls t r a t e g ym a d em o t i o ne s t i m a t i o nf o r d i f f e r e n tp a r t i t i o n st op i c ku pt h eo p t i m a lm o d e ，w h i c ht r e m e n d o u s l y i n c r e a s e dt h e c o m p u t a t i o n a lc o m p l e x i t y o fe n c o d e f t h e b i g g e s t d i f f e r e n c eb e t w e e ns v ca n da v ci st h ec h a r a c t e r i s t i co fm u l t i l e v e l c o d i n g e a c hs p a c el a y e ri m a g eh a si n t e r l a y e rc o r r e l a t i o n i nt h i sp a p e f ， t a k i n ga d v a n t a g eo fi n t e r l a y e rp r e d i c t i o ni n f o r m a t i o n ，ip r o p o s e d a s t a t i s t i c s b a s e df a s tm o d ed e c i s i o na l g o r i t h m ，w h i c hg r e a t l yc u td o w nt h e m a c r o b l o c km o d ed e c i s i o nt i m ea n di m p r o v e dt h ec o d i n ge f f i c i e n c y ( 2 ) t h ed e c o d i n go p t i m i z a t i o no fh 2 6 4s v c s v cc o d es t r e a mh a s s p a c e ，t i m e a n dp s n rs c a l a b i l i t y , s ot h ed e c o d e r c o m p l e x i t y i s c o m p a r a t i v e l yh i g h e rt h a nt h es i n g l el a y e rd e c o d e gw h i c hi sh a r dt om e e t t h en e e do fr e a l t i m e t h i sp a p e rm a d ea no p t i m i z a t i o nf o rd e c o d i n g a l g o r i t h mo fh 2 6 4s v c ，w i t ht h eu s eo fac o m b i n a t i o no fs e v e r a lm o d e s o fo p e r a t i o n ，s u c ha sp r o g r a mc o d eo p t i m i z a t i o n ，p r o c e s s o ro p t i m i z a t i o n a n da l g o r i t h mi m p r o v m e n t ，i m p r o v e dt h ed e c o d i n gs p e e d e f f i c i e n t l y t h r o u g ht h eo p t i m i z a t i o ns t u d y , r e s u l t ss h o w st h a tt h ee n c o d e r c o d i n g r a t ei s d o u b l e d ，a n dt h ed e c o d e rc a na c h i e v et h er e a l t i m e d e c o d i n go f4 c i fv i d e oo np cp l a n t f o r m k e yw o r d s ：s c a l a b l ev i d e o c o d i n g ，w a v e l e t ，l a y e rp r e d i c t i o n ， r a t e - d i s t o r t i o n ，o p t i m i z a t i o n i l l ， 一 目录 第一章绪论1 1 1 研究的背景和意义1 1 2 视频编码的基本原理2 1 3 国际标准和发展现状3 1 3 1h 2 6 1 视频编码标准4 1 3 2h 2 6 3 视频编码标准4 1 3 3h 2 6 4 视频编码标准4 1 3 4 可伸缩视频编码5 1 4 本论文所完成的工作6 第二章基于小波的可伸缩视频编码研究7 2 1 小波变换的基本原理7 2 1 1 傅立叶变换7 2 1 2 短时傅立叶变换8 2 1 3 连续小波变换8 2 1 4 离散小波变换1 0 2 2 小波视频编码的基本理论1l 2 2 1 小波视频编码的原理1 1 2 2 2 小波变换的多分辨率分析1 1 2 2 3 小波变换的实现方法1 2 2 3 小波变换视频可伸缩编码的原理1 3 2 3 1 可伸缩视频编码技术1 3 2 3 2 基于小波变换的视频编码算法分类15 2 3 3 小波变换视频可伸缩编码的实现过程1 7 2 4 小波视频编码的优势和特点1 7 2 5 本章小结1 8 第三章基于h 2 6 4s v c 编码算法研究19 3 1h 2 6 4 标准的介绍19 3 1 1h 2 6 4 的分级结构1 9 3 1 2h 2 6 4 编码器和解码器2 0 3 1 3h 2 6 4 的帧间预测2 2 3 1 4h 2 6 4 的帧内预测2 4 i v 3 1 5h 2 6 4 的整数d c t 变换。2 5 3 2h 2 6 4 可伸缩编码的实现方法2 6 3 2 1 空间可伸缩2 7 3 2 2 时间可伸缩2 9 3 2 3 质量可伸缩3 0 3 3h 2 6 4s v c 和基于小波可伸缩视频编码的比较3 2 3 3 1 比较模型的简介3 2 3 3 2 变换编码差异3 2 3 3 3 空域可分级实现的差异3 4 3 3 4 时域可分级实现的差异3 4 3 3 5 质量可分级实现的差异3 5 3 4 实验结果3 7 3 5 本章小结3 9 第四章h 2 6 4s v c 编码算法优化4 1 4 1j s v m 编码器的介绍4 l 4 1 1j s v m 模型结构4 l 4 1 2 编码的配置文件4 l 4 1 3j s v m 代码分析4 2 4 2 率失真优化与模式决策4 6 4 2 1 率失真优化4 6 4 2 2 全遍历模式决策算法4 6 4 2 3 层间预测对编码复杂度的影响4 8 4 3 基于层间统计的快速模式决策算法5 0 4 3 1 优化算法的原理5 0 4 3 2 实验结果5 5 4 4 本章小结5 6 第五章h 2 6 4s v c 解码算法优化5 7 5 1 解码器分析5 7 5 1 1 解码流程5 7 5 1 2 程序热点分析5 7 5 1 3 解码复杂度分析5 8 5 2 程序设计代码优化6 0 5 2 1 编译优化6 0 5 2 2 代码优化。6 l v 吣 j t ， ， 一 一 5 3 处理器优化6 4 5 3 1 指令优化6 4 5 3 2 优化结果6 5 5 4 解码算法优化6 6 5 4 1i n t e li p p 库介绍6 6 5 4 2i p p 库a v c 解码器的加入6 7 5 4 3 去除冗余操作一6 8 5 4 4 实验结果6 9 5 5 本章小结7 0 第六章总结与展望7 1 6 1 本文总结7 1 6 2 可伸缩视频编码的展望7 1 参考文献7 2 致谢7 5 作者攻读学位期间发表的学术论文目录7 6 v i 扁 j 北京邮电大学硕士学位论文 第一章绪论 1 1 研究的背景和意义 第一章绪论 随着视频编码技术和标准化的进步与发展，与数字视频相关的各种应用越来 越深入人们的日常生活【l 】，从多媒体消息、视频电话、视频会议，因特网和无线 网络上的流媒体服务，到标清和高清分辨率的电视广播等。视频被越来越多地由 各种各样的应用所采用，相应地，有各种各样的客户设备，这些设备包括从计算 机观看互联网视频，到便携式数字助理( p d a ) 以及小巧的蜂窝电话，视频压缩编 码与传输业务的应用领域不断扩大。 流媒体应用环境变得越来越复杂：网络异构化、终端设备多样化、服务商政 策灵活化和用户需求个性化等等。对于不同条件的场合【2 】，同一内容的视频信息 将面对不同带宽的信道、不同容量的存储设备及不同分辨率和功耗的显示终端， 传统的视频编解码技术要为每种场合提供一套压缩与传输系统。随着应用环境的 增加，系统的重复性构建耗费了巨大的资源。因此，视频业务迫切需要一种能够 适应于各种不同的网络环境和用户终端，并具有一定的容错性和可分级性的可伸 缩编码系统【2 】。于是可伸缩视频编码应运而生，成为目前的一个研究热点。可伸 缩性( s c a l a b i l i t y ) ，也称作可分级性，可伸缩视频编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 技术要求视频编解码器在比特流级别具有以下可伸缩特性：通过简单的丢包或截 断码流等操作提取出的子码流具有较低的空间一时间分辨率和或较低的码率 ( 对应于较低的视频质量) ，同时任何可能的子码流的编码效率应该与相应非可 伸缩视频编解码器相当。 图1 1s v c 编码的应用 北京邮电大学硕士学位论文第一章绪论 在编码时，编码器无法预知传输网络状况和终端设备能力，更无法预知服务 商和用户之间的互动关系，视频编码器能够对特定视频传输需求做出自适应性调 整，通过一次编码，将原始视频编码成具有时域、空域和质量可伸缩能力的码流。 这种格式的码流可以按照不同的需求进行裁剪，更加适应动态网络传输环境，满 足不同用户的个性化要求。由此可见，对可伸缩视频编码技术的研究具有重要的 意义。 1 2 视频编码的基本原理 2 1 世纪，人类已经进入信息化时代，而人类从自然界获取信息中，其中图 像信息是人类获得外界信息的主要来源，因为大约有7 0 的信息是通过人眼获得 的，而人眼获得的都是图像信剧4 1 。获得图像信息非常重要，但更重要的是将图 像信息进行处理，用计算机进行图像处理的前提是数字图像，即图像必须是以数 字格式存储的图像。 图像中包含有丰富的信息，可以通过图像处理技术获取图像中包含的有用信 息，但是，数字图像的数据量巨大。一幅数字图像是由图像矩阵中的像素组成的， 通常每个像素用红、绿、蓝三种颜色表裂4 】，每种颜色用8 b i t 表示灰度级。则一 幅1 0 2 4 1 0 2 4 不经压缩的真彩图像，数据量达3 m b ( 即 1 0 2 4 x 1 0 2 4 x8 b i t x 3 = 2 4 m b ) 。如此庞大的数据量给存储、传输和处理都带来巨大 的困难。不过，原始图像中存在着巨大的冗余，这就使得图像数据的压缩成为可 能。把数字化的图像数据按一定规则进行排列或运算的过程，称为图像编码。利 用图像本身的内在特性，通过某种特殊的编码方式，达到减少原图像数据时空占 用量的处理叫做图像压缩编码。图1 2 简单表示了视频编码的原理图。 堕堑鬯斟画磊爵，陌硒订粝丽硝c 幽 l 一l 一l 一码流c 图i - 2 图像压缩编码的原理框图 映射变换是为了改变图像数据的分布特性，以利于后面的量化和编码，目前 比较常用的映射变换方法包括预测法和变换法。预测法使压缩编码后传输的是预 测值和实际值的差，从而达到压缩编码的目的。变换法的依据是，图像中直流和 低频区占大部分，高频区占小部分，空间域的图像变换到频域( 变换域) 会产生 相关性很小的一些变换系数，经过变换以后，能量集中在较少的系数上，在编码 时只对较少的非零系数进行编码，从而达到数据压缩的目的。变换编码的实现比 2 北京邮电大学硕士学位论文第一章绪论 较复杂，预测编码实现相对容易，但预测编码的误差会扩散，许多视频压缩编码 国际标准采用两者的混合编码。映射变换不会产生失真，映射变换本身并没有起 到压缩的作用，它可以改变图像的数据分布以利于后续的量化和编码。 量化可以减少待处理的数据量，是提高压缩比的重要模块，缺点是产生失真， 但大多数应用中，人眼是视频信号的最终接收者，在一定范围内的失真并不影响 应用。熵编码是利用信源的统计特性进行码率压缩的编码，也叫统计编码。视频 编码常用的有两种：变长编码，也称哈夫曼编码及算术编码。 图像压缩编码的目的是压缩数据量，即去除视频信号的冗余【4 】。一幅图像中， 相邻像素间往往具有相近的数值，这就是图像中空间冗余的表现；视频信号中， 各相邻帧的像素值分布也具有一定的相似性，这是时间冗余的表现。充分利用人 眼的视觉特性，施行一定程度的有损压缩，还可迸一步去除图像的视觉冗余。综 合运用各种去除冗余的方法，便形成了一系列经典的视频压缩方法。 视频压缩编码要求【4 j ： 1 ) 必须压缩在一定的带宽内，即视频编码器应具有足够的压缩比； 2 ) 视频信号压缩之后，应保持一定的视频质量。这个视频质量有两个标准： 一个为主观质量，由人从视觉上进行评定；一个为客观质量，通常用信噪比表示。 如果不问质量，一味地压缩，虽然压缩比很高，但压缩后严重失真，显然达 不到要求；反之，如只讲质量，压缩比太小，也不符合要求。当然，在以上两个 要求下，视频编码器的实现应力求简单、易实现、成本低、可靠性高。 1 3 国际标准和发展现状 早期的数字编码技术可以追溯到1 9 4 8 年s h a n n o n 等人提出的脉冲编码调制 ( p u l s ec o d i n gm o d u l a t i o n ，p c m ) 。半个多世纪以来，数字视频编码技术无论是在 算法研究还是在产业化方面都取得了长足的发展。1 1 r u t 与i s o i e c 是制定视频 编码标准的两大组织，i t u t 的标准主要应用于实时的视频通信领域，如会议电 视，其标准包括h 2 6 1 、h 2 6 3 、以及在h 2 6 3 的基础上产生的h 2 6 3 + 、h 2 6 3 + + ； m p e g 系列标准是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、 因特网或无线网上的流媒体等方面，其标准包括m p e g 1 、m p e g 2 、m p e g - 4 、 m p e g 7 【3 , 6 】。两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g 2 的视 频编码标准，2 0 0 3 年5 月，i s o i e c 与l t u t 组成的联合视频组( j v t ) 制定了 新一代的视频压缩编码标准h 2 6 4 a v c 。 随着市场的需求，在尽可能低的存储情况下获得好的图像质量和低带宽图像 快速传输已成为视频压缩的两大难题。h 2 6 4 能以较低的数据速率传送基于联网 3 北京邮电大学硕士学位论文第一章绪论 协议( p ) 的视频流，在视频质量、压缩效率和数据包恢复丢失等方面，超越了 现有的m p e g 2 、m p e g - 4 和h 2 6 x 视频通讯标准，更适合窄带传输。h 2 6 4 标 准中在技术上有多个闪光之处，因此本文将着重研究h 2 6 x 的视频编码标准。 下面按照视频编码标准的发展过程，详细介绍h 2 6 1 、h 2 6 3 、h 2 6 4 及可伸 缩视频编码。 1 3 1h 2 6 1 视频编码标准 h 2 6 1 是i t u t 为在综合业务数字m ( i s d n ) 上开展双向声像业务( 可视电话、 视频会议) 而制定的，速率为6 4 k b s 的整数倍( 1 3 1 ) 。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、 块( b l o c k ) 层来处理【3 ，4 j 。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编 码的各个部分，包括运动补偿的帧问预测、d c t 变换、量化、熵编码，以及与 固定速率的信道相适配的速率控制等部分。 1 3 2h 2 6 3 视频编码标准 1 9 9 5 年，i t u - t 推出h 2 6 3 标准，用于低于6 4 k b p s 的低码率视频传输，如 p s t n 信道中可视会议、多媒体通信等。它是在h 2 6 1 基础上发展起来的，其标 准输入图像格式可以是s - q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样图像。h 2 6 3 标准具有里程碑的性质，首次提出了可变块大小的运动估计、 初始运动矢量预测、无限制运动估计、多参考帧运动补偿等概念，被其以后的很 多标准沿用。 1 9 9 6 年对h 2 6 3 视频编码标准制定后，由于其在公用电话网( p s t n ) 和无线 网路上的传输速率仍然有限而且误码率较高，因此i t u t 的视频编码专家组 ( v c e g ) 开始了两个方面的研究：一个是短期的研究计划，在h 2 6 3 的基础上增 加选项，即1 9 9 8 年和2 0 0 0 年分别公布了h 2 6 3 + 、h 2 6 3 + + 等标准，在提高编码 压缩效率的同时，提高了码流对有误信道的容错能力；另一个是长期的研究计划， 即后来的h 2 6 4 。 1 3 3h 2 6 4 视频编码标准 h 2 6 4 是由i s o i e c 与兀 u - t 组成的联合视频组( j v t ) 制定的新一代视频压 缩编码标准。2 0 0 3 年5 月，j v t 将草案正式定稿为国际标准，在i s o i e c 中该 标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g 4 标准的第1 0 个选项； 在r r u t 中正式命名为h 2 6 4 标准。对信道时延的适应性较强，既可工作于低时 4 北京邮电大学硕士学位论文 延模式以满足实时业务，如会议电 存储等。 1 3 4 可伸缩视频编码 随着网络和多媒体技术的发展，人们对图像编码的要求越来越高，不仅要求 编码技术具有较好的压缩效果，而且有实际应用的要求。视频通信越来越多的通 过因特网和移动网络来实现，而上述两种网络的可用带宽随时都在变化，使用者 多时或者信号状况不好时都会造成终端可用带宽的下降。另一方面，不同的终端 对视频信息的尺寸、帧率和质量的要求也大相径庭，比如对手机用户传送大于 c i f ( 3 5 2 x 2 8 8 ) 尺寸的视频信息就完全没有意义。因此，对于视频编码标准， 除了压缩性能之外，人们越来越关注可伸缩性能的实现。 具备可伸缩性的码流可以很好的适应不同的带宽条件、终端能力和视频流业 务中的质量要求。在可伸缩视频编码中，视频信号被编码为一个基本层和若干增 强层。增强层在基本层的重建信号的基础上增加更高的质量，空域和或时域分 辨率。这样种由一个基本层和若干增强层组成的s v c 结构如图1 3 所示。 h 鍪卜 蛩 合成 h 哥 _ _ 分解 。- 7 。一 图1 - 3s v c 方案结构图 国际上关于s v c 的研究已进行了十几年，多家世界顶级的流媒体研究所提 出了实现框架，其中包括n n i ( 德国h e i n r i c hh e r t zi n s t i t u t e ) ，m s r a ( 微软亚洲研 究院) ，u n s w ( 澳大利亚新南威尔士大学) 等多家世界顶级的流媒体研究所【剐。 从2 0 0 3 年1 2 月的会议开始，m p e g 持续公开征求s v c 的提案后，到2 0 0 4 年3 月的会议共有1 5 个方法被提出，在各种s v c 提案中，主要有两种主流技术 趋势：基于h 2 6 4 的方法和基于小波变换的方法。到2 0 0 5 年1 月的m p e g 会议 结束后基本确定，未来s v c 的方法将以基于h 2 6 4 的s v c 为基础继续发展。小 波变换由于具有天然的嵌入式特性，比d c t 更容易实现完全的可伸缩性，但由 于基于离散小波变换( o w t ) 的可伸缩视频编码普遍算法复杂度高，缓冲区要求 大，延迟长，以及向后不兼容等缺点，因此在短期内很难进入实用。作为基于 d c t 的编码技术的集大成者，h 2 6 4 j a v c 在后向兼容性、实现复杂度和编码效 率等方面更胜一筹，而且整个产业的主导者已经在传统d c t 领域投入了大量的 资源，并己在全球广泛提供商用产品。因此现有h 2 6 4 编码技术中，基于h 2 6 4 5 北京邮电大学硕士学位论文 第一章绪论 的s v c 占了上风。 由于h 2 6 4 j a v c 已经较为成熟，因此国际上对于s v c 的研究集中在以 h 2 6 4 a v c 为基础的方案上。2 0 0 5 年1 月，国际标准化组织( i s o ) 的活动图像专 家组( m p e g ) 和i t u t 的视频编码专家组( v c e g ) ，同意联合起来将s v c 作为 h 2 6 似a v c 的扩展集，并由j v t 提出草案，收录为h 2 6 钳a v c 的a n n e xg 。此 后，每次j 的会议都围绕着s v c 技术对草案进行修订和完善。 s v c 作为h 2 6 似删c 的扩展集，在目前h 2 6 4 标准的基础上，通过扩展和 增加分级的功能，在d c t 的结构上实现了时域、空域和s n r 等三方面的可伸缩 性。 1 4 本论文所完成的工作 本文围绕可伸缩视频编码这个主题，章节安排如下： 第一章为绪论，介绍了可伸缩编码研究的背景和意义，描述了视频编码的基 本原理、国际标准和可伸缩编码技术的发展现状，并给出了本论文所完成的工作 和总体结构。 第二章是基于小波的可伸缩视频编码研究。主要介绍小波变换实现视频可伸 缩编码的原理和过程，对小波视频编码的优势和特点具体的说明。 第三章是基于h 2 6 4s v c 编码算法研究。着重介绍了h 2 6 4 及其可伸缩视 频编解码中的关键技术，研究h 2 6 4s v c 的原理和实现框架，掌握其实现时间、 空间和图像质量可伸缩的原理和方法，为下文提出的可分级视频编码中的运动估 计优化算法打下理论基础。最后，在开源视频编码软件基础上仿真可伸缩视频编 码的性能，比较h 2 6 4s v c 和小波可伸缩视频编码在性能和算法复杂度方面的 差异。 第四章是h 2 6 4s v c 编码算法优化。分析h 2 6 4s v c 编码算法的复杂度， 找到程序中比较耗时的部分，提出并实现了一种基于层间统计的宏块模式快速决 策算法，对编码算法进行优化。 第五章是h 2 6 4s v c 解码算法优化。分析h 2 6 4s v c 解码算法的复杂度， 对解码算法进行优化，在普通p c 平台上实现4 c i f 视频的实时解码。 第六章是总结与展望。在总结本文主要工作的基础上，对可伸缩视频编码的 一些热点问题和未来研究方向进行了展望。 6 北京邮电大学硕士学位论文 第二章基于小波的可伸缩视频编码研究 目前广泛应用的m p e g - x 和h 2 6 x 视频编码标准，主要采用基于块的离散余 弦变换( d c t ) 消除图像的空间冗余；通过块运动估计补偿技术消除时间冗余；最 后经过变长编码进行统计冗余的消除【3 】。随着研究和应用的不断深入，基于分块 余弦变换编码的缺点逐渐暴露出来，随即出现了一类完全不同的视频编码结构， 即基于小波变换( d w t ) 的视频编码，其代表标准是j p e g 2 0 0 0 。 小波变换编码是近十余年发展起来的全新变换编码方法，在小波可伸缩编码 中编码只执行一次，通过恰当的截取嵌入式的比特流，使解码具有不同比特率、 帧率和空间分辨率。小波分析技术已经成为继傅立叶分析技术之后的新工具，它 不仅为纯数学的研究提供了有力的工具，而且为图像处理理论的发展树立了里程 碑。现在，它已在信息技术产业领域取得了令人注目的成就。下面将重点介绍小 波编码理论以及基于小波的可伸缩视频编码实现。 2 1 小波变换的基本原理 小波变换涉及较多的数学知识和巧妙的数字计算技巧，本文从小波变换的思 想来源，即从f o u r i e r 变换、短时f o u r i e r 变换n 4 , 波变换的基本思想中去认识和 理解小波变换。 2 1 1 傅立叶变换 傅立叶变换18 0 7 年由j f o u r i e r 提出，它是分析信号频率分量的。对于平方 可积函数刷( 记作( f ) r ( r ) ) ，其傅立叶变换为： 厂( w ) = 仁詈( f 弦叫m 巩 式( 2 1 ) 其中f ( t ) 满足亡吲厂( f ) 陬 o o ，由式( 2 1 ) 看出，要得至：l j f ( t ) 的傅立叶变换， 必须在整个时间轴上对厂( f ) 和e 叫m 进行混合。傅立叶变换是经典的谱分析工 具，它考察的是整个时域过程的频域特征或整个频域过程的时域特征，无法表述 信号的时频局部性质，而时频局部性质恰好是非平稳信号最基本和最关键的性 质。因此，傅立叶变换对于分析平稳过程，有很好的效果，但对于非平稳过程却 有诸多不足。为了分析和处理非平稳信号，在傅立叶分析理论基础上，人们提出 了短时傅立叶变换和小波变换，用于对信号局部时域特性进行分析。 7 北京邮电大学硕十学位论文第二章基于小波的可伸缩视频编码研究 2 1 2 短时傅立叶变换 在非平稳信号的研究分析中，我们需要刻画瞬变信号的特性，短时傅立叶变 换就是一类时一频局部化分析方法。其基本思想如下：选择一个时频局部化的窗 函数，假定分析窗函数删在一个短时间间隔内是平稳( 伪平稳) 的，为了提取信 号傅立叶变换的局部信息，移动窗函数g ，把信号划分成许多时间间隔，使俐g 在不同的有限时间间隔内是平稳信号，用傅立叶变换分析每一个时间间隔，从而 计算出各个不同时刻的功率谱。其变换如下： s r ( 6 ) = 仁詈( f ) g o b ) e 叫州以 式( 2 2 ) 随着时间b 的变化，g 所确定的窗函数在t 轴上移动，得- n - c f ( t ) 在时间窗 和频率窗中的局部信息。 短时傅立叶变换使用一个固定的窗函数，窗函数一旦确定了以后，其形状就 不再发生改变，短时傅立叶变换的时频分辨率也就确定了，如果要改变分辨率， 则需要重新选择窗函数。同时，短时傅立叶变换窗函数受到w h e i s e n b e r g 测不 准原理的限制，窗函数g 何的时宽g 和频宽a g 满足a g a g 1 2 ，可见时频局 部性是相对的，不能得到时域和频域都无限局部化的信息。这也就从另一个侧面 说明了短时傅立叶变换窗函数的时间与频率分辨率不能同时达到最优。短时傅立 叶变换比较适合分析较平稳的信号或者近似平稳信号，而不太适合分析非平稳信 号。 对于非平稳信号，当信号变化剧烈时，要求窗函数有较高的时间分辨率；而 波形变化比较平缓的时刻，主要是低频信号，则要求窗函数有较高的频率分辨率。 短时傅立叶变换不能兼顾频率与时间分辨率的需求。小波变换正是基于上述思想 产生的，既保持了短时傅立叶变换的优点，又弥补了其不足，是现代傅立叶变换 的重要突破，下面将介绍小波变换。 2 1 3 连续小波变换 小波变换是在傅立叶变换的基础上发展起来的，采用一个可调时频窗来分析 信号，在检测高频时采用窄的时间窗、宽的频率窗；而在检测低频时，则用宽的 时间窗、窄的频率窗，这样可以克服短时傅立叶变换的弱点，达到更好的效果。 小波分析是傅立叶分析思想方法的发展与延拓，小波变换的出现使得傅立叶分析 中遇到的问题应刃而解。下面给出连续小波变换的定义【5 】： i 、i 如果j l l ( f ) 的1 前恻h ( 彩) ，满足：r 甲埤功 ：p f s 2 ( k + i ) 式( 3 3 ) 更新是由预测误差更新偶数序列，得到变换的低频分量，其中u i 为更新系数： l k 2s 2 k + u ( h k )其中u ( h k ) 2 荟“i h “ 式( 3 - 4 ) 计算过程如图所示： 图3 1 5 小波提升机制 在m c e z b c 编码方案中，采用了帧间滤波的方式，一个g o p 中的图像帧被 时间滤波为低通子带和高通子带。当实现时间分级时，采取舍去高通子带的策略， 通过减少高通子带的数目达到减少图像帧的目的，只需一次编码就可实现多种帧 率的情况。编码g o p 长度直接影响着时间维滤波的级数。过短的g o p 长度，会降 低时间维去冗余的效果；过长的g o p 长度，会导致图像序列经常跨越两个以上的 场景( s c e n e ) ，无法进行运动补偿。综合考虑上述原因，普遍采用8 帧、1 6 帧一次 性处理，有一定的时间延迟p l 。 最初的s v c 设计中包括时间可分级的小波结构，随后在s v c 计划书里去除 了，去除的原因包括降低编解码的复杂度和提高编码效率。 3 3 5 质量可分级实现的差异 在j s v m 中利用粗粒度( c g s ) 或中粒度( m g s ) 的质量可伸缩的层间预测，用 北京邮电大学硕士学位论文第三章基