（计算机应用技术专业论文）运动补偿时域滤波的性能改进.pdf

中文摘要 可伸缩视频编码对于可变带宽下的多媒体传输、不同存储容量的媒体存储和 不同显示能力的终端都具有重要的意义。可伸缩编码只需一次性编码就能满足不 同带宽、不同分辨率和帧率的应用需求。现有的比较成熟的可伸缩编码框架是基 于运动补偿时域滤波技术( m c t f ) 的。因此如何改进m c t f 对可伸缩编码是一个重 要的课题。 本文提出了两种i c t f 更新操作的改进算法。主要目的是提高编码效率、减 小m c t f 的计算复杂度和减少低通图像中的块效应。在更新操作过程中引入了新 的约束条件，要求更新块中的像素所对应的预测运动向量完全一致，否则不允许 该块参与更新操作。这样一方面可以减少更新块的数目，从而降低计算复杂度， 另一方面也可以减少低通图像中的伪影，增强了图像的主观质量。在更新操作之 前，通过对残差信号进行去块滤波，可以减少更新块中的伪边界成分，这样能进 一步改善低通图像的主观质量，同时也能减轻块效应对后继预测操作的影响，从 而可以提高编码效率。实验结果表明，严格限制更新块不会影响i l c t f 的编码性 能，而且能够改善图像的主观质量；高通信号的去块滤波在减少低通图像块效应 的同时，对高运动量且容易引入块效应的图像序列的编码性能有一定程度的提 高。 关键词：可伸缩编码运动补偿时域滤波更新操作去块滤波 a b s t r a c t s c a l a b l ev i d e oc o d i n g ( s v c ) i sa l la t t r a c t i v es o l u t i o nf o rt l l ev i d e ot r a n s m i s s i o n o v e rh e t e r o g e n e o u sn e t w o r k , t h es t o r a g eo fv i d e oo nm e d i ao fd i f f e r e n tc a p a c i t ya n d t h es i m p l ea d a p t a t i o nf o rav a r i e t yo fd i s p l a yt e r m i n a l s s c a l a b l ev i d e oc o d i n go n l y n e c g i st oe n c o d et h es i g n a la tt h eh i g h e s tr e s o l u t i o nt oe n a b l ed e c o d i n gf r o mp a r t i a l m e a m sf o rd i f f e r e n tf r a m er a t e b i tn 她a n ds p a c i a lr e s o l u t i o n t h ec u r r e n tm o s t r e c o g n i z e d f m w o r kf o rs e a l a b l ev i d e oc o d i n gi sb a s e do nm c t f ( m o t i o n c o m p e n s a t i o nt e m p o r a lf i l t e r i n g ) s oi ti sv e r yi m p o r t a n tf o rs c a l a b l ev i d e oc o d i n g t oi m p r o v et h ee f f i c i e n c yo f m c t f i nt h i st h e s i s ，w ep r o p o s et w oi m p r o v e m e n t sf o rm c t ft oi n c r e a s et h ec o d i n g e f f i c i e n c y , d e c r e a s et h ec o m p u t a t i o nc o m p l e x i t ya n dm i t i g a t et h eb l o c ka r t i f a c ti nt h e l o w - p a s s e df r a m e s d u r i n gt h eu p d a t es t e p ，t h ec o n s t r a i n ti ss e tt h a tt h ep i x e l so f t h e u p d a t eb l o c ks h o u l dh a v et h eu n i f o r mp r e d i c t i o nm o t i o nv e c t o r b yt h i sm e a n s ，w e c a nd e c r e a s et h ec o m p u t a t i o nc o m p l e x i t yf o rl e s su p d a t eb l o c k so nt h eo n eh a n d , a n d i m p r o v et h es u b j e c tq u a l i t yo ft h el o w - p a s s e x lf r a m e sf o rm o r ea c c u r a t eu p d a t i n go n t h eo t h e rh a n d d e b l o c k i n gt h eh i g l l p a s s e df l a m e sc a ni n t r o d u c el e s sb l o c ka r t i f a c t s i n t ot h el o w - p a s s e df r a m e s ，w h i c hi nt u r nc a nb et a k e na sb e t t e rr e f e r e n c ef l a m e sf o r t h ef o l l o w i n gm o t i o nc o m p e n s a t i o n i nt h em e a nt i m e ，t h ed e b l o c k i n go ft h e h i g h - p a s s e df r a m e sc a na l s oi m p r o v et h ec o d i n ge f f i c i e n c yf o rt h eh i g h - a c t i v i t i e d v i d e os e q u e n c e si nw h i c hb l o c ka r t i f a c ti sm o r el i k e l yt ob ei n t r o d u c e d k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ，m o t i o nc o m p e n s a t e dt e m p o r a lf i l t e r i n g ， u p d a t es t e p ，d e b l o c k i n gf i l t e r i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞鲞盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：；菇劣辽易签字日期：五巾年月吖日 学位论文版权使用授权书 本学位论文作者完全了解盘鲞盘茎有关保留、使用学位论文的规定。 特授权基壅盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 事诉秘； 导师签名： 是刃 签字日期：俨6 年刍月。1 日 签字日期： 跏年卫月_ 日 天津大学硕士学位论文运动补偿时域滤波的性能改进 1 1 绪论 第一章概论 互联网建立之初，网络的传输业务主要是以文字为主。人们通过电子邮件能 够方便而快捷地与他人进行交流和共享数据。随着网络带宽的增加和数字编码技 术的日趋成熟，图像和声音能够在网络上得到快速、有效地传送。包含众多图像 和声音内容的网页因此而变得更加丰富而生动，这也使得w e b 得到了更为广泛 的应用，互联网开始真正“飞入寻常百姓家”。互联网的普及向人们昭示着数字 时代的魅力。 随着数字化技术、数字压缩技术以及图像编码技术的发展，视听信息在网络 上的传送业已成为现实。现在人们可以通过网络查找和下载最新的电影；通过可 视电话和远方的亲友进行交流；通过网络电视凹n r ) 来观看各种新闻和娱乐节 目：通过网络视频会议系统来组织各项会议。由此我们不难推断视频信息将会成 为未来网络应用的主流。它将为人类信息的交流提供更为快捷、友好的方式。目 前网络视频应用业已展现出巨大的市场前景，其中i p t v 【! 。2 】已经成为一个新的 互联网增值热点，它很有可能会成为全球下一个极具前景的产业。 我们先简要地讨论一下视频服务的各种类型。视频服务可以大致划分成三个 类别：会话服务( c o n v e r s a t i o ns e r v i c e ) ，分发服务( d i s t r i b u t i o ns e r v i c e ) ，索取服务 ( r e t r i e v es e r v i c e ) 。会话服务典型的例子是视频会议。由于是实时采集和传输视 频数据，因此它对传输的延迟非常敏感。分发服务，比如网络电视，是指很多用 户同时接收事先录制好的或者实时编码的视频信息。它有时对延迟很敏感，比如 传送现场直播信号，有时对延迟不敏感，比如传送电影拷贝。索取服务的典型例 子就是视频点播服务( v i d e o - o n - d e m a n d , v o o ) 。它是由用户发起传输的一种服务。 该服务对延迟要求不大，用户通常可以容忍一秒甚至几分钟的延迟，流媒体就是 一个子。 在分发服务当中，不同的用户可能拥有不同的网络带宽、终端类型和质量 需求。当采用一对一传送( u n i c a s t ) 时，即每一个用户都与服务器建立一条数据连 接，各个用户间接收到的视频数据是相互独立的。服务器可以根据用户的需求来 调整传输内容。但是该方案服务器的可扩展性不大，严重限制了客户的数量。在 第一章概论 一对多传送( m u l t i c a s t ) 时，即服务器为点播同一个节目的多个用户建立一个广播 组，它只需向网络发送视频节目的一份拷贝。由于服务器只能在各个客户的不同 需求下采取一些折衷的措施，这必然不能很好地满足所有客户的需求。在流媒体 服务当中也经常会采用联播( s i m u c a s t ) l 拘技术，也被称为同步播放。它将每个视 频节目以不同的空间分辨率、帧率和码率等参数进行编码来得到多个码流，然后 在不同的广播组上发送相应的码流。用户根据自身的需求选择加入到不同的广播 组中。该方案虽然能够为流媒体服务提供一定的网络带宽的自适应性，但同时也 增加了编码的时间、流媒体服务器的存储空间和操作的复杂度。 下一代通讯网络( 3 g ) 的应用业已在很多国家展开。视频服务是其主要的应用 之一，因此视频信息必须在各种通讯信道之间来回传递，既包括有线信道也包括 无线信道，这些不同的信道拥有不同的带宽、延迟和误码率。要在3 g 网络上有 效地开展视频服务必须要求我们的码流具有可伸缩性。另外，视频信息显示设备 的显示能力也各有差别，既包括小分辨率的掌上设备也包括大分辨率的投影设 备。给小分辨率的设备传送大分辨率的码流显然是一种浪费，而给大分辨率的显 示设备传送小分辨率的码流更是一种浪费。没有人愿意用自己昂贵的高清数字电 视来播放q c i f 格式的视频节目。因此这就要求我们的码流能够同时提供各种分 辨率的信息，这样不同的显示设备就可以根据自己的显示能力来请求和接收相应 分辨率的码流。 正如我们在上面提到的那样，传统的混合编码模式一般是对原视频信息进行 多次编码，在服务器上保存不同分辨率、帧率和码率的码流。当网络带宽发生变 化时，服务器会选择合适的码流进行传送。这就是我们已经提到的联播技术。然 而服务器的选择余地是受到码流数目约束的。在码流数目有限的情况下不可能提 供很好的带宽适应性，并且码流的切换点也是受到约束。一般码流切换只能发生 在关键帧出现的时候，所以服务器对带宽的适应性也受到关键帧数目的约束。同 时，混合编码采用闭环预测的结构，即在一组特定的图像中，后一帧图像的解码 是依赖于前一帧的，因此前一帧的错误会扩散到后一帧之中，因此该编码结构对 错误的容错性很小。 可伸缩编码为在异构网络上传输视频信息提供了一套简单、灵活的解决方 案。它使得码流对网络带宽变化、误码和丢包都有很强的适应性，同时也简化了 解码器端的设计。可伸缩编码的诱人之处在于它能够从部分的码流中解析出低质 量的信息。可伸缩编码实际上就是将视频信息按照重要性分解开来，然后对分解 的各个部分按照其自身的统计特性进行编码，一般会编码成一个基本层和一组增 天津大学硕士学位论文运动补偿时域滤波的性能改进 强层。基本层中包含有满足最小需求的基本信息，增强层是依赖于基本层的，因 此基本层在码流中最小需求的基本信息，增强层是依赖于基本层的，因此基本层 在码流中最为重要。增强层顾名思义是对基本层信息的增强，接收到的增强层越 多，视频信息的恢复质量也就越高。 可伸缩性包括时域可伸缩性、空域可伸缩和质量( s n r ) g 伸缩性。时域可伸 缩性是指将视频流分解成表示不同帧率的信息，其中基本层中保留最低帧率的信 息，随着层数的增加频率也随之增加，从而用户能够体验出更为连贯流畅的画面 质量。时域可伸缩性是最容易支持的，传统的双向预测图像就可以用来实现时域 可伸缩性，虽然它的最根本目的是用来提高编码效率。空域可伸缩性是指将视频 流分解成表示不同分辨率的信息，其中基本层中保留最低分辨率的信息，随着层 数的增加分辨率也随之增加，从而用户能够体验出更为细腻的画面质量。空域可 伸缩性可以通过对原始图像信息向下采样，然后对各个不同分辨率的图像序列进 行编码，当然在编码时必须考虑到序列间的相关性。质量可伸缩性是指将像素值 分解成不同级别，在基本层中每个像素只拥有很小的b p p o i t sp e r p i x e l ) ，因此拥 有很粗糙的画面质量，随着层数的增加，每个像素的b p p 也随之增加，从而能够 展现出更为丰富的图像内容。 根据可伸缩性的粒度大小的不同，可伸缩性又可分为精细粒度的可伸缩性 ( f i n eg r a i ns e a l a b i l i t y , f g s ) 、中等粒度的可伸缩性( m e d i u mg r a i ns c a l a b i l i t y , m g s ) 和粗粒度可伸缩性( c o a r s eg r a i ns c a l a b i l i t y , c g s ) 。增强层的数目越多，可 伸缩性的粒度就越小，反之则越大。 由于可伸缩编码能够把视频数据划分成不同优先级的数据块，因此可以对 不同的数据块采取不同强度的错误保护机制。例如我们可以采用非均等保护的方 式( u e p ，u n e q u a le r r o r p r o t e c t i o n ) 来重点保护基本层的信息，也可以在传输时为 基本层预留足够的网络带宽，从而保证用户能够接收到最基本的信息。可伸缩编 码的最大的优点在于能够用同一个码流来满足不同客户的需求，从而提高了视频 服务的灵活性和有效性，它也为视频广播系统向更高帧率、分辨率过渡提供了技 术支持。例如m p e g - 2 中就采用空域可伸缩性来在同一个码流中既支持标清 ( s d t 、，) 信号也支持高清( h d t v ) 信号。但其主要的缺点在于它使得编码器和解码 器都复杂化，增加了应用的成本，同时由于数据流采用多层编码，因而编码效率 也有明显的下降，这就是为什么可伸缩性编码一直没有得到大规模应用的主要原 因。 第一章概论 1 2 研究现状 可伸缩性编码的研究已经开展了二十几年，但到目前为止还没有一个被市场 广为接受的方案，但到目前为止很多支持可伸缩编码的技术已经提出来。这些技 术可以粗略地划分为两大类：基于三维小波的可伸缩视频编码和基于分层的视频 编码。前者的代表性技术包括“采用杠铃式三维提升子带视频编码器( b a r b e u l i f t i n g ) ”乜l 和“运动补偿的嵌入式零树块编码器( m c - e z b c ) ”盥，5 ，m 后者的 代表性技术包括“h 2 6 4 a v c 的可伸缩性扩展”2 l 平口m p e g - 4 的f g s 脚编码方 案。h 2 6 4 a v c 的可伸缩性扩展已经被国际电信联盟的联合视频小组采纳，它将 作为h 2 6 4 a v c 工丑的可伸缩性扩展被加入到附录s 中。为了方便描述，我们简 称前者为三维小波方案，后者为j s v m ( j o i n ts e a l a b l ev i d e om o d e l 卜联合可伸缩 视频模型盟。 这两类方法各有利弊。三维小波能够在很宽的比特率范围内支持灵活的、细 粒度的可伸缩性，但缺点在于不能够很好地支持运动信息的分级表示。这样会严 重地影响编码器在低码率下的编码性能。当三维小波中的运动向量是在高质量参 考帧的情况下选取时，它对于低码率下的图像来说就不是最优的，因此低端的编 码性能就会受到影响；当运动向量是在低质量参考帧的情况下选取时，低端的编 码性能能够得到保证，但是它对于高质量的参考帧来说就不是最优的，因此高端 编码的性能也会受到损害。同时三维小波在支持空域可伸缩性时也会遇到一些麻 烦，而不是像我们普遍认为的那样自然而然地利用小波分解的多分辨率分解特性 就能够得到空域的可伸缩性。而j s v m 的优点在于它的基本层完全兼容于 h 2 6 4 a v c ，这样就能够保证在低码率时具有很好的压缩性能。同时j s v m 也能 够灵活地支持各种可伸缩性能。同时增强层的编码也可以利用基本层中的各个编 码模块，因此也降低了其实现的成本与复杂度。 三维小波模式一般是先在时间轴上沿着图像中各个物体的运动轨迹做一次 一维的小波分解操作为了该操作的可逆性，大都采用提升小波n u 来完成该分 解操作，具体细节的讨论留给下面的章节。然后需要对各个时间轴上的子带在空 间域上做一次二维小波分解，生成的三维小波系数被组织成特性各异的子带。各 个时空域子带与输入的视频的各个时空分辨率相对应。然后我们可以采用各种 熵编码器编码来对小波系数进行熵编码，这其中包括e z w 2 1 ，e b c o 心和 f _ z b c 丑等等。 j s v m 主要是采用分层的方式来提供可伸缩性。编码的结构根据应用的需求 天津大学硕士学位论文运动补偿时域滤波的性能改进 而有所不同。图1 一l 蛸出了j s v m 编码的一个例子根据对可伸缩性需求的 不同其编码的具体流程也会各有分别。首先输入的视频信号在空间域上向下采 样，向下采样的次数决定其所支持的空域可伸缩性的粒度。然后对各层信号进行 运动补偿时域滤波，从而得到各层的时间轴上的子带分解，其中每层信号都拥有 自己的运动信息，当然在实际编码的过程中我们可以利用各层运动信息的相关性 来提高编码的效率。高层的子带信息可以通过向上采样后的底层子带信息来进行 预测，以此来去除各层之间的相关性。接着我们需要对预测后的残差进行空域的 近似离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m , d c t ) 和熵编码。最后对各层输出的 数据按照率失真特性复合在一起。 为了支持质量可伸缩性，j s v m 采用类似于空域可伸缩性的方法，将信号分 成几个不同的质量层，并且每个质量层都拥有自己的运动信息，只不过这里每个 质量层都拥有相同的分辨率。每个质量层从下向上量化参数逐渐减小，因此其恢 复质量也逐步提高。通过该方式提供的质量可伸缩性是粗粒度的，因此一般也称 为c g s 。另外j s v i 中为了支持细粒度的质量可伸缩性( f g s ) 采用了一种基于算 术编码的位平面方法。该方法作用于离散余弦变换之后的变换系数。首先我们采 用一个粗糙的量化参数对变换系数进行量化，然后采用变长编码的方法进行熵编 码，然后通过解码和逆量化恢复出我们已经编码的变换系数。通过与原始的变换 系数做差，就得到了变换系数的残差信号。通过对这个残差信号采用逐步减小的 量化步长进行量化就得到了一系列的量化级，最后对这些量化级进行基于算术编 码的熵编码。通常量化步长每次缩小一半，这样的量化方法被称为累进量化。对 于每个质量增强层的量化级的编码过程可以分为两个过程：重要性扫描和求精扫 描。在重要性扫描当中首先编码那些在基本层和次级的增强层中一直保持为零的 系数；在求精扫描过程中编码那些在基础层或者次级层中已经编码并且值不为零 的系数。由于这两类系数具有不同的率失真特性，因此分开来编码有利于保持整 个码流的率失真曲线尽可能地突起。 正如我们已经提到的，j s m m 采用了可选择的层间残差预测。由于相邻层之 间的残差具有一定的相似性，特别是当相邻两层所使用的运动向量相差也不大 时，残差的相关性就更强了。因此j s v m 中采用了可选择的残差预测。既用低层 的残差来预测当前的高通信息，这样能够节省一部分码流。实验证明该方法能够 极大地改善j s v i 的编码效率。 第一章概论 1 3 内容安排 盈1 - 1 三级塔式的可伸缩视频编码器 由于小波变换是可伸缩编码不可或缺的工具，因此在第二章当中我们主要从 多分辨解析的角度着重介绍一下小波变换的理论背景，提升小波的实现方法，以 及去块滤波的作用和实现方法。在第三章中我们要着重介绍运动补偿时域滤波技 术。该技术的产生导致了可伸缩编码的快速发展和成熟。同时我们还要分析一下 j s v v i 中的更新算法及其存在的问题，并且也提出了我们的修改方案。在第四章 中我们对所提出的修改方法进行了实验测试，并且详细分析了实验数据和结果。 第五章总结全文。 天津大学硕士学位论文 运动补偿时域滤波的性能改进 第二章理论分析 在本章中我们集中讨论一下本论文中所使用到的一些基础理论和技术。主要 包括小波变换理论和去块滤波技术。对于小波变换理论我们主要通过多分辨率分 解的角度来进行描述，同时我们也会对提升小波的理论和实现进行分析。去块滤 波也是我们本论文中主要采用的技术，因此我们也进行了详实的介绍和分析。 2 1 小波变换 1 9 8 4 年法国地球物理学家j m o r l e t 在分析地震数据时提出将地震波按一个 确定函数的伸缩、平移系展开。随后与a g r o s s m 柚1 共同研究，发展了连续 小波变换的几何体系。其后小波理论和应用研究迅速发展。1 9 8 7 年m a l l a t h 7 提 出了小波多分辨分析的概念和相应的快速分解与重构算法。1 9 8 8 年，青年数学 家d a u b e c h i e si 皿】提出了具有紧支撑的光滑正交小波基d a u b e c h i e s 基，由此 将小波分析理论和实际应用推向了一个高潮。 小波变换分成两个大类：离散小波变换w d 和连续小波变换( c w d 。两 者的主要区别在于，连续变换在所有可能的缩放和平移上操作，而离散变换只采 用了一些特定子集。由于图像的局部静态特性和小波变换的联合时域频域分解特 性，使得小波变换特别适合于图像应用。我们已经提到的图像编码技术e z b c 就 是基于c d f9 7 小波。j p e g 2 0 0 0 【1 2 】在有损压缩时使用d a u b e c h i e s9 删小波， 在无损编码时使用l e g a u 5 3 i 绷小波。 2 1 1 小波理论 设l 2 ) 表示( 一，删上的平方可积函数空间，若信号呱t ) l 2 并且其 f o u r i e r 变换f ( ) 满足 l f ，) 1 2 l e o l 以 。z ( 2 - 8 ) 这些内积称为，( 功在分辨率2 7 时的离散近似。这里的每一个内积又可以理解为 在点2 7 行的卷积的一个近似： ，：= 陟( 甜) 唬，( u - 2 - n ) 出= 盯( 曲+ 力( 叫) ) ( 2 叫一) 因此髟厂可以简单地表示为： 衫f = o ) + 力( _ “) ) ( 2 叫栉) 。2 ( 2 - 9 ) 当我们把，在圪“上投影时，我们可以得到以下式子： = - ( 2 - 1 0 ) 设日是一个离散滤波器，它的冲击响应由下式给定： h ( n ) ；： ( 2 - 1 1 ) 第二章理论分析 设为日的镜像滤波器，即 ( 呻= ( - 功，这样我们就可以得到如下式子： 。h ( 2 n - k ) ( 2 - 1 2 ) t 。” 由( 2 1 2 ) 可以看到z f 可以通过计算一曼+ 。，与日的卷积来获得，并且只需要在 2 州个样点中保留2 7 个。 现在我们需要讨论一下如何获得相邻两个分辨率下近似信息的信息差，即细 节信息。在分辨率2 川和2 下的近似函数分别是该信号在矢量空间k 。，和72 上 的投影，因此其差信息就是该信号在这两个矢量空间的正交补上的投影，设0 2 ，为 2 在2 川上的正交补，即0 2 ，o = 巧，。为了计算信号在正交补上的投影我们 需要为其找到一个正交基。正如我们在以上所讨论的那样，我们可以通过缩放和 平移一个函数矿( x ) 来获得。 设妒 ) = 2 7 矿( 2 7 x ) 表示缩放y ) 2 j 倍，则v 2 。 2 1 ( x 一2 - j n ) l z 就是d 2 ，的 一个正交基矿( 功被称为正交小波。令昂是在d ，上的投影算子，则： 墨( 曲= 2 吖 ，( u - 2 - j 哟 ( 2 - 1 3 ) p o f ( x ) 表示函数，o ) 在分辨率2 7 时的细节信息，可以由一组内积来表征， d ：，f ( “) ，y2 1 ( “一2 。7 刀) ，。：正如像我们先前所提到的那样，彤( 功可 以理解为一个带通滤波器，它的频段近似为卜万，- 石2 】u 防，2 ，1 】，因此细节信号 见，厂描述了信号，( 力在频段卜2 - 1 7 ，- 2 一一万】u 【2 一- 1 刀，2 - 7 1 】上的信息。 同样我们也可以为正交小波定义一个离散滤波器g 。由于： = t $ 噌 我们可以令： g ( 帕= 。z ( 2 - 1 4 ) 令g 为g 的镜像滤波器，即g ( n ) = g ( - n ) 由此我们可以得到以下式子： = g ( 2 n d ( 2 - 1 5 ) i - 1 即d 2 ，可以通过计算，与g 的卷积来获得 如果原始信号有个样点，则d 2 ，与移，都拥有2 7 个样点。因此该信 号的小波表示可以写成下式： 僻j f ，一n 。i 。o q 一1 6 ) 图2 1 显示了单步小波分解与合成的过程。 天津大学硕士学位论文运动补偿时域滤波的性能改进 吨 俨 五i i f 鹾 屯卜叵芦 2 2 提升小波 图2 - l 单步小波分解与合成示意图 提升小波是小波分解的一种实现，它最初一方面起源于d a v i dd o h o m o 的工 作，另一方面起源于m i c h a e ll o u n s b e r g ，t o n yd er o u s 和j o ew a r r e n 。在【2 2 2 蛩 中d o h o n o 提出了插值和平均插值小波，该方法通过多项式插值和再分来构造第 一代小波而不是采用傅立叶变换来构造的。l o u n s b e r y 、d er o s e 和w a r r e n 2 4 , 坦为求得各种正多面体的近似而构造小波，该小波是在局部领域内构造的正交 化尺度函数。 我们将滤波器h 写成多相形式，则 ( z ) = 吃0 2 ) + z - i h o ( z 2 ) ( 2 - 1 7 ) 这里吃乜) 包含偶数位置的系数，h o ( z ) 中包含奇数位置的系数，即 也( z ) ：丝掣业，吃( z ) ：h ( z ) i - h 广( - 一z ) ( 2 - 1 8 ) 令m ( z ) 为调制矩阵，p ( 力为多相矩阵，则 一瞄篇卜，= 瞄嘲地7 圳z 酢杜习 如果p ( z ) 的行列式为l ，则称( h ，g ) 是互补的。如果( h ，g ) 互补， 则g 一( 力也与h 互补，这里， g 一( z ) = g ( z ) + 0 ) s ( ：2 ) ( 2 2 0 ) 其中s ( z ) 为劳伦多项式，由此我们可以得到一个新的多相矩阵，即 第二章理论分析 蹦荆c z 05 纠 该操作并没有改变多相矩阵的行列式。其对偶多相矩阵可以表示为如下形式： 一加砣。占，o 该操作我们称之为高通信号对低通信号的提升操作，也通常被称为更新操作。这 两个多相矩阵对应的小波变换如图2 - 2 所示： 图2 - 2 低通信号的提升 如果( h ，g ) 互补，则 一( z ) 与g 是互补的，这里， 一( z ) = ( z ) + g ( z ) t ( z 2 )c 一2 3 ) 同样的f ( z 2 ) 为劳伦多项式。通过该项操作，我们可以得到新的多相矩阵， k 忆o f 而其对应的g ( z ) = g ( z ) - h ( z ) t ( z 2 ) 。该操作我们称为低通信号对高通信号的提 升，通常也称为预测操作，图2 3 给出了该操作的示意图。 图2 - 3 高通信号的提升 提升小波具有原地计算的功能，因此大大提高了计算性能，在很多应用中 被采纳。这里我们列出来了一些常用的提升小波的实现方法： 1 ) h a a r 小波的分解与合成过程： 曲分解过程 天津大学硕士学位论文运动补偿时域滤波的性能改进 多相分离：s o + l 【n 】= s j 2 n ，do + l n 】= s j 2 n + 1 ； 预测过程：“。【h 】= 去蛾。【川一s ，+ 0 。m ) ： 更新过程：8 j + l 【玎】= s 0 ，+ l 【珂】+ d ，+ l i n ”合成过程 更新过程：s o + 】i n = s ，+ 1 i 川一d j + l 【川； 预测过程：d 知嗍= 2 d j + i 【月】+ s 【n 】： 多相合并：趴2 川= j 鼻， h i ，j ， 2 胛+ l 】= 砹。【川 2 ) l g t 5 3 小波的分解与合成过程 钔分解过程 多相分离：s o + i i n = s j 2 n ，j 0 + 1 【玎】- s 2 n + 1 ； 预钡9 过程：眵，+ 。【”】= 矿0 + 。【”卜0 5 b 品【 】+ 吐，【n + l 】) ； 更新过程：s 川【，l 】= j ，+ 1 0 【川+ o 2 5 l 【行一l 】+ 以l 【疗】j 缩放过程：t m = 2 j ，+ ，m ，d ，+ l m 2 形压“- 【行】 坊合成过程 缩放过程：t + 一 ”】- 2 “- 【n 】，j p ，【”】= ，；么s j + i 【”】； 更新过程：吐。 h i = 8 1 + l 【疗卜0 2 5 ( a , “，l l 】+ t + l 【”】j 预i 贝4 过程：哆o + ，【h 】= 哆，+ 。【n 卜0 5 b 鼻，【”】+ 略。【”+ l 】) 多相合并：【2 川= j 【”】，j 2 n + 1 - - ， n 】 2 3 去块滤波 传统的视频编码器，如h 2 6 1 ，m p e g - 1 ，2 ，4 在低码率编码的情况之下都会受 到块效应的影响。简而言之，块效应就是块边界处像素值的不连续性。与之相对 应的还有环效应，环效应是由于对高频分量不充分编码所造成的，当量化参数越 大时，块效应也就越显著。由于运动补偿是基于宏块( 一般是1 6 x 1 6 大小的像素 块) 的，并且各个宏块的参考宏块也是独立选取的，因此这些参考宏块之间是不 连续的，而这些参考宏块又不能够完全与当前宏块相匹配，这样就导致了一部分 边界效应的产生。同时时域变换和标量量化也是基于宏块的，各个宏块之间的变 换和量化也是独立的，并且各个变换块的量化参数也有可能不同，这也导致了宏 块恢复值在边界处的不连续。另外值得一提的是宏块的恢复误差在变换块的边缘 处要更大一些。这些不连续的“噪声”( 块效应) 会影响到图像的主观质量，特别 是图像比较平滑的区域表现地更为明显。如果后续的图像以此图像作为参考帧， 则该图象中的块效应会传递到后续的图像之中，从而使得预测残差能量变高，进 1 3 第二章理论分析 而使得编码的性能有所下降。如果单纯地靠提高比特率来去除块效应会需要很高 的代价，因此引进去块滤波还是很有必要的。 为了克服块效应对编码的影响，人们首先提出了非基于块的编码模式 ( n o n b l o c k e db a s e d ) ，其中的纹理编码模式包括重叠块变换编码和嵌入式小波零 树编码，其中的运动补偿包括有变形预测和重叠块运动预测。在新一代视频编码 方案 9 】中引入了环内滤波。环内滤波顾名思义就是在编码的预测环内引入去块 滤波。虽然环内滤波会引入一定的计算复杂度，但是它能够给编码性能带来明显 的提高。最初，为了不改变视频编码的标准，人们采用后加工的方式来克服块效 应，即只对输出的解码图像进行去块滤波，以此来达到改善图像主观质量的目的。 随着处理器计算能力的提高，一些更为先进的滤波技术开始采用，这也使得在相 同图像质量下获得更高压缩比成为可能。 去块滤波大致可以分为三类。第一类是低通滤波。它的缺点在于使得图像过 于平滑，从而丢失一些边沿信息。第二类是统计估计的方法。第三类是采用集合 论中的重构的方法。后两者属于迭代的方法，缺点在于计算量过大，不适合于实 时的应用。由于我们的改进方案中有包括环内滤波的内容，因此在这里我们介绍 一下它的具体步骤，更详细的内容可以参看堕鲤。当然去块滤波的实现方法有很 多种，我们这里着重介绍一下h 2 6 4 a v c 中的去块滤波操作。h 2 6 3 + 和m p e g - 4 中的去块滤波也是非常有效的。去块滤波器把控制参数分成三个级别来达到自适 应的目的：边缘，样点和切片。由于我们的实验当中不需要在切片级做处理，所 以下面着重介绍边缘级和样点级的处理过程。 2 3 1 边缘级滤波控制， 在每两个4 x 4 块之间的边界处都定义一个边界强度用于控制滤波的强度，取 值为0 4 。边界强度决定了本边界的滤波强度，也决定了滤波器采用的滤波模式。 当强度取值为4 时，表示强度最大，这时采用一种特殊的滤波模式，拥有最强的 去块效果。取值为0 表示不需要滤波。当强度取值为1 - 3 时，边缘强度决定了滤 波过程对像素最大的改变量。 当两个4 x 4 块之中有一个是帧内编码( 没有参考别的帧) 并且本边界也位于宏 块的边界时，边界强度取值为4 。这是因为各个帧内编码的宏块采用的预测方式 具有很强的不连续性，因此很容易引起块效应，所以必须使用高强度的滤波操作。 当两个块之中有一个是帧内编码时但本边界不位于宏块边界，这时边界强度取值 为3 。当一个块拥有残差系数，这时边界强度取值为2 。当两个块的运动分量差 天津大学硕士学位论文运动补偿时域滤波的性能改进 别超过一个亮度采样点时，边界强度取值为1 两个块拥有不同的参考帧，这时 边界强度也取值为l 。其余情况边界取值为0 。边界强度的大小反映了出现块效 应的可能性的大小。 2 3 2 采样点级控制 之所以需要在采样点即像素级来控制滤波，主要是为了区别图像中真实的边 缘和引入的伪边缘。如果对真实的边缘进行去块滤波，就会破坏图像的内容，进 而影响图像的主观质量。所以我们需要对位于块边界两边的像素值进行分析，判 断是否包含有边缘信息。当边缘信息比较丰富时，由于人眼的掩盖效应，这时的 块效应是不容易引起人眼注意的，因此可以适当减弱滤波的强度，以此来避免对 真实边界的滤波。 定义相邻两个4 x 4 块之间的一行采样点为p 3 、p 2 、p 1 、p o 、q o 、q i 、q 2 、q 3 ， 两个块的边界位于p o 与q o 之间。我们规定滤波时亮度块最多只能改变三个采样 点的值。引入与量化参数相关的一对参数砷衙口与b e t a ，用来决定这组采样点是 否需要滤波。这里a l p h a 表示块与块之间的边界阈值，b e t a 表示块内的阈值，只 有当以下三个条件成立时，才对这组采样点滤波： i p o q o i a l p h a ( i n d e x a ) l p l 一p o l b e t a ( i n d e x n ) ( 2 - 2 4 ) i g l q o i b e t a ( i n d e x b ) i n d e x a = m i n ( m a x ( o ，q p + o f f s e t ) ，5 1 ) i n d e x n = m i n ( m a x ( o ，q p + o f f s e t b ) 5 1 ) 其中o f f s e t 和o f f s e t s 可以由用户自行设置来控制滤波的强度。 2 3 3 滤波操作 根据块边界强度的不同，需要采用两套不同的滤波模式