（计算机应用技术专业论文）基于3d小波的多描述可分级视频编码.pdf

摘要 为使编码压缩的数字视频信号能够在网络上可靠地传输，我们需要解决以下 问题： 1 ) 带宽问题：为了得到可接受的视频质量，需要网络有最小带宽的要求。然 而，现有的i n t e r n e t 只提供竭尽全力的服务而不提供任何带宽保护机制；无线网络 中也受带宽起伏和带宽限制的影响。 2 ) 包丢失和传输错误：在无线网络和i n t e m e t 中，大多数的错误是网络拥塞 或误传造成包丢失所导致的。 3 ) 网络异构问题：不同的网络其带宽、时延特性差异很大。固定的编码方法 不能解决这个问题。 针对上述几个问题，本文提出了基于3 d 小波多描述可分级视频编码方案。它 包括3 d 小波变换、可分级性的实现、基本层的多描述标量量化和熵编码等部分。 该方案兼顾了多描述编码的良好的容错性和可分级编码的网络带宽自适应性优 点，使视频编码同时具有良好的鲁棒性和网络带宽的自适应性。 关键词：多描述编码可分级编码多描述可分级编码小波 a b s t r a c t i no r d e rf o rc o m p r e s s e dd i g i t a lv i d e ot ob er e l i a b l yt r a n s m i t t e do v e rn e t u r o r k s w e h a v et os o l v et h ef o l l o w i n gp r o b l e m s ： nb a n d w i d t h t oa c h i e v ea c c e p t a b l ep r e s e n t a t i o nq u a l i t y ，as t r e a m i n ga p p l i c a t i o nt y p i c a l l ) rh a s m i n i m t u nb a i l d w i d t hr e q u i r e m e n t h o w e v e r ，t h ec u r r e n ti n t e r n e to f r e r s o n l yt h e b e s t e f f o r ts e r v i c ea n dd o e sn o tp r o v i d e a n yb a n d w i d t hr e s e r v a t i o nm e c h a n i s m a a d t h ew i r e l e s sc h a n n e ls u f f e r sf r o mb o t hb a n d w i d t hf l u c t u a t i o na n db a n d w i d t h l i m i t a t i o n 2 、p a c k e tl o s sa n dt r a n s m i s s i o ne r r o r i r it h ew i r e dl i n ko fam o b i l en e t w o r ko rt h ei n t e r n e t m o s te r r o r sa l ec a u s e d b y p a c k e t l o s sd u et oc o n g e s t i o no r m i s r o u t i n g 3 、h e t e r o g e n e i t yp r o b l e m s t h e r ea r em a n yd i f f e r e n c e si nb a n d w i d t ha n dd e l a yc h a r a c t e r i s t i cb e t w e e nd i f f e r e n t n e t w o r k s b u tn o n s c a l a b l ev i d e oc o d i n g t e c l l n o l o g yc a nn o ts o l v et h i sp r o b l e m t os o l v et h ea b o v e m e n t i o n e dp r o b l e m s ，t h i sp a p e rp r o p o s e sa m u l t i p l ed e s c r i p t i o n s c a l a b l ev i d e oc o d i n gs c h e m eb a s e do n3 dw a v e l e t i tc o n s i s t so f s e v e r a 】p a r t s ：3 d w a v e l e t t r a n s f o r m 、s c a l a b i l i t y 、m d s qo fb a s el a y e r 、e n t r o p yc o d i n ga n ds o o h c o n s e q u e n t l y ，i ti sa b l et oa d d r e s sa l lt h ep r e v i o u s l ym e n t i o n e dp r o b l e m sb yc o m b i n i n g l h ea d z r a n t a g e so f m d ca n ds c a l a b l ec o d i n g k e y w o r d ：m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) ；s c a l a b l ec o d i n g ( s c ) ； m u l t i p l ed e s c r i p t i o ns c a l a b l ec o d i n g ( m d s c ) ；w a v e l e t y 6 9 5 3 0 1 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名日期 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名日期 导师签名：2 羔h 日期 。j 第一章引言 第一章引言 1 1 问题的提出 随着数字视频通信技术的发展，压缩数字视频已越来越普遍地在有噪声信道 ( 如无线和i n t e m e t ) 中传输。其应用范围涵盖了交互式视频服务、视频会议、视 频电话、电子商务以及远程医疗等领域。视频传输的研究无论是在科学研究还是 在社会发展中都具有十分重要的意义。 为使视频信号在网络上的传输有效、可靠，我们需要解决以下问题： 1 ) 带宽问题：为了得到可接受的视频质量，需要网络有最小带宽的要求。然 而，现有的i n t e r n e t 只提供竭尽全力的服务而不提供任何带宽保护机制；无线网络 中也受带宽起伏和带宽限制的影响。 2 ) 包丢失和传输错误：在无线网络和i n t e m e t 中，大多数的错误是网络拥塞 或误传造成包丢失所导致的。 3 ) 网络异构问题：不同的网络其带宽、时延特性差异很大。非可分级的编码 方法不能解决这个问题。 针对上述几个问题，以及视频信号对实时性要求高，通常不允许出错重传的 特点，本文分别研究了小波理论、使视频流具有较好鲁棒性的多描述编码和自适 应网络带宽的可分级编码技术，提出了基于3 d 小波的多描述可分级视频编码方 案，它兼顾了多描述编码的良好的容错性和可分级编码的网络带宽自适应性优点， 使视频编码同时具有良好的鲁棒性和网络带宽的自适应性。 1 2 视频编码的发展现状 近年来，视频传输“1 的应用前景日益为人们所认识，如通过p s t n 网传输可视 电话、互联网上的多媒体电子邮件、视频点播( v o d ) 以及无线移动网上的各类 视频业务等。些国际化组织( 如国际标准化组织i s o 、国际电信联盟i t u t 等) 相继制定了多个音视频编码标准，其中由i s o 和i e c ( i n t e r n a t i o n a l e 1 e c t r o t e c h n i c a lc o r n m i s s i o n ，国际电工委员会) 的m p e g 。”组织( m o v i n gp i c t u f e e x p e r tg r o u p ) 制定的视音频编码标准以m e p g x 命名( 如m p e g 一1 、m p e g 一2 、m p e g 一4 、 m p e g 一7 等) ：而i t u 组织制定的标准以h 2 6 x “1 命名( 如h 2 6 1 、h 2 6 3 、h 2 6 3 + 、 h 2 6 3 + + 、h 2 6 4 ) 。 基于3 d 小波的多描述可分级视频编码 m p e g 一1 是一个针对数字存储媒体的，工作在1 5 m b p s 左右的运动图像和相关 音频的编码标准，它的提出没有考虑到网络传输，所以缺乏容错性和可分级性。 m p e g 一2 是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的 详细规定，其码率范围在3 m b p s l o m b p s 。m p e g 一2 标准适用于不同传输媒质的数字 电视广播系统规范。但由于m p e g 一2 的带宽要求过高，只能在a t m 、卫星和光纤等 带宽网路上进行视频广播，不适合在不稳定的i n t e r n e t 上实时传输。这些视频编 码标准，如h 2 6 1 、m p e g l 和m p e g 一2 ，都采用了传统的混合编码方法，他们是将 熵编码、预测编码和变换编码结合在一起的一种编码方法。主要是通过d c t 变换 消除图像的空间冗余度，通过帧间预测消除图像序列的时间冗余度，在传输中采 用可变长度编码技术，在解码恢复中应用运动补偿，从而达到压缩的目的。1 9 9 5 年国际电信联盟提出针对低比特视频应用的h 2 6 3 标准被公认是以像素块为基础 的d c t m c 混合编码方案所能达到的最佳结果。在1 9 9 8 年与2 0 0 0 年，i t u t 及时 总结了国际上低速率视频编码研究的最新成果，对h 2 6 3 标准做了补充和修订。 考虑到h 2 6 3 标准的成功，国际标准化组织的m p e g 专家组及时调整了自己的 工作方向。m p e o 专家组深入分析了信息领域中计算机( c o m p u t e r ) 、通信 ( c o m m u n i c a t i o n ) 、以及以电视为代表的消费电器( c o n s u m e re l e c t r o n i c s ) 即 3 c 交叉融合的发展趋势后，认为新的视频编码标准( m p e g 4 ) 应该提供用于通信 的新方式，其中心是基于内容的a v 信息存储、处理与操作、支持交互性、高压缩 比以及通用存储性等功能。m p e g 一4 标准在信息描述中将纹理、形状、运动等作为 依据，这种方法更符合人的心理特性，从而不仅提供了比以像素为基础的标准更 为优越的压缩性能，也为应用提供了各种新的基于内容交互的功能。m p e g 一7 作为 m p e g 家庭中的一个新成员，正式名称叫作“多媒体内容描述接口”，它将为各种类 型的多媒体信息规定一种标准化的描述，这种描述与多媒体信息的内容本身一起， 支持用户对其感兴趣的各种“资料”进行快速、有效的检索。 由于i n t e r n e t 和无线网络的不可靠以及视频信号对实时性有较高的要求，因 此许多提高编码可靠性和有效性的方法相继提出，如多描述编码( m u l t i p l e d e s c r i p t i o nc o d i n g ，m d c ) 、可分级编码( s c a l a b l ec o d i n g ，s c ) 以及多描述可 分级编码( m u l t i p l ed e s c r i p t i o ns c a l a b l ec o d i n g ，m d s c ) ，因此视频编码的可 靠性和有效传输正成为视频编码研究的热点。 1 3 论文的结构安排 本文各章的具体安排如下： 第二章，介绍了几种可靠传输的视频编码技术，分析了多描述编码和可分级编 码的概念和特点，而多描述可分级编码是综合这两种编码的优点的新的可靠有效 第一章引言 传输的视频编码方法。 第三章，研究了3 d 小波视频编码基本方法，通过小波理论、多分辨率分析理 论和m a l l a t 算法给出了3 d 小波算法，然后，研究了系数的量化和嫡编码等。 第四章，提出了基于3 d 小波的多描述可分级编码方案。对于三维小波变换后 的频带进行时空间混合可分级分解( 基本层、增强层1 、增强层2 ) ；分析了多描 述标量量化算法，将其应用于可分级编码的基本层，形成了完整的基于3 d 小波的 多描述可分级编码方案。进行实验仿真测试了该方案的性能。 第五章，结束语，总结全文并指出了进一步需要进行的工作。 4 基于3 d 小波的多描述可分级视频编码 第二章面向可靠传输的视频编码发展现状 在互联网和无线网络中，传输信道存在干扰，网络拥塞和延迟问题不可避免 的引起分组丢失，而且视频信号的实时要求使分组重传在许多场合下不可用，如 果没有任何保护措施，随时都有可能导致视频图像的崩溃。一个没有差错掩盖和 差错复原能力的传输编码算法在实际应用中是毫无意义的。因此，视频信号的可 靠传输技术成为研究的热点。近几年的研究表明，多描述编码、可分级编码和多 描述可分级编码技术是实现视频信号可靠有效传输的主要方法。本章详细介绍这 三种视频编码技术。 2 1 多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 较早的视频编码标准，如h 2 6 x 和m p e g - x ，虽然可以对视频进行有效地压 缩，但它们都属于单描述编码( s i n g l ed e s c r i p t i o nc o d i n g ，s d c ) ，即视频信息都是 以同一种方式进行编码和解码。在这种情况下，压缩信息对由于信道问题而导致 的传输差错和分组丢失十分敏感，产生的错误造成误码扩散，导致解码图像质量 严重下降。 多描述编码是减小传输错误的有效方法。它的思想起源于2 0 世纪7 0 年代末 的b e l l 实验室，当时，m i l l e r 和b o y l e 在解决不要备用信道的情况下，如何提 高语音可靠性的问题中第一次提出了信道分离( c h a n n e ls p l i t t i n g ) 的方法。 后来g e r s h o 、o z a r o w 和w i t s e n h a u s e n 等人总结了信道分离的思想，把它归结为 信息理论问题：一个信源如何生成两个单独的描述以及如何使单独的描述和联合 的描述同时达到最好的率失真，这也就成为了现在的多描述问题。 多描述编码系统框图如图2 1 所示。所谓多描述编码也就是用一个信源生成 两个( 或多个码流) ，分别从不同的信道传输。对信源而言，每个码流都是一个 描述。通过在两个描述间引入相关，使得即使一个信道被删除时，解码器还可以 获得丢失信号的部分信息。多描述编码具有下述特点：1 每一个描述都有自己的 一组编码、解码函数，因此可以独立编解码。2 每一个描述都包含一些别的描述 所没有的信息。例如，对于两个描述的编码，如果两个描述都接收到了，解码器 可产生高质量的重建信号；如果只接收到一个描述，接收端也还可以利用该描述 重建信号，但信号的质量比起前者有所下降。 第二章面向可靠传输舶视频编码发展现状 f 一一一一一一一一一一一1 b i c q u a l i t y v h i g h e 瞳q 乜， v i d e o t 3 l c q u a l 时 v i d l l o 研 ，cd e c o d e r 图2 1 多描述编码系统框图 目前，多描述编码的执行车凡制主要有：1 通过相关线性变换，如p c t ( p a i r w i s e c o r r e l a t i n gt r a n s f o r m ) 来实现m d c 。1 ；2 一种简单而且有效的方法是对一个视 频序列抽取出奇数帧和偶数帧来实现m d c ”1 ：3 在量化过程实现m d c ，如多描述标 量量化( m d s q ) ”1 ，多描述矢量量化( m d v q ) 0 3 以及多描述格型量化9 3 等；4 在变换 域将变换系数交替送入多路描述来实现c ，其中最重要的一些系数送入每一 路描述“：5 借助重叠块运动补偿技术“”生成一个具有很强相关性的运动矢量场， 并对运动矢量场和残差信号场同时采用多描述编码。另外，最简单直接的多描述 视频编码方案是通过空间降采样来得到多幅子图像，然后对这多路子图像进行 独立的预测编码等方法。 多描述编码有如下优点： 1 ) 对包丢失和位错误有很好的鲁棒性。由于多描述编码采用在信源与信宿之间 有多个平行信道传输信号，而且不同信道的发生的错误事件是相互独立的，所 以在所有信道上都发生包丢失和位错误的可能性就很小。 2 ) 错误恢复。有一些多描述编码的算法对于包丢失和位错误的情况下有很好的 错误恢复能力，如基于p c t 的多描述编码方法。 3 ) 图像质量增强。如果解码器接收到所有描述，那么重建的图像质量会比接收 到它们中的任何一个所重建的图像质量多要好。 4 ) 无需回馈信道。由于多描述编码不纠错，不回馈信息，也不采用重传机制。 多描述编码有如下缺点： 1 ) 较低的编码效率。为了使任何一个单独的描述都能解码出可以接受的质量。 在每一个描述中都必须包含足够的原始信号信息。这就意味着在不同的描述之 间有信息的重叠。很显然，这将降低编码效率。 基于3 d 小波的多描述可分级视频编码 2 ) 不具有网路带宽自适应性。由于不同路径的网络的特性不同，导致带宽可能 不同。而每一个描述不能根据带宽自适应传输。 2 2 可分级编码( s c a l a b l ec o d i n g ，s c ) 随着因特网业务的巨大增长，在速率起伏很大的i p ( i n t e r n e tp r o t o c 0 1 ) 网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。人 们在不同的终端设备上所得到的数据传输率会有很大的差异，传统的编码方法生 成的视频流很难适应如此复杂的网络带宽的波动。例如远程教学中，m p e g l 应用 较为普遍，但卿e g 1 只能根据预设产生固定码率的复合视频流，通常为l f l b p s 。 在网络带宽阻塞或带宽不够时，视音频流无法正常传输，严重制约了网络视频的 应用。在这种背景下，可分级视频编码的重要性日益突出。 图2 2 可分级编码系统框图 可分级编码系统框图如图2 2 所示。可分级编码方法是将视频信号编码成一 个基本层和一个( 或多个) 增强层。可分级编码的基本原理是，把视频数据区分 成不同的优先级，根据优先级可以对某些数据进行智能丢弃( 例如，在实际应用 中，即使丢失增强型的数据，接收端仍然可以保持可观看的视频质量) 。 目前，可分级编码的执行机制主要有：数据分割的可分级性、时域的、空域 的和信噪比( s n r ) 的可分级性以及目标可分级性( o b j e c ts c a l a b i l i t y ) 、精细 粒度可分级性( f i n eg r a i ns c a l a b i l i t y ) 等。 可分级编码有如下优点： 1 ) 网络带宽的适应性。可分级编码把视频数据区分成不同的优先级，根据优先 级可以对某些数据进行智能丢弃。因此，它非常适合在不可预测的波动带宽网 络上动态自适应的传输视频信息。 第二章面向可靠传输的视频编码发展现状 2 ) 对异构网络的适应。可分级编码具有可分级的结构，可使得可分级的信源编 码离开媒体服务器或代理之前有机会进行视频流的舍弃以适应异构网络带宽 变化的需要。 3 ) 不需要回馈。可分级编码由于不需要回馈，所以有较低的延迟。 4 ) 不平衡的保护机制。由于可分级编码视频数据的优先级不同，利用这个特点， 就可以采用非均等保护的方式( u e p ，u n e q u a le r r o rp r o t e c t i o n ) ，或者按优 先级进行传递等方式对视频数据进行可靠传递。因此，可分级编码可以很好地 同支持差分服务( d i f f s e r v ) 等不同q o s 方式的网络匹配。 可分级编码有如下缺点： 码流可靠性不高。由于码流分为基本层和若干个增强层，若其传输基本层的信 道失效或基本层的包丢失都会对解码视频质量造成严重的影响。因此，与多描述 编码方法相比，其码流的可靠性不高。 2 , 3 多描述可分级编码( m u l t i p l ed e s c r i p t i o nc o d i n g ， m d s c ) 因为多描述技术虽然具有很好的容错性能，但因其中没有可分级技术，没有 考虑到在网络带宽发生变化，服务质量( q o s ) 和不同种类的设备对信道的影响。 而可分级编码技术在充分考虑到上述因素的同时，因其一个发送端与一个接收端 只有个信道，不具有高的鲁棒性能。对于信道特性变化剧烈或信号传输于不同 类型连接设备之间，上述任何一个方法不能兼顾效率与鲁棒性。多描述可分级编 码技术是多描述编码技术和可分级编码技术的相互补充。 所谓多描述可分级编码，就是个可分级视频流可分解为两个( 或多个) 多 描述可分级视频流，没有码流转换，反之亦然，几个多描述可分级视频流可以表 示一个可分级视频流。对于符合此可分级格式的两个( 或多个) 描述中的一个都 能够独立的被单独解码器解码。传输可分级描述的个数和成分要根据信道的条件 如不同的路径、应用需求( 延迟，等) 。每一个描述的传输速率都具有自适应性。 它的特点是具有适应网络带宽变化、服务质量和不同种类的设备对信道的影 响，也具有良好的容错性能。综合了多描述编码和可分级编码优势的多描述可分 级编码则不但具有网络带宽的自适应性，同时具有很好的容错性能，它可以在视 频传输时在吞吐量、冗余和复杂度之间建立了权衡。 就目前的研究而言，主要有如下几种多描述可分级编码策略：即基于精细可 分级和多重状态恢复的方法；采用前向纠错的方法；以及基于运动补偿时域滤波 的多描述可分级编码方法。 基于3 d 小波的多描述可分级视频编码 1 ) 基于精细粒度可分级和多重状态恢复的多描述可分级编码( p f g sa n d m s r b a s e dm d s c 、“2 3 为适应丢包环境下的应用，m p e g 一4 提出了f g s ( f i n eg r a n u l a r i t y s c a t a b i l i t y ，精细粒度可分级) 视频编码算法以及p f g s ( p r o g r e s s i v ef i n e g r a n u l a r i t ys c a l a b i l i t y ，渐进精细粒度可分级性) 视频编码。f g s 编码实现简 单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和 可扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于 非r ，j 扩展编码及接收端视频质量非最优两个不足。p f g s 则是为改善f g s 编码效率 而提出的视频编码算法，其基本思想是在增强层图像编码时使用前一帧重建的某 个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。 基于上述精细可分级编码的多描述可分级编码方法应用渐进精细可分级编码 ( p r o g r e s s i v ef i n eg r a n u l a r i t ys c a l a b l e ) 和多重状态恢复( m u l t i p l es t a t e r e c o v e r y ) 方法，如图2 3 ，将原始的视频编码成一系列单独的视频目标，每个视 频目标又通过形状编码和渐进精细可分级编码被压缩，形状和纹理信息被分配到 四个不同的视频目标平面中。通过多路复用器，这四个不同的视频目标平面会聚 成一个具有四层的视频流。又通过把视频流中提取奇数帧和偶数帧，奇数帧为一 个描述，偶数帧为另一个描述。解码过程是编码的逆过程。此编码策略中应用许 多形状编码和纹理编码都是基于d c t 编码。 图2 3 基于渐进精细可分级和多重状态恢复的多描述可分级编码框图 2 ) 基于前向纠错的多描述可分级编码( f o r w a r de r r o rc o r r e c t i o nb a s e dm d s c ) 第二章面向可靠传输的视频编码发展现状 l 2n 一 l23j l 图2 、4 信源编码器将累进的码流划分到n 层 在该方法中( 如图2 4 ) ，由信源编码器产生累进的码流，并将其划分到i 1 层 中或者不同的质量层中。形成可分级的码流，可分级编码码流的不同层被分到几 个多描述中，根据层的重要程度加入不同的前向纠错( f e c ) 来改善特定层的恢复 质量。 i i 口二王工互口 。l n b l 性l * i ：1 _ 1 i * l 一 ：j 一j l 哗l ，c l 肝 - 1m i 一 冈 l _ - - - _ _ - _ _ _ l i 产生f e c 的多描述使接收到任何描述都可恢复；i 【，使用f e c 对可分级码流保护 i 保护级别；i v 质量级别 图2 5 基丁前向纠错的多描述可分级编码框图 如图2 5 所示，i 是利用累进的码流，产生前向纠错的n 个多描述，并且使 接收到的任何多描述都是可恢复的；i i 是使用f e c 对可分级码流进行保护；1 1 1 是 f e c 对码流的保护级别，自上而下保护级别由高到底；i 、是累进码流的质量级别， 自上而下质量级别由高到底。 3 ) 基于运动补偿时间域滤波的多描述可分级编码( m o t i o nc o m p e n s a t e d t e m p o r a lf i l t e r i n gb a s e dm d s c ，m c t f - b a s e dm d s c ) r n l r o r ，j 2 一 r 。ir ；jr o l i v 量，毒小l卜rv弋抄呵 基于3 d 小波的多描述可分级视频编码 运动补偿时闯域滤波( m c t f ) 可去除视频序列的时间冗余，它不是应用时间 域递归的结构，而是用金字塔分解方法去除长时间和短时间的时域相关性，例如 图2 ，6 ，帧在运动的方向进行时间滤波，优先进行空间变换和编码，通过滤波产生 低频( 1 0 wf r e q u e n c y ，l ) 和高频( h i g hf r e q u e n c y ，h ) 的帧，在运动方向滤波 时应用如下公式“。： h ( y ，x ) = c 2 ( b ( _ y ，x ) 一a ( y 十v y ，x + v ，) )r 9 1 、 l ( y ，石) = c 3 ( 2 c 2 a ( y ，x ) 十h ( y v y ，x v 。) ) ( 2 2 ) 其中( v y ，v x ) 是运动矢量，c - ，c ：是标准正交滤波过程的常量。如图4 ，第二步 低频的又被分解为l l 和l h 的帧。 图2 6m c t f 举例 t r q 1 ：h nhf r ； s ” 2 ：o d dhf r e t s 蒯黝彩 蒯蒯膨 图2 7 将可分级m c t f 应用于m d m c t f m n。 。一 m l h 2 m u e l枣黔= 拦嗽 第二章面向可靠传输的视频编码发展现状 由图2 7 ，一个可分级码流可以分为两个描述：一个含有奇数高频帧，另一 个含有偶数高频帧。当码流全部接收到，可以通过逆m c t f ，可以得到l l 帧，两个 l h 帧和六个h 帧。然而，当一些帧丢失时，我们可以用l 帧和运动矢量信息近似 的得到他们。所以，在级别一情况下当对于码流1 ( s t r e a m1a tl e v e l1 ) ，可以 通过l l 帧和运动信息近似的得到l 2 帧。同样，对于码流2 ( s t r e a m2a tl e v e l l ) 可以近似的得到l 3 帧，用这些近似的得到的帧可以恢复其他的帧。 在将原始流分为两个码流是时，还加入了一些复制和冗余信息，包括运动矢 量和l l 帧。随着冗余的增加，视频解码质量也随之增加，同时也与可分级描述的 码率适应网络变化有关。此编码策略中应用基于d w t 编码。 2 4 本章小结 本章分析了多描述编码和可分级编码的原理、执行机制、优点和不足，从而 得出多描述编码可以提高视频传输的容错性但不具有网络自适应性；可分级编码 能够根据网络带宽和接收设备的特性而自适应进行调整和传输但不具有容错性 能。综合了多描述编码和可分级编码优势的多描述可分级编码则不但具有网络带 宽的自适应性，同时具有很好的容错性能。最后，介绍几种多描述可分级编码的 实现策略。 基于3 d 小波的多描述可分级视频编码 第三章基于3 d 小波的视频编码 自从小波的概念被提出以来，小波理论的研究和发展得到了迅速的发展。小 波变换适合处理非平稳信号，解决了傅里叶变换不能解决的许多困难问题。它的 应用范围涉及许多学科领域，包括图像处理、模式识别、计算机视觉、地震勘测 数据处理、边缘检测、音乐与语音人工合成、机械故障诊断等许多方面。 小波也被应用于视频编码，视频序列其实是一个三维信号，分别为图像的二维 信号和时阳j 轴的一维信号组成，若分别对视频信号进行水平、竖直和时间轴方向 做小波变换，则便是对视频信号进行了3 d 小波变换。基于3 d 小波的视频编码的 编解码系统( 如图3 1 所示) 是将视频序列分成图像组，其过程是视频序列的每8 帧为一个图像组( g o p ) 进行三维小波变换，然后根据其系数分布进行量化和熵编 码，得到压缩后的视频数据输出，其中运动补偿模块和运动估计模块是可以选择 的。其解码过程是编码的逆过程。 哑箩 年粤恒心 r _ 7 f 群1 压缩后的 视频数据 黜 图3 13 1 ) 小波视频编码系统框图 本章主要介绍了小波理论及3 d 小波算法，对于变换域采用了均匀量化方法， 最后介绍了量化后的熵编码。 3 1 小波理论及3 1 2 小波算法 小波分析【1 是在傅立叶分析的基础上发展起来的，它优于傅立叶分析的地方是 它在空域和时域都是局部变化的，其局部化格式随频率自动变换，在高频处取窄 的时( 空) 间窗，可以精确的定出突变信号的位置；在低频处取宽的时( 空) 问 窗，适应分析缓变信号的需要，这种特点使得它特别适合对信号奇异点的分析， 被誉为数学显微镜。 第三章基于3 d 小波的视频编码 3 1 1 傅立叶分析 令l 2 ( o ，2 万) 表示定义在区间( o ，2 z ) 上所有可测且具有 肌x ) 降 0 ，则可得离散小波： 缈。( x ) = 口妒( 口：i x - - k b 。) ( 3 1 0 ) 离散小波定义为： d w t ( ，) = j 厂( x ) 妒( x ) 出2 ( 厂( x ) ，缈”( x ) ) ( 3 1 1 ) 与傅立叶变换相比，小波变换在高频处敞口高而窄，可以精确的定出突变信 号的位置，在低频处窗口矮而宽，适应分析缓慢变化信号的需要。 3 1 3 多分辨率分析 由海森堡的测不准原理可知，时间与频率的分辨率是由于物理现象而普遍存在 的，所以这种分辨率的问题不会因为使用何种变换而消散。但是利用多分辨率分 析( m u l t i r e s 0 1 u t i o na n a l y s i s ，m r a ) 可以将信号在不同的分辨率上进行处理， 并且，每一段频谱分量与短时傅立叶变换中的频谱相同。 第三章基于3 d 小波的视频编码 s m a l l a t 在1 9 8 6 年将计算机视觉领域内的多分辨率分析思想巧妙的引入到小 波分析中，统一了各种小波基的构造方法，给出了一种子带滤波器结构的离散小 波变换( d w t ) 与重构算法。 任何半正交或正交小波都可以产生2 ( 豫) 的一种直接和分解。对于每个 z ，考虑p ( 豫) 的闭子空间 y ，= a 十j _ 2 + h ， ，z ( 3 1 2 ) 这些子空间明显具有f 述性质： ( 1 ) 单调性cv i v o v l 匕 ( 2 ) 逼近性c l o s ，( u 矿，) = 上2 他) ( 3 ) 收敛性厂、v ，= 爷 ( 4 ) 分解性矿川= v ，+ ，z ( 5 ) 伸缩规则性厂v ，f ( 2 x ) v 。，z 因此，与满足，n 。= o ，i ，的子空间大不相同。单调性表明子空间 v 的序列是嵌套的：逼近性表明工2 衄) 中的每个函数厂能够用它在v ，中的投 影p ，非常接近希望的逼近；收敛性保证通过减小歹，投影p ，f 能够具有任意 小的能量。前三个性质蕴含了空间最重要的性质：当，寸o o 时，p ，厂更大的变 化被去除。分解性表明这些变化是逐层剥离，即按变化速率减小顺序剥离，并且 存放在补予空问缈，中。利用伸缩规则性性质可以有效地实现这个过程。 一个函数妒上2 ( 他) ，如果它生成 v o2 c l o s ，：( m ) j 。) 步后，则有 f ( x , y , z ) = 彳，。m + ，摹。善膨何，幻 并且有c 。= ，h ，：c ， d ”。= c ，2 j t ，山m ，了： q “为上面日，、，、h ：、g ，、g ，、g ：的组合。 如图3 2 所示，为三维小波的变换过程。 基于3 d 小波的多描述可分级视频编码 笙严雌辎一篆 b 畔划一舞 l h lh h l l l l h l l 图3 3 第1 、2 、3 、4 帧的小波频带系数分布 l h hh h h l l hh l h 图3 4 第5 、6 、7 、8 帧的小波频带系数分布 第三章基于3 d 小波的视频编码 3 2 3 d 小波系数的量化 小波变换后的系数通常含有小数部分的浮点数，不能直接编码成比特流的形 式，必须先把这些系数进行量化。通常的量化方案有标量量化和矢量量化。矢量 量化的效率较高，但是计算复杂。标量量化又包括均匀量化和非均匀量化，这里 我们介绍比较简单的均匀量化。 标量量化器q 是一个函数，用有限个判决层d 。和重构层r ，定义而成 q ( s ) = ，| ，s ( d h ，d ，】，i 2 1 ，l ( 3 4 1 ) 其中l 是输出状态数。也就是说，当采样值s 在范围( d 。，万，j 内时，量化器输 出就是量化后的数据。 均匀量化器是所有重构层都是等间距的，也就是 ，。+ l r ，= 9 ， 1 i l i( 3 4 2 ) 其中。是一常量，称为量化阶距。 若p ( s ) 在区间 a ，b 上均匀分布时，则 口：堡垒，( 3 4 3 ) 上 d = a + f 臼，o i l ( 3 4 4 ) r 。= d h + 等，l i l ( 3 4 5 ) 通过调整不同的e 值，可实现不同的量化效果。 3 3 变换域系数的扫描顺序 为了提高压缩比，选择合适的扫描顺序非常重要，可使行程编码得到更长的行 程。因为三维小波变换后，其能量集中于l l l 频段，包含了图像的绝大部分信息， 为大系数，而其他的高频子带包含了轮廓等纹理信息，含有较多的零细数。所以， 先从高频子带h h h 扫描，自5 7 9 h h l 、h l h 、l h h 、h l l 、l h l 、l l h ，最后为l l l 频带。 3 4 熵编码 先进行行程编码( r l c ) ，行程编码( r l c ) 是根据字符( 或信号采样值) 在原 始数据中各字符重复出现的次数构成游程长度，简化了该字符的重复编码，达到 压缩的效果。如果给出了成串的字符、字符串的长度及位霞，就能恢复出原始的 数据信息。再进仃z - h u f f m a n 编码。 基于3 d 小波的多描述可分缓视频编码 3 5 实验结果 我们对f o r e m a n 序列( 亮度信号) 进行了实验，0 值分别为2 、5 、l o 、2 0 。 压缩比和? s n r 值如表所示： 表3 1f o r e m a n ( 1 7 6 x 1 4 4 ) 序列前9 8 帧实验结果 t 。值 251 02 0 l压缩比： 2 3 6 92 5 1 63 0 5 44 3 2 0 p s r n ( d b ) ：3 4 2 63 2 5 0 2 9 4 12 6 3 l 通过实验可以看出，3 d 小波视频编码解码的图像质量与。值有关，随着0 值 的增大，即量化阶矩的增大，图像的质量p s n r 下降；而其压缩比随着e 值的增大 而增大。 3 6 本章小结 本章研究了基于3 d 小波的视频编码的基本方法，首先通过傅立叶分析到小波 分析，以及多分辨率分析理论和m a l l a t 算法，给出了小波的三维变换算法，然后， 研究了小波系数的量化和熵编码，它是进一步研究多描述可分级编码的基础。 第四章基于3 d 小渡的多描述可分级编码 第四章基于3 d 小波的多描述可分级编码 小波变换是一种全局变换，避免了d c t 编码中分块处理的不足，消除了d c t 解码图像的块效应，而且较好地反映了人眼的视觉特性。视频序列的三维小波变 换是将小波变换作用于视频序列的水平方向、竖直方向和时间轴方向。利用二维 小波变换刻画帧内信息的特点，用一维小波变换刻画帧间信息的特点，而不借助 运动补偿。利用m r a 有利于可分级编码的实现。 由于视频信号为三维信号，按三维空间的正交小波基展开，提供了对变换系 数的统一描述，量化矩阵的设计和编码结构的选取都变得十分简单。这样可对小 波变换的低频带系数采用多描述标量量化的方法实现可分级编码基本层的多描述 编码。从而实现基于3 d 小波的多描述可分级编码。 下面，将分别介绍基于3 d 小波的多描述可分级编码的系统基本框架，可分级 性的实现方法，多描述标量量化( m d s q ) 的多描述方法。 4 1 编码系统的基本框架 如图4 1 所示，其编码过程如下，把每连续的8 帧图像作为一个图像组( g o p ) ， 进行三维的小波变换，把定义好的基本层用多描述标量量化( m d s q ) 的方法生成 基本层的描述l 和基本层的描述2 ，增强层采用标量量化的方法进行量化。将基本 层描述l 与增强层和基本层描述2 与增强层分别进行熵编码，从而形成了可分级 视频序列的描述1 和可分级视频的描述2 ，这样就完成了系统的编码过程，解码是 编码过程的逆过程。 网j 躲豳j 一掣葺军营 i r l c +i i h u f f h a nl 幽4 1 基于3 d 小波的多描述可分级编码系统框图 基于3 d 小波的多描述可分级视频编码 我们将原始的视频序列以每n 帧划分为个图像组( g o p ) ，n = 2 “，n = o ，1 ，2 ，。 我们取n = 8 ，则可进行l o 踢= l o 岛8 = 3 层的时间维的小波分解。对每一级，先进小 波变换，得到高、低两个频带。然后，对变换后的各子带的每进行水平、竖直 方向的二维小波变换。这样，经3 层分解后，共得到h 、l h 、l l h 和l l l4 个时 间频带，以及2 2 个时间一空间三维子带，编号如图4 2 4 5 所示。采用h a a r 小 波变换作为小波函数。小波变换包括滤波和抽样两个过程，所以每进行一级变换 时，沿时间轴图象帧数减半，在二维空间上每帧图象尺寸减为四分之。 个图像组( n = 8 ) 的三维小波变换后，每帧图像的小波变换域系数分布特点 如下： l h l l h h l l l h l 2h h l 2 h l l l 2 i 3 h l l 2 0 1 1 图4 2 第】帧，其中：0 代表l l ，l 3 。1 代表h l l 3 ，2 代表l h l ，3 代表h h l 3