（模式识别与智能系统专业论文）internet及无线网络视频传输技术研究.pdf

i n t e m e t 及无线网络视频传输技术研究西北工业大学钡十学位论文 摘要 近些年来，多媒体技术、网络技术和无线通信技术的迅速发展为相互之间的 交叉融合奠定了基础也使得其成为信息产业发展的必然趋势。传统的i n t e m e t 主要提供数据业务，无线通信主要提供语音业务，而多媒体技术的日新月异，使 得文本、语音、图形、图像和视频综合进入i n t e m e t 和无线通信领域的需求日益 增长。其中，视频应用以其高数据量，实时性强等特点，给学术界和工业界提出 了巨大的挑战，也成为研究的热点和难点。 本文研究并总结了在i n t e r n e t 1 无线信道上传输图像和视频的各种主流技术， 具体的研究内容如下： 1 ，从图像和视频的压缩编码方面介绍了传统的编码技术和可伸缩性的编码 技术。霞点分析了离散余弦变换、小波变换、匹配追习算法、精细可伸缩 性算法和渐进精细可伸缩性算法等具有代表性的算法。 2 从网络的传输控制方面介绍了差错控制和捌塞控制。重点分析了前向纠 错、重传、容错性编码、差错掩盖、速率控制和速率成型等技术。 3 从与视频传输相关的网络协议方面介绍了包括网络层协议i p ，传输层协 议u d p 、t c p 、r t p 和r t c p ，仟务控制协议r t s p 、r s v p 和s i p ，以及 在i n t e r n o t 上传输m p e g 一4 视频流的端到端结构中的协议栈。 4 提出并实验了基于图像的全局d c t 变换的位平面编码，给出了具体的实 验结果，并作了相应的分析。介绍了网络仿真环境n e t w o r ks i m u l a l o r 2 ， 并用它实现了基本的网络仿真实验。 关键词： 视频传输、图像编码、压缩、差错控制、拥塞控制、速率控制， 网络协议、i n t c m e t 、无线信道、无线网络 i n t e r a c t 及无线网络视频传输技术研究 西北工业丈举顿士学位论文 a b s t r a c t t h er a p i dd e v e l o p m e n ta n dc o n v e r g e n c eo fm u l t i m e d i at e c h n o l o g i e s ，n e t w o r k t e c h n o l o g i e sa n dw i r e l e s sc o m m u n i c a t i o nt e c h n o l o g i e si s8 ni m p o 哟n tt r e a di nt h e i n f o r m a t i o nt e c h n o l o g i e si n d u s t r yi nt h er e c e n ty e a r s 1 h et r a d i t i o n a li n t e m e tm a i n l y p r o v i d e s d a t as e r v i c e sa n dt h ew i r e l e s sc o m m u n i c a t i o nm a i n l yp r o v i d e s s p e e c h s e r v i c e s t h er a p i du p d a mo fm u l t i m e d i at e c h n o l o g i e se n a b l e st h en e e d st h a tt h e s e r v i c e so ft e x t ，s p e e c h , g r a p h i c s ，i m a g ea n dv i d e oa r ei n t e g r a t e di n t ot h ef i e l d so f i n t e r a c ta n dw i r e l e s sc o m m u n i c a t i o nt oi n c r e a s e v i d e o a p p l i c a t i o n s h a v et h e c h a r a c t e r ss u c ha st h eh u g ed a t aa m o u n ta n dt h er e a lt i m ee t c t h e ya r ec h a l l e n g i n g a n db e c o m et h er e s e a r c hf o c u sf o rt h ea c a d e m ea n dt h ei n d u s t r y t 鞋sp a p e rs t m m a a r i z e st h em a i nt e c h n o l o g i e so ni m a g ea n dv i d e ot r a n s m i s s i o n o v e ri n t e r a c ta n dw i r e l e s sc h a n n e l s t h e ya r e ： 1 t h et r a d i t i o n a lc o d i n gt e c h n o l o g i e sa n dt h es c a l a b l ec o d i n gt e c h n o l o g i e sa r e i n t r o d u c e di nt h ev i e wo fi m a g ea n dv i d e oc o m p r e s s i o n d i s c r e t ec o s i n e t r a n s f o r m , w a v e l e tt r a n a l b r m ，m a t c h i n gp u r s u i t s 。f i n eg r a n u l a r i t y s c a l a b i l i t y a n dp r o g r e s s i v ef i n eg r a n u l a r i t y s c a l a b i t i t y a r e p a r t i c u l a r l y a n a l y z e d 。 2 e r r o rc o n t r o la n dc o n g e s t i o nc o n t r o la r ei n t r o d u c e di nt h ev i e wo fn e t w o r k t r a n s m i s s i o nc o n t r 0 1 f e c ，r e t r a n s m i s s i o n ，e r r o r - r e s i l i e n te n c o d i n g ，e r r o r c o n c e a l m e n t ，r a t ec o n t r o la n d r a t es h a p i n ga r ep a r t i c u l a r l ya n a l y z e d 3 。t h e p r o t o c o l sr e l a t e dt ov i d e ot r a n s p o r ti n c l u d i n gn e t w o r k - l a y e rp r o t o c o ls u c h a si v , t r a n s p o r tp r o t o c o l ss u c ha su d p , t c p , r t pa n dr t c p , s e s s i o nc o n t r o l p r o t o c o bs u c ha sr t s p r s v p a n ds i pa r ei n t r o d u c e d t h ep r o t o c o ls t a c ki n t h ef r a m e w o r ko fe n d t o - e n dt r a n s p o r ta r c h i t e c t u r ef o rs t r e a m i n gm p e g - 4 v i d e oo v e rt h ei n t e r a c ti sa l s oi n t r o d u c e d 奄t h e b i t - p l a n ec o d i n gb a s e do v e r a ud c t i sp r e s e n t e da n ds o m ee x p e r i m e n t s a r ed o n e t h ee x p e r i m e n t a lr e s u l t sa r eg i v e na n da n a l y z e d t h en e t w o r k s i m u l a t i o ne n v i r o n m e n t , n e t w o r ks i m u l a t o r 名i si n t r n d u c e da n das i m p l e n e t w o r ks i m u l a t i o ne x p e r i m e n ti sd o n eb yi t 1 i n t e r a c t 及茏线网络视频传输技术研究珏j b 工业大举硕士学位论文 k e y w o r d s ：v i d e o t r a n s m i s s i o n ，i m a g ec o d i n g ，c o m p r e s s i o n ， e r r o rc o n t r o l ， c o n g e s t i o nc o n t r o l ，r a t ec o n t r o l ， n e t w o r k p r o t o c o l ，i n t e m e t ， w i r e l e s sc h a n n e l ，w i r e l e s sn e t w o r k h l i n t e r n e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 第1 章绪论 1 1 论文的研究背景 数字视频和图像压缩编码技术的研究，已历经半个世纪，在理论和工程上都 取得了很多成果。进入2 0 世纪9 0 年代，在t s f ) 和i t i 等国际组织的协调下，对 视频和图像编码的成果进行了收集、整理、综合和加工，制定了几个通用的压缩 编码标准，包括适用于二值图像的j b i g 、用于连续灰度和彩色静止图像的j p e g 、 用于6 4 k 视频传输的h 2 6 1 、面向1 蹦数字视频和音频传输及存储的m p e g l 、 面向高品质数字视频和音频传输及存储的m p e c , 2 ，以及适于低码率视频编码的 h 2 6 3 。这些标准的算法主要由四类技术混合构成，即运动补偿、正交变换、量 化和熵编码，代表了2 0 世纪9 0 年代中前期视频和图像编码的研究水平。 2 0 世纪9 0 年代中后期，t n t e l - i 3 e t 迅猛发展，无线通信也迅速在全球普及， 因此人们开始有了在网络上传输视频和图像的愿望，多媒体内容在i n t e r n e t 上 的传输量日益增长。例如，大量包含多媒体内容的流行网站都增加了关于流媒体 的具体应用。流音频视频内容迅速增加的同时。流媒体内容特别是视频的质量仍 需提高。于是视频和图像编码的目标也就从传统的面向存储变为现在的面向传 输。这就为视频编码和网络领域带来了许多技术问题。 1 ) 视频的实时性要求：相对于通常没有严格时间限制的数据传输，实时视 频要求有限的端到端延时( 例如1 秒) 。因为实时视频必须被连续播放 所以每个视频包必须及时到达目的地来被解码和显示。如果视频包不能 按时到达，播放过程将停止，这对人眼非常敏感。另一方面，一个长延 时的包即使正确地到达了目的地，因为错过了它的播出时间，也将被视 为没有用而被丢弃掉。虽然实时视频要求严格的时间投递，当前的 i n t e r n o t 却不提供这样的延时保证，特别是当i n t e r n e t 上的拥塞导致格 外长的延时时。 2 ) 网络较高的差错率：任何通信系统的一个潜在问题是由于信道噪声，信 息可能在传输过程中被改变或丢失。对于压缩视频的传输，信息丢失的 结果可能导致解码器端明显的视觉失真。因此，视频应用典型地要求较 小的丢包率( 例如l ) 。虽然实时视频有丢包率要求，当前的t n e e f n e t i n t e r n e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 也不提供任何关于丢失的保证，特别是当i n t e r n e t 上发生拥塞时，丢包 率会非常高，这造成视频质量的严重损失。而相比于有线的连接，无线 信道具有多得多的噪声，并伴有小范围( 多路) 和大范围( 遮挡) 的衰 减，这使得位差错率( b e r ) 非常高。位差错将严重损坏视频表现质量。 因此，无线信道上视频传输的鲁棒性是关键。 3 ) 带宽的波动性：i n t e m e t 上传输实时视频最大的挑战在于用户可以获得的 带宽在不停地变化。为了达到可接受的表现质量，典型的实时视频传输 有最小的带宽要求( 例如2 8 k b s ) 。但由于现在的网络没有提供资源预留 类的协议保障，并且由于传统的路由器不参加拥塞控制，当网络拥塞 发生时，多媒体数据流的有效传输带宽会突然降低，这直接影响用户接 收多媒体信息的质量和速度，甚至造成无法观看。 4 ) 网络的异构性：即各子网的网络资源，包括处理能力、带宽、存储和拥 塞控制策略等分布得很不平均，用户通过不同的通信子网传输数据会体 验到非常不同的实际传输吞吐量、数据丢失率和传输延时。特别在组播 任务中，接受端在延时、视觉质量、处理能力、功耗限制( 无线对有线) 和带宽限制等方面具有不同的要求和性能。这种接受端要求和特性的异 构性使得设计一个有效的组播机制相当困难。 解决这些问题的一个通用途径是在压缩方面采取可伸缩性( s c a l a b l e ) 编码。 从视频编码的观点看，在难以预测的最大努力投递的网络上投递尽可能好的视频 质量中，可伸缩性编码扮演了一个关键角色。带宽的变化是最大努力投递网络的 主要特点之一。视频的可伸缩性编码可以使具体应用调整视频流的质量使之适应 变化的网络条件。从网络的观点看，可伸缩性编码是大量用户在任何时间，任何 地点观看任何希望的视频流所必须的。这意味着服务器和下层传输协议应能够同 时处理巨大数量的视频流的投递。 因此，任何可伸缩性i n t e r n e t 视频编码方案必须是一个简单灵活的流框架 并满足以下要求： 1 ) 方案必须能使流服务器在同时执行大量的单播任务时执行最小的实时处 理和速率控制。 2 ) 由于接受端不同的接入技术和网络条件的动态变化，可伸缩性i n t e r n e t 网视频编码方案必须高度适应难以预测的带宽变化。 3 ) 视频编码方案必须满足低复杂度解码和低存储器要求以使普通的接受端 能够解码任何希望的i n t e r n e t 视频内容。 4 ) 流框架和相关可伸缩性视频编码方案应该能支持组播和单播应用。这将 i n t e m e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 不再需要将内容编码成不同的格式以服务于不同类型的应用。 5 ) 可伸缩性编码的位流必须能容忍在i n t e r n e t 上经常发生的丢包。 可伸缩性编码就是将多媒体数据压缩编码成多个流，其中一个可以独立解 码，它称为基本层码流；其它的码流称为增强层，它们不可以单独解码，只能与 基本层和它以前的增强层联合在一起解码，用来提高观看效果。可伸缩性编码主 要分为时域可伸缩性编码、空域可伸缩性编码和质量可伸缩性编码。在这些策略 中，编好的码流可以按层为单位进行截断，具有一定的网络带宽适应能力。 新代的视听对象编码的国际标准m p e g 一4 中的精细可伸缩性( f i n e g r a n u l a rs c a l a b l e ) 视频编码更提供了完全可伸缩的增强层码流，它可以在任 何地点截断，具有极强的网络带宽适应能力。后来又提出了渐进的精细可伸缩性 ( p r o g r e s s i v ef i n eg r a n u l a rs c a l a b l e ) 的编码方案，它保留了f g s 的所有优 良性能，并且把编码效率提高了将近1 d r 。 最新的静止图像编码国际标准j p e g 2 0 0 0 ，它利用小波变换、位平面编码和基 于上下文的算术编码等一系列新技术，将图像编码的效率提高了一大步( 同等质 量下，j p e g 2 0 0 0 的码流尺寸只有j p e g 的一半) ，并且提供了可伸缩性的码流。 在当前的网络时代，视频和图像编码的目标从产生适合存储的固定尺寸的码 流发展到产生适合一定的传输码率范围的可伸缩性码流，因此今后的多媒体数据 编码必然要支持可伸缩性。当然，可伸缩性编码现在还是一个很不成熟的领域， 与不具有可伸缩性的单层编码相比，它的编码效率还是比较低的( 例如f g s 的编 码效率比 4 p e g 一4 非可伸缩性编码低2 3 d b ) 。如何将可伸缩性编码的效率尽可 能地逼近非可伸缩性编码，是一个值得继续研究的问题。 除了压缩方面，许多学者从传输的方面研究上面这些问题，其中有两类方法 被提出。第一种方法是以网络为中心的，即由网络中的路由器交换机来提供视 频应用的带宽、延时和丢报率保证。第二种方法是仅仅基于端系统的，没有对网 络提出任何要求。特别地，端系统使用控制技术在传输网络不提供任何o o s ( q u a l i t yo fs e r v i c e ) 支持的条件下最大化视频质量。基于端系统的方法特别 重要因为它不要求网络的参与，故可用于当前和未来的i n t e r n e t 基于端系统的 方法可以具体分为两类：拥塞控制和差错控制。 突发性的丢失和格外长的延时对视频的表现质量具有灾难性的影响，它们经 常由于网络拥塞造成。因此，为了减少丢包和延时，拥塞控制是必须的。一种拥 塞控制方法是速率控制。速率控制是通过匹配视频流的速率到可利用的网络带宽 来最小化网络拥塞和丢包数。否则，超过可利用的带宽的数据流将在网络中被丢 弃。为了迫使源端以速率控制算法给出的速率来发送视频流，要求速率自适应视 i n t e m e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 频编码或速率成型。注意到速率控制是传输方面，速率自适应视频编码是压缩方 面，速率成型既是传输方面又是压缩方面。 拥塞控制的目的是阻止丢包。但是，在i n t e r n e t 和无线信道中，丢包是不 可避免的，可能对感觉质量有明显的影响。网络上的传输差错大体可分为两类： 随机位差错和擦除性差错。随机位差错由物理信道的固有缺点引起，造成位反转， 位插入和位丢失。根据编码方法和影响的信息内容，随机位差错的影响范围从可 忽略不及到显著。当使用固定长度的编码时，一个随机位差错仅影响一个码字， 其造成的破坏往往是可接受的。但如果使用了变长编码( 例如哈夫曼编码) ，随 机位差错能破坏编码信息的同步信息，导致接下来的许多位不能解码，直至下一 个同步码字出现。某些情况下，即使获得了同步信息，由于无法决定解码信息对 应的空间和时间位置，这些信息仍然无用。另一方面，擦除性差错可能由分组交 换网络的丢包、存储媒体的物理缺陷或短时期的系统失败造成。既然一个简单的 位差错可能导致接下来的许多位不能被解码而无法利用，变长编码中的随机位差 错也能造成有效的擦除性差错。擦除性差错的影响比随机位差错大得多，因为一 段连续的位被丢失或破坏。 因此，必须施加某些措施在网络传输出差错的情况下最大化视频表现质量。 这些措施包括差错控制机制，具体可分为4 类：前向纠错、重传、容错性编码和 差错掩盖。前向纠错的原理是在压缩的视频位流中添加一些额外冗余信息使得在 丢包的情况下原始信息可以被重建。有三类前向纠错：信道编码、基于信源编码 的前向纠错和联合信源信道编码。前向纠错的使用主要由于其较小的传输延时。 但当突发性丢包发生并且这些丢失超过了编码的恢复能力时前向纠错无效。传统 的重传方法例如自动重复请求( a u t o m a t i cr e p e a tr e q u e s t ) 通常不作为传输实时 视频的方法因为其难以满足延时要求。但是，如果单向传输时间小于允许的最大 延时，约束延时的重传也是差错控制中一种可行的选择。容错性编码从压缩的方 面解决丢包的恢复问题。不像传统的直接纠正位差错或包丢失的前向纠错，容错 性方法考虑压缩层的语义含义并试图在压缩层限制由于丢包所造成的破坏。作为 结果，容错性方法能以逐渐衰退的质量来重建视频图像。差错掩盖技术是解码器 使用的种后处理技术。当发生不可纠正的差错时，解码器使用差错掩盖来隐藏 差错使得个更好的视觉图像呈现在观众前。注意到信道编码和重传从传输方面 恢复丢包；基于信源编码的前向纠错、容错性编码和差错掩盖从压缩方面对付丢 包；联合信源信道编码既是传输方面又是压缩方面。 为了客户机和流服务器间的通信，一些协议被设计和标准化。流媒体的协议 提供了诸如网络寻址、传输和任务控制等服务。根据它们的功能分为3 类：网络 i n t e r n e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 层协议例如t p ，传输层协议例如u d p 和任务控制协议例如r t s p 等等。它们也是 视频传输技术的一个重要部分。 1 2 论文的章节安排 本论文各章的内容安排如下： 第1 章绪论 介绍本论文的研究背景，研究意义和研究现状，以及论文的章节安排。 第2 章压缩编码技术 总结了图像和视频的压缩编码技术，包括传统的编码技术和可伸缩性的编码 技术。重点介绍了离散余弦变换、小波变换、匹配追寻算法、精细可伸缩算 法和渐进精细可伸缩性算法等具有代表性的算法。 第3 章传输控制技术 总结了网络上的传输控制技术，包括差错控制和拥塞控制。差错控制包括前 向纠错、重传、容错性编码和差错掩盖。拥塞控制包括速率控制和速率成型。 第4 章相关网络协议 总结了与视频传输相关的网络协议，包括网络层协议i p ，传输层协议u d p 、 t c p 、r t p 和r t c p ，任务控制协议r t s p 、r s v p 和s i p 。介绍了在i n t e r n e t 上 传输m p e g 一4 视频流的端到端结构中的协议栈。 第5 章实验及仿真 提出并实验了基于图像的全局d c t 变换的位平面编码，给出了具体的实验结 果并作了分析。介绍了网络仿真环境n e t w o r k s i m u l a t o r2 并用它实现了基本 的网络仿真实验。 第6 章总结与展望 对本论文所涉及的有关内容进行总结与展望。 i n t e m e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 第2 章压缩编码技术 图像和视频的压缩编码技术是利用图像和视频中大量的冗余信息，用尽可能 少的信息表示原始信息，以达到减少数据量的目的，这对于图像和视频等具有巨 大数据量的媒体信息来说，具有重大的理论和实际意义。它可以分为传统的编码 和可伸缩性( s c a l a b l e ) 的编码两大类。 传统的编码技术主要是针对事先固定的位率来设计具体的压缩算法以达到 尽可能好的视频质量。传统的编码可分为两大类，无损编码和有损编码。无损编 码是指编码压缩后的信息能够完全恢复原始信息的编码技术，包括预测编码、行 程编码、可变长编码等等，具体算法包括脉冲编码调制( p c m ) 、差分脉冲编码 调制( d p c m ) 、哈夫曼编码、算术编码、l z w 编码等，多应用于对信息的保真 度要求较高而对压缩率要求不高的情况。有损编码则可能在编码过程中带来原始 信息的损失，而且这些损失往往不能恢复。有损编码主要由变换编码组成，例如 k l 变换、离散余弦变换、小波变换、子带编码、分行编码等等，它可以带来较 高的压缩比。变换编码往往将图像空间域的信息变换到频域，使之具有更好的能 量集中特性，通过舍弃量化后不重要的系数以换取较大的压缩效率。 随着i n t e m e t 和无线网络的发展，网络的条件比如带宽是不可预知并时刻变 化的。传统的编码技术难以在这些环境中满足最优的要求，于是可伸缩的编码技 术就产生了并成为学术界研究的热点。 下面就分别介绍这两类编码技术，其具体安排如下：2 1 、2 2 、2 3 节介绍传 统的编码技术，重点介绍三种算法：离散余弦变换、小波变换和匹配追寻 ( m a t c h i n gp u r s u i t ) 算法。2 4 、2 5 、2 6 节介绍可伸缩的编码技术，重点介绍精 细可伸缩( f i n eg r a n u l a r i t ys c a l a b i l i t y ) 算法和渐进精细可伸缩性算法。 2 1 离散余弦变换 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ) 是国际标准化组织( i s o ) 制定的 图像和视频的压缩标准j p e g m p e g - l ，m p e g - 2 ，m p e g - 4 和国际电信联盟( t u ) 制定的视频压缩标准h 2 6 1 ，h 2 6 3 ，h 2 6 3 + 所采用的核心算法。它对原始图像中 基本的8 8 的块的像素进行2 维的d c t 变换，消除其中的相关性，把能量集中 在尽可能少的系数上，并且8 8 的d c t 算法简单，有效，易于软硬件实现。实 i n t e m e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 现8 8 的d c t 最通用的算法是由行和列各8 个点的d c t 变换组成，其具体定义 如下： c m c m 础c 椭，喜弘bc d 学h 巫等竽) = a ( m ) 卢( n ) 。c 叫三坐h 旦等享竺 ( 1 ) 0 m ns7 其中 娟) = 脚) = 冉和a ( 小鼬) = j ；对于1 辄n 7 这里，b u 表示8 x 8 原始块的第1 行第j 列的像素，c 。表示8 x 8 的块d c t 变 换后的系数。利用下面给出的8 8 逆离散余弦变换( i d c t ) 可以恢复原始的8 8 块的像素。 妒骞扣撕。s ( 些警抄。s ( 巫笔业) 0 i j 7 2 2 小波变换 上个世纪8 0 年代末9 0 年代初，小波( w a v e l e t ) 变换以其良好的时频分析 特性和多尺度多分辨率特性，成为研究的焦点。小波图像压缩是一种重要的图像 压缩方法，它利用小波变换同时具有好的空间分辨率和好的频率分辨率的特性， 使变换系数的能量同时在频率上和空间上集中，达到去除像素冗余度的作用。由 于小波变换与d c t 有着显著的不同，小波图像压缩算法也与基于d c t 的图像压缩 算法有明显的差异。 图像经过小波分解后，绝大部分能量集中在逼近信号子带，该子带的图像可 看作原始图像的一种低分辨率的抽样。而细节子带则反映了图像在各个尺度的细 节，如边缘、纹理等。因为自然图像的边缘、纹理通常之存在于小部分区域，所 以细节子带的大部分系数很小，平均能量很低。 e z w 和s p i h t 是小波图像压缩中两种具有代表性的算法，下面就具体介绍 一下这两种算法。 2 2 1 嵌入式零树小波编码算法 e z w ( e m b e d d e dz e r o t r e ew a v e l e t ) 算法是s h a p r i o 在1 9 9 3 年发表的 3 6 i n t e m e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 它是小波图像压缩历史上具有里程碑意义的一个算法。到目前为止，许多最新的 算法仍然还是基于e z w 的核心思想。该算法的核心是对小波分解后的子带系数 定义一种零树结构，这种零树结构是基于频率衰减的假设，即在同一方向上粗糙 尺度子带的系数要比相应位置精细尺度子带的系数大，然后采用连续逼近量化和 熵编码生成嵌入式码流。 e m b e d d e d 意思是编码器可以在任一希望的速率上停止编码。同样，解码器 可在码流的任一点截断码流，停止解码。它的优点是不需要图像预先知识，不用 存储其码表和不用训练。 e z w 算法利用离散小波变换进行分解，在每一层i 的最低带( b a n d ) 上分解 为四个子带：三f + l 、三皿+ i 、h l 和h h l 十1 。 e z w 算法根据小波分解后得到的图像的多分辨率表示的特点，定义了一种 树形结构。对于最低分辨率子带，每一个系数都可与同一空间位置的水平、垂直、 对角线方向的3 个小波系数相关联；对于非最高分辨率的其它子带，每个系数都 可与精细尺度的相同方向、同一空间位置的4 个小波系数相关联。称粗糙尺度的 系数是其关联的下一级精细尺度系数的父亲，称精细尺度的系数是与其关联的上 一级粗糙尺度系数的孩子，这样就形成一系列的子带系数间的父子关系。图1 显 示了子带系数间的父子关系。 瓣 l i 、。、 日上l , i v 雾气i 工h i y 差 妊上l 。， ， 盯 。 h 珏l ， 胛巩 图1 子带系数间的父子关系图2 编码重要图时的子带扫描顺序 由于小波变换后能量向低分辨率子带集中，因此对于自然图像而言，靠近小 波树根的小波系数其幅度值大于远离树根的小波系数幅值的概率很大。这就意味 着，如果一个小波系数的幅度低于一个给定的门限，则它的后代的幅度也很有可 能低于该门限。这就构成了零树编码的理论基础。 零树结构编码重要图包括三种要素： i n t e m e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 重要系数( s i g n i f i c a n tc o e f f i c i e n t ) ：如果小波系数的幅度大于给定的门限， 就称该小波系数相对门限7 是重要的。反之则称该系数是不重要的。 零树的根( z e r o t r e er o o t ) ：如果一个小波系数和它所有的后代都是不重要的， 则称该小波系数是零树的根。 孤立零( i s o l a t e dz e r o ) ：如果一个小波系数是不重要的，但是其后代中存在 重要系数，则称该小波系数是孤立零。 e z w 算法是一个多遍扫描算法，每次扫描都包含两个步骤：重要图编码和 细化。图2 显示了重要图编码时的子带扫描顺序。如果记c 一 是最大的小波系 数的幅值，则最初的门限7 1 0 由下式给出。 r 。：2 ：c m - xj ( 3 ) 它保证了最大的小波系数的幅值落在区间 t o ，2 t o ) 。每一遍扫描，门限减少一 半，即 1 t f = t ，一l ( 4 ) 二 对给定的门限r ，我们赋予系数四种节点类型之一：重要正系数( s i g n i f i c a n t p o s i t i v e ) 、重要负系数( s i g n i f i c a n tn e g a t i v e ) ，零树的根( z e r o t r e er o o t ) 和孤立零 ( i s o l a t ez e r o ) 。如果使用定长编码，每种节点类型需要2 比特表示。需要注意的 是，如果一个系数被分配了零树的根的节点类型，则在这一遍扫描中不需对其后 代进行节点类型的编码。 一旦一个小波系数被判定为重要的，该小波系数就被加入到重要小波系数列 表中去，以进行后面的细化。在细化步骤需要决定小波系数是落在i t ，2 t ) 区间的 上半部分或是下半部分。通过连续的细化，重要小波系数属于的区间就逐渐缩小 了。最终的重建值是各次扫描重建值的和。 2 2 2 多级树集合分裂算法 s p i h t ( s e t p a r t i t i o n i n gi nh i e r a r c h i c a lt r e e s ) 算法是a s a i d 和、mp e a r l m a n 在e z w 算法的基础上提出的 3 7 。它采用了空间方向树( s p a t i a l o r i e n t a t i o n t r e e ) 、 集合d ( i ，j ) 和l ( i ，j ) 更有效地表示这样的系数结构，从而提高了编码效率。 不同于e z w 算法利用零树的根( z e r o t r e er o o t ) 来表示大量的不重要小波系数； s p i h t 算法采用树的分割的方法，力图使不重要系数保持在更大的子集之中。分 l m e m e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 割判决用二进制的方式传送给收端，从而提供了比e z w 更有效的重要图编码方 法。图3 显示了空间方向树的父子关系。 妖 虫一划 式 扒 l出 由 圈3 空间方向树的父子关系 s p h t 采用的数据结构与e z w 类似，不同子带的小波系数首先按空间位置 构成许多小波树，所有小波系数组成2 2 阵列。除了最低分辨率的子带以外， 这些系数是上一级更低子带的系数的子孙。 s p i h t 算法定义了四种集合： 0 ( i ，j ) ：位于( i ，j ) 坐标处小波系数的子女。每个小波系数或者有4 个子女， 或者没有子女 d ( i ，j ) ：位于( i ，j ) 坐标处小波系数的后代。后代包括子女、子女的子女、 以此类推。 h ：所有根节点的集合，即最低分辨率的逼近子带。 l ( i ，j ) ：位于( i ，j ) 坐标处小波系数的除子女之外的后代，即 l ( i ，j ) = d ( i ，j ) 一0 ( i ，j ) 如果集合里存在大于给定门限的小波系数，就说集合d ( i ，j ) 或l ( i ，j ) 是重 要的，反之则是不重要的。算法使用3 个列表：i i s to f i n s i g n i f i c a n tp i x e l s ( l i p ) 、 l i s t o f s i g n i f i c a n t p i x e l s ( l s p ) 、l i s to f i n s i g n i f i c a n ts e t s ( l i s ) 。对于l i p 和l s p 列表， 算法保存系数的坐标；而对l i s ，算法保存集合d 或l 的根坐标。算法最初的门 限由下式决定 t = 2 l l 0 9 2 j( 5 ) 其中c 一是编码系数的最大幅度。l i p 列表初始化为h ，h 中具有后代的元素 初始化为l i s 中的d 类型条目，l s p 置为空。每一遍扫描，首先处理l i p 的元 i n t e r n e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 素；接着处理l i s 的元素，这一步本质上就是重要图编码；最后对l s p 的元素 进行细化。 首先扫描l i p 中的元素，如果某个坐标的小波系数是重要的，则传送一个1 及一个表示系数符号的比特。这个系数接着被移到l s p 列表。如果系数是不重 要的，则输出0 。 第二步是处理l i s 列表中集合。如果坐标( i ，j ) 处的集合是不重要的传送0 ， 转到下一个集合；否则传1 ，其后的动作依赖于集合的类型是d 还是l 。 1 ) 集合的类型为d ：检查该坐标处小波系数的子女。如果是重要的，传送1 和符号比特，并将之移入l s p ：如果不重要，则传送0 ，并将之移入l i p 。 这样，我们就从集合d ( i ，j ) 中移走了0 ( i ，j ) ，剩余的集合为l ( i ，j ) 。如 果l ( i ，j ) 不空，则将它移到l i s 的结尾，并标记为类型l o 需要注意的是， 这个新的l 1 s 条目在这一遍扫描中是会被处理的。如果l ( i ，j ) 为空，则 从列表中移走相应的坐标。 2 ) 集合的类型为l ：将坐标( i ，j ) 处小波系数的子女0 ( i ，j ) 的坐标加入到 l i s 的结尾，类型记为d ，并移走坐标( i ，j ) 。同样的，这些新加入的集 合也将在这遍扫描中处理。 一旦完成了对l i s 列表中每个集合的处理，就进入细化步骤。细化处理时， 对每个本次扫描前产生的l s p 系数进行进一步的细致量化，输出第n 个比特。 而对本次扫描产生的l s p 系数不进行处理，因为重要图编码时已经指明它们的 第n 个比特。 2 3 匹配追寻算法 s m a l l a t 和z z h a n g 在 1 】中提出了匹配追寻( m a t c h i n g p u r s u i t s ) 的思想。 r n e f f 和a z a k h o r 在 2 中研究了匹配追寻在图像和视频压缩编码中的应用。 下面就介绍一下该算法。 匹配追寻算法是利用函数的过完备字典集去扩展一个信号。这个过程可以通 过分解1 维时间信号来解释。假设我们想用字典集g 中的基函数来表示一个信 号徘) ，字典集函数可以表示为： g r o ) g ( 6 ) 这里y 是一个指向一个特别的字典集元素的索引参数。分解过程从选择y 以 求下列内积的绝对值的最大值开始。 p = ( 7 ) i n t e m e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 我们说p 是信号对于字典集函数g 。0 ) 的扩展系数，残余信号计算如下： 月( f ) = 厂( f ) 一p g ，( ，) ( 8 ) 然后这个残余信号作为原始信号用同样的方式进行扩展。这个过程一直迭代 下去，直到一个扩展系数集生成或到达了某个残余能量门限制值。经过总共m 个阶段后，原始信号可以用字典集元素的线性函数来估计： ，0 ) = p 。g n o ) ( 9 ) n = t 上述技术有一些非常有用的信号表示特性。例如，每个阶段选择的字典集元 素都是在真实信号( r ) 和编码的信号，( o 间提供了均方误差( m s e ) 最大的减小 量的元素。在这个意义上，编码的信号结构是按重要性的次序安排的，这在位预 算非常有限的情况下尤其理想。对于图像和视频编码应用，这意味着视觉最重要 的特征先编码，不重要的特征后编码。通过选择字典集函数以匹配期望特征的形 状、尺度或频率，它甚至可以控制哪一类图像特征被较好的编码。 ( a ) ( b ) 图4 ( a ) m p 编码器框图( h ) m p 解码器框图 i n t e r n e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 图4 是m p 编码器和解码器的简单框图。如图4 - a 所示，原始图像先利用前 一个重建的图像进行运动补偿。然后用匹配追寻算法把运动残余信号分解为编码 的字典集函数。一旦运动矢量和编码的函数被找到，它们就被有效地编码并发送 到解码端，如图4 - b 所示。其中，为了使用匹配追寻算法编码运动残余信号，我 们需要先把这种方法推广到2 维离散域以选择一个适当的基本字典集。 2 3 1 字典集 我们使用的字典集由一个过完备的2 维可分离g a b o r 函数集所构成。我们用 典型的高斯窗形式来定义这个集合： g ( f ) = 佤卅( 1 0 ) 然后我们可以定义1 维离散g a b o r 函数作为尺度化、调制后的高斯窗口集合： 刚m f 学 巫判+ 。 1 6 f o ，i ) i - n 一1 ) 这里= 0 ， ，妒) 是一个分别由一个正的尺度因子、一个调制频率和一个相移因子 组成的三元组。选择常量k d 保证得到的的序列是单位归一化的。如果我们把b 认为是所有这样的三元组五的集合，我们可以定义我们的2 维可分离g a b o r 函数 为下列形式： g z , i ( ，) 2g 二( 抛i ( ，) ( 1 2 ) f ，j i 0 l ，n 一1 ja ，卢b 实际上，选择一个1 维基函数的有限集合并且让所有这些1 维函数的积存在 于2 维字典集中。表1 显示了1 维字典如何用它的1 维g a b o r 基参数来定义。为 了获得这个参数集，使用一个源自于大得多的参数三元组的字典集来分解一个运 动残余图像的训练集。最匹配训练图像的字典集元素被保留下来，得到这个减小 的集合。既然大的字典集降低了算法的速度，字典集必须保留得相当小。 i n t e r n e t 及无线网络视频传输技术研究西北工业大学硕士学位论文 表1 构成1 维基函数集合的字典集三元组及尺寸 k 靠 i毋t尺寸( 像素数) 01 00 001 l3 0o o0 5 25 00 009 37 00 001 1 4 9 00 ，001 5 51 2 0 o oo2 l 6 1 4 00 002 3 7 1 7 0o 002 9 82 0 o o 003 5 91 4 1 0万23 1 05 01 0万2 9 1 11 2 o 1 o疗22 1 1 21 6 ，0 1 o兀22 7 1 32 0 01 0 万23 5 1 44 02 0 07 1 54 0 3 007 1 68 o3 0o1 3 1 74 o4 oo7 1 84 0 2 0巧47 1 94 04 0石4 7 2 3 2 寻找因子 搜索过程如下。首先，被编码的运动残余图像被分成块，计算每个块的所 有像素值的平方和。这个过程叫“寻找能量”。采取具有最大能量值的块的中心 作为内积搜索的初始估计点。然后，把字典集和一个在初始估计点附近的s s 窗口进行穷尽匹配。 每一个n n 字典集结构以搜索窗口的每个位置为中心进行此结构和相应 的n n 图像数据区域的内积计算。 最大的内积、相应的字典集结构和图像位置构成了一个如表2 所示的五元素 i n t e m e t 及无线网络视频传输技术研究 西北工业大学硕士学位论文 集。我们说这五个参数定义了一个因子，即图像内的编码结构。 表2 定义一个因子的参数集 一一 a ，_ 8 字典集中最匹配的结构元素 x - y残余图像中最匹配的位置 p 最大内积值：在( x ，