（信号与信息处理专业论文）多描述编码与互联网视频传输技术的研究.pdf

中文摘要 本论文探讨小波运动补偿视频编码、多描述编码和传输速率控制等网上视 频传输的关键技术。首先，提出x 树图像编码方案。x 树是子孙节点全为零的 分级四叉树，用以表示二维图像中的一组零小波系数。文中提出的嵌入式x 树 编码和简单x 树编码算法，编码效率远高于零树编码。在此基础上，提出具有 快速全相小波运动估值和运动补偿的x 树视频编码，实现高效率、低失真的视 频编码。全相小波运动补偿成功地解决了小波变换的移变问题，补偿效果优于 空间运动补偿和直接小波域运动补偿。 其次，提出基于非零系数分解的多描述编码，把每个非零系数分割为奇数 位系数和偶数位系数。将这两类系数组成两个子信号，并形成两个描述的编码 数据通过不同的信道传输。当一个描述丢失时，可利用另一描述中主编码和冗 余编码重建图像。借助于两个子信号间的结构一致性，降低了冗余编码的码率， 提高编码性能。实验表明，提出的多描述编码效果优于多相变换与选择量化多 描述编码。 第三，通过对图像小波变换系数中速率失真关系曲线的分析，提出了小波 变换系数中非零系数占总像素的比率与编码输出比特数间的线性关系模型。由 于量化步长可以根据该比率简单地从直方图求出，因此本算法可以简单、快速、 准确地控制输出速率，有效地利用信道，减小传输失真。 最后，提出基于超复数空间的彩色边缘检测和b a y e r 图像自适应彩色重建 算法。 关键词：小波变换，视频传输，图像编码，运动补偿，多描述编码，速率控制 a b s t r a c t t h i sd i s s e r t a t i o nd e a l sw i t hs e v e r a lk e yt e c h n i q u e sf o rv i d e ot r a n s m i s s i o ni nt h e i n t e m e t ，i n c l u d i n gw a v e l e tm o t i o nc o m p e n s a t i o n v i d e oc o d i n g ，m u l t i p l ed e s c r i p t i o n c o d i n g ，a n dt r a n s m i s s i o nb i t - r a t ec o n t r o l ，e t c f i r s t ，t h ep a p e rp r e s e n t sa s c h e m eo f t h ex t r e ei m a g e c o d i n g a n x - t r e ei sah i e r a r c h i c a lq u a d t r e ew h o s ea 1 1d e s c e n d a n t s a r ei n s i g n i f i c a n t 。a n di ti su s e dt od e n o t e2 - dc l u s t e r e di n s i g n i t i c a n tw a v e l e t c o e f f i c i e n t so f a ni m a g e t h ec o d i n ge f f i c i e n c yo f t w op r o p o s e dx t r e eb a s e dc o d i n g s c h e m e s th epr o g r e s s i v ex t r e ea p p r o a c ha n d th esi m p l i f i e dx - t r e ea p p r o a c h ，a r e m u c hb e t t e rt h a l lt h a to ft l l ee z wb a s e do nt h e s ea p p r o a c h e s a na l l - p h a s ew a v e l e t m o t i o nc o m p e n s a t i o nf r a l n e w o r kw i t hf a s ta r i t h m e t i cx - t r e ev i d e oc o d e ci sp r o p o s e d t or e a l i z eh i 窟 l e f f i c i e n c ya n d1 0 wd i s t o r t i o nv i d e oc o d i n g t h ea l l p h a s ew a v e l e t m o t i o nc o m p e n s a t i o n s u c c e s s f u l l y e l i m i n a t e st h es k i f f v a r i a n t p r o p e r t y o ft h e w a v e l e tt r a n s f o r m ，a n do u t r l e r f o r m st h es p a t i a lm o t i o nc o m p e n s a t i o na n dd i r e c t w a v e l e tm o t i o nc o m p e n s a t i o n s e c o n d ，am u l t i p l ed e s c r i p t i o nc o d i n ga p p r o a c h b a s e do ns i g n i f i c a n tc o e f f i c i e n t d e c o m p o s i t i o n i s p r e s e n t e d w h e r e e a c h s i g n i f i c a n t w a v e l e tc o e 瓶c i e u ti s d e c o m p o s e di n t ot w ot o e f f i c i e n t s o n ei sm a d e f r o mt h eb i t si nt h eo d dp o s i t i o n s ， w h e r e a s t h eo t h e ri sm a d ef r o mt h eb i t si nt h ee v e np o s i f i o n s t h e s et w ot y p e so f c o e 伍c i e n t sa r et h e ng r o u p e di n t ot w os u b s i g n a l s ，w h i c hf o l n lt w od e s c r i p t i o n so f c o d e dd a t aa n dt r a n s m i t t e do v e rd i f f e r e n tc h a n n e l s i fo n ed e s c f i p t i o ni s1 0 s t i tc a n b er e c o v e r e d b yt h ep r i m a r ya n d r e d u n d a n tc o d i n gf r o ma n o t h e r d e s c r i p t i o n r e d u n d a n tc o d i n gr a t e i sr e d u c e d b y u s i n g t h es t r u c t u r ec o n s i s t e n c y b e t w e e n t w o s u b s i g n a l sa n dt h ep e r f o r m a n c ei si m p r o v e d e x p e r i m e n t a lr e s u l t sh a v es h o w n t h a t t h ep e r f o r m a n c e so ft h ep r o p o s e ds c h e m ea r eb e t t e rt h a nt h o s eo ft 1 1 ep o l y p h a s e t r a n s f o r ma n ds e l e c t i v eq u a n t i z a t i o no n e t h i r d al i n e a rm o d e lb e t w e e nt h ep e r c e n t a g eo fs i g n i t i c a n tc o e 伍c i e n t si nt o t a l p i x e l sa n do u t d u tb i t r a t ei sd e v e l o p e db ya n a l y z i n gr - d c h a r a c t e r i s t i c so fw a v e l e t t r a n s f o r m e di m a g e s g i v e nt h ep e r c e n t a g e ，aq u a n t i z a t i o ns t e p s i z ec a nb cf o u n d e a s i l yf r o mah i s t o g r a m ，s ot h ep r o p o s e da l g o r i t h mc a i lc o n t r o lo u t p u tb i t r a t ee a s i l y , q u i c k l y , a n da c c u r a t e l y i tc a r le 笳c i e n t l y m a k eu s eo f c h a n n e l sa n d r e d u c ed i s t o r t i o n f i n a l l y , aq u a t e m i o nb a s e dc o l o re d g ed e t e c t o ri sp r o p o s e da n das e l f - a d a p t i v e c o l o rr e c o n s t r u c t i o na l g o r i t h mf o rb a y e r p a t t e m i sd e v e l o p e d k e y w o r d s ：w a v e l e t t r a n s f o r m ，v i d e ot r a l l s m i s s i o n ，i m a g ec o d i n g ，m o t i o n c o m p e n s a t i o n , m u l t i p l ed e s c r i p t i o nc o d i n g b i t - r a t ec o n t r o l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得苤壅盘堂或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 学位论文作者签名：磊所蚜签字日期：却。2 年，z 月，日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞太堂有关保留、使用学位论文的规定。 特授权盘盔盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 磊匆吩导师躲茹纲瑶 签字日期：x 埤，月多日签字日期：。矿疗年胆月7 日 第一章前言 第一章前言 在互联网和无线移动信道中，大量传输的是多媒体信号，特别是图像和视 频信号。随着网络带宽和计算机处理能力的迅速提高，人们对网上图像和视频 传输服务的需求不断增长。网上图像和视频传输拥有极广泛的应用范围，涵盖 了交互式视频服务、视频会议、视频电话、电子商务、远程教学以及远程医疗 等领域。2 0 世纪9 0 年代中后期以来，国际上开始了对网上实时视频传输的研究， 而国内对该课题的研究则还处于起步阶段。因此对网上实时视频传输进行研究， 无论在科学研究还是在国民经济和社会发展中都具有十分重要的意义。 网上视频传输必须考虑两个问题：1 ) 信号处理的问题。对于图像和视频信 号的压缩来说，高效的算法是任何一个好的系统设计的核心问题。尽管网络带 宽一直快速地增长，但公共网络用户数量的增加大大快于有效带宽的增加。为 了在有限的网络带宽中传送视频信号，就必须对视频信号进行有效地压缩。这 里还有一个简单的经济学问题：好的压缩算法的重要贡献在于减少了传输信号 所需的基础设施的费用。2 ) 通信和控制问题。视频流有一个基本的通信问题： 信号需要通过信道进行传输。这就涉及许多问题。为了高效地执行联合信源信 道编码( j s c c ) 任务。对于信道来说什么才是有现实意义的模型? 假如给出这 样一个模型对于确定它的参数和复杂度来说，什么才是高效的算法? 如何估计 信道状态? 在信源和信道之间的接口应该应用什么速率控制和拥塞控制策略， 以确保网络资源的高效使用和高质量的信号重建? 同时，考虑到网上传输过程 中的信道干扰和拥塞等问题将不可避免地引起分缀丢失 1 ，而视频信号对实时 性的要求非常高，通常不允许对丢失分组重传，因此，系统必须具有什么样的差 错掩盖( e r r o rc o n c e a l m e n t ) 和差错复原( e r r o rr e s i l i e n c e ) 能力? 作为对上述问题的回答。本文提出了基于x 树的多描述实时视频传输编码 框架，以达到高编码效率、良好的差错掩盖和差镄复原能力和有效地控制传输 速率、防止网络拥塞的目的。 1 1 视频信号在互联网的传输 建立一个网上视频传输系统绝不只是简单地获得一个标准编码器的输出并 把它写到一个套接字中互联网进行视频信号传输主要包括两大部分内容：视 频数据压缩和通信协议的设计，其过程如图1 1 所示 2 】。现有的网上视频传输方 第一章前言 案基本上可分三类：只考虑编码、只考虑网络和信源，信道联合编码方案。 斗区习咂巫h 三区困回 图l 一1基于互联网的视频信号传输系统结构 1 1 1 只考虑编码的方法 只考虑编码的方法通常包括三个组成部分：设计一个低码率编码器；在信 道编码中尽可能保护结果比特流；使用某个标准互联网协议进行传输。如果信 源比特流足够低速而且信道足够宽时，可直接使用t c p 协议进行传输。然而在 现有的网络状况下，t c p 协议不能满足实时视频传输对时延的严格限制，因此 通常采用r t p ( r e a lt i m ep r o t o c 0 1 ) 来进行互联网上实时连续媒体的传输。虽然 r t p 本身并不提供任何机制来确保及时传输或其它q o s ( q u a l i t yo fs e r v i c e ) 保 证，而是依赖于底层服务，但是与其配套使用的r t c p ( r e a l t i m e c o n t r o l p r o t o c 0 1 ) 则可以监控q o s 。因此选用r t p ，让其运行于不基于重传输的传输协议，如u d p 之上，并应用低冗余信道编码以避免分组丢失。因此，这种方法的主要任务是 设计高性能的视频编码算法。该方法把网络假设为一个黑匣子、一个固定的标 准的管道，而且所有的分组在套接字层和以下各层都没有差别。 该方法的主要缺陷在于它不能适应信道的时变特性。为了避免处理信道随 时间变化的问题，只能采用低比特率的编码器，否则在高输出速率的情况下， 分组丢失率的波动将使接收端的接收质量很难保证。这就造成了信道资源的浪 费。虽然可通过根据视频数据流各部分的重要性匹配相应的r e e ds o l o m o nf r s ) 码来解决上述问题【3 】，但仍然无法依据不同的信道状况来调整r s 码参数，从而 导致过于保守地估计所需冗余度。此外，在采用u d p 的情况下，还需要自行设 计相应的流量控制和拥塞控制策略，当网络中存在设计不当的信源时，将导致 整个网络性能急剧地下降 4 6 】。 1 1 2 只考虑网络的方法 另一种被广泛采用的视频信号传输方法是应用标准视频编码算法( 如 h 2 6 3 、m p e g 等标准协议) 来产生具有固定格式的压缩视频数据流，然后设计 相应的传输协议对视频信号进行传输f 7 】。该方法的重点是设计高性能的网络传 第一章前言 输协议。这种方法与上述方法相比具有一定的优越性，其中最明显的一条是由 于流量控制包含在传输协议里面，因而所发送的视频数据流真正是网络信息流 的一部分 8 9 】。此外，由于视频数据流的结构是已知的，当产生拥塞时可采取 许多相应的办法。例如，可以将视频信号中沿某个运动轨迹运动的所有块放在 一个分组中，当这一分组丢失时，整个运动路径也将丢失，从而削弱了差错的 传播 1 0 1 1 。 该方法的主要缺陷是，所用编码器的性能限制了传输性能。基于多分辨分 析的视频编码方法与不提供分组差别的网络具有固有的不匹配性。而且由于改 进的传输协议不能保证无错传输，当出现差错时，由于所用编码器缺少鲁棒性 而导致解码信号的质量严重下降。 1 1 3 信源，信道联合编码j s c c ( j o i n ts o u r c e ，c h a n n e lc o d i n g ) 方法 让我们回顾一下图1 1 。图1 1 是一个典型的香农结构通信系统：编码模块 负责除去信源的冗余，协议模块负责保护数据免受可能的信道损害，还有信道 以及和与编码模块相对应的译码模块【1 2 】。从这种观点看来，先前所描述的两种 方案基本上都是基于信源信道分离方法【1 3 】。但是，分离法则并不适用于分组网 络的信道。而且上述模型也没有考虑分组网络中存在的延迟、信道的不确定性 和多用户访问等问题。为解决上述问题需要做到：1 ) 理解信道的属性，为通过 它的编码和传输信息设计出高效的方法；2 ) 要设计一个网络与编码器的接口， 以估计和跟踪信道状态的波动，并用一种有效的方法把这些信息发送给编码器 【1 4 。也就是说，把信源与信道联合起来考虑，可望达到最好的传输效果( 图1 2 ) 。 孟面夏葛赢鬲jl 面j 蕊赢鬲j 编码器参数信道状态 图1 - 2 信源“言道联合编码 第一章前言 1 2 视频编码技术 1 2 1 基于小波变换的视频编码 现有的视频传输编码多数是基于离散余弦变换( d c t ) 的编码。然而，在低比 特率编码时，离散余弦变换( d c t ) 却被块效应和蚊噪声困扰。为此，近几年国内 外图像处理领域的编码理论研究的热点是小波变换编码( 予带编码) 、分形编码 和轮廓编码等所谓的第二代编码技术。在第二代图像编码技术中，小波理论和 实用研究最为成熟。对小波系数的压缩也已有较好的算法，如s h a p i r o 经典的嵌 入式零树编码( e z w ) 1 5 ，s a i d 和p e a r l m a n 的集分割分级树编码( s p i h t ) 1 6 、 c h a i 的重要链连接元素分析( s l c c a ) 1 7 、t a u b a n 的e b c o t ( e m b e d d e db l o c k c o d i n g w i t h 0 p t i m i z e dt r u n c a t i o n ) 1 8 】等。对于极低码率编码，小波变换编码压 缩效率远高于d c t 编码的压缩效率，而且没有块效应干扰，是理想的图像压缩 方法。可以说，图像编码已从d c t 编码时代过渡到小波编码时代。j p e g 2 0 0 0 静态图像压缩标准反映了图像编码从d c t 编码n d , 波编码的发展趋势【1 9 。 小波变换在静止图像编码方面取得了巨大成功，但对于视频编码只有少数 较为成功的尝试 2 0 2 2 1 。实时视频小波编码的关键首先在于运动物体的编码， 其次是如何在不降低编码效率的条件下实现视频小波编码的差错掩盏和差错复 原。尽管小波编码对静态图像压缩效率远高于d c t 编码，但对于视频图像序列， 如果不能解决好运动物体的编码问题，就很难体现出小波编码的优势。小波编 码的另一个问题是它的抗干扰能力。如果把静态图像小波编码方案不加改造直 接用于视频传输，分组丢失和信道噪声引起的传输错误可能导致整个传输图像 崩溃 2 3 。由于图像处理界对上述问题还没有找到令人满意的答案，所以国际 m p e g 组织在其m p e g 4 建议中，采纳了李卫平博士提出的基本层编码采用传统 的d c t 编码方式、增强层采用小波变换的折衷方案。按压缩效率而论，这种方 案对低比特率传输编码意义不大。为了改善低比特率视频传输编码效果，就必 须解决视频小波编码下运动物体的编码、差错复原和差错掩盖等问题。 现有的视频小波编码方案基本可分为有运动补偿的二维小波编码和三维小 波编码两大类。实验结果表明，纯三维小波变换的视频编码效率不高且编码延 迟较大，而具有帧间预测补偿的二维小波变换编码是一种较好的解决方案。对 运动物体的预测和补偿既可以在空间域进行，也可以在变换域进行。传统的运 动补偿是基于块运动的空间域补偿方法，由于运动向量不连贯，不可避免地会 产生块效应，影响图像质量和压缩效率。若采用无遗漏运动检测可减少块效应 第一章前言 2 4 2 6 ，但却增加了计算开销。直接在小波变换域进行运动补偿编码不会引入 块效应，已经引起学术界的重视，并取得了较好的结果 2 7 2 8 1 。 1 2 2 视频传输中的差错控制 对于压缩视频传输业务，信道传输差错不但严重影响业务质量，甚至会导 致整个视频通信完全失效。由于1 ) 传输信道存在干扰；2 ) 网络拥塞、延迟等 问题将不可避免地引起分组丢失：3 ) 视频信号的实时要求使丢失分组重传成为 不可能。因此必须采用适当的技术措施来减小或消除信道传输差错，即采用具 有差错复原能力的视频压缩与编码技术。因此，差错掩盖和差错复原是视频传 输过程中的关键问题。 基于压缩标准的互联网视频传输技术已十分流行 2 9 1 。早期的视频压缩标准 如h 2 6 x 和m p e g 虽然可以对运动图像进行有效地压缩 3 0 3 1 ，但其压缩信息 对由于信道问题而导致的传输差错和分组丢失十分敏感。最新的视频压缩标准， 特别是m p e g 4 1 3 21 和h 2 6 3 + 提供了相应的差错复原能力。 m p e g 4 视频压缩标准提供了一系列特定的差错复原模式 3 3 1 。当使用差错 复原模式时，如果从一个同步标示开始，输出的比特数大于一个预定值时，编 码器将在每一个宏块( m a c r ob l o c k ) 前添加一个同步标示。两个同步标示之间的距 离取决于传输信道的差错条件以及压缩数据的比率，它们之间的压缩数据称为 一个视频分组。当视频分组不大于一个r t p 分组的容量时，每个视频分组能够 独立进行解码，所有预测编码的信息必须限制在一个分组中以避免差错的传播。 然而，如果由于传输信道的变化和同步标示的初始设置等原因，导致视频分组 大于r t p 分组的容量，在这种情况下必须对视频分组进行分割，这时，丢失一 个r t p 分组将使整个视频分组变得没有意义，这就可能降低差错复原的效率。 h 2 6 3 + 是专为电路交换和分组交换网络而设计的视频编码标准，它具有前 向纠错码模式、条带( s l i c e ) 模式、独立分段解码( i n d e p e n d e n ts e g m e n td e c o d i n g ) 和参考图像选择( r e f e r e n c ep i c t u r es e l e c t i o n ) 等 3 4 】差错复原的编码选择项，在 易发生差错( e r r o rp r o n e ) 和不提供服务质量保证的网络中传输时可以提高所传 输的视频信号的质量。此外，为适应不同类型网络上多媒体传输的需要，i t u t ( i n t e m a t i o n a lt e l e c o m m u n i c a t i o n su n i o nt e l e c o m m u n i c a t i o n ss e c t o r ) 还为不同网 络设计了相应的压缩标准，如适于p s t n ( p u b l i c s w i t c h e d t e l e p h o n e n e t w o r k ) 的 h 2 3 4 标准、适于i s d ( i n t e g r a t e ds e r v i c e sd i # t a ln e t w o r k ) 的h 3 2 0 标准以及适 于i n t e m e t 的h 3 2 3 标准等。 第一章前言 传统差错控制方法是基于错误重传来恢复丢失分组。主要的方法有：自动 重复请求a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 、前向差错修正f e c ( f o r w a r de r r o r c o r r e c t i o n ) 以及混合f e c a r q 技术 3 5 3 6 。 a r q 技术的关键在于重新发送丢失的分组，因此发送器需要知道丢失分组 的序号( 可以通过接收端的r t c p 报告分组获得) 。该技术的冗余数据在于重新 发送的分组，以及具有相同格式的前向分组的信息位。对限制延迟时间的应用 ( 如实时音频、图像) 或多点传送应用( 如多方远程电话会议) ，a r q 显然不是 合适的选择。 f e c 技术通常基于奇偶校验码0 a d t yc o d e ) ，如r s ( r e e ds o l o m o n ) 码。在一 组具有k 个分组的数据中，通过对数据块的线性无关结合产生一个或多个奇偶 校验块，每一个特定的结合称为一个奇偶校验码。与a r q 技术相比，应用奇偶 校验码，发送器只需知道分组丢失的概率而不要求知道它们的序号。接收端利 用编码数据间存在的相关性，用接收的数据进行重建。对于较长的突发性数据 丢失，如果没有额外的延时和计算，错误修正编码就不可能提供有效的保护。 另外一方面，运用残余的相关信息进行重建的性能受到该信息数量的影响，而 且不能用于独立等密度分布( i i d ，i n d e p e n d e n ta n di d e n t i c a l l yd i s t r i b u t e d ) 的无记 忆信源。 近来，多描述编码( m d c ) 技术已被证明是克服信道错误的有效方法。多 描述编码能够较好地抗突发干扰和重建丢失分组、具有较广泛的适用范围，正 受到图像处理界越来越多地关注，成为近年来图像处理界讨论的一个热点。多 描述标量量化器( m d s q ) 3 7 并1 1 多描述变换编码( m d t c ) 【3 8 】就是其中的两个 例子。 1 3 信源信道联合编码 基于信源信道分离理论的压缩与编码技术无法根据信道的状态来调节压 缩比率，因而它不适用于象互联网这一类的时变传输信道。为适应网上视频传输 的需要，应根据网络的状态来调整编码器的输出速率，避免由拥塞而导致的传 输延迟及分组丢失，满足网上视频传输的实时性及传输质量等方面的要求。 1 3 1 传输速率控制( r a t ec o n t r 0 1 ) 为了提高网络资源利用率、减少传输过程中的信号失真，保证视频传输质 第一章前言 量，视频传输编码需要解决的另一重要问题是系统本身自适应速率控制机制， 也就是根据网络的可用带宽来调节编码器的参数以获得所需的数据输出速率 【3 9 。 由于网络的传输能力是时变的，为了提高网络资源利用率和传输视频质量， 就要根据网络的状态来控制分组的发送速率，即反馈速率控制。t c p 就是以分 组的丢失数量作为其反馈信息对传输速率进行控制的典型。t c p 的主要目的是 增加分组的吞吐量、减少分组延迟和丢失。但这种控制机制并不能优化视频传 输的质量，不适于视频传输。 考虑到互联网不直接提供网络状态的反馈信息，通常只能利用分组丢失数 和传输延迟等信息进行速率控制。实验和仿真结果表明，在一个互联网连接中， 基于延迟的反馈控制的分组吞吐量小于基于分组丢失数的反馈控制的分组吞吐 量 3 9 ，4 0 。文献 4 l 】提供了一种基于分组丢失数量的反馈控制结构，它通过调整 编码器的最大输出速率使分组丢失低于某一允许值。 速率反馈控制既可以根据网络的反馈信息直接控制编码器的输出比特率来 控制传输速率，也可以通过调节活动分组的数量来控制传输速率或者是两者的 结合。 最常见的比特率控制算法t m 5 ( m p e gt e s tm o d e l5 ) 是一种基于缓冲池的 视频编码速率控制方案。该算法虽然具有简单、易于实现等优点，但它不是基 于速率失真( r - d ) 模型的方案，在低码率传输时会产生较大的失真。为了提 高解码图像的质量，人们在对r - d 曲线进行分析的基础上，提出了不少新的比特 率控制算法。l i n 和o r t e g a 【4 2 1 采用3 次曲线插值建立速率控制曲线，但是这种方 法需要多次量化和编码，具有相当高的计算复杂度。为了减小编码计算复杂度 d i n g 和l i u 4 3 提出速率控制曲线的指数模型，降低了计算复杂度，但控制精度 差。c h i a n g 和z h a n g 4 4 币1 用已传输帧的信息来建立当前帧的传输速率控制曲线， 但在场景变化时可能导致图像质量严重下降。因此，建立简单、高效、鲁棒性 好，可满足实时传输的需要的速率控制模型，仍然是视频传输的一个重要任务。 1 3 2 拥塞控制( c o n g 髂f i o nc o n t r 0 1 ) 由于通信子网中的分组太多使得网络传输性能降低的现象称为拥塞。拥塞 会产生恶性循环，导致分组丢失。对于实对i n t e m e t 视频传输，拥塞将对视频传 输的质量造成严重的影响，因此必须设计合理的拥塞控制策略。 在i n t e r n e t 视频传输中，最合理的拥塞控制方法是将用于拥塞控制的反馈机 第一章前言 制与差错复原( e r r o rr e c o v e r y ) 技术，特别是平衡多描述编码( b m d c ，b a l a n c e m u l t i p l ed e s c r i p t i o nc o d i n g ) 技术有机地结合起来。平衡多描述编码系统的信息 包具有等速率、等重要性的特性。所谓等速率意味着所有的分组都具有相同的 大小，等重要性显示了任意一个分组丢失对于总的传递信息来说，平均信息丢 失数量是相同的。因此，当发生拥塞时随机丢弃分组不会导致接受数据质量的 明显改变，能很好地符合互联网这种力求最优( b e s te f f o r t ) 的有损分组网络。 拥塞控制模块根据网络的动态状况来调节编码器的输出比特率。一个可用 于视频传输的拥塞控制算法是l i m d ( 1 i n e a r i n c r e a s em u l 邱l i c a t i v e d e c r e a s e ) 。该算 法根据分组的丢失状况周期性地调整发送速率。当不存在分组丢失时，以系数口 增加分组的发送速率，反之，则以系数口递减分组的发送速率。必须指出，虽 然l i m d 算法具有一定的鲁棒性，并能渐进地收敛于一个平衡点，但它只适合 控制持久拥塞而不适用于暂时拥塞。即使在网络状况稳定的情况下，l i m d 也可 能导致分组发送速率的巨大波动，使得视频传输的服务质量下降。作为l 蹦d 的改进。文献【4 5 提供了一种通过分组丢失的历史信息来判断当前是持久拥塞 还是暂时拥塞，并根据具体情况采取相应的控制策略拥塞控制算法l i m d h ( l i m d w i t hh i s t o r y ) 。 1 4 论文的结构安排 随着小波理论的发展和m m l m 离散小波分解与合成算法的出现，基于小波 变换的图像编码压缩方法得到了充分的重视和研究。s h a p i r o 于1 9 9 3 年提出了 “嵌入式小波系数零树图像编码( e z w ) ”，巧妙地利用小波变换图像各子带间系 数相关、功率谱衰减的特性，极大地提高了压缩效率，在图像编码方面取得了 突破性的进展。e z w 的出现，标志着图像压缩已进入小波编码时代。小波变换 在静止图像编码方面取得了巨大成功，但对于视频编码却有待进一步探讨。本 文就是针对这种情况，围绕着福建省自然科学基金项目“基于多描述x 树的图 像视频传输编码”展开的。具体目标是研究具有良好的时间和空间压缩效率： 良好的差错复原和差错掩盖能力；能够根据网络的状态快速、准确地控制信源 编码输出的高压缩效率、低计算复杂度和低失真度的实时视频传输编码，实现 比h 2 6 3 和m p e g 4 更高的压缩效率和更好的重建图像质量的实时视频传输。主 要从六个方面进行探讨：1 ) 高效率、低计算复杂度的小波变换视频图像编码的 实现；2 ) 变换域的运动补偿；3 ) 视频传输中的差错掩盖和差错复原；4 ) 网络 第一章前言 拥塞控制和速率控制算法；5 ) 单c c d 彩色摄像机照相机的b a y e r 图像重建； 6 ) 基于超复数空间的彩色边缘检测算法。本文后面各章内容具体安排如下： 第二章介绍小波变换的基本知识及其在图像编码方面的应用 4 6 4 8 ；包括 多分辨分析、二维小波变换和m a u a t 算法。 第三章从对e z w 分析入手，在零树的基础上，提出了一种新的数据结构一 一x 树，并探讨了小波图像系数的x 树表示方法。文中用x 树取代e z w 算法 中的零树，提出了嵌入式x 树图像编码算法；把x 树用于s t a c k r u n 编码算法， 建立了x 树堆栈编码。这两种编码方案都具有简单、高效、低计算复杂度的特 点，压缩效率比原始的零树编码有较大的提高 4 9 5 1 】。 第四章讨论基于x 树的视频图像序列编码算法。现有的视频小波编码方案 基本可分为二维小波编码+ 运动补偿和三维小波编码两大类。实验结果表明，纯 三维小波变换的视频编码效率不高且编码延迟较大，二维小波编码+ 运动补偿是 一种较好的解决方案。由于运动向量不连贯，传统的基于块运动的空间域补偿 方法在低码率时不可避免的会产生块效应，影响图像质量和压缩效率，因此本 章主要探讨变换域的运动检测与运动补偿。从研究小波变换的移变性质产生的 原因入手，提出了一种全相小波运动补偿算法，消除了小波变换移变性质对运 动估计的影响，在空间运动向量和变换域运动向量间建立了保值映射关系。由 于运动预测和运动补偿都在变换域进行，不会产生块效应；提高了整体编码效 率。 第五章考虑视频传输过程中的差错掩盖和差错复原问题。考虑到1 ) 传输信 道存在干扰，2 ) 网络拥塞、延迟等问蹶将不可避免地引起分组丢失，3 ) 视频 信号的实时要求使丢失分组重传成为不可能；如果没有采用任何保护措施，传 输信道的噪声随时都有可能导致传输视频图像的崩溃。一个没有差错掩盖和差 错复原能力的传输编码算法在实际应用中是毫无意义的。而多描述传输编码能 够有效地抑制突发干扰，实现差错掩盖，因此本章主要研究多描述编码技术及 其在x 树视频传输编码中的应用，提高视频传输编码的鲁棒性和抗干扰能力， 实现网络环境下的视频传输。 第六章研究如何根据网络的状态控制信源编码的输出比特率以减少传输过 程中的信号失真、防止输出缓冲区溢出、提高视频传输图像质量。由于多描述 编码不同于静态图像编码，内嵌式编码( e m b e d d e dc o d i n g ) 不能完全解决传输 速率的前向控制问题。因此，本章的重点在于建立一个快速、简单并具有前向 控制能力的编码速率控制方案 5 2 5 4 1 。 第一章前言 考虑到大量低端的彩色数字相机、数字摄像机采用单c c d 彩色摄像头，而 单c c d 彩色摄像头不可避免地会涉及到b a y e r 图像的彩色重建问题，第七章转 入b a y e r 图像彩色重建问题的研究，提出了采用自适应反梯度滤波实现b a y e r 图 像彩色重建的方案 5 5 。第八章提出基于超复数空间的彩色边缘检测算法对图像 进行处理 5 6 5 7 1 ，实现彩色重建图像的边缘增强，提高重建图像的清晰度。 第九章对全文所提出的方法进行总结和对实时视频传输技术的发展进行展 望。 第二章小波变换与子带分解 第二章小波交换与子带分解 小波分析是近年来迅速发展起来的一种新的数学方法，是传统的傅里叶分 析发展史上里程碑式的进展。经过十几年的探索研究，小波分析的数学形式体 系已经建立，成为众多学科共同关注的热点。小波变换是空间( 时间) 和频率 的局部变换，因而能有效地从信号中提取信息。通过压缩和平移等运算功能可 对信号进行多尺度的细化分析，解决了傅里叶变换不能解决的许多困难问题。 它的应用范围涉及许多学科领域，包括信号分析、图像处理、量子力学、电子 对抗、模式识别、地震勘测数据处理、边缘检测、音乐与语音人工合成、机械 故障诊断等许多方面。如信号分析方面的信号分解与重构、去噪声、滤波等； 图像分析方面的图像压缩、去污染、c t 成像、彩色复印等：数学领域的数值分 析、曲线曲面的构造、控制论等。在许多使用传统傅里叶分析的地方。都可以 用小波分析来代替。由于小波分析是时间( 空间) 频率的局部化分析，通过对 信号逐步进行多尺度细化，对高频成分的采用逐渐精细的时间( 空间) 取样步 长，自动适应视频信号分析的要求，从而可以聚焦到信号的任意细节。小波分 析的这一特点，使得它特别适合对于信号奇异点的分析，被誉为数学显微镜。 基于小波变换的图像编码近年来受到了广泛的注意。这些编码方案不仅在 速率失真意义上具有良好的压缩效果，而且具有许多应用场合希望的渐进传输 和多分辨特性。小波分析的基本思想实质上是把信号分解为低分辨率的平滑近 似和高频细节两部分。通常把低频部分称为低频子带，把高频部分称为高频子 带。对每个生成的子带又可以用同样的方式进一步分解。用这种方法，小波分 析把输入信号分解为几个频段。二维小波分析可以通过在水平方向和垂直方向 分解来实现。 本章主要对小波理论及其在图像处理方面的应用进行了综述。第一节介绍 小波理论的基本知识；第二节介绍多分辨分析与m a l l a t 算法。 2 1 小波理论概述 小波分析是调和分析发展史上里程碑式的进展，目前已成为国际上众多学 术团体和学科领域共同关注的热点，是一个在众多科学和工程技术会议中广泛 探讨的话题。作为一个新的数学理论它不仅有着非常丰富的理论内容，而且还 是一种具有多方面应用潜力的工具。本节主要介绍小波分析的一些基本知识。 第二章小波变换与子带分解 2 1 1 从f o u r i e r 分析到小波分析 令r ( o , 2 n ) 表示定义在区间( o ，2 刀) 上所有可测且具有 r ”) 1 2 d x 。( 2 - d 的函数集合。很容易验证，r ( o ，2 7 r ) 是一个向量空间，且l 2 ( 0 ，2 z t ) 中的任何一个 函数，都具有一个f o u r i e r 级数表示式 其中常数q 定义为 ，( 工) = c 。产 q = 石1 r ”厂 ) e - l n a 出 ( 2 2 ) ( 2 3 ) 称为函数，的f o u r i e r 系数。在公式( 2 - 2 ) 中，级数在r ( o ，2 万) 中收敛的意思是 州l i m 。跏小。争陪。 陋。， 公式( 2 2 ) 表明，f o u r i e r 级数有两个独特的性质：1 ) 厂可分解为无限多个互相正 交分量氍( 力= c n e “的和；2 ) 正交基( 依) 可用单个函数瓯力即插“膨胀”生成。 对所有熬数n ，有仇( x ) = 烈，这种膨胀称为整数膨胀。 类似地，考虑定义在实直线r 上的可测函数，的空间l 2 ( r ) ，函数，满足 口m ) 1 2 d o ： o o ( 2 5 ) 显然两个函数空间口( 0 ，2 硝) 和r u r ) 是完全不同的。由于p ( 豫) 中每个函数在 土。必须“衰减”到零。因此如果要寻找产生r ( 馏) 的“波”，那么这个波就应 该在c o 衰减到零，并且对于所有的实际应用，这个衰减过程应该很快完成。换 言之，就是要寻找小的波( 称之为“小波”) 来生成口( 腰) 。正如公式( 2 2 ) 用单 个函数础) 呷“生成整个r ( o ，2 万) 空间那样，这里希望能找到一个函数妒来生成 整个r ( 馏) 。但是，如果小波y 具有快速的衰减的特性，它怎么能够覆盖整个 第二章小波变换与子带分解 实直线呢? 明显的方法是沿i r 移动v 。 现在考虑小波 y ( 2 。x 一女)，k z ( 2 6 ) 不难看出，y ( 2 7 工一七) 是由一个单个“小波”函数( z ) 通过一个二进膨胀( 即2 的膨胀) 和一个k 2 ；的二进位移产生的。 容易证明，如果一个函数y r ( 腑) 具有单位长度，那么用 矿j ，t ( 工) = 2 1 2 妒( 2 石一i )j ，k z( 2 7 ) 定义的所有函数 ( z ) 也具有单位长度。使用符号 - ；：f c x ) g c x ) d x 和 ：= z 来表示l 2 ( i r ) 空间的内积与范数，则有： | 1 2 ：耖8 ：= 1 j , k z( 2 8 ) 一个函数少r ( 腰) 称为是一个正交小波，如果公式( 2 7 ) 中所定义的函数族 蚧 是l 2 ( i r ) 的一个规范正交基，即 _ 盈4五k , l 。m z( 2 - 9 ) 而