（管理科学与工程专业论文）基于小波的可伸缩性视频编码研究.pdf

独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基士尘遂鲍互韭缠性塑题组堡婴窥 学位论文作者签名：i 垂墨日期：爿啼2 年f ，月憎曰 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基士尘这塑互盟缉蛙煎蒸缠璺盟窥 学位论文作者签名 作者指导教师签名 建叠日期： 锣) 年，月，9 日 日期：) 。咨t t 月1 9 日 i 里堕型兰垫查查兰堑塞生堕兰垡堡苎 摘要 信噪比，压缩率，算法复杂度是评价图像和视频编码方法的三个主要指标，综合这三 个指标并使其达到最好效果是编码方法追求的主要目标。i n t e r n e l 的发展使得对图像压 缩率和算法复杂度的要求越来越高，一些经典的图像视频压缩编码方法已不能很好地满足 需要。如何在确保图像或者视频重建质量的前提下提高压缩比和降低传输码率显得越来越 重要。本文在研究多种图像、视频压缩编码方法的基础上，提出了基于行扫描的集台分割 图像压缩编码算法及帧问差分预测视频压缩编码算法。论文主要研究工作如下： 在分析小波变换理论和小波提升方法的基础上，对( 9 - 3 ) 滤波器进行提升。求解 n 了提升后的( 9 - 3 ) 滤波器的替换公式。也就是将连续的小波滤波器转换成离散的小 波滤波器，只需在整型数据下对系数进行移位和加减，去除了因浮点运算而造成的复 杂性和能量损失。本文还分析_ ：r 小波变换中的边界延拓，因为小波滤波器是关于零对 称的，每个系数都要用到它的前面和后续几个系数进行运算，所以对于边界的一些系 数，就要进行对称扩展，才能完成完整的滤波。 运用小波变换，提出了一种基于行扫描的集合分割编码算法，该算法本质上是一种嵌 入式算法，它充分利用了不同尺度系数之间的自相似性，能够产生嵌入式码流，实现 精确到比特的码率伸缩性。该算法还继承了s p e c k 算法以块为单位的集合分割的特点， 效率高，易于并行处理。在基本块内进行行扫描，利用行间的柙关性，提高了压缩率。 实验表明运用该算法可以提高1 蕊的效率，虽然图像恢复质量有所下降，但存连续视 频的条件卜，视觉质量的降低不明显。 在视频编码方法中，本文提出了一种帧间差分预测的编码算法，利用了预测编码的相 关理论，不仅考虑了帧问像素点的相关性，还考虑了同一帧相邻像素点之问的相关性。 对于视频传输，提出了一种在分层的比特流中加识别码的算法，可以对比特流进行伸 缩性控制，该算法对于带宽的变化具有很好的自适应性，易于快速实现，并且具有比 较好的压缩率和信噪比，计算复杂度低，该算法的实验表明能满足监控系统中视频的 实时压缩与传输。 论文对多种图像和视频编码算法进行r 对比测试，结果表明本文提出的基于行扫描的 集合分割图像压缩编码算法和帧间差分视频压缩编码算法有着较好的综合性能。论文最后 给出研究结论并对j 基缩编码问题进行了讨论和展望。 编码 关键词：可伸缩性、视频编码、小波提升、相关性、3 ds p lh t 、嵌入式编码、差分 筇1 受 a b s t r a c t p s n r , c o m p r e s s i o nr a t i oa n da l g o r i t h m i cc o m p l e x i t ya r em o s ti m p o r t a n tf a c t o r sw h i c hc a l l b eu s e dt oe v a l u a t ec o d i n gm e t h o d so fi m a g ea n dv i d e o b a l a n c i n gt h o s ef a c t o r st oa c h i e v et h e b e s tc o n a p r e s s i o ne f f e c ti st h em a i nr e s e a r c hp u r p o s ea ta l l t i m e s r e q u i r e m e n t s t ot h e c o m p r e s s i o nr a t i oa n da l g o r i t h m i cc o m p l e x i t yb e c o m eh i g h e ra n dh i g h e rd u et ot h ed e v e l o p m e n t o fi n t e r n e t , s ot h a tm o s tt r a d i t i o n a lc o m p r e s s i o nm e t h o d so fi m a g ea n dv i d e oc a nn o ts a t i s l y c u r r e n tt y p i c a ls i t u a t i o n s d u et ol i m i t e da b i l i t i e so fs t o r a g ea n dt r a n s m i s s i o n ，h o wt oi m p r o v e t h ec o m p r e s s i o nr a t i oa n dl o w e rt h et r a n s m i s s i o nb i tr a t ew h i l eg u a r a n t e e i n gt h eq u a l i t yo ft h e t r a n s m i t t e di m a g ea n dv i d e oi sc r u c i a l b a s e do nt h er e s e a r c ho fi m a g ec o d i n ga n dv i d e oc o d i n g m e t h o d s ，t h i sp a p e rp r e s e n t san e wa l g o r i t h mo fc o m p r e s s i o nc o d i n g i nt h i sp a p e r , e x p l o r e d i n v e s t i g a t i o n sa n dr e s e a r c h e sh a v eb e e nt a k e n , w h i c hi n c l u d e st h r e et o p i c s ： a tf i r s t ，t h i sp a p e ra n a l y z e st h et h e o r yo fw a v e l e tt r a n s f o r l na n dt h em e t h o d so fw a v e l e t l i f t i n g ，a n dl i f t st h ef 9 3 ) f i l t e r ，t h e na n a l y z e st h em e t h o d so f b o u n d a r ye x t e n d e d t h i sp a p e ru s et h ew a v e l e tt r a i l s f 0 1 1 1 1t oc o n s t r u c tal i n es c a nb a s e ds e tp a r t i t i o nc o d i n g a l g o r i t h m ，w h i c ha c t u a l l y i sa ne m b e d d e da l g o r i t h ma n dt a k e sf u l la d v a n t a g e so ft h es e l f s i m i l a r i t i e so fd i f f e r e n ts c a l ec o e f f i c i e n t s i tc a np r o d u c et h ee m b e d d e db i ts t r e a ma n dr e a l i z eb i t l e v e ip r e c i s i o no ft h eb i tr a t es c a l a b i l i t y t h ef e a t u r eo fs p e c ka l g o r i t h mi si n h e r i t e db yu s i n g b l o c k sa sb a s i cp a r t i t i o nu n i t s w h i c hc a nb ee x e c u t e di np a r a l l e lm o d ea n dh a sb e t t e re f f i c i e n c y t h ec o m p r e s s i o nr a t i oc a nb ei m p r o v e db ye l i m i n a t i n gc o r r e l a t i o n sb e t w e e nl i n e sw h e nl i n e s c a n n i n gi se x e c u t e di nt h eb a s i cb l o c k s 0 u ra l g o r i t h mc a ni m p r o v ec o m p r e s s i o nr a t i oa b o u t 15 o rs o o fc o u r s et h eq u a l i t yo ft h er e s u m e di m a g ed e c l i n e st os o m ee x t e n t b u ti ti sn o t o b v i o u si nt h ec o n t e x to fc o n t i n u o u sv i d e op l a y b a c k i nt h ev i d e oc o d i n gp a r to ft h es c h e m e ，t h i sp a p e rp r e s e n t san e wc o d i n gm e t h o db a s e do n i n t r a f r a m ed i f f e r e n c ea n t i c i p a t i o n i n 、j 5 r t u eo ft h er e l a t e dt h e o r yo fa n t i c i p a t e dc o d i n g ，n o to n l y t h ep i x e lc o r r e l a t i o nb e t w e e na d j a c e n tf l a m e sb u ta l s ot h ep i x e lc o r r e l a t i o ni nt h es a m ef r a m ei s t a k e ni n t oa c c o u n ti no u ra l g o r i t h m i nt h et r a n s m i s s i o np a r to fo u rs c h e m e am e t h o de m b e d d i n g i d e n t i t yc o d e si n t ot h el a y e r e db i ts t r e a m si sp r e s e n t e dw h i c hc a nc o n t r o lt h es e a l a b i l i t yo f t h eb i t s t r e a m i ns u m ，o u ra l g o r i t h mh a se x c e l l e n ts e l f - a d a p t a t i o nt ot h eb a n d w i d t hc h a n g e s ，a n dh a s b e t t e re f f i c i e n c yo f t h ec o m p r e s s i o nr a t i o ，a l g o r i t h m i cc o m p l e x i t ya n dp s n r i ti se a s yt or e a l i z e a n dc a nt o t a l l yf u l f i l lt h er e q u i r e m e n t so ft h er e a lt i m ev i d e oc o m p r e s s i o na n dt r a n s m i s s i o ni n o u rm o n i t o r i n gs y s t e m f i n a l l y ，t h ec o n c l u s i o n sa r em a d e ，s o m ei m p o r t a n ti s s u e si nc b r r e s e a r c ha r ei d e n t i f i e d a n ds o m ep r o m i s i n gr e s e a r c hd i r e c t i o n sa r eg i v e n k e yw o r d s ：s c a l a b i l i t y , v i d e oc o d i n g ，w a v e l e tl i f t i n g ，h i g h e r - o r d e rc o r r e l a t i v i t y , 3 ds p i h t , e m b e d d e dc o d i n g ，d p c m ； 里堕型兰垫查查耋堑塞兰堕兰壁笙塞 第一章绪论 1 1 问题的提出 随着i n t e r n e t 的发展，数字视频技术得到了长足的发展，数字视频也在视频会议、远 程医疗、战场侦查、嘲上点播等方面得到了广泛的应用。通过网络传输数字视频，有很多 的问题需要解决。通常我们比较关心的问题有以下几个： 图像质量 图像质量在大多数应用中都是最重要的指标，人们很难容忍一幅模糊的图像，在远程医疗 和战场侦查中，图像质量重要性更加突出。 图像压缩比 在网络环境下，网络带宽始终是个制约因素。要得到好的图像质量，在没有更好的压缩 算法的前提下，只能降低图像的压缩比，而这又会对图像在网络上进行传输产生影响。 算法复杂性 在实时视频传输应用，如远程教学、战场侦查等，都要求系统的时延尽可能低，这就要求 系统至少具有每秒2 5 帧的处理能力。而且，对于手持式终端来说，无法象台式机那样进 行大规模的浮点运算，这就要求编码算法要尽可能简单，最好能只用整数的加法和移位来 实现，这样就能有效的降低硬件成本，节约能源。 对异构网络的自适应性 自适应性是网络视频应用的特殊要求，用来解决网络环境的异构性问题。不同的网络，其 带宽、时延特性差异很大。固定的编码方法不能解决这个问题，而对系统的接体性能带米 影响，所以对信源应该采取伸缩性编码方法。 这几个指标必须综合来衡量，单纯衡量某一个指标，而忽略其他指标，在网络环境卜 是没有意义的。本文的目标就是根据监控系统中网络环境的具体特点，以小波变换为基本 手段，综合研究视频编码领域近年来提出的新理论、新方法，设计一个具有较好综合指标 的视频编码器。 1 2 国内外研究现状及发展趋势 1 2 1 视频编码技术的概述 近儿年中，视频多媒体在备领域的需求迅速增长数字视频以及网络通信技术的结合， 构成了能在网络j 二传输视频、音频、文本信息的服务系统，使得许多应用都由构想成为r 现实，如可视电话会议、视频点播( v o d ) 、远程教学、远程医疗会诊等等。但这些服务从 基本实现到j “泛应用还而临许多问题，诸如怎样提高网络带宽的利用率，如何在有限的网 络带宽下尽可能地传输质量较高的视频等问题。 实时传输的视频主要有h 2 6 1 、h2 6 3 以及m p e g 系列，由于新酐j m p e g - 4 l 标准，在 交互性和压缩效率方面的特点，而敌j 。泛应用。m p e g 1 是一个针对数字存储媒体的，】： 作在l5 p s 左右的运动图像和丰i i 关音顿的编码标准，它的提出根本就没有考虑到网络传 捻1 贝 国防科学技术大学研究生院学位论文 作在1 5m b p s 左右的运动图像和相关音频的编码标准，它的提出根本就没有考虑到网络传 输，所以缺乏容错性和可伸缩性。m p e g 一2 提供了针对标准数字电视和高清晰度电视在各 种应用下的压缩方案和系统层的详细规定，采用变码率编码系统，编码后的码率范围在 3 m b p s 1 0 m b p s 。m p e g 一2 标准中的数字视频广播( d v b ) 标准提供了一整套完整的、适用于 不同传输媒质的数字电视广播系统规范，d v b 选用m p e o 一2 标准作为音视频的编码和压缩 方式，对信源编码进行了统一，并对m p e g 一2 码流打包而形成传输流( m p e g - 2t s ) 进行多个 传输流的复用。但是m p e o - 2 的传输由于需求的带宽过高，只能在a t m 、卫星以及光纤等 宽带网络上进行视频广播，而不适合在带宽不稳定的i n t e m e t 上实时传输例1 4 j 。相对而言， 基于对象编码的m p e g - 4 标准更适合网络的视频传输。 基于m p e g 一4 的视频实时传输服务主要集中在连续媒体流应用，远程视频监控、网络 视频新闻以及交互式视频游戏等领域。它通过m p e g 一4 高效视频压缩和网络传输控制策略， 将原始视频压缩后实时传输到接收端，通过较少的缓冲控制，就能够在远端欣赏到优良的 视频服务，同时该服务也提供交互性操作，让用户可以选择视频传输服务，这就节约了用 户下载媒体的时间和网络传输的带宽资源。 圈卜l 视频实时传输服务体系 正如图l l 所示，m p e g 一4 视频实时传输服务体系由视频源、编码压缩计算机、网络服 务器、互联网以及多个网络用户组成。视频源( v i d e os o u r c e ) 可以是预编码的视频流，也 可采用实时的视频摄录，例如照相机、数码相机、摄像头或v c r 。视频编码计算机经过数 字化将模拟信息转换成数字信息，然岳对视频进行编码，编码完成后就根据需要把数据传 到网络服务器暂存以便于传输控制。网络服务器则负责响应用户请求传送数据流，它必须 是宽带接入的，因为它的任务是满足多个用户对视频传输的要求，同时网络服务器必须性 能高，可靠性高，才能同时处理多用户实时传输视频的要求。 m p e g 一4 与m p e g 一1 和m p e g2 有 i 大的不同，它为多媒体数据压缩编码提供了更为广阔 第2 页 国防科学技术大学研究生院学位论文 的平台，它定义的是一种格式、一种框架，而不是具体算法，它希望建立一种更自由的通 信与开发环境。m p e g 一4 编码系统是开放的，可随时加入新的有效的算法模块。公开的m p e g 一4 算法没有突破进展，计算复杂度高，编码效率低，不能满足实时应用，性能较优良的有 m i c r o s o f t 公司和d i v x 公司的m p e g - 4 编码器，但属于核心机密，不公开。针对上述诸多 问题，我们需要研究高效率高质量的m p e g 一4 编码器。 压缩编码效率永远是衡量一个编码标准的关键因素，m p e g 一4 具有较高的压缩编码效 率。由于采用了基于对象( o b j e c t b a s e d ) 的编码技术，就可以对场景中的不同目标进行单 独编码，对重要对象采用高分辨率编码( 如，高时间分辨率) ，对非重要背景采用低分辨率 编码，降低码率的同时获得更好的主观评价：低码率时( 如1 0 0 k b p s ) 的视频解码质量与 l2 6 3 相当，高码率时( 如1 m b p s ) 具有明显的信噪比优势。 m p e g 一4 中算法很多，可根据需要选用，例如纹理编码有d c t 、s a d c t 、o w t 睇1 等。类似于 现有的视频编码标准，m p e g 一4 采用运动预测和运动补偿技术来去除图像信息中的时间冗余 成分，而这些运动信息的编码技术可视为现有标准由向任意形状的v o p ( v i d e oo b j e c t p l a n e ) 的延伸。v o p 的编码有3 种模式，即帧内( i n t r a - f r a m e ) 编码模式( i v o p ) 帧间 ( i n t e r f r a m e ) 预测编码模式( p - v o p ) ，帧间双向( b i d i r e c t i o n a l l y ) 预测编码模式 ( b - v o p ) 。纹理编码的对象可以是帧内编码模式的i v o p ，也可以是帧问编码模式b - v o p 或 p - v o p 运动补偿后的预测误差。编码方法基本上仍采用基于8 8 像素块的d c t 方法。在帧 内编码模式中，对于完全位于v o p 内的像素块，则采用经典的d c t 方法：对于完全位于v o p 之外的像素块则不进行编码：对于部分在v o p 内，部分在v o p 外的像素块则首先采用图像 填充技术来获取v o p 之外的像素值，之后再进行d c t 编码。帧内编码模式中还将对d c t 变 换的d c 及a c 因子进行有效的预测。在帧间编码模式中，为了对b - v o p 和p - v o p 运动补偿 后的预测误差进行编码，可将那些位于v o p 活跃区域之外的像素值设为1 2 8 。此外，还可 采用s a d c t ( s h a p e - a d a p t i v ed c t ) 方法对v o p 内的像素进行编码，该方法可在相同码率下 获得较高的编码质量，但运算的复杂程度稍高。变换之后的d c t 因子还需经过量化( 采用 单一量化因子或量化矩阵) 、扫描及变长编码，这些过程与现有标准基本相同。 一种关于m p e g 一4 的纹理编码【5 】方法是基于多尺度的零树小波编码1 6 】，可以对任意形状 的纹理进行最有效的编码。此外，它还针对自然图像和合成纹理提供改进的有效、可伸缩 性和基于对象的低复杂度编码功能。m p e g 一4 的纹理编码包括一个小波变换，小波树的构成， 小波系数的量化和量化后小波系数的熵编码。在m p e g 一4 的纹理编码中，一个双正交的小 波变换定义为缺省的并且语法支持下载的标准化的小波变换。多尺度量化方案为应用软件 提供了一个非常灵活、广阔的领域，这个领域支持层级与可伸缩性、复杂性和编码效率类 型之间的适当折中。量化后系数的熵缟码是使用自适应的算术编码。m p e g 一4 的纹理编码提 供了三种功能，也就是大量提高的缟玛效率，可伸缩性，和对任意形状视觉对象的编码。 编码效率是任意图像编码技术的一个重要指标，它是指用最少的比特数达到某种图像 质量或者在给出的比特数下达到最好的图像质量。在3 p e g 2 0 0 0 标准中，就用到了m p e g 一4 的基于小波的纹理编码方法，对于同一幅图像，它的p s n r 比基于d c t 的纹理编码的p s n r 要提高6 d b 左右。但小波变换编码的最点是小波没有有效的快速算法，因此使用时所需时 间多，这样在实时处理上受到很大的最制。另外，一般小波滤波器芯片的成本是d c t 芯片 成本的几倍。 第3 页 国防科学技术大学研究生院学位论文 1 2 2 可伸缩性编码 在互联网上传输视频流需要解决的一个基本问题是网络带宽的波动，不同的人在不同 的时刻用不同的终端设备使用互联网时，所得到的数据传输率存在很大的差异，甚至是同 一个人在同一时刻，哪怕是在传输同一个视频流，实际的数据传输率也会存在较大的波动。 传统的编码方法生成的视频流很难适应如此复杂的网络带宽的波动。例如在目前很多远程 教学中，m p e g 一1 应用比较普遍，m p e g 一1 只能根据预设产生固定码率的复合视音频流，通 常为1 m b p s 。在面临网络阻塞或网络带宽不够时，视音频流就无法正常传输。在实际应用 中这种情况经常遇到，严重制约了网络视频的应用。 为解决这个问题，我们在校远程教学系统中采用了一种针对不同媒体内容的伸缩性控 制方法。我们引入了媒体网关，由网关根据预约来进行内容分发。网关将m p e g - 1 的复合 流分解为声音流、只包含i 帧的视频流、包含b p 帧的视频流。这三种流的重要性不同， 优先级也不同，声音流的优先级最高，i 帧次之，b p 帧最低。网关将根据每个连接的实际 网络情况对这些媒体流进行分发。在最差情况下只发送声音流，其次发送声音和i 帧流， 最好的情况下发送包含所有流的复合流。这种伸缩性控制可以解决一定的问题。但缺点也 同样明显，就是只能进行粗粒度的控制，对于i 帧视频流而言，帧率降低严重，而且i 帧 流依然要占用相当的带宽。需要进行更高级的伸缩性控制。 所以也就产生了可伸缩性编码，从编码一级进行控制。伸缩性编码方法运用两个视频 流：基本层码流和增强层码流。基本层码流是必须传输的，并且码率比较低，增强层码流 可以根据带宽情况进行任意截断，甚至可以不传，由于可伸缩性编码方法生成的视频流可 以在一个很大的码率范围内自适应调整，因而能够适应复杂的网络带宽波动。其次，除了 基本层码流需要尽量避免数据包的丢失外，增强层的数据包的丢失不会带来明显的视觉质 量的降低，也不会影响到其他帧，因而可伸缩性编码生成的视频流有较好的鲁棒性。一个 不可伸缩的视频编码器生成一个压缩比特流。而一个可伸缩的视频编码器将未经加工的视 频序列压缩成为多个子流。被压缩子流中的一个是基本子流，它可以独立解码并提供较粗 糙的视频效果。另一个压缩子流是提高层子流，它只能与基本子流一起被解码并提供更好 的视觉效果。这个完整的比特流( 即，所有子流的组合) 提供最高的视觉质量。与对完整 的比特流解码相比较而言，对基本流或几个子流的解码生成的图像具有较低的视觉质量， 或较小的图像大小，抑或较低的帧速率。质量可伸缩性、图像大小以及帧速率，分别被称 为s n r ，空间的或时间的可伸缩性。这三种可伸缩性是基本的可伸缩性机制。 基于d c t 的可伸缩性编码【7 i 方法目前有三种， ( 1 ) s s ( s p e c t r a ls e l e c t i o n ) d c t 系数能量的绝大部分集中在系数的低频部分。这样将一个d c t 系数宏块进行多 次可伸缩性扫描主要有以下步骤：在第一次扫描时仅仅传输低频系数，即在基本层传输系 数0 到l l ，在第二次扫描时，将l 1 传输到l 2 ，依此类推直到传输了所有的系数。 ( 2 ) s a ( s u c c e s s i v ea p p r o x i m a t i o n ) 与s s 相比较而言，s a 则在一次扫描中包含所有的d c t 系数，在后续扫描中不断增 加每一个系数的效果。 在一个d c t 系数宏块中，低频系数代表了趋势，或者说是相对静止的区域，这些系 数代表了图像中大多数宏块的重要信息。与这些趋势相比较，高频系数代表了发生较大变 化的区域或者是边缘区域。然而边缘区域的信息并不存在于所有的宏块中，但它们所携带 第4 页 国防科学技术大学研究生院学位论文 的信息对于整幅图像而言是相当重要的。为了在边缘与趋势之间取得平衡。 ( 3 ) 将s s 与s a 相结合以分离一个d c t 宏块。 这种算法通过对d c t 系数宏块的分离，将两个相互独立的算法s s 与s a 相结合。如 图1 2 所示，这种新提出的算法允许每一个d c t 模块进行分割，分别进行扫描，同时仍能 控制每_ 次扫描的大小。这样使得传输比特流包含了所有压缩图像中每一次扫描的任何一 个子集，因而传输码率和图像质量或信噪比( s n r ) 都允许发生改变。 m p e g 4 的f g s ( f i n eg r a n u l a r i t ys c a l a b i l i t y ) 编码结构【7 j 如图1 3 所示。它主要是针对帧 的预测与补偿，也就是帧间的可伸缩性提出的，最上面的层是基本层，基本层采用现有的 运动补偿d c t 变换编码标准，除了m p e g 4 外，基本层的编码也可以采用其他的标准， 如m p e g 一2 和 l 2 6 3 等，通常基本层的码率非常低，因而基本层的量化步长比较大，基本层 的量化误差通过位平面编码技术形成增强层码流，采用位平面编码技术的好处是它能提供 一个非常精细的可伸缩性的码流，并且在低的增强层，如图1 3 中的增强层l 和增强层2 ， 其编码效率也比变长编码技术高。从f g s 编码结构可以看出，基本层和所有增强层都是用 前一帧的重构基本层为参考，因此如果在传输过程中增强层码流出现丢失和错误，只需要 丢掉这一帧后面的增强层码流即可，在随后的一帧依然可以得到晟好的图像质量，显然增 强层码流的丢失和错误不会产生严重的视觉影响和误差累积。从编码的角度讲，f g s 方法 的编码效率是比较低的，因为它总是用一个最低质量的重构层作为运动补偿的参考，因而 运动补偿的效果就比较差，从而降低了整个编码方案的效率。 i ) ( ( 6 3 团b a 灿y 瞄困 基本层 增强层l 增强层2 增强层3 增强层4 - 、j s h l ，s h i - + + j 血n “m s e a l l i 囹- = e n h a n c n ls e a l i2 图l 一2s s 与s a 的结合 f r a m e r 图卜3f g s 编码结构 第5 页 国防科学技术大学研究生院学位论文 基于小波的可伸缩性编码【s 】方法 小波变换把图像分解成不同的频域子带，是在图像的整体基础上对图像进行处理，因 而能够体现全局优化特性。小波变换后的各高频子带中更多的保留了高频信息，也就是保 留了原图像的轮廓、边缘和纹理信息，因而也就能够对图像进行精细结构的描述。小波变 换的这种多分辨率的特性与人类的视觉特性相一致，因此能得到良好的图像效果。与基于 d c t 的方法相比，零树小波编码提供了高压缩效率和空间与质量上的可伸缩特性。在分层 压缩中，比特流逐渐地被解码，依据空间可伸缩性、质量层级( s n r ) 可伸缩性、或者空 图卜4m 层空间伸缩性 图1 - 5 。层质量伸缩性 图1 6 。xm 层联合空间质量伸缩性 第6 页 国防科学技术大学研究生院学位论文 间和质量可伸缩性1 9 j 的结合提供不同的图像版本，图l - 4 和1 - 5 说明了这两种可伸缩性编码 的例子。在图1 - 4 中，比特流在空间上分层，比特流由不同段组成。解码第一段，用户就 可以以低分辨率预览图像，解码第二段产生一个稍高分辨率的重构图像，经过逐渐地解码 另外的段，观察器可以提高图像的空间分辨率。图l 一5 表明了比特流包括质量可伸缩性层 级的一个例子，在这个图中，比特流由不同的段组成。解码第一段可以大致查看一个模糊 的重构图像，对下一段的进一步解码可以逐步地提高重构图像的质量。 图1 6 表明了一个更复杂的空间与质量结合的可伸缩性。在这个例子中，比特流由空 间层级组成，但每个空间层级又包括质量可伸缩性层级。在这种情况下，可以逐渐地解码 比特流来提高解码图像的空间分辨率和质量。零树小波编码对于编码小波变换系数是一个 已经证明了的技术。包括较好的压缩质量，零树小波编码的优势还在于简单、嵌入的比特 流结构、可伸缩性和精确地控制比特速率。 可伸缩性编码是一种比较先进的视频编码技术。它是随着压缩技术的成熟和i n t e m e t 的广泛应用发展起来的。小波理论的成熟又为伸缩性编码提供了丰富的手段。综合应用各 种技术可以实现性能良好的，适应网络环境的视频编码方案【1 0 j 。 1 3 本文主要研究内容 本文研究的目的是为智能网络监控系统研制视频编解码器。监控系统不同工作模式下 对视频编码有着不同的需求。有警情发生时，要求有最高的质量，和最高的帧率，这时的 压缩率可以降低，码流率提高。正常工作条件下要对质量、帧率、码流率进行均衡处理。 编码器应能够较全面的满足这三个指标。等级最低的应用，例如一些不太重要的场所的监 控，这三个指标都可以较低。针对以上几种情况，本文主要研究的问题及其贡献包括咀下 三个方面： 1 小波变换提升算法及对( 9 - 3 ) 滤波器的提升 小波算法在图像压缩率与压缩质量方面有着许多其他压缩算法无可比拟的优点，但小 波算法的计算复杂度比较高，不利于实时压缩，所以考虑用提升方法来实现具有有限支集 的小波变换，应用提升矩阵可以减少变换复杂度，可以仅用加法和移位来代替浮点型运算。 同时，边界处理也很容易，能够很好地实现信号的重构。对于不同的小波基其提升矩阵也 不同，所以其构造的小波函数也不同，本文的目的是找出光滑性更好、性质更加优良的小 波函数。 在进行小波构造时，可以得到无穷多个小波。这些小波各有自己的特点，它们的滤波 器长度、系数特点、平滑性都不同，适用于对不同性质的图像进行处理，没有一种小波能 满足所有的需求和应用背景，只能通过大量的试验，找出相对良好的小波滤波器。通过实 验本文选用了( 9 3 ) 双正交小波作为直用滤波器，并对其进行了提升。 即使是提升后的小波滤波器，其计算复杂度仍然很高，很难实时处理。为了解决这个 问题，本文采用了i n t e l 的单指令多鼗据技术对指令进行优化，可以同时对4 行向量进行并 行滤波，能够提高一倍的速度。 2 一种基于行扫描的集合分割黄码算法( s p b l s ) 对小波变换后的系数进行处理时嵌入式编码是一种性能比较优良的编码方法。它可 以充分利用小波系数的能量分布特性不仅能够获得较好的压缩效果，还具备良好的可伸 缩性。本文分析了比较经典的几种嵌式编码方法，如e z w ，s p i h t 和s p e c k 等，并在 第7 页 里堕型兰茎查奎兰婴塞生堕堂垒堡奎 此基础上提出了一种基于行扫描的集合分割算法，该算法在s p e c k 的基础上加以改进， 采用了与田，e c 匿相同的基于块的分割策略。与s p e c k 的区别在于引入了基本块的概念。 对于非正方形图像，系数矩阵为m nc 参) ，设其n 次小波迭代后的三厶系数矩阵为 mnn。按照基于块的集合划分算法，对上厶进行分块。划分到子块的大小为基本块时，o ， 停止划分。设基本块尺寸为m xp i ，对系数进行行扫描，根据行内系数的重要性，对其输 出比特进行霍夫曼编码。该算法经测试本文提出的算法比s p e c k 能提高l o 的压缩率。 3 一种基于小波变换的帧间差分预测编码方法 传统的视频压缩编码方法一般是基于d c t 变换的编码方法。但是基于小波的视频编码 方法因其性能优良，失真少，可伸缩性等特点，越来越受到人们的关注。三维小波中比较 经典的是3 ds p i h t ，它是在二维s p i h t 的基础上发展起来的编码方法，本文在分析3 d s p i h t 的基础上提出了一种帧间差分预测的编码方法，不仅考虑了帧间像素点的相关性， 还考虑了同一帧相邻像素点之间的相关性，在传输过程中，提出了一种对比特流进行伸缩 性控制的方法，对于带宽的变化具有很好的自适应性，就是在分层的比特流中加识别码。 经测试本文提出的算法具有比较好的压缩率和信噪比，计算复杂度低。能满足监控系统中 视频的实时压缩与传输。 1 4 论文的结构 本论文一共分为五章，本文其余章节的具体内容安排如下： 第二章：分析了小波的基本理论及提升方法，边界延拓等问题，并对( 9 3 ) 滤波器进行了 提升运算。 第三章：分析了几种经典的嵌入式编码方法，并在此基础上提出了一种基于行扫描的集合 分割编码算法，并且分析了该算法的性能及与s p e c k 算法进行了比较 第四章：阐述了帧间编码的方法，重点分析了3 ds p i h t 算法。提出了一种帧间差分预测 编码方法。在传输过程中，提出了一种对比特流进行伸缩性控制的方法，对于带 宽的变化具有很好的自适应性。 第五章：全文总结和未来工作展望。在总结全文工作的基础上，提出了下一步工作的方向 和基本思路。 第8 页 国防科学技术大学研究生院学位论文 第二章小波变换的提升理论及对( 9 - 3 ) 滤波器的提升 2 1 小波变换的基本理论 从1 9 8 4 年小波( w a v e l e t ) 的概念面世以后，小波理论研究与应用得到了迅速的发展。 小波变换的时( 空) 频域局部化性质和多尺度分析特性是其精华所在，由于良好的时( 空) 频域局部化特性，小波分析可以准确地获得信号的瞬变特征，丽通过多尺度分析，又可对 信号进行“切片式”分析，在不同尺度下观察信号细节的演变规律，其优良的分析特征已 使小波变换成为信号分析与处理的一种新的有力工具。 2 1 1 傅立叶分析1 n 2 傅立叶变换( f o u r i e l t m n s f o n l l ) 表示为： 夕( 刃- ) = f ：，( j ) e d x ，( 工) 工2 ( ，r ) ( 2 1 ) 其中1 r 表示实数区间( 一一，+ 一) ；f ( 哟表示在实数区间( 一一，+ m ) 上所定义的 所有可测且具有f 二 ( j ) 1 2 出 0 ) ，窗会 自动变窄：而对于检测低频特性( 即大的口 0 ) 窗会自动变宽( 参看图2 - 1 ) 。 叩 脚 口 出4 口， 晚+ 口l r6 2 + 口2 r f 图2 - 1 时间一频率窗aj 1 , b o 0 ，则根据( 2 7 ) ，可得离散小波： 伊m ( x ) = a o j l 2 p ( 口i z k b o ) ( 2 1 3 ) 这样离散小波变换可定义为： d r v t ( j ，七) = i s ( z ) ；：i i j 西矗r = ( ，( 工) ，妒， ( x ) ) ( 2 1 4 ) a o = 2 时，竹( x ) 即为二进小波( d y a d i cw a v e l e t ) 。 2 1 3 多分辨率分析与m a l l a t 分解和重构“钔q ”1 用二进小波变换所得的小波系数仍含有大量的冗余性，这是因为二进小波族的每个小 波之间可能是线性相关的。如果能找到l 2 ( l r ) 空间的一个正交小波基，用它来进行变换， 则所得到的小波系数就不会有冗余了。这就存在一个选取小波基的问题。八十年代，m a l l a t 提出了多分辨率分析的概念，将那之前的所有正交小波基的构造统一起来，并给出了信号 分解为不同频率通道及重构的算法。 任何小波把l 2 ( l r ) 的都分解成团子空间k ，z z 的某种直接和；在这个意义上， 每个子空间是函数集合p ， ( x ) = 2 - s z 妒( 2 x - k ) ，k z z 的线性张成在2 ( 上r ) 中的闭 包。因此，相应的子空间 = 人+ 一2 + _ l ，j 忽 ( 2 1 5 ) 形成r ( 三r ) 中的一个嵌套序列，他们的并在空间l z ( l r ) 中是稠密的，它们的交是零空间 o 。即具有下述性质： ( 1 ) 单调性：a l i _ j + 1g a v j z z ； ( 2 ) 逼近性：i 巧= o ，y = l 2 f i r ) ； e zj e z ( 3 ) 伸缩性：厂( x ) _ 曹f ( 2 x ) + i v j z z ； ( 4 ) 平移不变性：f ( x ) j f ( x k ) ，v k z z ； ( 5 ) r i e s z 基存在性：存在g l j ，使( g ( x k ) i i z z 构成的r i s e z 基。 第1 2 页 国防科学技术大学一研究生院学位论文 像( 1 ) 描述的那样，子空间_ 的序列是嵌套的：像( 2 ) 中所描述的，l 2 ( l r ) 中的每 个函数f 能够用它在中的投影p f 非常接近希望的逼近a 但另一方面，像在( 2 ) 中所 保证的，通过减少，投影p ，f 能够具有任意小的能量。( 1 ) 、( 2 ) 还没描述的这些空间重 要的内蕴性质是当_ ，j 一。时，p ，厂更大的“变化”被除去，并且这些变化时逐层剥离的， 即按变化“频带”减小顺序剥离。 一个函数l 2 ( r ) ，如果它生成= d o s ：1 意义上满足( 1 ) ( 2 ) ( 3 ) 的闭子空_ f n q 一的一个嵌套序列，并且移 - k ) ，k z z ) 是k 的一组标准正交基，那么 是上2 ( r ) 的一个多分辨分析( m r a ) 。生成m r a 的称为是一个“尺度函数”。 由于k 和w o k ，而且k 是用办。( x ) = 2 “2 庐( 2 x 一七) ，k e z z 生成的，所以y o 和中 的任何函数都可由协。( x ) = 2 “2 ( 2 x t ) ，k z z ) 线性组合而成，特别地 ( x ) = k 2 ( 2 x - n ) 一 ( 2 1 6 ) p ( 工) = g 。2 ( 2 x 一 ) 系数吃被定义为( ( z ) ，动( 2 x - n ) ) ，系数岛被定义为仞( x ) ，劫( 2 x - - 一) ) 。式(