（光学工程专业论文）基于小波变换的序列图像感兴趣区域编码.pdf

中文摘要 感兴趣区域( r e g i o n o f - i n t e r e s t ，r o i ) 编码技术，即在图像中的感兴趣区域 采用低压缩比的有损压缩，甚至无损压缩；而在非感兴趣( 背景) 区域，采用高 压缩比的有损压缩，这样既能够获得较高的全图压缩比，又可以保持图像中的重 要信息不丢失，为解决图像压缩比与重建图像质量之间的矛盾提供了一个新的思 路，具有重要的理论意义和应用价值。 根据国内和国际上的相关研究，本文对序列图像r o i 编码中的几项关键技 术进行了探讨，主要包括r o i 位平面偏移方法、序列图像的运动估计算法，以 及对r o i 的动态跟踪算法等，其目的是建立一种实用的序列图像r o i 编码系统， 为未来的遥感图像分析、远程医疗和视频通信等应用领域提供算法支持。 本文的创新性工作概括如下： 1 、提出了一种通用的部分位平面偏移方法( g e n e r a l i z e d p a r t i a l b i t p l a n e ss h i f t m e t h o d ，g p b s l l i f t ) 。与标准方法中将全部位平面用统一的偏移值进行移位不同， 该方法将r o i 系数和背景系数的位平面分别划分成两部分，进行不同的位平面 偏移。g p b s h i f f 方法兼容m a x s h i f t 、g b b b s h i f l 和p s b s h i f f 三种方法，并提供比 上述方法更大的灵活性。它不仅能够在不需要传输r o i 形状信息的情况下，对 任意形状的r o i 进行编码，而且通过选择偏移值，可以灵活调整r o i 和背景区 的相对压缩质量。此外，它还能够根据不同的优先级，编码多个r o i 区域。 2 、提出了一种可预测搜索起点的自适应交叉准菱形搜索算法( p r e d i c t i v e a d a p t i v ec r o s s q u a s i d i a m o n ds e a r c ha l g o r i t h m ，p a c q d s a ) 。根据序列图像中 运动矢量的交叉一中心偏置分布特性和矢量间的时空相关性，该算法设计了一种 交叉一准菱形搜索模板，并融合搜索起点预测、半途中止准则和自适应搜索模式 等技术，在保证搜索精度的同时，大幅度提高了运动估计的速度，尤其对于大运 动序列，具有更明显的优势。 3 、提出了一种基于h a u s d o r f f 距离的r o i 跟踪算法。该方法首先采用一种 新型的非线性边缘检测算法提取r o i 模板和待匹配图像帧的边缘特征点，接着 用h a u s d o r f f 距离将r o i 模板的二维二值模型与后续帧进行匹配，然后采用一种 基于运动相连成分的模型刷新方法对模型的每一帧进行更新，最终利用二值模型 从视频序列中提取出r o i 。 4 、提出了一种适于图像压缩的小波基选择和评估的新方法。通过分析小波 基函数的数学特性，该方法提出用六个指标全面评估小波基的压缩性能。这六个 指标包括：熵h 、编码增益g 、峰一峰比p p r 和增益的乘积p p r g 、最低频子 带重构图像的峰值信噪比p s n r 、能量集中特性，以及能量分布特性。实验结果 显示：该方法能够正确对小波基进行评估，并据此选择出适当的小波基。 关键词：序列图像编码感兴趣区域小波变换运动估计感兴趣区域跟踪 a b s t r a c t r e g i o n 。o f - i n t e r e s t ( r o i ) i m a g ec o d i n gt e c h n i q u em e a n st oc o m p r e s si n t e r e s t i n g r e g i o n si na ni m a g ew i t h o u tl o s so rw i t hl i t t l el o s s ，a n dt oc o m p r e s su n i n t e r e s t i n g ( b a c k g r o u n d ) r e g i o n sw i t hm u c hl o s s b a s e do nt h i si d e aah i g hc o m p r e s s i o nr a t i oc a n b eo b t a i n e da n dt h ei m p o r t a n ti n f o m l a t i o ne a r lb ep r e s e r v e di nt h ei m a g e r o ic o d i n g t e c h n i q u ep r o v i d e san e ww a yt os o l v et h ec o n t r a d i c t i o nb e t w e e nt h ec o m p r e s s i o n r a t i oa n dt h ei m a g eq u a l i t y t h e r e f o r e ，i ti so fg r e a ts i g n i f i c a n c ei i l t h e o r ya n d a p p l i c a t i o n s b a s e do nt h ec o r r e l a t i v er e s e a r c ha th o m ea n da b r o a d ，t h i sd i s s e r t a t i o nd i s c u s s e d s o m ek e yt e c h n i q u e sr e l a t e dt or o ic o d i n go fs e q u e n c ei m a g e ，w h i c hi n c l u d er o i b i t p l a n e ss h i f tm e t h o d ，m o t i o ne s t i m a t i o na l g o r i t h m ，r o it r a c k i n ga l g o r i t h m ，a n ds o o n a l lt h ew o r ko ft h i sd i s s e r t a t i o ni sf o c u s e do nt h er e a l i z a t i o no fr o iv i d e oc o d i n g s y s t e mb ys o f t w a r ef o rs u c ha p p l i c a t i o n sa sr e m o t es e n s i n gi m a g ea n a l y s i s ，r e m o t e d i a g n o s i sa n dv i d e oc o m m u n i c a t i o n t h em a j o ri n n o v a t i o n sa c h i e v e di nt h ed i s s e r t a t i o na r ca sf o l l o w s ： 1 an e w r o ic o d i n gm e t h o dc a l l e dg e n e r a l i z e dp a r t i a lb i t p l a n e ss h i f t ( g p b s h i f 。 i sp r e s e n t e d t oc o n t r o lt h er e l a t i v ei m p o r t a n c eb e t w e e nr o ia n db a c k g r o u n d ，t h e m e t h o dd i v i d e st h eb i t p l a n e so fr o ia n db a c k g r o u n dc o e f f i c i e n t si n t ot w op a r t sb y u s i n gs c a l i n gv a l u e ss 1a n ds 2 ，r e s p e c t i v e l y i n s t e a do fs h i f t i n gt h eb i t p l a n e sa l l a l o n c eb yt h es a m es c a l i n gv a l u esi nt h es t a n d a r dm e t h o d s g p b s h i f ts h i f t sp a r to f t h e mo nt h eb a s i so ft h e b i t r l a n es h i f t i n g s c h e m e t h em a x s h i f t ，g e n e r a l i z e d b i t p l a n e b y - b i t p l a n es h i f t ( g b b b s h i f l ) a n dp a r t i a ls i g n i f i c a n tb i t p l a n e s s h i f t ( p s b s h i f t ) m e t h o d sa r es p e c i a lc a s e so ft h eg p b s h i f im e t h o d ，w h i l eg p b s h i f l p r o v i d e s m o r e f l e x i b i l i t yf o r “d e g r e e - o f - i n t e r e s t ”a d j u s t m e n t o ft h er o i t h e g p b s h i f lm e t h o dn o to n l yi sa b l et oc o d ea r b i t r a r i l ys h a p e dr 0 1w i t h o u te x p l i c i t l y t r a n s m i t t i n ga n ys h a p ei n f o r m a t i o nt ot h ed e c o d e r , b u ta l s of l e x i b l ys e l e c tt h es c a l i n g v a l u e st oa d j u s tr e l a t i v ec o m p r e s s i o nq u a l i t y 证r o ia n db a c k g r o u n d a d d i t i o n a l l y , t h em e t h o dm a ye f f i c i e n t l yc o d em u l t i p l er 0 1w i t hd i f f e r e n tp r i o r i t i e si na ni m a g e ， 2 ap r e d i c t i v ea d a p t i v ec r o s s q u a s i d i a m o n ds e a r c ha l g o r i t h m ( p a c q d s i s p r e s e n t e d b a s e do nt h ec r o s s c e n t e r - b i a s e dm o t i o nv e c t o rd i s t r i b u t i o nc h a r a c t e r i s t i c o ft h er e a l w o r l ds e q u e n c e sa n dh i g hs p a c e - t i m ec o r r e l a t i o no fa d j a c e n tb l o c k s m o t i o nv e c t o r s ，an e wc r o s s - q u a s i - d i a m o n ds e a r c hp a t t e r ni sd e s i g n e dw i t hs u c h e f f e c t i v et e c h n i q u e sa sp r e d i c t i o no fi n i t i a ls e a r c hp o i n t ，h a l f - s t o pc r i t e r i aa n d a d a p t i v es e a r c hm o i l e s e x p e r i m e n t ss h o w t h a tt h ea l g o r i t h mi sa b l et of i ta l lt y p e so f v i d e os e q u e n c e sa d a p t i v e l yi ns p i t eo ft h ed e g r e eo ft h em o t i o n s ，a n di ti sb e t t e rt h a n t h et r a d i t i o n a lf a s tm o t i o ne s t i m a t i o na l g o r i t h m ss u c ha sn t s s ，f s sa n dd s ，i nt e r m s o f b o t hs p e e da n dp s n r ，e s p e c i a l l yf o rt h es e q u e n c e sw i t hl a r g em o t i o n 3 a nr o it r a c k i n ga l g o r i t h mb a s e do nh a u s d o r f fd i s t a n c ei sp r e s e n t e d t h e a l g o r i t h md e t e c t se d g ep i x e l si na nr o i m o d e la n da ni m a g ef r a m ea st h er e c o g n i t i o n f e a t u r e s ，t h e nu s i n gt h e mm a t c h e st h e r o ii n s u b s e q u e n tf r a m e sb yu s i n gt h e h a u s d o r f fd i s t a n c er u l e t h er o im o d e li su p d a t e di nr e a lt i m eu s i n gan e wm e t h o d b a s e do nt h ec o n c e p to ft h em o v i n gc o n n e c t e dc o m p o n e n t s f i n a l l y , t h er o i sa r e e x t r a c t e df r o mt h eb i n a l 3 , m o d e ls e q u e n c e 。 4 an e wm e t h o df o rs e l e c t i o na n de v a l u a t i o no fw a v e l e tb a s e si ni m a g e c o m p r e s s i o ni sp r o p o s e d b ya n a l y z i n gm a t h e m a t i c a ic h a r a c t e r i s t i c so f w a v e l e tb a s e ， s e v e r a lc r i t e r i aa r e p r e s e n t e d w h i c hi n c l u d e e n t r o p y , c o d i n gg a i n ，p r o d u c t o f p e a k - t o p e a kr a t i o ( p p r ) a n dc o d i n gg a i n ，p s n ro ft h er e c o n s t r u c t e di m a g e ，e n e r g y c o l l e c t i o nc h a r a c t e r i s t i ca n de n e r g yd i s t r i b u t i o nc h a r a c t e r i s t i c t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h em e t h o di se f f e c t i v eo ns e l e c t i o na n de v a l u a t i o no f w a v e l e tb a s e s k e yw o r d s ：v i d e oc o d i n g ，r e g i o n o f - i n t e r e s t ( r o i ) ，w a v e l e tt r a n s f o r m ， m o t i o ne s t i m a t i o n ，r e g i o n - o f - i n t e r e s tt r a c k i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨生态生或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：象熟、 签字日期： 加哆年岁月2 f 日 学位论文版权使用授权书 本学位论文作者完全了解鑫壅盘鲎有关保留、使用学位论文的规定。 特授权墨生盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：爨热、新虢刹婶 签字日期：加巧年f 月z f 目 签字日期：沙口f 年歹月易f 目 第一章绪论 第一章绪论 数字图像和视频数据的海量性，以及通信系统中有限的带宽和存储空间大小 的限制，使得压缩编码技术成为发展“信息高速公路”的先决条件之一。 尽管广大学者在压缩编码领域取得了许多引人注目的成果，但是图像压缩比 和信噪比这一对矛盾仍然未得到很好的解决。本文旨在通过研究感兴趣区域编码 技术，来为解决这一矛盾开辟一个新的思路。在实际应用中，观察者往往只对图 像中某一特定区域中的内容感兴趣，而对其余部分的关注度较低。例如，对于军 事侦察图像，指挥员只对军事目标感兴趣，而对于医学图像，医生只对病变部位 感兴趣等等。因此，可以对感兴趣区域采用低压缩比的有损压缩，甚至无损压缩； 而对于背景区域，则采用高压缩比的有损压缩，这样既节省了存储空间和信道带 宽资源，又能最大限度地满足观察者对图像质量的要求，这就是感兴趣区域 ( r e g i o n o f - i n t e r e s t ，r o i ) 编码技术。 1 1 本课题研究的目的和意义 1 1 1 图像压缩编码的必要性 信息是现代社会的主要特征，而人们传递信息的重要媒介是图像。许多信息， 诸如天气情报、地球资源分布情况、医疗诊断信息等都可以转化为数字图像的形 式。数据的海量性是数字图像的一个显著特点，尤其是序列图像和视频图像，这 就给图像的存储与传输带来了困难。从存储的角度看，比如一幅6 4 0 x 4 8 0 像素、 8b i t p i x e l 的灰度图像占2 3m b ；一幅6 4 0 x 4 8 0 像素、每分量8b i t 的彩色图像则 占7 0 3m b ：若是同样分辨率的图像且以3 0 f f s 的帧频播放则占2 1 0 9m b s ，这样 的数字图像若用6 5 0m b 的c d 存放只能存2 5 s 。而一幅2 2 9 1 2 1 9 0 x 8 b i t 的气象 卫星红外云图占4 9m b ，一颗卫星每半小时可发一次全波段数据( 5 个波段) ， 每天的数据量就高达1 2g b ，可见所需存储的数据量之大【1j 。从传输的角度看， 目前主要的通讯传输手段是通过p s t n ( 公众电话交换网) ，虽然目前p s t n 的 通信主干网都实现了光纤通信，但是与最终用户连接的部分基本上仍是以铜线为 主，因此传输带宽受到限制。以一路普通电视信号为例，其带宽是6 m h z ，如果 直接传输，则需要占用9 6 0 个模拟话路，或1 0 0 0 个数字话路( 四次群信道) 吲。 虽然人们可以通过生产高速c p u 、海量存储器，以及建立高速宽带通信网 络来解决这一问题，但从现阶段来看还是远远不够的。因此，必须对庞大的图像 数据进行压缩处理，去除图像中大量的冗余信息，才能从根本上解决对海量图像 天津大学博士学位论文 信息的存储和传输问题。综上所述，无论从技术还是经济的角度，对图像进行压 缩编码都是十分必要的。 1 ，1 2 实现r 0 j 编码的目的和意义 前文己经证实了压缩编码的必要性，那么什么样的压缩编码方法才能实现对 高压缩比和完美像质的最佳统一呢? 针对图像中含有的不同种类的冗余信息，现 在已经出现了统计编码、预测编码、变换编码等一系列方法。尽管它们的编码原 理不同，但都具有一个共同的特征，即算法对整幅图像进行一致的压缩，图像各 个区域的压缩精度基本上是一样的。这类编码方法没有考虑到观察者对图像不同 区域的需求，在有些场合难以发挥最高的编码效率。下面来看几个例子。 对于医学图像的压缩，一般不允许压缩后的解码图像有任何的数据失真，这 就需要采用无损压缩，遗憾的是，无损压缩的编码效率很低，压缩比基本都在5 倍以下。另一方面，医学图像的数据量非常大，一幅普通的c t 图像就有 4 0 9 6 4 0 9 6 1 6 b r ，大约为3 3 m b ，即使经无损压缩后也至少有6 m b 大小。在远 程医疗应用中，图像压缩的应用可以分成两类：一是原始医学图像的存档，如果 不考虑传输时间和存储空间的限制，这里可以使用无损压缩，保证可以满足各种 使用需求，但这样做是很不经济的：二是用于诊断时的实时图像传输，由于通信 带宽的限制，如果此时再使用无损压缩，巨大的数据量将使得传输时间过长，影 响医生对病情的诊断，从而直接危害病人的生命健康。在通信系统硬件设备难以 满足需要的情况下，如何减少图像的数据量，又不影响医生对病情的诊断呢? 在遥感图像处理领域中，随着遥感技术的发展，新型航天器空间分辨率的提 高，多光谱检测波段的增加，使遥感图像的数据量不断增长。无损压缩图像的低 压缩比不仅不能解决空间数据的传输问题，而且也难以应付地面数据的存储，可 有损压缩有时又不能满足对图像精度的要求。如何在压缩比和图像质量之间找到 一个最佳的契合点呢? 在网络飞速发展的今天，很多人在生活中都有过这样的体验：下载一个文件 要等几分钟，而下载一幅图像则往往更慢，很长时间才传输了一小片图像，而在 大多数情况下，人们只有在获取了整幅图像后才能决定是否需要该图像，但此时 已经浪费了大量网络资源，狭窄的网络带宽已经成为阻碍网络发展的一个瓶颈。 虽然我们可以通过增加硬件投入、优化网络性能来增加带宽，但这种改进毕竟是 有限的，而且需要一个很长的时间过程。如何更有效地利用网络资源，使有限的 带宽用于传输最重要的信息呢? 类似的问题不断出现，迫使人们开始思考对现有算法的改进，并提出新算法 来解决这些问题。 第一章绪论 一般来说，图像的不同区域对人眼的主观感觉不同。更重要的是，在不同的 应用中，对于不同种类的图像，每个区域的重要程度往往是不同的，图像的观察 者常常只对图像的某一部分感兴趣，例如：可视通信中，通信双方对人物头肩区 域感兴趣；对于军事侦察图像，指挥员只对其中的军事目标感兴趣，对大地等背 景信息不感兴趣；在医学图像中，医生只对病理特征区域感兴趣等等，因此可以 对不同区域进行不同策略的压缩，对图像中的感兴趣区域采用低压缩比的有损压 缩，甚至无损压缩，而对背景区域采用高压缩比的有损压缩，这样既可以提高感 兴趣区域的像质，不影响图像的应用价值，又能够获得较高的全图压缩比。这就 是本文要讨论的感兴趣区域( r e g i o n o f - i n t e r e s t ，r o i ) 编码技术。 在网络技术飞速发展的今天，r o i 编码技术为解决图像压缩比与重建图像质 量之间的矛盾提供了一个新的思路，具有重要的理论意义，同时在诸如远程医疗、 遥感图像分析、视频图像数据库检索、视频电话和视频会议等领域有着重大的应 用价值。 1 2r o i 编码技术的研究现状 在r o i 编码技术中，图像被分割成若干个感兴趣区域和一个背景区域，要 对不同的区域采用特定的编码策略。现有的编码策略分为两类：一类是对不同的 区域采用不同的编码算法：另一类是对不同的区域采用完全相同的编码方法，但 会根据区域的重要程度不同，决定编码的比特率分配1 3 j 。 与其它图像处理技术一样，r o i 编码技术既能够被应用于静止图像压缩，也 能够被应用于序列图像压缩【4 刊。由于对静止图像的处理方法相对简单，现在对 r o i 编码方法的研究成果大多集中于此。 1 2 1 静止图像的r o i 编码技术 现阶段关于r o i 编码技术的研究主要是基于小波变换，利用小波多分辨率 的特性，对编码方式进行改进h “j 。 j m s h a p i r o t l 0 】提出了一个在空间( 图像) 域进行加权的方法，就是在进行 小波变换之前，对图像的感兴趣区域进行加权，由于小波变换的线性性质，变换 后的小波系数相应地被放大，然后进行零树编码，但是这种方法会产生严重的振 铃效应。twr y a n 等【1 1 将航空图像分割成重要的非同性的区域( 如：公路、建 筑) 和不重要的纹理同性的区域( 如：农田、未开垦的土地) 。对重要的区域进 行信息保持的编码，对其它部分进行低质量的编码。在小波域中的多边形区域中 建立纹理模型，在非纹理区域中进行自适应的标量量化，然后对量化后的系数、 第一章绪论 一般来说，图像的不同区域对人眼的主观感觉不同。更重要的是，在不同的 应用中，对于不同种类的图像，每个区域的重要程度往往是不同的，图像的观察 者常常只对图像的某一部分感兴趣，例如：可视通信中，通信双方对人物头肩区 域感兴趣；对于军事侦察图像，指挥员只对其中的军事目标感兴趣，对大地等背 景信息不感兴趣：在医学图像中，医生只对病理特征区域感兴趣等等，因此可以 对不同区域进行不同策略的压缩，刘图像中的感兴趣区域采用低压缩比的有损压 缩，甚至无损压缩，而对背景区域采用高压缩比的有损压缩，这样既可以提高感 兴趣区域的像质，不影响图像的应用价值，又能够获得较高的全图压缩比。这就 是本文要讨论的感兴趣区域( r e g i o n o f - i n t e r e s t ，r o i ) 编码技术。 在网络技术飞速发展的今天r o i 编码技术为解决图像压缩比与重建图像质 量之间的矛盾提供了一个新的思路，具有重要的理论意义，同时在诸如远程医疗、 遥感图像分析、视频图像数据库检索、视频电话和视频会议等领域有着重大的应 用价值。 1 2r o i 编码技术的研究现状 在r o i 编码技术中，图像被分割成若干个感兴趣区域和一个背景区域，要 对不同的区域采用特定的编码策略。现有的编码策略分为两类：一类是对不同的 区域采用不同的编码算法；另一类是对不刊的区域采用完全相同的编码方法，但 会根据区域的重要程度不同，决定编码的比特率分配p j 。 与其它图像处理技术一样，r o i 编码技术既能够被应用于静止图像压缩，也 能够被应用于序列图像压缩 4 “。由于对静止图像的处理方法相对简单，现在对 r o i 编码方法的研究成果大多集中于此。 121 静止图像的r o i 编码技术 现阶段关于r o i 编码技术的研究主要是基于小波变换，利用小波多分辨率 的特性，对编码方式进行改进”“。 jm s h a p i r o l l ”提出了一个在空间( 图像) 域进行加权的方法，就是在进行 小波变换之前，对图像的感兴趣区域进行加权，由于小波变换的线性性质，变换 后的小波系数相应地被放大，然后进行零树编码但是这种方法会产生严重的振 铃效应。iwr y a n 等l “1 将航空图像分割成重要的非同性的区域( 如：公路、建 筑) 和不重要的纹理同性的区域( 如：农田、末开垦的土地) 。对重要的区域进 行信息保持的编码，对其它部分进行低质量的编码。在小波域中的多边形区域中 建市纹珲模型，在非纹理区域中进行自适应的标量量化，然后对量化后的系数、 建立纹理模型，在非纹理区域中进行自适应的标量量化，然后对量化后的系数、 第一章绪论 一般来说，图像的不同区域对人眼的主观感觉不同。更重要的是，在不同的 应用中，对于不同种类的图像，每个区域的重要程度往往是不同的，图像的观察 者常常只对图像的某一部分感兴趣，例如：可视通信中，通信双方对人物头肩区 域感兴趣；对于军事侦察图像，指挥员只对其中的军事目标感兴趣，对大地等背 景信息不感兴趣；在医学图像中，医生只对病理特征区域感兴趣等等，因此可以 对不同区域进行不同策略的压缩，对图像中的感兴趣区域采用低压缩比的有损压 缩，甚至无损压缩，而对背景区域采用高压缩比的有损压缩，这样既可以提高感 兴趣区域的像质，不影响图像的应用价值，又能够获得较高的全图压缩比。这就 是本文要讨论的感兴趣区域( r e g i o n o f - i n t e r e s t ，r o i ) 编码技术。 在网络技术飞速发展的今天，r o i 编码技术为解决图像压缩比与重建图像质 量之间的矛盾提供了一个新的思路，具有重要的理论意义，同时在诸如远程医疗、 遥感图像分析、视频图像数据库检索、视频电话和视频会议等领域有着重大的应 用价值。 1 2r o i 编码技术的研究现状 在r o i 编码技术中，图像被分割成若干个感兴趣区域和一个背景区域，要 对不同的区域采用特定的编码策略。现有的编码策略分为两类：一类是对不同的 区域采用不同的编码算法：另一类是对不同的区域采用完全相同的编码方法，但 会根据区域的重要程度不同，决定编码的比特率分配1 3 j 。 与其它图像处理技术一样，r o i 编码技术既能够被应用于静止图像压缩，也 能够被应用于序列图像压缩【4 刊。由于对静止图像的处理方法相对简单，现在对 r o i 编码方法的研究成果大多集中于此。 1 2 1 静止图像的r o i 编码技术 现阶段关于r o i 编码技术的研究主要是基于小波变换，利用小波多分辨率 的特性，对编码方式进行改进h “j 。 j m s h a p i r o t l 0 】提出了一个在空间( 图像) 域进行加权的方法，就是在进行 小波变换之前，对图像的感兴趣区域进行加权，由于小波变换的线性性质，变换 后的小波系数相应地被放大，然后进行零树编码，但是这种方法会产生严重的振 铃效应。twr y a n 等【1 1 将航空图像分割成重要的非同性的区域( 如：公路、建 筑) 和不重要的纹理同性的区域( 如：农田、未开垦的土地) 。对重要的区域进 行信息保持的编码，对其它部分进行低质量的编码。在小波域中的多边形区域中 建立纹理模型，在非纹理区域中进行自适应的标量量化，然后对量化后的系数、 天津大学博士学位论文 纹理参数、区域几何参数进行无损编码。pyc h e n g 等【12 】提出了一个类j p e g 的 方法对不同区域使用不同的量化表。在该算法中，使用小波变换来代替分块d c t ， 对不同子带的系数进行分块，然后进行类j p e g 的量化和熵编码。用户可以选择 一个矩形的r o i ，对位于r o i 中的系数进行精细的量化，这样可以实现对不同 区域产生不同质量的编码效果。t s a i f a y u 等【i3 j 给出了一个基于感兴趣区域的医学 图像传输协议，使用g s t ( g e n e r a l i z e ds e l f - s i m i l a r i t yt r e e ) 算法对r o i 对应的 小波系数进行高精度的编码，并考虑了分包进行网络传输，以提高容错性。j a c o b s t r o m 等l 】4 j 系统地提出了几个支持无损r o i 编码压缩的算法框架，其中的w a 算 法是先对图像进行浮点小波变换，对全部小波系数进行编码，直到达到全图要求 的最低比特率，接着对影响r o i 重构的小波系数进行编码，然后逆变换求得r o i 误差，当逆变换误差足够小时，对误差进行无损的熵编码。另一个w s p 算法， 其原理与此类似。c u h a d a ra y s e g u l 等l l5 】基于小波零树编码器，研究了多区域、 多质量( m r m q ) 编码方法，并将其用于r o i 编码获得了较好的性能。c h i h c h a n g c h e n 等【l6 j 提出通过离散小波变换系数来自动分析图像内容和产生r o i 掩模，与 使用固定或预确定r o i 区域的传统编码方法相比，该方法重建的物体具有更清 晰的边界，并且其r o i 掩模由图像内容随时更新。d a v i dn i s t e r 等1 1 7 j 提出对r o i 对应的小波系数进行加权放大，然后进行零树编码的方法，取得了优于文献 1 0 】 的编码结果。这种对影响r o i 重构的小波系数进行放大，然后进行位平面编码 的方法成为j p e g 2 0 0 0 编码标准中r o i 编码算法的构成基础。 国内学者也对该领域进行了一些研究，但还不太深入。毋立芳等人【l 副在整形 小波变换( i w t ) 和嵌入式零树编码的基础上，实现了无损感兴趣区( l o s s l e s s r o d 的图像近无损压缩，并提出了一种小波变换域形状编码算法树映射形 状编码。陈军等人 19 】提出了一种基于内嵌零树编码的感兴趣区图像压缩算法，并 给出一种与主观视觉效果一致的描述感兴趣区图像恢复质量的加权信噪比评价 方法。张立保等人【2 0 】提出了一种基于图像感兴趣区残差图像的小波编码算法，它 先对小波图像在较低信噪比下做嵌入式零树编码并重建有损图像，求出该图像与 原图的差值，然后在该残差图像中的r o i 区域做d c t 编码，将二次编码的数据 熵编码后跟在一次编码数据后面传输或存储。另外，北京大学【3 j 、西安电子科技 大学2 m 3 1 、吉林大学【2 4 1 、苏州大学【2 5 】等科研机构也对此进行t * h 关研究。 对静止图像r o i 编码技术的研究已经取得了许多有价值的研究成果，特别 是j p e g 2 0 0 0 压缩标准正式将r o i 编码技术纳入其中，更使该课题变得引人注目。 j p e g 2 0 0 0 ( i s o f l e c15 4 4 4 ) 是国际标准化组织( i s o ，i m e m a t i o n a lo r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ) 于2 0 0 0 年提出的有关静止图像压缩的国际标准 2 6 “1 。 j p e g 2 0 0 0 用小波变换代替传统的分块d c t 变换，能实现对图像的渐进传输，误 第一章绪论 码鲁棒性较好。更重要的是，它支持对感兴趣区的编码能力。在j p e g 2 0 0 0 标准 中提出了两种r o i 编码方法，即g e n e r a ls c a l i n gb a s e d 方法和m a x s h i f t 方法：前 者需要对r o i 区域的形状进行精确编码，增加了编解码的复杂度；后者缺乏定 义任意r o i 偏移量的灵活性，无法控制r o i 和背景区的相对重要性。为了克服 两种标准算法的缺点，z h o uw a n g 等人 3 0 】提出了b i t p l a n e b y b i t p l a n es h i f t ( b b b s h i f t ) 方法，它能够在不需要任何形状信息的情况下，实现对任意形状的 r o i 编码，且能够灵活控制r o i 和背景区的相对重要性，但本质上仍是对m a x s h i f t 方法的推广。2 0 0 3 年，l i j i e l i u 等人口l j 又提出了一种p a r t i a ls i g n i f i c a n t b i t p l a n e s s h i f t ( p s b s h i f t ) 方法，它除了具有b b b s h i f t 方法的优点之外，还能够根据不同 的优先级实现对多个r o i 的编码。与j p e g 2 0 0 0 相似的这一类方法不需要改变原 有的编码方式，只需要在编码之前对小波系数进行适当的位平面偏移，以使r o i 对应的小波系数在嵌入式编码中优先传输。这种处理问题的思路在有关r o i 编 码技术的研究中值得继续借鉴、探讨。 1 2 2 序列图像的r o i 编码技术 在带宽受限的视频通讯领域中，序列图像的r o i 编码将有限的比特数大部 分分配给用户感兴趣的目标区域，从而可以改善解码图像的主观视觉质量。相对 于静止图像的r o i 编码技术，对序列图像的r o i 编码需要综合运用模式识别和 特征提取等知识来动态追踪r o i ，情况比较复杂，现在还没有提出统一的标准算 法。目前国外已有一些相关的研究成果报道，但是大都只局限于某一应用场合， 而国内有关此课题的研究相对较少。 d o u l a m i sn 等【3 2 用两层神经网络体系自适应地划分出r o i 区域和背景区 域，并且能够根据场景变化自动改变算法性能，从而实现在低码率下的序列图像 压缩。m a s a k a z um o r i m o t o 等口3 】运用对象编码技术对r o i 进行较高优先级编码。 m e i j u a nc h e n 等【3 4 1 35 】提出通过提取视频帧中的颜色信息，将具有肤色的区域作 为r o i ，然后运用低通滤波模糊背景区域，从而实现视频电话和视频会议等领域 的r o i 编码。 m p e g 组织在1 9 9 9 年公布的m p e g 4 ( i s o i e c1 4 4 9 6 ) 标准【3 ”9 1 采用了基 于对象的压缩编码方法，它把图像和视频根据场景内容分割成不同的对象，对各 个对象采用不同的算法彼此独立压缩编码，再将产生的码流按照格式的要求组成 一个统一的码流。这种方法使m p e g 一4 不仅能够提高压缩编码效率，还能够实现 基于内容的交互功能。m p e g 4 中虽然也将图像分割成了不同的部分进行编码， 但与本文中的r o i 编码技术并不完全相同。m p e g 一4 中的视频对象( v o ，v i d e o o b j e c t ) 是指在一个场景中能够被访问( 搜索和浏览) 和操作( 剪贴) 的实体j ， 天滓大学博士学位论文 每个实体具有确定的意义，或至少具有相同的特征( 如：纹理、形状、运动) 。 而我们所说的r o i 区域是直接面向用户( 观察者) 的，它可能是一个或几个有 确定意义的物体的集合，也可能只是图像中位于一个特定位置的图像区域窗口 ( 如在图像监控系统中) ，这时的r o i 往往并不具有什么意义，也不是一个完整 的物体集合。所以，本文中的r o i 定义更加灵活，观察者对哪部分感兴趣，哪 部分就是编码过程中的r o i 区域，这使得r o i 编码技术具有更广泛的用途。而 且，m p e g 一4 并没有为每个对象分配不同的码率，因而并不能对不同的对象进行 分质量编码。总之，m p e g 一4 中基于对象的编码方法虽然与r o i 编码技术有相似 之处，但在原理上有本质差别。 就目前国内外对r o i 编码技术的研究现状，图1 1 根据实现r o i 编码的原 理不同，总结了现有r o i 编码方法的分类。由于m p e g 。4 并不完全属于r o i 编 码的范畴，图1 1 中用虚线框表示。 图卜1 现有的r o i 编码方法的分类 1 3r o l 编码技术研究中的难点问题 虽然国内外已经对r o i 编码技术进行了相当程度的研究，但还有许多不完 善之处，仍有许多难题亟待攻克。 1 、对于序列图像的r o i 编码来说，最困难的就是如何动态追踪r o i 区域， 即如何根据初始选定的r o i ，在后续每帧图像中确定r o i 的大小和位置。这是 一个复杂的研究课题，需要深入研究图像的各种特征，并与模式识别、特征提取 第一章绪论 等图像处理知识密切相关【4 1 埘】。现有方法包括区域跟踪和边界跟踪方法。区域 跟踪的主要思想是利用区域的时间相关性实现对后续帧的跟踪，代表性的有 k a l m a n 跟踪器和光流跟踪等m j 。边界跟踪是以物体边界点作为跟踪目标，常见 的有s n a k e 模型1 4 州8 j 跟踪等。现有方法的计算量都比较大，跟踪性能也不够理想。 我们希望设计出一种跟踪精度较高、计算量较低，同时又具有良好普适性的算法。 2 、运动估计是序列图像编码中共有的一项关键技术，它的性能直接影响到 对图像帧的编码效果和编码速度。运动估计问题的实质是一个在多极值函数中寻 找全局最优解的问题，其中的一个突出矛盾是如何兼顾搜索精度和搜索速度。尽 管人们对运动估计问题的研究已经相当广泛、深入，提出了像素递归法、梯度法、 块匹配法等许多方法【4 ”“，但是所有的快速算法在提高搜索速度的同时，都使 得结果陷入局部最优的可能性大大增加。因此，在这一经典的压缩编码问题中， 仍有很大的改进和提升空间。 3 、j p e g 2 0 0 0 标准中提出的两种r o i 编码方法：g e n e r a ls c a