（计算机软件与理论专业论文）小波图像压缩与基于内容查询的研究.pdf

华中理工大学博士学位论文 摘要 、 n r 存当今信息社会化和社会信息化的时代，多媒体是人们最感兴趣的研究内容。 作为多媒体数据的管理核心，多媒体数据库管理系统( 以卜简称：m m d b m s ) 是 现令社会所有信息系统的基础之。但在m m d b m s 中，仍有一些关键技术尚未解 决，其q ；包括基j ：内容的查询利海量数据存储。基j 二内容查询的关键是内容特征提 取和模式匹配，而海量数据存储要求在m m d b m s 中采用压缩技术。厂 本学位论文深入系统地研究了m m d b m s 中的图像压缩技术和基于内容图像查 询技术以及二者集成的问题。在数据库、图像压缩、模式识别等多个学科领域迸行 交叉研究，为突破存储和基于内容查询图像的问题进行了深入而有效的探索研究， 并提供了相应的理论方法和史验系统。 z 首先，本文分析了多媒体数据对象及多媒体应用对m m d b m s 的要求，提出了 一利r 可扩展的m m d b m s 系统结构，在此基硎 上，设计了一种集查询、存储、管理 图像媒体于一体的插什结构。 然后，通过分析图像插件对压缩算法的要求，论证了小波图像编码方法是图像 插件中的有效压缩方法，系统地研究了小波图像压缩算法的各个组成部分。对小波 分解与重构子系统，提出了分解与重构过程中有限长度信号的种优化延拓方法， 在不扩展信号长度的前提下实现了信号的完全重构。对子带比特分配问题，给出了 两种比特分配的优化算法，在不进行凸函数假设的情况下，得到了优化的比特分 配。对编码过程，提出了改进零树小波压缩算法，该算法有利于在压缩域提取内容 特征，并具有简单、压缩性能好、可扩缩、支持多分辨率解码等特点。 接着，通过对小波压缩域图像特征的研究，巧妙地实现了小波图像压缩与基于 内容的图像查询的集成。在小波分解层得到了1 一l 子带色度重心特征和方向了带矩 特征，在零树编码层得到了重耍系数特征。这些特征具有特征矢量维数低、鲁棒性 强、提取算法简单、支持低分辨率和不完全图像的匹配等特点。文中提出了相应的 特征提取算法和相似性匹配测度，并分析了平移旋转尺度变化对上述特征的影响。 最后，本文研究了多维空间索引、查询优化等问题，探讨了基于内容图像查询 的实现技术，在m m d b m sd m 2 上建立了一个实验系统，实现了对图像压缩和基 于压缩域特征的图像查询的集成。实验表明，集成压缩与基于内容的查洵来管理多 媒体数据是有效的，具有一定的理论意义和实用价值。y 关键词：基耳冉密饷图像查询，图像压缩，小波，多媒体数据库管理系统，压缩域 挂延埕亟 i i i 华中理工大学博士学位论文 a b s t r a c t r e c e n ta d v a n c e si nd i g i t a li n f o r m a t i o nt e c h n o l o g y , m u l t i m e d i as o f t w a r ea n d h a r d w a r eh a v ei n c r e a s e dt h ed e m a n df o rn m l t i m e d i aa p p l i c a t i o n s t h eg r o w i n gi n t e r e s ti n b u i l d i n gm u l t i m e d i aa p p l i c a t i o n sc a l l sf o rm u l t i m e d i ad a t a b a s em a n a g e m e n ts y s t e m ( m m d b m s ) a sat o o lf o re f f i c i e n to r g a n i z a t i o n ，s t o r a g ea n dr e t r i e v a lo fm u l t i m e d i a o b j e c t s c o n t e n t b a s e dq u e r ya n dh u g ec a p a c i t ys t o r a g ea r ev e r yi m p o r t a n tr e s e a r c h i s s u e si nm m d b m s h u g ec a p a c i t yo fm u l t i m e d i ac r e a t e sn e e d sf o rd a t ac o m p r e s s i o n a sf o ri m a g em e d i a ，i m a g ec o m p r e s s i o na n dc o n t e n t b a s e di m a g eq u e r ya r es i m i l a ri n t h a tb o t ht r e a ti m a g e sa st w o d i m e n s i o n a l ，n o n s t a t i o n a r ys i g n a l s v i s u a li m p o r t a n t i n f o r m a t i o n 、v i t h mi m a g e si so f t e nc o n f m e dt os p a t i a l l yl o c a l i z e dr e g i o n s p o w e r f u l c o n t e n t b a s e di m a g eq u e r ya n di m a g ec o m p r e s s i o ns y s t e m scanb ed e v e l o p e db a s e do n s u c hi m a g ec h a r a c t e r i s t i c s t oi m p r o v es y s t e m sf o ri m a g eq u e r y ，c o m p r e s s i o na n ds t o r a g e ，t h i sp a p e rp r e s e n t sa n e wi d e ao fi n t e g r a t i n gi m a g ec o m p r e s s i o na n dc o n t e n t b a s e di m a g eq u e r yw i t h i nt h e c o n t e x to f m m d b m s m e t h o d sa n das y s t e mb a s e do nt h ei d e aa r ea l s od e v e l o p e d d u et ot h ed i v e r s en a t u r eo ft h em u l t i m e d i ad a t aa n dt h em u l t i p l en e e d so f m u l t i m e d i aa p p l i c a t i o n s ，d b m sd e s i g n e dt om a n a g es u c hd a t ao u g h tt ob ee x t e n s i b l e a n a r c h i t e c t u r ef o ra ne x t e n s i b l ea b 虹) b m si si n i t i a l l yd e s c r i b e di nt h i sp a p e r ，a n da ni m a g e m o d u l ew h i c hs t o r e sw a v e l e tc o m p r e s s e di m a g e sa n dq u e r yi m a g eb yc o n t e n ti s p r e s e n t e da sap l u g - i nm o d u l eo f t h em m d b m s e v e r ys t a g eo fw a v e l e ti m a g ec o m p r e s s i o ni sc o n s i d e r e d f i r s t l y ，i no r d e rt op e r f e c t r e c o n s t r u c t i o nw i t h o u ti n c r e a s i n gi nd a t as t o r a g er e q u i r e m e n t sa f t e rad e c o m p o s i t i o n ，a n e f f i c i e n tw a yo fe x t e n d i n gf m i t e l e n g t hs i g n a li sp r o p o s e d ，f o l l o w e db yad i s c u s s i o no f r e s t r i c t i o n si m p o s e db yn o - s h i f tr e c o n s t r u c t i o no ni n i t i a ls a m p l i n gl o c a t i o na n df i l t e rs h i f t t w ob i ta l l o c a t i o na l g o r i t h m si sa l s op r e s e n t e dw h i c ho p t i m i z e db i ta l l o c a t i o nb e t w e e n s u b b a n d sw i t h o u tc o n v e x i t ya s s u m p t i o no fq u a n t i z e rf i m c t i o n f i n a l l yt h ee m b e d d e d z e r o t r e ew a v e l e tc o m p r e s s i o na l g o r i t h mi si m p r o v e d 1 1 1 er e s u l t i n ga l g o r i t h mi ss i m p l e s c a l a b l e ，e f f i c i e n ta n df a c i l i t a t e sf e a t u r ee x t r a c t i o ni nc o m p r e s s e dd o m a i n t h ea l g o r i t h m a l s os u p p o r t sm u l t i r e s o l u t i o ni m a g ed e c o d i n g t v 华中理工大学博士学位论文 t l u e ek i n d so ff e a t u r e si nc o m p r e s s e dd o m a i n ，i e ，c h r o m a t i cb a r y c e n t e rf e a t u r ei n l ls u b b a n d ，m o m e n tf e a t u r ei nd e t a i ls u b b a n d s ，s i g n i f i c a n c em a pf e a t u r ei nc o d es t l e a r n ， a n dt h e i rs i m i l a r i t ym e t r i ca r ee x p l o i t e d ，t h e i rr o b u s t n e s sw i t hr e s p e c tt ot r a n s l a t i o n ， r o t a t i o n ，s c a l e ，c o l o rs h i f ta n dl i g h t i n gi st e s t e d t h et e s tr e s u l t ss h o wt h e s el o w d i m e n s i o n a lf e a t u r e sa r er o b u s t ，e a s yt oe x t r a c t ，w h i l e a l l o w i n gf o r t h eq u e r yo f i n c o m p l e t ei m a g e av e c t o ri n d e xs t r u c t u r e ，a n da l g o r i t h m sf o rs e a l c ha n di n s e r t i o na r eo u t l i n e d t h e q u e r yo p t i m i z a t i o ns t r a t e g yi sa l s oa d d r e s s e d b a s e do nm e t h o d sa n dt e c h n i q u e sa b o v e ，a p r o t o t y p es y s t e mi si m p l e m e n t e dw h i c hi n t e g r a t e si m a g ec o m p r e s s i o na n dc o n t e n t b a s e d i m a g eq u e r yi n t oam m d m sd m 2 e x p e r i m e n t ss h o wt h a tt h es y s t e mr e q u i r e so n l yv e r y l i t t l es t o r a g eo v e r h e a df o rf e a t u r e sw h i l em a i n t a i n i n ga s p e e df a s te n o u g ht ob ep e r f o r m e d i n t e r a c t i v e l y k e y w o r d s ： c o n t e n t b a s e d i m a g eq u e r y ， i m a g ec o m p r e s s i o n ，w a v e l e t ， m u l t i m e d i ad a t a b a s e s y s t e m ， f e a t u r ee x t r a c t i o ni n c o m p r e s s e d d o m a i n v 华中理工大学博士学位论文 刚昌 在当今信息社会化和社会信息化的时代，多媒体是人们最感兴趣的题目。作为 多媒体数据的管理核心多媒体数据库管理系统是现今社会所有信息系统的基 础，但多媒体数据库管理系统仍有一些关键技术问题尚未解决，其中最重要的就是 基于内容的查询，到目前为止，任一商用的d b m s 都不具备这一功能。所谓基于内 容的查询就是要在多媒体数据库中找出与用户指定的多媒体对象相同或相似的对 象。基于内容的查询涉及模式识别、多媒体及数据库等多个学科的领域知识。它的 关键是进行图像的模式匹配，而图像模式匹配的关键是提取特征，采用距离或相似 性测度评价特征相似性。查询与存储形式密切相关。为了有效存储和分布式传输， 多媒体数据在数据库c 以压缩形式存储。特征提取和压缩都需要分析媒体内容，表 示媒体中的重要信息，具有某些共性。集成压缩与基于内容的查询为有效管理多媒 体数据提供了新的途径。 基于以上原因，本课题深入研究了多媒体数据库管理系统中图像压缩与基于内 容的图像查询集成问题，为突破基于内容的图像查询进行了深入而有效的探索研 究，并提供了相应的理论方法和实验系统。本课题的研究涉及数据库、图像压缩、 小波分析、模式识别、信息检索等学科领域，是多学科交叉研究的次有意义的尝 试。本课题得到国家自然科学基金“分布式多媒体信息处理方法学及支撑平台”和 国防科技预研基金“空间数据库管理系统研究”的资助。 本文第一章绪论，综述了研究的目的、意义及国内外发展概况。第二章基于对 多媒体数据特点和多媒体应用需求的分析，总结了多媒体数据库管理系统的研究内 容，提出了一个可扩展的多媒体数据库管理系统系统结构，并建立了集成压缩、存 储与基于内容的查询的图像插件结构。第三章对小波变换的基本理论进行了深入研 究，并在此基础上研究了小波分解与重构子系统，得到了实现无失真的重构对延拓、 滤波器相移等的要求，采用对称延拓实现了非扩展的完全重构的分解与重构子系 统。第四章探讨了图像压缩的基本问题及基于小波的图像压缩系统的特点，给出了 比特分配的优化算法，提出了零树小波编码的改进算法。第五章在分析图像特征的 基础上，从几个不同层面研究了小波压缩域图像特征以及相应的特征提取方法、相 似性匹配测度，比较了不同变化对这些特征的影响。第六章，探讨了基于内容的图 像检索的一些重要问题，重点研究了多维索引结构和相似性查询，在d m 2 基础上， 华中理工大学博士学位论文 实现了图像压缩与基于内容的图像查询集成。第七章，总结全文，并指出了进一步 研究和探索的方向。 图像理解和图像识别的缓慢发展制约了高层特征自动抽取的能力，这是多媒体 基于内容检索进一步发展的主要障碍。特征提取能力的提高有待模式识别的进一步 发展，但是，多年的研究实践证明，孤立地进行人工智能的研究所能取得的进展是 十分有限的，计算机科学的理论和信息处理技术本身的高度发展和知识体系的完备 才是人工智能成长的真正基础。与其它领域相结合将为模式识别的发展提供新的思 路。多媒体数据库管理系统的研究和人工智能的研究必将相互推动，交互融合，共 同向前发展。多媒体数据库管理系统的研究将多个研究领域联系到一起，将更有机 地促进这些研究领域的发展。 华中理工大学博士学位论文 图表目录 图1 1 图像与视频的存储及检索示意图 图1 2 人类视觉系统简化示意图 图1 3 各章关系图 图2 1 可扩展的m m d b m s 系统结构 图2 2 系统内核结构示意图 图2 3 数据存储的发展趋势 图2 4 基于小波的图像插件 图3 1 小波图像压缩与解压缩过程 图3 2m a l l a t 算法示意图 图3 3 二维小波分析示意图 图3 4 小波分解示意图 图3 5 双正交滤波器组 图3 6 对称方式示意图 图3 7 对称延拓的小波分解与重构系统框图 图3 8w s h s 序列的隔点抽样示意图 1 8 2 l 2 2 2 4 图4 1 图像压缩系统的性能测度空间 图4 2a ：父子关系，父 子：b ：扫描方式 图4 3 不同i n ( 图中的t ) 下，比特率与性能的关系示意图 图4 4 比特分配算法性能比较一 图4 5 调整算法对性能的影响 图4 6 自然图像的典型子带直方图 图4 7 典型概率分布图 图4 88 维p e a n o 扫描 图4 9 子带扫描模式 图4 1 0l e n a 原图像与解码图像 图4 1 1g o l d h i l l 原图像与解码图像一 2 5 一2 8 2 9 。2 9 一3 0 3 2 3 5 3 7 甜钻钾”舛弱曲矾臼甜 华中理工大学博士学位论文 - ! ! ! ! ! 竺竺! ! ! 竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 竺竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 竺 图4 1 25 1 2 5 1 2 彩色图像编码实验结果6 5 图5 1 压缩域信息处理 图5 2 图像压缩过程 图5 3 图像解压缩过程 图5 4 一组测试图像 图5 5 颜色飘移和图像平移的影响 图6 1 相似性查询过程示意图一 图6 2b m 树结构示意图 图6 - 3 层次关系示意图 图6 4 扩展的d m 2 系统结构 图6 5 用户接口 图6 6 平均查询效率一 图6 7m m d b m s 对w w w 上的基于内容的图像查询扩展 图6 8 图像搜索引擎数据收集模块示意图一 6 6 7 5 7 5 8 1 8 4 8 6 8 8 9 4 9 5 9 6 1 0 0 1 0 1 1 0 1 表3 1 周期为m 的对称序列特性 表3 2 订0 ) = 歹( ”) t 乃( 胛) 时，s 序列h e n 、就” 、研 】的对称特性关系 表3 3h n 】、萝m 】、订m 】的对称和逆对称关系 表3 4 对应低通、高通滤波器的对称特性 表3 5 重构子系统各部分对称特性与分析滤波器特性对应表 一3 3 3 4 3 4 3 5 一3 9 表4 15 1 2 5 1 2l e n a 实验结果6 4 表5 1 色度空间比较 表5 2 光照、旋转、尺度变化对特征性能的影响 表6 1 灰度头部图像相似性查询结果 表6 2 纹理图像相似性查询结果 表6 3 彩色图像全图相似性查询结果 7 4 8 2 9 9 9 9 9 9 i x 华中理工大学博士学位论文 主要数学符号说明 z 、r 、r + 、r 一分别表不整数、实数、正实数、负实数集合 ( 五) 表示满足e t s ( - ) l 威 c 。的一维函数艄的全体构成的空间 l 2 ( r ) 表示均方可积且可测的一维函数，构成的h i l b e r t 空问 r ( 且2 ) 表示均方可积且可测的二维函数咒￥构成的f l i l b e r t 空间 ( 口，b ) 表示数集( z i 口 工 6 陋，b 】表示数集纠a z b ) ( 口，6 表示数集驯a z b ) d i r a c 函数6 ( z ) = o ；18 k r o n e c k e r 符号巧户0 ；! ： x v 十f ( x ) l 2 ( r ) ，g ( z ) r ( 尺) f o u r i e r 变换户( ( i ) ) = 仁：e 一7 “f ( x ) d x，( z ) r ( r ) 周期为m 的周期序列研h 】的离散傅氏变换为： x 【司= e i n i w m 1 一 一 其中= e x p ( 一，2 压) 厂( x ) = ，( 一x ) ， 离散情况下有瓦= h 一。 卷积厂t 占( f ) = e f ( x ) g ( t x ) a x厂( z ) p ( 五) ，占( ) r ( 矗) 内积( 厂( x ) ，g ( x ) ) = 篇f ( x ) g + ( x ) 出厂( x ) r ( r ) ，g ( x ) r ( r ) r g + ( x ) 是 g o ) 的全共轭函数 矢量范式 x 华中理工大学博士学位论文 第一章绪论 1 。1 课题的意义和来源 二十世纪九十年代以来，由于计算机技术、网络技术和电信技术的迅猛发展与 普及，人类社会进入了广阔高速的后信息化时代，信息的形式和内容也有了很大的 扩展和变化，图象、文字、声音、动画等多媒体信息的传输和表达已成为后信息时 代的主要特征之一。作为信息管理基础的数据库技术也面临着新的挑战，传统数据 库技术在数据类型、数据模型、操作语言、存储结构、检索机制等方面都不能适应 这些复杂数据对象的应用需求。这些需求导致了多媒体数据库管理系统( m u l t i m e d i a d a t a b a s em a n a g e m e n ts y s t e m ，m m d b m s ) 的产生。作为有效组织、存储、检索多媒 体对象的工具，m m d b m s 是多媒体应用系统的核心和基础【1 】。迅速增长的多媒体 应用系统的需求使得m m d b m s 的研究与开发变得越来越重要。可以毫不夸张地说， m m d b m s 技术是信息时代的重要支撑技术。 与传统的d b m s 相比，m m d b m s 管理的数据对象不单是字符和数值，还包 括图像、音频、视频等复杂多样的数据对象，而且随着网络资源的不断丰富，信息 技术的不断进步，新的数据类型还在不断涌现。面对浩如烟海的资源，封闭的d b m s 结构、简单的数据模型和单一的方法已无法有效地对数据库进行管理。落后的管理 技术，势必导致越来越严重的信息灾难，正如有人将w w w 网戏称为”全世界都在 等待”( w h o l ew o r l dw a i t i n g ) 一样。因此，针对不同的媒体资源研究不同的存储、查 询和表达方式，是管理多媒体数据的必经之路。 电子出版业的繁荣，扫描仪、数字照相机和各种传感设备的普遍采用，使得数 字图像成为应用最为广泛的媒体，但目前d b m s 多将图像作为一个整体来管理，很 少考虑图像内容，不便于查询。而查询是d b m s 的关键技术之一，查询体现了数据 存在的意义。如果d b m s 不能对图像提供方便有效的查询支持，就不能说实施了对 图像的有效管理。传统d b m s 管理的数据对象字符和数值都有明确的含义，可 用谓词表达所需的检索要求；但图像本身并没有任何可以搜索的部件，无法用谓词 表达检索要求，因而传统的查询方式不能对图像进行有效查询，这给以图像为主的 应用系统造成了十分不利的影响。 以调查罪犯为例，数据库中存储了丰富的指纹和肖像，从犯罪现场获取指纹或 华中理工大学博士学位论文 存目击征人协助下绘制了罪犯的大致肖像后，需要在数据库巾查找相似的记录。这 时的查询要求可表述为“从大量的图像资源中查找所有和例图相似的图像”。类似 的例子还很多，如在艺术i i i i 廊和博物馆管理、地物资源的远程传感与管理、时装发 计、商标和版权数据库管理、医学应刚、建筑设计、室内装修、点播电视、电子图 书馆等大量应用领域中都有类似需求。通过人工提取属性值集合来描述图像，很难 客观、全面地反映图像内容。即使在属性值可以部分描述图像内容的情况下，因人 ”t ：提取属性值的方式十分耗时，且主观性强、容错能力差，将之应用于大型数据库 仍是不现实的。 鉴于上述原因，研究人员提出r 基于内容的图像查询( c o n t e n t b a s e dh n a g e q u e r y ，c b i q ) i ”，即分析图像内容，通过某种机制来描述和比较它们所蕴含的意义， 以达到更深的检索层次。为了实现基于内容的图像查询，首先需要进行特征提取， 通过特征来描述图像的主要内容，反映图像的结构或统计特性；再利用特征相似性 测度或距离测度评价图像之间的相似程度，获得满足查询要求的相似图像集。广泛 的应用领域和迫切的需求使c b i q 的研究成为目前的研究热点，但多数c b i q 研究 是独立于m m d b m s 进行的，而且其中很大一部分工作是针对特殊应用构造专用系 统。这类系统与m d b m s 松耦合、和数据存储分离，这严重影响了它们的效率和 通用性。将基于内容的图像查询技术研究与m m d b m s 结合起来，是数据库领域的 当务之急。 图1 1 图像与视频的存储及检索示意图 数据查询与数据存储密切相关。而多媒体数据，由于其数据量非常大，在实际 应用中，往往以压缩格式存储和传输。图像与视频的典型存储及检索模式如图1 1 所示。所谓图像压缩就是减少用于存储和传输图像信息的比特数，是通过充分利用 华。p 理j - 大学博士学位论文 图像的统计特性和结构特。陛来实现的。 图像压缩和剀像内容特征提取技术，都将图像看做二维非平稳信号，都要对内 容进行语义、结构或统计分析。图像表示是压缩和内容特征提取的共同基础，好的 表示方式将使得压缩有利于内容特征提取。实际上，在图像编码中用到的很多算法 与在图像内容分析巾用到的算法卜分相似或者采用了一些相同的处理方式。但长期 以来，目的和表现形式的巨大差异，使得压缩和内容特征提取仿佛足两个毫不相二r - 的领域。例如，按常规方式对压缩数据进行特征提取时，必须首先解压缩为原始格 式；而解压缩的代价往往一卜分昂贵，这使得实时特征提取几乎是不可能的。如果能 在压缩域进行特征提取并评价特征相似性，则除了可以有效利用压缩过程中已进行 的统计或结构分析结果外，还有以下优点： ( 1 ) 减少数据库中的存储需求。如果能在压缩域方便地提取特征，就不需要另 外存储特征数据，从而可以减少对存储空间的占用。 ( 2 ) 直接在压缩域进行处理，避免或减少了复杂的解压缩操作，节约了计算机 的处理能力和存贮空间，提高了处理速度。 ( 3 ) 压缩域的数据量远小于原始格式时的数据量，减小了处理的数据量，提高 了处理速度。 ( 4 ) 压缩域的处理提供了适应异构环境和服务质量( q u a l i t yo fs e r v i c e ，q o s ) 的 灵活性，使应用具有可扩缩性( s c a l a b l e ) 。 上述优点，尤其是最后一个优点有特别重要的现实意义。计算机网络尤其是 i n t e r n e t 的普及使得应用系统面向的是一个异构的网络环境，对不同网络带宽、 不同档次的计算机软硬件平台( 包括显示能力、处理速度、缓存等方面的不同) 的支 持能力是评价分布式应用性能的一个重要因素。分布式应用系统必须具有可扩缩 性，才能适应异构环境和q o s 的要求。所谓可扩缩性，在图像编码中指解码一部分 比特流重构图像和图像序列的能力，适用于接收端不能或不愿以完全的分辨率和完 全的质量显示图像和视频的应用；在图像查询中指支持多分辨率查询。因此，研究 图像压缩与查询技术的集成是十分必要的。 本课题正是基于以上原因提出的。主要目的是，在m m d b m s 中，对图像压缩、 基于内容的图像查询以及二者的集成进行深入研究，力求提高m m d b m s 管理图像 的能力。 本课题研究的价值表现在以下几个方面： 1 为有效存储、查询、管理图像媒体提供理论方法、实现技术和原型系统； 为有效管理其它媒体提供可借鉴的方法论； 华中理工大学博士学位论文 2 将数据库、多媒体、图像压缩、模式识别、信息检索等领域结合起来，为 这些学科的融汇发展提供新的思路； 3 在我们自主研制和丌发的分布式多媒体数据库管理系统d m 2 上改进对图 像的管理，促进我国围产数据库软件的发展。 本学位论文的研究课题得到了以下基金的资助： 国家自然科学基金：“分布式多媒体信息处理方法学及支撑平台”，编号为： 6 9 2 4 3 0 0 。 国防科技预研基金：“空间数据库管理系统研究”，编号为：9 7 j 1 5 2 2 j w 0 5 2 5 。 1 2m m d b m s 的研究现状 d b m s 最初通过增加对文件或对b l o b 的支持管理v i m 数据；其后出现了两 种趋势，分别通过扩展关系模型和扩展o o 模型来增加对v i m 数据类型的支持；目 前这两种方法的结合对象关系d b m s ( o b j e c t r e l a t i o n a ld b m s ，o r d b m s ) 叫是 m m d b m s 研究的热点。几乎所有的商用d b m s 都声称自己是或即将是o r d b m s 。 目前市场上流行的商用数据库管理系统软件多数都提供了种结构和a n ，支 持以插件形式集成新的数据类型，通过添加多媒体插件增加对多媒体数据类型的支 持。这类d b m s 通常称为u n i v e r s a ld a t a b a s e 或u n i v e r s a ls e r v e r ，而插件则名称各 异，如在i b md b 2 中称为e x t e n d e r ，在i n f o r m i x 和o r a c l e 8 中分别称为d a t a b l a d e 4 1 和c a r t r i d g e “。下面以o r a c l e 为例，介绍商用数据库管理系统软件对m m 管理的策 略。 o r a c l e 8 的可插入数据库核心的c a r t r i d g e 的概念，使o r a c l e 8 数据库引擎具有一 定程度的处理图像、影像、文档、空间及时间序列数据等复杂数据的能力。通过使 用o r a c l e 8 中新的c r e a t e 语句，用户可以定义一系列的数据类型。在这些数据类型 中，可使用o r a c l e 的标准数据类型，也可使用o r a c l e 8 所提供的一些新特性，如 v a r r a y 或嵌套表。除了创建对象类型外，开发人员还可以通过使用o r a c l e 的 p l s q l ，定义与这些新的对象类型相联系的方法，并把对象和方法二者封装起来。 数据库领域及其他领域的研究小组，对多媒体数据管理进行了大量的研究，研 究工作几乎覆盖m m d b m s 的所有方面，但尚未能形成统一的m m d b m s 的理论框 架。美国军方研究办公室资助的m a c s ( m e d i a a b s t r a c t i o n c r e a t i o ns y s t e m ) 基于手工 特征提取，提出并实现了一个一致的多媒体数据库框架【l 6 】。在o i u 0 n 面向对象数 据库系统的基础上，w o e l k 开发了面向对象的具有多媒体处理能力的i t a s c a t7 1 。 4 华中理工大学博士学位论文 a l b e r t a 存o b j e c t s t o r e 的基础卜开发了多媒体数据库原理【8 j 口g r o s k y 提出了一种 s q l ，采用堪十特征的方法查询图形库，其特征为包含子特征的复杂特征 9 1 。g i b b s 等研究了采用对象方法模型化时间流媒体数据的可能性。l i n o 研究了多媒体数 据系统中的空间和时间推理方法，提出了对象组合的精纠p e t r i 网模型【1 1 】。g u p t a 开发了v i m s y s 模型查询图形库，v i m s y s 是函数模型和面向对象模型的结合【娩】， o o m o t o 定义了基于视频的面向对象模型o v i d ，利用视频片段识别并连接有意义 的特征【1 到；通过处理输入视频数据， a r m a n 创建了大型视频数掘库，以便识别特 征并设置存取结构【1 4 】。k h o s h a f i a n 等描述了一个m m d b m s 结构及其组成部件 1 5 3 。 c a r d e n a s 等开发的p i c q u e r y + 查询某种类型的联邦数据库系统。 在国内，中科院数学研究所【ll 1 8 j 干口华中理工大学数据库与多媒体研究所( 以下简 称多媒体所) 在m m d b m s 方面做了比较系统的研究。中科院数学所提出了多模式 层的l v l m d b m s 体系结构。多媒体所的研究工作将在后文具体介绍。 对o o d b m s 、o r d b m s 、m l v i d b m s 的商业产品及研究原型的调查表明 1 9 1 ， 目前大部分系统没有提供多媒体所需的功能，仅提供了简单的类结构而没有提供复 杂的多媒体框架，多数系统不支持音视频类，对图像类的支持也十分有限。这些 d b m s 往往将多媒体对象做为一个整体来存储和索引，不能存取和检索多媒体对象 内容 1 5 】。 1 。3 基于内容图像查询的研究现状 基于内容的图像查询要求尽可能按人类的习惯理解和利用图像，人的感知是系 统性能的合理评价测度，因此有必要研究利用人类视觉的生理学心理学特性。同时， 人类视觉系统是一个优化的图像处理器，其处理方式对计算机图像处理的研究有重 要参考价值。因此本节首先介绍基于内容图像查询的典型系统；然后分析人类视觉 系统特性，并据此选择研究的基本工具。 1 。3 1 基于内容图像查询的典型系统 基于内容的图像查询和检索的研究工作，有的在m m d b m s 的框架下进行，更 多的是做为独立的研究项目在进行，采用的主要是低层视觉特征，很少与图像压缩 建立紧密联系。有代表性的系统主要有以下几种： v i r a g e 的v i r 图像引擎陟2 1 1 ( v i s u a li n f o r m a t i o nr e t r i e v a li m a g ee n g m e ) 是当今采 用最广泛的图像插件，对静态图像的视觉内容进行分析和比较，被集成于o r a c l e ( 作 华中理工大学博士学位论文 为d a t ac a r t r i d g e ) 、i n f o r m i x ( 作为d a t a b i a d e ) 、s y b a s e 、o b j e c td e s i g n 和o b j e c t i v i t y 等d b m s 叶1 。 1 3 3 m 公司a l m a d e n 研究中心的q b i c 2 2 - 2 4 1 系统是以颜色、纹理、形状、运动信 息进行内容查询的最有代表性的系统。q b i c 支持自动、半自动、手工特征提取； 提供了平均颜色、颜色直方图、纹理、对象形状、轮廓特征；支持基于例图、用户 绘制的草图，用户选择的色彩、纹理模式、运动及其它图形信息进行查询；查询结 果按相似性测度排序返回；用r * - t r e e 索引低维特征，高维特征首先经主分量变换得 到低维特征后再索引。 美国哥伦比亚大学与电信研究中心合作研制的v i s u a l s e e k 2 5 - 2 6 1 ，是一个基于 内容的网上图像视频检索系统。该系统集成了基于特征的查询和空间查询，利用色 彩集和后投影实现自动区域提取，区域查询采用空间四叉树索引区域中心点、r _ t r e e 索引最小边界矩形、2 ds t r i n g 索引区域问的空问关系。用户接口由p o d 描绘 区、p o d 特征面板、按钮区域、颜色井、纹理单、形状勾勒、运动台板等组成， 采用的图像特征为颜色和颜色区域的空间分布。由于可以自动提取特征，所以，该 系统的查询速度比较快。 m i t 的媒体实验室的p h o t o b o o k 2 7 1 ，采用语义压缩构造图像的紧密表示，以保 留图像的相似性；并试图通过大量的学习来克服预定义搜索准则的问题，使实时计 算成为可能；图像在装载时按形状、纹理特征分类，分类后图像通过编码突出的语 义信息被压缩，编码版本用于在查询时重构图像及计算附加搜索准则；特征是参数 值；比较测度包括欧氏、马氏、矢量空间、直方图、付氏峰值、小波树距离及其线 性混合。 c h a b o t 2 8 l 提出了集成关系数据库系统与内容分析技术，该技术基于先验特征提 取，并结合了基于文本基于内容的准则，可管理超过5 0 0 0 0 0 的数字图像，依靠纹 理描述识别内容特征，向用户返回不排序的图像集合。 其它的工作还包括s u r r e y 大学的s q u i d 【2 9 】，up a l e r m o 计算机科学与人工智能 实验室的j a c o b 3 0 1 ，t h e og e v e r s 3 1 】构造的z o m a x 和e n i g m a ，e x c a l i b u r 公司的 v i s u a lr e t r i e v a l 3 2 1 、w a s h i n g t o n 大学的图像查询项目 3 3 1 等。 1 3 2 人类视觉系统分析 人类视觉系统( 如m a nv i s u a ls y s t e m ，h v s ) n - i n 图1 2 渺3 5 1 粗略描述。其中，第 一部分眼( 包括视网膜) 完成从光学信号到神经信号的转变，来自景物的反射光经人 目b 的光堂系统( 昌拔馇塑瞳王l ：亘视盏低通滤波整) 后援越到趱圆膜上：视圆堪土的 华中理工大学博士学位论文 ! ! ! 罂! ! ! ! ! 竺竺竺! ! ，! ! ! ! 竺! ! 竺竺竺竺竺竺竺! ! ! ! ! ! ! ! ! ! 竺竺竺竺! ! ! ! ! ! = ! ! 竺! 感受细胞能感知光的强度，并通过一个南交织的细胞组成的复杂网络将感受到的强 度编码为神经信号( 图像) ，以便被视觉神经传递。这一一部分相当于一个频带压缩装 置。 视网膜 圈1 2 人类视觉系统简化示意圈 视觉理解 视觉系统的行为十分复杂，包含了反馈、视听交互、非线性行为等。现在对视 觉系统的认知还非常有限，还只能建立一些视觉系统的简化模型，不过这些简化模 型在某种程度上给出了视觉系统的良好近似。简化模型主要有如下几种： c a m p b e l