（信号与信息处理专业论文）基于颜色的具有相关性反馈的图像检索系统.pdf

浙江人学硕i ：学位论史 掣2 3 6 9 5 摘要 摘要 随着多媒体技术的发展，包括阁像、爵频、视频等信息的多媒体数据大量涌现如何从 大量的信息中快速，有效地检索到所需的内容，已经成为多媒体技术研究中的热点问题。图 像检索自七、八十年代始便成为个非常活跃的研究领域，其推动力米源丁两大研究团体： 数据库系统羽l 计算机视觉。它从基r 文本以及基- r 内容这二个不同的角度，对图像检索作了 研究。另外多盘! | l 体山容描述标准m p e g 一7 【! ! i 正在制定当中。 基丁文本的图像检索，其研究主要在数据库领域中进行，图像检索的一个典型框架是。 首先对幽像川文奉进行注解( 关键字) ，然厉川基丁文本的数据库管理系统( d b m s ) 来进 行图像关键字检索，请如数据模型、多维度索引、查询评价等的研究进展均是沿着这一领域 所作的。但是，基丁文本的图像检索存在两人凼难，尤其是当图像的数量非常大的时候，其 一是手1 对图像进行注释所需的作量太大，其二是图像注解的主观性和不精确性可能导致 的检索过程中的火配。九十年代初，由1 ：犬规模图像数据库的出现，【i 手工进行图像注解这 一方法所带米的幽难变得十分尖锐，为j ，兜服这一困难，研究者们提出了基r 内容的图像检 索，其思路是，不州于基于关键字的手一注解，图像是由其门身的视觉内容，如颜色、纹理、 形状、视觉含义等索引的，这便是基于内窬的索引。1 ， 基丁内窬的幽像检索系统根据图像库的内容年检索要求可分为通刚检索系统和专川检 索系统。专j h 检索系统是由像库和检索要求的特殊性而研究的专门检索技术，如专的人 脸图像数据库检索；而通用检索系统所采j 】的技术则较为普遍。目前，对丁| 通用的图像检索， _ l j 丁检索的特征主要有颜色( c o l o r ) 、纹理( t e x t u r e ) 、形状( s h a p e ) 、草图( s k e t c h ) 等，其中颜 色、形状、纹理席川晟为酱遍。由r 不同的应州背景，不同的基丁内容检索系统在其检索实 现巾采川的技术也各有侧重，但一般都能在传统的计算机视觉和图像处理技术中找到其山 处，所以基丁内布的图像检索可以说是图像处理和计算机视觉各种技术应用的综合。 住多媒体特别足图像信息管理和存取领域，论文主要关注于基丁f j 容的图像信息检索方 面，阐述其理论、方法和体系结构，提出内容描述模型和基于内容的检索算法，井给出实验 结果和测试分析。考虑到图像本身的特性建立起图像数据的内容描述模型，以使得能更好 的进行劁像数据库存取和索引。颜色，纹理，形状是描述图像内容的重要特征。在图像特征 提取和相似性匹配方法中运用了多种有效算法，比如在颜色特征的基r 颜色感知的图像检索 算法；住纹理特征抽取中的基于1 f 完全树小波包变换技术的算法等等。同时，根据结合图像 的_ 二维卒问位置信息，对图像的某个局部位置( _ 【 j 户感兴趣区域) 信息来进行检索。在检索 系统的人机交互中返_ l | ；| 了相关性反馈r e l e v a n c ef e e d b a c k ，使得能更有效快速的检索刮所 需的i 刳像。柞论文，h 木人土要对基丁内容f 门幽像检索系统有关颜色的算法和相关性反馈方 法进行了实现，给“ 了测试平实验结果行进行评价和讨论。实验结果发现，系统能较有效， 快速的检索较人规模的l 到像数据库。 一 l _ 、 【关键词】基于山容商检索，图像检索，信息检索，信息管理 a b s t r a c t r e c e n tv e a r sh a v es e e nar a p i di n c r e a s eo ft i l e s i z eo f d i g i t a li m a g ec o l l e c t i o n s e v e r y d a y ， b o t hm i l i t a r ya n dc i v i l i a ne q u i p m e n tg e n e r a t e sg i g a b y t e so fi m a g e sh u g e a m o u n to fi n f o r m a t i o n i so u tt h e r e h o w e v e r , w ec a nn o ta c c e s st oo rm a k eu s eo f t h ei n f o r m a t i o nu n l e s si ti so r g a n i z e d s oa st oa l l o we f f i c i e n tb r o w s i n g ，s e a r c h i n ga n dr e t r i e v a l i m a g er e t r i e v a lh a sb e e nav e r ya c t i v e r e s e a r c ha r e as i n c et h e i9 7 0 s ，w i t ht h et h r u s tf r o mt w om a j o rr e s e a r c hc o m m u n i t i e s ，d a t a b a s e m a n a g e m e n ta n dc o m p u t e rv i s i o n t h e s et w or e s e a l c hc o m m u n i t i e ss t u d yi m a g er e t r i e v a lf r o m d i f f e r e n ta n g l e s o n eb e i n gt e x t b a s e da n dt h eo t h e rv i s u a l 。b a s e d t h et e x t b a s e d i m a g e r e t r i e v a lc a nb et r a c e db a c kt ot h el a i e l9 7 0 s a v e r yp o p u l a r f r a m e w o r ko fh n a g er e t r i e v a lc o n t a i n sd a t am o d e l i n g ，m u l t i - d i m e n s i o n a li n d e x i n g ，q u e r y e v a l u a t i o n e t c h o w e v e r , t h e r ee x i s tt w om a j o rd i f f i c u l t i e s ，e s p e c i a l l y w h e nt h es i z eo fi m a g e c o l l e c t i o n si sl a r g e ( t e n so rh u n d r e d so ft h o u s a n d s ) o n ei st h ev a s ta m o u n to fl a b o rr e q u i r e di n m a n u a li m a g ea n n o t a t i o nt h eo t h e rd i f f i c u l t y , w h i c hi sm o r ee s s e n t i a l ，r e s u l t sf r o mt i l e r i c h c o n t e n ti nt h ei m a g e sa n dt i l es u b j e c t i v i t yo fh u m a np e r c e p t i o n t h i ni s ，f o rt h es a m ei m a g e c o n t e n t ，d i f f e r e n tp e o p l em a yp e r c e i v ei td i f f e r e n t l y t h ep e r c e p t i o ns u b j e c t i v i t y a n da n n o t a t i o n i m p r e c i s e f l e s sm a y c a u s eu n r e c o v e r a b l em i s m a t c h e si nt h el a t e rr e t r i e v a ip r o c e s s e s i nt h e e a r l y9 0 s ，b e c a u s e o ft h e e m e r g e n c e o fl a r g e - s c a l e i m a g ec o l l e c t i o n s ，t h e t w o d i f f i c u l t i e sf a c e db yt h em a n u a la n n o t a t i o na p p r o a c hb e c a m em o r ea n dm o r ea c u t e t oo v e r c o m e t h e s ed i f f i c u l t i e s ，c o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) w a sp r o p o s e d t h a ti s ，i n s t e a do fb e i n g m a n u a l l ya n n o t a t e db y t e x t b a s e dk e y w o r d s ，i m a g e sw o u l db ei n d e x e db yt h e i ro w nv i s u a lc o n t e n t ， s u c ha sc o l o r , t e x t u r e ，s h a p e ，e t c s i n c et h e n ，m a n yt e c h n i q u e si nt h i sr e s e a r c hd i r e c t i o nh a v e b e e nd e v e l o p e da n dm a n yi m a g er e t r i e v a ls y s t e m s ，b o t hr e s e a r c ha n dc o m m e r c i a l ，h a v eb e e n b u i l t t h ea d v a n c e si nt h i sr e s e a r c hd i r e c t i o na r e m a i n l yc o n t r i b u t e db yt h ec o m p u t e rv i s i o n c o m m u n i t y t h i sa p p r o a c hh a se s t a b l i s h e dag e n e r a lf r a m e w o r ko fi m a g er e t r i e v a lf r o man e w p e r s p e c t i v e h o w e v e r , t h e r ea r es t i l lm a n yo p e nr e s e a r c hi s s u e st ob es o l v e db e f o r es u c hr e t r i e v a l s y s t e m sc a nb ep u ti n t op r a c t i c e r e g a r d i n gc o n t e n t - b a s e di m a g er e t r i e v a l ，w ef e e lt h e r ei s a n e e dt os u r v e yw h a th a sb e e na c h i e v e di nt h ep a s tf e wy e a r sa n dw h a ta r et h ep o t e n t i a lr e s e a r c h d i r e c t i o n sw h i c hc a nl e a dt oc o m p e l l i n ga p p l i c a t i o n s i nt h i s p a p e rw ew i l l d e v o t eo u re f f o r t p r i m a r i l yt ot h ec o n t e n t - b a s e di m a g er e t r i e v a l p a r a d i g m t h e r e a r ef o u rf u n d a m e n t a lb a s e sf o rc o n t e n t - b a s e d i m a g er e t r i e v a l i e v i s u a l f e a t u r e e x t r a c t i o n ，m u l t i - d i m e n s i o n a 】i n d e x i n g r e l r i e v a ls y s t e md e s i g n a n dr e l e v a n c e f e e d b a c k ir e v i e wv a r i o u sv i s u a lf e a t u r e sa n dt h e i rc o r r e s p o n d i n gr e p r e s e n t a t i o na n dm a t c h i n g t e c h n i q u e s t of a c i l i t a t ef a s ts e a r c hi nl a r g e - s c a l ei m a g ec o l l e c t i o n s ，e f f e c t i v ei n d e x i n gt e c h n i q u e s n e e dt ob ee x p l o r e d i v er e a l i z e dt i l ec b i rb a s e d0 1 1c o l o rf e a t u r e sw i t hr e l e v a n c ef e e d b a c ka n d g i v e ns o l n ec o n c l u s i o na n dd i s c u s s t h ec b i rs y s t e mr u n sw e l lw i t hal a r g ei m a g e l i b r a r y 【k e y w o r d s 1c b i r ，c o n t e n t b a s e dr e t r i e v a i 1 n f o r m a t i o nr e t r i e v a i 第1 i 贝 浙江人学硕学位论义 第一章绪论 1 1 研究问题的提出 第一章绪论 随着多盘! l l 体技术计算机，通信技术及i n t e r n e t 网络的迅速发展，使得图像多f 【! l ! 体信息 来源不断扩人，人容量高速存储系统为图像的海罐存储提供了基本保障，各行业对图像的使 _ l j 越来越广泛，如何从如此海量的图像信息中获取有川的信息即图像信息资源的管理和检索 显得已显得日赫重要。图像数据库的研究：l 自- x , j 多姒体数字图| 5 馆、医学图像管理、卫屉遥感 图象和计算机辅助设计；f in n 造、地理信息系统、犯罪识别系统、商标版权的管理等等方面提 供了有力的支持。 图像数据库研究的核心技术是剀像检索，姓今年来海苗信息处理已经面临的“瓶颈”。 归根结底，基于内容的检索是最具有本质性的，已成为国内外研究的热点，井将成为二十一 世纪初必须攻克的关键技术之一。近年米山现了人量的技术文献，为我们更深入的研究打卜 了结实的基础。 图像的传统管理方式是以文 ，| ：系统进行的，、jh j 户查洵一幅图像时，要逐一打开文1 ，| ：进 行浏览才能找到其目标图像，随图像文什数量的增加查找效率急剧降低。但由丁| 以文件存 储方式对图像的使川和操作较方便，冈而以文什管理剀像的方式一直延续至今。f 面总结图 像检索的过去，现在和未来h3 ”，从而看出非常有必要进行基于内容的图像检索的研究。 基于文本方式的图像检索 早在7 0 年代，数据库专家就j t 。始研究如f j x , j 图像数据进行有效的管理，其土要方法是 对图像文什建立关键词或文本标题以及一些附加描述信息，然后将图像的存储路径币图像关 键词之间建立联系，传统的关系数据库技术就可以满足这样的要求。现在数据库技术已经取 得了长足的进步，一些商用数据库系统都开始支持以二进制人对象( b l o b ) 存储图像，但对 图像的管理仍是通过二进制大对象和图像的关键同建立联系方法。由于直接在数据库中访问 图像的操作比较复杂，因此在数据库中以二进制人对象管理图像的方法在目前并没有流行起 来。 基于知识和视觉特征的图像管理 事实上，对图像视觉特征进行管理在7 0 年代就曾经引起了人一i ：智能和模式识别等领域 的关注，并取得了一定的成就。这时的图像数据阼主要是应_ l l ：j 在某一特定的应_ l j 领域，往往 平”其它信息系统结合在一起使_ l 【】，主要涉及地理信息系统、病人x 照片的归档、检索和诊 断系统，以及人脸识别和指纹识别系统。在7 0 年代到8 0 年代初，匹兹堡人学的张系国教授 采j j 关系数据库子系统和图像存储管理子系统集成设计了图像数据库系统g r a i n i l 1 1 1 , 对 图像数据进行查询，主要包括属性检索、结构检索、相似检索以及这儿种方式的综合检索。 r e d i 是背度人学傅京孙教授完成的，r e d i 是一个综合数据库系统，它与一个图像数据理 解系统之间保留有接口，该系统通过图像处理和模式识别方法提取山图像的结构信息和特 征，查询操作采用关系查询语言，它涉及到空间关系和常规的查询。在随后张系国教授义提 出了_ l 】二维符号串( 2 d s t r i n g ) 【l “来表达一幅逻辑图像的空间关系，爿。将此方法_ l j 丁图像 检索系统中。当时的图像数据库的典型应用是地理信息系统。随后一些人i ：智能研究者在研 究雨l 开发专家系统的过程中，采用图像数据来加强对问题的解释能力，运h ；i 了圈像的一些模 第l 贝 浙江人学硕：卜学位论文 第一章绪论 式特征，并对这些特征进行一定的语义解释，如h s u 等人采用图像数据库技术来管理病人 的心脏照片。在现在的指纹识别系统和人脸的照片管理系统中已经取得了较成功的运川，这 类具体系统已不肚枚举。这个时期的图像数据库规模小且仅应h j 在特定的领域，检索方面也 人都以精确模式匹配为主。 w w w 环境卜基丁内容的图像检索 8 0 年代是多媒体技术发展的时代，图像的扶圾、刨作、压缩、存储技术都取得了举世 蹦日的成就，而对图像信息的管理尚未给予足够的重视。9 0 年代是计算机网络时代，特别 是9 0 年代中删以来以w w w 为代表的信息发布以及资源访问方式的广泛流行，信息的发布 方式也从单一文本方式转变为以图形、图像、动画、视频利音频等视听信息。整个i n t e r n e t 网络环境就像一个人耻的分布数据库，在其中寻找自己感兴趣的一种媒体犹如人海捞针，对 信息检索工具的依赖日益加强，而目前基r 网络的检索j ：具( 如g o o g l e ，y a h o o ，l n f o s e e k 和l y c o s 等) 大多采j 目文本检索方式。这种采川对图像建立关键词等文本描述信息的方式己 越来越不适应网络信息检索的要求，究其原阅主要存在一下局限性： ( 1 ) 对图像加注文本信息仍由手i 完成，随着l 剞像数据来源日茄广泛，这种方法显得费时 费力。 ( 2 ) 文本描述信息是非常主观的，不同的人刘川幅图像数据可能有不同的理解因此当 川户在查询时输入的关键词和数据库中的关键洲不一致或这些关键词根本就不存在时，将导 致查询的失败； ( 3 ) “一幅画胜过一千句i 舌”，防区儿个大键字很雄将幽像所反】块的内容描述清楚； ( 4 ) 由丁媒体信息是发布在，w w w 网络环境中，不同国家不同民族很难_ l l j 同一种语言对 幽像进行加注标识，而且对图像语义理解的筹异很人。 为了突破文本检索方式的诸多弊端，人仃j 义转向研究图像中所包含的内容信息作为图像 的索引，对这方面的研究要归功丁模式识别研究肯，其主要的方法是根据图像的色彩、纹理、 图像对象的形状以及它f f 的空间关系等内容特征作为图像的索引，计算查向图像和目标幽像 的相似距离，按相似皮匹配进行检索，其目的是试图解决图像数据库系统中手工建立文本标 注信息的缺点。 作为传统数据库检索的拓展，基于内容的图像检索系统主要是根据图像的内容进行检 索。同传统的关系数据库检索系统相比，它主要具有以卜的特点： ( 1 ) 传统的数据库中，符号数据可以用基本数据类型精确地表示，检索匹配是精确匹配。 而图像数据是一段二进制数据流对图像进行像素和像素的精确匹配不科学。事实上人对蹲 个图像的相似和不相似的判断是根据图像中所包禽的内容，很难将其精确描述，因此内容的 表达是近似的。 ( 2 ) 图像数据的表达不是单一的，多种表达方法并存是可能的，表达方法的选择要依赖于 特定的_ l f j 户和特定的庸用领域，随着识别技术的发展还可能采用更新或更好的表达方法。 ( 3 ) 符号数据本身就具有语义信息，任符号数据命名的过程中就赋予了特定的信息。图像 中的内容本身不包含语义信息，对图像的匹配! l 要是对图像中的内容特征进行相似匹配。 ( 4 ) 由于对内容表达的不精确，因此检索得到柏结果可能包含一些不相关的图像，这种情 况对基于内容的检索是允许的，但重要的一点足在检索中不要将相关的图像漏掉。 由于基于内容的检索有着f “泛的需要，井有着较好的市场前景，闪而也引起了国际标准 化组织的关注，m p e g 专家组正在着手制定更高的版本m p e f 7 ( 又称为多媒体内容描述接 口) ，它主要是对备种类型的多媒体数据进行规范化描述，目的是便于快速和有效地查找钉 户感兴趣的材料，现在还处在广泛征集建议之中。m p e g 7 的推出将产生广泛的应h 1 前景 蚺2 虹 浙江大学顼t 学位论文 第一章绪论 包括：数字图，忙馆、多媒体目录服务、广播媒休的选择、多媒体编辑等。这些潜在的应川将 对p 面的应刚领域产生巨人的影响如教育、姒乐、调查服务、地理信息系统、医疗应川、 屯子购物、电影、视频平jj 无线广播门档饽。随蔚多姒体j j ：l 容描述的标准化，图像内容的描述 也将随之而标准化。基丁内容的图像检索将跏商, l i e 化方向而迈进。 综上所述，对图像的管理早期是采川文什的管理方式；在7 0 年代到8 1 0 年代蝴间是采 川芙键词等描述方法建立图像的索引，这个时j n j 上要以数据库学派的研究为主，同蚪山现了 以视觉特征为图像索引的面向特定麻川的小规模幽像数据库系统：9 0 年代以后，人们转向 研究以面向网络环境支持基于内容检索的人规模幽像数据库系统这个时期主要以模式识别 学派的研究为主预计剑，2 0 0 1 年以后随着m p e g 7 的推山，图像检索将朝商业化发展。 f 面将简单介纠一f 现有的典型的基丁内容的图像检索系统。 1 2 现有典型图像检索系统介绍 白从9 0 年代早期以来基丁内容的图像检索已经成为一个1 i 常活跃的领域。不管是在 商业上还是在研究领域，都出现了一些图像检索系统。其中人部分的图像检索系统都具有以 f 的一个或儿个功能特点： 随机浏览功能 基于例子的检索 基于草图的检索 基_ 丁文本的检索( 包括关键字和语音) 图片分类浏览 我们看到了现有技术所能提供的上述丰富的检索方式，但目前还没有对不同检索方式r 实际系统性能做山过系统研究。我们在这里列举j 一些具有代表性的图像检索系统，并着重 介缀它们的突l 出特点。 1 2 1 q b i c q b i c 1 6 , ”j 是基_ 丁图像内容商淘的英文缩写( q u e r y b y i m a g e c o n t e n t ) 。q b i c 系统是 由国际商用机器公司i b m ( i n t e r n a t i o n a lb u s i n e s sm a c h i n e r y ) 第一个商业化的基于内容的图 像检索系统。该系统的框架和采川的技术对后来的图像检索系统产生了深刻的影响。 q b i c 系统支持基7 二例子图像的查淘方式，也支持通过由川户构造的草幽、轮廓和选定 的色彩和纹理样式的查找方式，以及其它一些查洵方式。在q i b c 系统中，色彩特征川r g b ( 标准色彩显示标准) ，y i q ( n t s c 补色t v 标准) ，l a b 和m t m ( 孟塞尔数学变换) 坐标 和k 维颜色直方图等来表示。它所采刚的纹理特征是用改进的t a m u r a 纹理表示法，其本质 是粗糙度、对比度和方向性三个特征的结合。它的形状特征主要包括形状区域、圆周率、离 心率、主轴方向和些代数不变矩。q b i c 系统是极少数考虑到高维特征索引问题的系统之 一。在它的索引子系统中，首先用k l t 变换来完成维数缩减然后采用r 树来构造多维索 引结构。在q b i c 的最新版系统中，基于文本的关键字查找方式与基于内容的相似性查找方 式相结合，共同完成查找功能。q b i c 演示程序可以在如下的网址中找到： 丛垃丛生地型丛也堡盟也迫立盟蜘旦q 世。 第3 吹 浙江大学硕士学位论史 第一章绪沧 1 2 2 v i r a g e v i r a g e 是由v i r a g e 有限公司开发的基t 内窬f t j 图像检索引擎。同q b i c 系统一样，它也 支持基丁= 色彩、色彩布局、纹理希嘴构特征( 列象边缘) 的视觉夯洵功能。但v i r a g e 婴比 q b i c 在技术上向前迈了一步，它支持以上四种基本奄| 旬的任意组合后的查询方式。刚户还 可以根据需要来调牡一些基本图像特征的权重。住文献【3 9 】中，j e f f e r y 等人进一步提山了图 像管理的开放式框架。他们将图像的视觉特征分为两类：一类是通j l f j 特征( 如色彩、形状或 纹理) ，一类是领域相关的特征( 如川丁人脸识别、癌细胞检测的特征) 。根据不同领域的具 体需要，各种有j 1 j 的基本特征就可以加入剑这个”放式结构中。在另一方面，除了提供基于 例子的查询方式以外，g u p t a 和j a i n 还捉出了种由9 种基本元素组成的查询语言框架。 v i r a g e 的演示程序何于h ! ! p ；盟型丝：丑【盥：q 州鳃b 也囟女g 哑：。 1 2 3r e t r i e v a i w a r e r e t r j e v a l w a r e l 4 0 i 是由e x c a jj b u r 科技有j 堤公司开发的一种基r 内容柏图像检索引擎。在 r e t r i e v a i w a r e 的甲州版本中，我们可以看到该系统的重点在丁运朋神经网络算法实现图像检 索。在比较新的版本中，颜色、形状、纹理、明i e 度、颜色布局等特征开始被川_ 丁检索中。 它还允许组合适川上述这些特征，并且刚户可以自由调整每种特征的权重。r e t r i e v a l w a r e 系统的演示程序在如下的地址：h t t p ：v r w e x c a l i b c o m c g i - b i n s d k c s t c s t 2 b a t 。 1 2 4p h o t o b o o k p h o t o b o o k l 4 1 1 是美国麻省理工学院的多姒体实验室所开发的川于图像查询和浏览的交互 式i ：具。它e h - - 个子系统组成，分别负责提取形状、纹理、人脸特征。这样一来，用户就可 以分别在这三个子系统中根据相应的特征来进行 找。 然而，对丁不同的领域，没有哪一种“最女r ”的特征能够单独地描述一幅幽像。所以， 在p h o t o b o o k 更新一些的版本f o u r e y e s 中，p i c a r d 等人提出了把用户加入到图像注释和检索 过程中的想法。更进一步，由于人的感知是主观的，他们义提出了“模型集合”来结合人的 闪素。实验表明，这种方法对丁- 交互式图像注秆来说非常有效。 1 2 5v i s u a j s e e k 和w e b s e e k v i s u a l s e e k i “1 是基丁视觉特征的搜索引擎，w e b s e e k l 4 2 1 是一种面向w w w 的文本或幽 像搜索引擎。它们都是由哥伦比亚人学开发的。这两个系统的主要技术特点是采_ i _ 】了图像区 域之间空问关系和从压缩域中提取的视觉特征。 系统所采用的视觉特征是颜色集和基_ 小波变换的纹理特征。为了加块检索速度，系统 采_ l | ：| 基于二叉树的索引算法。 v i s u a l s e e k 同时支持基于视觉特征的查询和i 基r 空间关系的查询。举例来说，用户如 果要查找一幅“日落”的图像，那么他可以通过提交这样一幅草图作为查询：草图的上二p 部 分是桔红色的区域，f 半部分是蓝绿色的区域。w e b s e e k 是一个面向w w w 的搜索引擎。 第4 贝 它由三个主要模块组成，分别是图像视频采集模块，主题分类和索引模块，查找、浏览和 检索模块。该搜索引擎不仅支持基r 关键字的查找，还支持基于视觉内容的查找。v i s u a l s e e k 和w e b s e e k 的演示程序的主页在衄q ；型型塑出盟：剑女皿b i a ：鲤女生s i b 婴g d 卿q 业蜘! 。 1 2 6n e t r a n e t r a 系统【4 3 1 是盘u c s b 人学的a l e x a n d r i a 数字化图，馆项目( a l e x a n d r i a d i g i t a ll i b r a r y ， 或a d l ) 中用于图像检索的原型系统。它从分割后的幽像区域中提取色彩、纹理、形状和空 间位置信息。井依靠这些信息从数据库中查找相似的区域。n e t r a 在研究方面的主要特点包 括采j _ f 】了基于g a b o r 滤波器的纹理特征，基于神经网的“图像词典”的构造和基于边缘流的 图像分割。n e t r a 所在的主页地址为：地p ；丛j 塑丛：! 蜘啦：鲴女丛! 型。 1 2 7m a r s m a r s l l l , 4 4 1 是多媒体分析剃检索系统( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 的英 文缩写，是伊利诺斯人学u r b a n a - c h a m p a i g n 分校( u i u c ) 开发的。m a r s 无论在研究角度还 是应州领域都和其它的图像检索系统有根人的差拧。这主要体现在m a r s 一个多交叉学科 融合的产物，包括计算机视觉、数据库管理系统以及传统的信息检索技术。 m a r s 在科研方面的主要特点包括数据库管理系统d b m s 和信息检索技术i r 的结合 ( 如何进行分级的精确匹配) ，索引利检索技术的融合( 即检索算法如何发挥底层索引结构 的优点) 以及计算机和人的融合( 相关反馈技术) 。m a r s 系统的重点并不在于找到所谓 “最好”的图像特征，而在于根据实际的应i ；i 环境和用户需要在检索框架中动态地组合调整 各种不同的图像特征。m a r s 在圈像检索领域jl | 式提山r 相关反馈的体系结构。相关反馈 的种技术在各种层次上融合到检索的过程中，包括查询向量的优化，相似度算法的自动选择， 以及图像特征权重的调整。m a r s 系统的演示程序可以在如f 的网址找到： b 业出d 西4 ：i 也：女l 竖：! 血；8 q q q 。 1 2 8 其它系统 a r tm u s e u m 开发丁1 9 9 2 年，是最甲的基丁内容的图像检索系统之一。它采川图像 边界特征作为检索中的视觉特征。加州人学b e r k e l e y 分校开发的b l o b w o r l d 系统能够将原始 象素点转换到在颜色和纹理空间中局部相关的一组区域。该系统允许朋户看到提交的查询例 子图像和查询结果图像的内部表达形式。这样一米，用户就可以知道为什么有些不相关的图 像会被当作检索结果返回，从而可以对查询做出相应的调整。p r i n c e t o n 大学开发的 c a e t i i m l 系统的最大特点在于它将“在线”相似度查询功能与“离线”主题查询功能相结 合。还有更多的图像检索系统，这里就不一一赘述了。 从总体上看，研究主要集中在特祉提取_ 手l l 结构化、检索算法、索引结构和查询接口方面。 人馘的工作是针对图像利视频媒体开展的。对1 二l 划像，主要研究特征提取( 例如颜色、纹理 和形状特征) 和子区域的分割。在索引结构上。t 要研究高维索引的低维化和新的索引机制。 对于_ l l 户布询接口方面，土要探讨图形化的示例 询接口，以及相关反馈学习接口，提交内 容查询。 第5 吼 在国内，清华人学。弧”，浙江人学m3 ”，f 日防科技人学等研究机构对图像，视频信息 的基丁内容的检索进行了相应的研究，外取得了l n 当人的成绩。 1 3 本论文主要研究的问题和论文结构 1 3 1 本论文主要研究的问题 从现有的一些典型基丁内容的幽像检索系统r i ，看，图像检索系统已经有了长足的发展。 总结前人的研究成果，以及本人在图像检索方面的探索研究和实践，本人实现了基r 内容的 图像检索系统。下面是是本论文的主要研究问题。 从基于内容的信息检索系统的概念入手论述了基丁内容的图像检索系统的系统框架羽 体系结构。 在图像信息描述领域，本论文主要提出了相关剀像内容描述模型，井结台m p e g 一7 标 准，来进一步进行描述。基于内窬的图像检索技术是一项新的研究领越国外从九十年代初 开始研究，但国内的起步相对较晚些。在图像检索中，检索算法处丁i 非常重要的地位，检索 算法的女，坏直接影响到检索的结果，闪此，对检索算法的研究也可以进行进一步从不同的角 度和方法入手来深入研究，以获得更加的检索性能。 图像检索领域和计算机视觉领域之间的一个根本性区别在于人的因素。人是图像检索领 域中不可或缺的因素，但在视觉领域却并非必要。因此，我们需要寻找一条将人和计算机进 行统一结合的最佳途径。早期人们强调如何实现“全自动的检索系统”，并力求去寻找所谓 “最优图像特征”。然而，这条研究途径并没仃带来令人满意的成果，失败的主要原因在于 计算机视觉技术并没有发展到实现全自动化所需的技术水平。因此延川“人机结合”是非 常有必要的，通过人和计算机的交互( r e l e v a n c ef e e d b a c k ) 来不断地提高检索的精度。 总结上面论述，本论文主要的研究的问题包括： 1 基于内容检索的概念及系统的研究，包括系统框架和体系结构。主要分为库生成子 系统和查询子系统，井辅以知识辅助平人机交互。 2 多媒体信息特别是图像信息的内容描述模弛和m p e g 7 包括颜色，纹理等信息的 内容描述。较详细的介绍了基了= 内容的囝像检索的特性，颜色、纹理等特征的内容 描述，以及m p e g 专家组新近提山的m p e g - 7 ( 多； ! l l 体内容描述接口) 标准。 3 基于内容的图像检索技术的研究，包括蚓像特征提取，相似性度量，图像数据库的 存取，高维索引，以及相关性反馈等技术。 4 结合现有的技术，本人对有些基于内容的图像检索系统的体系、检索算法、相关性 反馈进行了实现，主要实现了基于颜色特征的图像检索，其主要运用颜色特征。如： 颜色特征中采用了基于颜色感知的检索算法运用h s v 色彩空间，进行色彩量化， 在相似性度量中采州直方图交义技术，从得到的结果来看，能较快的进行图像查询， 井取得了较高的精度。 5 在查询方式上，不仅采川了通川的示例夼洵方法( q u e r yb ye x a m p l e ) ，同时也麻刚 了颜色模式( q u e r yb y c o l o rp a t t e r n ) 的商询方法更好的进行人机交互。另外， 由于图像检索本身的特殊性，即人的刚素在检索中起到非常重要的作用。 6 究于图像检索本身的特性，人机交互住基于l j j 容的图像检索系统中起着重要的作 川。本人对相关性反馈( r e l e v a n c ef e e d b a c k ) 上进行深入的研究，实践中运了调 第6 页 浙江人学硕i 学位论文 第一章绪论 整示例图、特征权重等技术，使得能更高精度，更快速的检索山所需的幽像。 1 3 2 论文结构 在这一章中，综述了基下文本的检索系统和裁丁内容的检索系统的研究，并介绍了现有 的基于内容的图像检索典型系统，井提出了基丁l 容的图像检索中的研究问题。 第_ 二章，首先介士f ，基_ 丁内容的信息检索系统的体系结构和系统框架，然后比较基丁文 本的检索技术的缺陷，较详细的介宝f ： 了基j ：内容的图像检索系统，最后论述了多媒体内容描 述接口m p e g 7 标准以及m p e g 7 有关基- r l 窬的检索方面颜色纹理等特征的内容描述。 第三章中详细的介 f j 了基丁内容的幽像检索系统中包含各个方面的技术，包括特征( 颜 色，纹理，形状特征以及空问位置信息特征) 提墩，相似性度嚣，图像数据库的存取和高位 索引，以及相关性反馈。其中着重研究了相关性反馈技术，因为图像检索区别丁其他技术的 重要一点就是人机交互，在相关性反馈中，主要论述了查恂向量优化和调整特征权重这两种 相关反馈技术。 第四章中，对于第三章中提出的一些模块以及整个系统进行了实现，主要实现了基于颜 色特征的图像检索系统，并运用图像检索的本省特性，加入了相关性反馈技术，更好的f j 于 图像检索。并将一些方法进行比较利讨论。另外，描绘了图像检索的前景和未来，以及描述 了今后基于内容的图像检索的方向。 最后是致谢和参考文献部分。 第7 贞 浙江人学硕r i 学位论文 第一二章牡于内容的f 吉息榆索系统q 内容描述 第二章基于内容的信息检索系统与内容描述 2 1 基于内容的检索系统 随着计算机技术、通信网络平多媒体技术的e 速发展多f ! ! i ! 体信息已经成为信息系统的 主要数据来源形式。事实上在许多的信息系统t 存在人龟的多童! i ! 体数据，这些数据不仅种 类多，而且数据量人。近年来，互联网技术i n t e tn e t 有了巨人的发展，可获取的多媒体信 息非常多，因此对多媒体信息进行有效的管理和使川，己成为迫切需要加以解决的重要问题。 过去的方法是利川常规关系数据库管理系统来管理多媒体数据，即用人工输入图像的各 种属性，建立图像的属性库来支持查询。但是，随着近儿年计算机、通信网络和多媒体技术 的发展，特别是i n t e r n e t 的发展，可获取的图像和其他多媒体数据越来越多。随着数据容 量的增大，过去人工输入属性和注释的方法现山问题。一是人工注释需要大量的人力；另一 个是人工注释难以解决的问题：蕴涵在多媒体数据中的丰富内容以及内容感知描述的主观 性：第二是传统的方法对视频、音频和图像的描述仅仅限于属性或文字，不完整也不规范 没有体系地描述多媒体数据中包含地时间和空间结构及其关系。第四，就是对于那些实时广 播流媒体的处理，手i ：处理是完全不可行的，必须j h 计算机进行实时的内容分析。由此，基 于内容的多媒体信息检索研究应运而生。 基丁内容的检索研究伴随着信息时代的到来而展开。多媒体数据住i n t e r n e t 、企、止平 事业信息系统中“泛存在。川户不仅仅要存取常删的字符数字数据而且越来越多的商业活 动、事务活动、信息表现包含多f ! i l 体数据。如何7 f 效的按照多媒体数据的特性去管理多媒体 数据呢? 现有的数据库技术和信息检索技术都是针对常规的字符、数值和文本数据设计的。但是 图像、视频和音频数据不同于传统的数据类型。传统数字字符型数据的处理方法不能适应多 媒体数据的管理要求。图像、视频和音频信息的僻理和检索面临着新的挑战。 基于内容的检索技术需要提取多媒体数据的特征和结构化，如提取图像的颜色、纹理、 形状特征，视频中的镜头、代表帧表示等以及索引的表达、索引的组织和索引的提取等。其 中的主要研究问题包括：多媒体内容的获取：多媒体信息的内容描述：检索算法：索引技术： 查询接口。 白2 0 世纪9 0 年代初，国际上就开始了对基1 ：内容的多媒体信息检索方面的研究。从基 本的颜色检索，到综合利刚多种多媒体特征进行检索，该项技术已经发展到了高级阶段，人 量原型系统已经推山，其中，部分已投入剑实际肫_ l i j 中，以检验其有效性。同时，多f ! i ! 体i ! l 容描述标准m p e g 7 也止在制定当中。 2 1 1 概念 对于图像数据来说，每一种数据都具有难以用符号化的方法描述的信息线索，例如图像 中某对象的颜色，形状，纹理等。当用户具有这些线索去对数据进行检索时，不得不首先对 这些数据转化为某种符号的形式。现在的计算机所能处理的信息范围迅速扩人，不仅要求数 第8 贝 据库和其他信息系统能对图像进行存储和基_ 丁关键字( 文本) 的检索，而且要对图像数据的 内容进行分析，进行更全面的检索层次。 所谓基丁- 内容的检索( c b r ：c o n t e n t b a s e dr e t r i e v a l ) ，是指根据媒体