（计算机应用技术专业论文）基于svm的相关反馈图像检索技术研究.pdf

摘要随着多媒体数据库的不断发展，传统的利用关键词进行图像检索已经越来越不能满足图像检索的需要，基于内容的图像检索己成为当前的研究热点。本文首先介绍和分析了基于内容图像检索技术的研究现状，在分析和比较了几种颜色和纹理特征后，采用基于直方图的颜色特征和基于g a b o r 变换的纹理特征相结合的特征描述方法。文中提出了一种基于用户感兴趣区域的局部检索算法。该算法首先对图像库中图像按照固定尺度多层分解，提取分解后各子图的特征，形成特征库i 检索时，用户按照任意尺度选取样例图像中的感兴趣区域，提取特征与特征库匹配。该方法实现简单，解决了全局检索不能很好反应用户意图的缺陷，也避免了基于分割的局部图像检索必须依赖复杂的分割算法的困难。为了弥补仅依赖低层视觉特征检索造成的“语义鸿沟”问题，本文重点研究了s v m 在基于用户感兴地区域的局部检索的相关反馈中的应用，建立了个基于s v m相关反馈技术的图像检索的高层晤义模型，通过用户与系统的不断交互来提高检索结果的有效性。研究过程中，作者利用m t l a b 65 开发了一个检索实验系统，该实验系统能够进行单一颜也特征、单一纹理特征、综合颜色和纹理特征的检索，同时可以实现基于三种算法m a i s 、m a r s + i is v m 的相关反馈，并能设置s v m 核函数的各种参数。通过在该系统上的实验比较，表明基于s v m 的相关反馈在平均查全率的增幅上较之m a r s 、m a r s + 更好，最后，实验通过分析平均查全率学习曲线给出了一组核函数的最优参数。【关键字】基于内容的图像检索：支持向量机：相关反馈；感兴趣区域；核函数a b s t r a c tw i t ht h ec o n t i n u a l l yd e v e l o p m e n to fm u l t i m e d i ad a t a b a s e ，t r a d i t i o n a li m a g er e t r i e v a lm e t h o dw h i c hi sb a s e do nk e y w o r d sc a r ln o ts a r i s f ym o s to ft h er e q u i r e m e n to fi m a g er e t r i e v a l i nr e c e n ty e a r s ，m o r ea n dm o r er e s e a r c h e r sh a v et r a n s f e r r e dt h e i rf o c u so fs c i e n t i f i cr e s e a r c h e so nc o n t e n tb a s e di m a g er e t r i e v a l i nt h i sp a p e r , t h ea u t h o rf i r s t l yi n t r o d u c e sa n da n a l y z e st h er e c e n tr e s e a r c h e so nc b i r ，t h ec o l o rh i s t o g r a m sa n dg a b o rt r a n s f o r mb a s e dt e x t u r ef e a t u r ea r ec h o o s e da f t e ra n a l y z i n ga n dc o m p a r i n gs e v e r a lc o l o ra n dt e x t u r ef e a t u r e a ni m a g er e t r i e v a la l g o r i t h mb a s e do nr e g i o n o f - i n t e r e s ti sp r o p o s e di nt h i sp a p e r t h i sa l g o r i t h mf i r s t l yd e c o m p o s e sa l lt h ei m a g e si ni m a g ed a t a b a s ei n t os u b i m a g e sb ym u l t i r e s o l u t i o nt r e e ，a n dt h e nt h ef e a t u r eo ft h er oes e l e c t e db yt h eu s e ri se x t r a c t e dt oc o n s t r u c tt h ef e a t u r ed a t a b a s e ；w h i l er e t r i e v i n g ，t h eu s e rc h o o s e sr o o fa n ys c a l ef r o ms a m p l ei m a g e ，t h e ne x t r a c t st h ef e a t u r eo fr o if o rs i m i l a r i t ym e a s u r ew i t hf e a t u r ed a t a b a s e t h i sa l g o r i t h mi sp r a c t i c a b l e ，a n dc o v e r st h o s et w os h o r t a g e so ft h eo t h e rt w or e t r i e v a lm e t h o d i m a g er e t r i e v a lu s i n gt h ef e a t u r eo ft h ee n t i r ei m a g e ，a n ds e g m e n t e dr e g i o n s b a s e dr e t r i e v a l t h ef o r m e rn e g l e c t st h eo b j e c t si nw h i c ht h eu s e ri si n t e r e s t e d ，w h i l et h er e s u l to ft h el a t t e re x c e s s i v e l yd e p e n d so nc o m p l i c a t e ds e g m e n t a t i o na l g o r i t h m t om a k eu pf o rt h es e m a n t i cg a p ，t h em a i nr e s e a r c hw o r ko ft h i sp a p e ri st os t u d yt h ea p p l i c a t i o no fs v mi nr e t r i e v a lb a s e dr o i a sar e s u l to ft h es t u d y as e m a n t i cm o d e lo l i m a g er e t r i e v a lw h i c hi sb a s e do ns v mr e l e v a n c ef e e d b a c ki sb u i i ts ot h a tt h er e t r i e v a lc a nb ei m p r o v e dt h ea u t h o rm a k e sap r o t o t y p ew i t hm a t l a b6 5i nt h ec o u r s eo fs t u d yr e t r i e v a lb yc o l o rh i s t o g r a m ，t e x t u r ef e a t u r eb a s e dg a b o rt r a n s f o r mo rd u a lf e a t u r ec a nb ed o n eo nt h i sp r o t o t y p e ，a l s ot h r e er e l e v a n c ef e e d b a c ka l g o r i t h m m a r s ，m a r s + a n ds v m ，t h ep a r a m e t e r so fw h i c hc a nb es e tb yt h eu s e r ，c a nb ed o n e t h ec o n c l u s i o nt h a tt h es v mb a s e df e e d b a c ka l g o r i t h mc a na c h i e v eh i g h e ra v e r a g er a t eo fr e c a l lt h a nm a r so rm ar s + ，i sf o u n db yc o m p a r i s o n f i n a l l y ，t h eb e s tp a r a m e t e r so fk e r n e lf u n c t i o ni sf i g u r e do u tb ya n a l y z i n gt h ep l o to fa v e r a g er e c a l lr a t e k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ；s v m ；r e l e v a n c ef e e d b a c k ；r e g i o n o f -i n l c r e s t ：k e r n e if u n c t i o n图表目录索引圈2 - l r g b 颜色空间一8图2 2 h s v 颜色空间9图2 - 3 有规则排列的元素组成的纹理1 2图2 4 频带宽度为u k u l ，方向数为6 ，一1 8图2 - 5 滤波前的原始图像1 9图2 - 6 经方向数为6 。尺度数为4 的一组g a b o r 滤波器滤波后的结果图像1 9图3 1 通过比较图像全局颜色特征得到的两幅相似图像一2 1圈3 2 b l o b w o r l d 分割示例2 1图3 - 3 图像的多级划分及对划分后的子图的结构表示2 4图3 - 4 查询样例的r o t 与某图像的最佳匹配示例一2 5图3 - 5 基于r o i 的图像检索算法流程2 9图4 1 结构风险最小化示意图一3 1图4 2 线性可分情况下的最优分类面一3 2图4 - 3 支持向量机示意图一3 6图4 - 4 改进的m a r s 反馈过程4 2表5 1m a t w e bc o n f 46图5 】运行在w e b 上的m a t l a b 应用程序结构4 7图5 2 系统结构图4 8图6 1 系统界面一5 1图6 - 2 样例图像及选取的r o i5 3图6 - 3 采用单一颜色特征的检索结果l q os 4表6 1 单颜色特征查询时七个类别的r o 的r a n k 值及检索结果示例5 5图6 - 41 1 2 张b r o d a t z 纹理图像5 6图6 - 5 对b r o d a t z 纹理d 6 的子图运用g a b o r 小波的检索结果l 一1 05 6图6 - 6 对b r o d a t z 纹理1 9 6 的子图运用g a b o r 小波的检索结果1 1 2 05 7圈6 7 基于单纹理特征的检索结果l - - 4 0一5 8表6 - 2 单纹理特征查询时七个类别的r o i 的r a n k 值及检索结果示例5 9图6 8 基于综含特征的检索结果1 4 0 一一6 0表6 3 综合特征查询时七个类别的r o i 的r a n k 值及检索结果示例6 】图6 - 9 用三种特征检索“花”类图像的p r 曲线6 2表6 4d = 4 、c o e f - = - 1 5 时，c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时盼平均查全率“袭6 - 5d = 2 、c o e f = l5 时c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时的相关图像的平均排序6 4表6 - 6d = 2 、c o e f = 15 时，c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时样例的平均排序6 4表6 7d = 2 、c o e f = l5 时c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时的平均支持向量个数( 正类，负类)6 5图6 1 0d = 2 、c o e e - - i5 时，c 取不同值的平均查全率学习曲线图6 5表6 - 8 0 - - 05 时c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 ( 2 时的平均奁全率6 6表6 - 9o - - 05 时，c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时的相关图像的平均排序6 6表6 1 0 a 卸5 时，c 分剐取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时样例的平均排序6 6表6 - lio - - - 05 ，c 分别取1 0 0 、2 0 0 、5 0 0 、1 0 0 0 时的平均支持向量个数( 正类，负类) 6 7图6 1 1d 卸5 时，c 取不同值的平均查全率学习曲线图6 7图6 1 2 两种核函数以及m a r s 、m a r s + 的查全率学习曲线图一6 8表7 i 对同一样例选择不同的r 0 1 时的r a n k 值：。6 9v学位论文独创性声明本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并表示谢意。作者签名：学位论文授权使用声明本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。学位论文作者签名：詹澎日期：星丝 = i ：巧导师签名7 旁挈让c，日期：7 孑丽第一章引言第一章引言随着计算机多媒体技术的迅速发展，人们将接触和处理大量多媒体信息。图像是一种最为普及的多媒体信息。由于图像数据具有难以用符号化的方法描述的信息线索，因此传统的基于关键词检索的数据库检索方式越来越不适合于图像检索。为了使数据库系统能够对图像数据进行内容语义分析，以达到更深的检索层次，一种新的图像检索技术一一基于内容的图像检索( c b i r 一一c o n t e n t b a s e di m a g er e t r i e v a i ) 诞生了。1 1 图像检索研究的背景早在2 0 世纪7 0 年代图像检索就已是一个非常活跃的研究领域。那时，主要是瞳刘图像进行文本标往的犟础一i - ，进行基于关键字的检索，这方面的研究主要是从数据库技术这个) ：f = f 度进行的。采用基于文本标注的方法实质上是把酗像检索的j j u 题转换成了传统的文本检索问题，这样可以借助许多相对较为成熟的数据库技术来解决。文献【2 对罐于文本标注的图像检索技术进行了较为全面的综述。诸如数据建模、高维索引、查| 匍评价等的研究均是沿着这一领域所作的。9 0q ：以后，随着翻像库规模的不断增大，基于文本标往的图像检索存在的两个问题就显现出来。其一是手工对图像进行标注所需的工作量太大：其二是图像标注的丰观e t ? t j 不精确性。由于图像包涵的内容十分丰富，不同的人对同- - i l i 哥图像常常有不同的掣解，即使是同个人，在不同的情境下对同一幅图像也往往有不同的理解。因此，对图像的歧义标注常常导致以后检索过程中不可挽回的错误匹配。在这背髓卜_ ，研究者们提出了培于内容的图像检索( c b i r c o n t e n t b a s e di m a g er e t r i e v a l ) ，它是指利川图像本身的信息，借助现有的图像处删技术创造某种可以辨别视觉特征的机制，再根据每幅图像都有的可比较特征来进行检索，它能从数据库中直接找到具有指定特征或含有特定内容的图像。区别于传统的基于关键字第一章引言的检索手段，c b i r 融合了图像理解、模式识别等技术，具有如下特点：( 1 ) 直接从图像媒体内容中提取信息线索。它突破了传统的基于表达式检索的局限，直接对图像进行分析和抽取特征。利用这些描述图像的内容的特征来建立索引。( 2 ) 基于内容的图像检索实质上是一种近似匹配的技术。在数据库中，需使用模式识别的方法对图像库中的图像按不同索引特征分类。在检索过程中，它采用某种相似性度量对图像库中的图像进行匹配，以获得查询结果。( 3 ) 特征提取和索引的建立，可由计算机自动实现，避免了人工描述的主观性，也大大减少了工作量。( 4 ) 整个过程是一个逐步逼近和相关反馈的过程。这是近些年来随着图像检索的相关反馈技术研究的不断深入才出现的新特点。即允许用户对检索返回的结果进行评价和标记，将“相关”和“不相关”的信息返回给系统系统对相关信息学习后，再次进行检索以改善查询结果。1 2c b i r 的关键技术一般而言，基于内容的图像检索系统涉及到如一f j l 个技术：图像视觉特征的提取及利= i i |w 觉特 _ e 可分为通用的视觉特征和领域相关的丰见觉特征。前者用于捕述所有图像共有的特征，与图像的具体类型或内容无关，主要包括颜色、纹理和形状：后者则建立在对所描述图像内容的某些先验知识( 或假设) 的基础上，与具体的应用紧密相关，例如人的面部特征或指纹特征等。由于领域相关的图像特征涉及许多专业的领域知识，本文只研究通用的视觉特征。有效的特征表示及识j ! ；j由于感知的屯观性，许多特征具有从不同角度来描述此特征的多种表示，对一个给定的特征不存在一个最优的特征表示。对于特定领域的图像检索选取哪一种或i n j l 4 a f t 特征或特征表示，通：；拧需要做具体的尝第一章引言试。高效的特征索引技术许多检索算法的实验数据一般为几百个或上千个，虽然采用顺序搜索，但感觉不出检索的响应时间。而对于大型图像库，则肯定需要建立索引。因为内容特征，尤其是在集成多特征的检索中，特征矢量量级很高，大大多于常规数据库的索引能力，因此，需要研究新的索引结构和算法，以支持快速检索。相似性度量技术相似性度量计算样例图像和候选图像之间在视觉特征上的相似性，包括欧氏距离度量和非欧氏距离度量。交互式学习技术交互式学习主要集中研究相关反馈技术。交互式学习增加了用户表达查询、评价查询结果和基于这些评价进一步查询的能力。由于从图像中提取的特征均是低层次的统计意义上的特征，与真正的图像的语义概念有较大的差距，因此检索结果难以令人满意。相关反馈技术试图找出在低层特征和高层语义概念间的联系，或语义概念在特征空间中的分布规律，从而使检索结果更好地接近语义层次的要求。1 3 国p 畸# l - 典型系统介绍在提出c b i r 后，经过二十多年的研究，国内外学者和研究机构进行了大量研究，发展了一些研究的原型系统甚至出现了少数商业系统。它们一般实现了如下功能：图像的随机浏览功能按图例检索的功能按草图检索的功能文本检索的功能按图像类别浏览的功能第一章引言一这其中较著名系统的有以下几个：v i s u a l s e e ka n dw e b s e e kv i s u a l s e e k 和w e b s e e k 是美国c o l u m b i a 大学开发的图像检索原型系统，前者是个可视化图像特征搜索引擎，后者是基于州方式的文本图像搜索引擎，目前己分类的图像有6 6 万多幅，形成了一个极富创新性的图像目录。该系统的主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征。所用到的视觉特征有颜色集、纹理特征的小波变换。为加快检索过程，还开发出了基于二叉树的索引算法。该系统具有5 a v a 浏览器，可以在s g i 、s u n 和i b mp c 平台上运行。其d e m o 网址为：! 型：鳇：! ! l ! ! b i i ：1 4 1 ! i ! ! ! ! g i ! 里! ! ：! ! ! lp h o t o b o o kp h o t o b o o k 是m i t 媒体实验室开发的套浏览、检索图像的交互式工具，它包含三个子系统，分别提取形状、纹理和人脸特征，用户可以分别做基于上述特征上的一种的检索。由于目前还没有一种特征可以很好地对图像建模，在p h o t o b o o k 的最新版本f o u r e y e s 中rp i c a r d 等提出：悔人也包括在图像的标注和检索过程中。实验结果显刁亡这种方法对图像的自动标注很有效。n e t r an ec r a 是u c s b 大学亚历山大数字图一陆馆项目组开发的一个图像检索原型系统。n e t r a 利用图像分割区域中的颜色、纹理、形状和空间位置关系来检索数据库中的相似区域。该系统的主要检索特征是基于纹理分析的g a b o r 滤波器。该系统的d e m o网址为：! ! 2 ；! i ! i ! i i ：! ! ! ：! ! ! b ：! 虫! ! ! ! ! ! m a r sm a r s ( m u l t m e d i aa n a y s i sa n dr e t r i e v a !s y s t e m ) 系统为美国u u c ( u n i v e r s i t yo f 【l l i n o i sa tu r b a n ac h a m p a i g n ) 大学所开发，其不同之处在于用到了多领域的知i = 只：计算机视觉、数据库管理系统和信息检索。m a r s 系统的注重点不在于寻找单个的最佳特征表示而在于如何将不同的视觉特征组织成有意义的检索体系，以动态适应不同的用户及应用场合。m a r s 系统是正式提出相关反馈的第一章引言系统，它将相关反馈技术集成到检索的不同层次过程中。该系统的d e m o 网址为：垫! ! 乜；j 垦皇三i 垒：i 兰坠：坚i 坐曼：呈垡坚；婪鱼q qq b i cq b i c ( q u e r yb yi m a g ec o n t e n t ) 是i b ma l m a d e n 研究中心开发的第一个商用基于内容的图像检索系统，它的系统结构及所用技术对后来的检索系统有很深远的影响。它所用的颜色特征用的是r g b 、y i q 、l a b 和m t m ( m a t h e m a t i c a lt r a n s f o r mt om u n s e l1 ) 坐标系及k 元颜色直方图，其纹理特征是t a m u r a 纹理表示的一种改进形式，如粗糙度、对比度和方向性的组合。它的形状特征包括形状面积、曲线、主轴方向和一组矩不变量。q b i c 还是少数几个考虑了高维特征索引的系统。查询结果可以按照相关的序列指导子序列继续查询。这种方法能够使用户更为快速和简捷地对可视化信息进行筛选与确定。该系统的d e m o网址为：b ! ! 巳；! ! ! g 堕i ：垦堡垒鱼皇凸：i 鱼里：兰鱼里国内研究动态国内从事这项研究比较有名的为：国防科技大学多媒体实验室、中科院自动化所、浙江大学计算机系等。中科院计算技术研究所数字化技术研究室开发的一个图像检索原型系统 m a g e s e e k 是作为“中国数字图书馆示范工程”课题的一个关键技术，该系统实现了图像颜色、纹理特征的自动提取及在此基础上的图像检索，同时该系统还包含了基于文本的图像检索及标注功能，l m a g e s e e k 电运用了允许人机交互的相关反馈技术，该系统的相关反馈是采用m a r s 系统的权重调整方法。虽然已经诞生了一些实验或商业系统，c b i r 目前还是存在着很多问题。计算机视觉和图像理解领域缺乏合适的数学理论和描述方法，没有很好的通用方法从低层视觉特征推出高层语义知识，而且视觉特征的描述是不充分的；相似性度量的方法和人的感知还有差异：高维特征的索引结构的效率和精度还有待进一步提高：人脑高速并行计算的能力以目前的计算机体系结构很难达到，从而不能从原理上模拟人工智能。这些问题的存在也就使得c b i r 始终是一个研究的热点，人们试图在其所涉及的各个领域的理论和技术上有所突破，以进一步推动c b i r 的发展。第一章引言1 4 本文的研究内容与各章节安排由于图像检索涉及面十分广泛，所包含的技术很多，故难以在本篇论文中面面俱到，本文目的是从图像视觉特征的提取和基于子图的检索算法入手，重点研究的是相关反馈技术，并设计一个原型系统来验证本文的算法。本文的特色：采用基于子图的匹配技术( c b s i r )基于支持向量机( s v m ) 的相关反馈s v m 反馈算法面向c b s i r本文的主要研究工作：选择图像的颜色和纹理特征的提取算法设汁一种基于用户感兴趣子图的c b s i r 算法建立一个通用的面向c b s i r 的图像特征表示模型设计面向c b s i r 的s v m 相关反馈算法使用m a t l a b 6 5 开发实验原型系统实验比较s v m 方法与m a r s 方法在c b s i r 中的反馈检索性能差异论文的组织结构为：第二章介绍了常用的颜色和纹理特征的分析与提取方法，简单比较了各种方法的优劣，并详细阐述了本文所采用的特征算法：第三章分析比较了三种主要的图像检索方法，提出了基于用户感兴趣子图的检索方法，给出了面向本方法的图像特征模型：第四章首先介绍了m a r s 系统的相关反馈方法以及改进的m a r s 方法，而后简要介绍了s v m 基础理论并提出了一种基于s v m 相关反馈算法：第五章介绍了实验系统的设计与开发方法；第六章给出实验结果和分析报告：第七章做了结论与展望，概述了系统实现功能的不足和有待改进之处。第二章颜色和纹理特征的分析与提取第二章颜色和纹理特征的分析与提取图像视觉特征的提取与表达是基于内容的图像检索技术的基础。本文主要研究的是颜色和纹理特征。由于采用无分割的区域检索，所以不能用传统的傅立叶描述子等来表示形状特征，但是，凭借对“纹理”这一概念的深入理解，提出了用大尺度纹理近似表示形状的方法，经由实验证明，具有较好的效果。2 1 颜色特征分析和提取颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。有几个重要的问题必须在设计颜色特征时加以考虑。第一，必须选择合适的颜色空间来表征图像的内容。第二，必须选择合适的颜色量化方案，以尽量减小特征的维数，提高检索质量。第三，必须选择与特征相匹配的距离函数。2 1 1 颜色空间的选择要获得彩色图像的颜色特征，首先要确定一种颜色的描述方法，不同的颜色描述方法对应于不同的颜色空间。常见的颜色空间有r g b 空问、c m y 空间、h s v 空间、c e 空间和y c c 空间。由红( r ) 、绿( g ) 、蓝( b ) 三原色组成的颜色空间即r g b 空间，它是面向硬件的，绝大部分的监视器都采用这种颜色模型。r g b 分别对应于监视器的三个刺激值，组成三维正交坐标系统，该系统中任何颜色都落入r g b 彩色立方体内，如图2 1 所示。第二章颜色和纹理特征的分析与提取蓝一青c 0 , 0 ，1 pc 0 , 1 ，1 ) j虹c l 0 0 ) + ，黄l l ，l 冉) j图2 qr g 8 顾色空l 回在正方体的主对角线上，各原色的量相等，产生由暗到亮的白色，即灰度。( 0 0 ，0 ) 为黑，( 1 ，1 ，1 ) 为白，正方体的其它6 个角点分别为红、黄、绿、青、蓝和品红。r g b 空间是最简单的颜色空间，而且其它的彩色系统必须转化成r g b 系统才能在彩色显示器上显示。但是，r g b 也存在如下一些不足：( i ) r g b 用红、绿、蓝三原色的混合比例定义不同的色彩，从而不同的色彩难以用准确的数值来表示，定量分析比较困难。( 2 ) r g b 系统中，彩色通道之间的相关性很高，从而合成图像的饱和度偏低，色调变化较小，图像的视觉效果较差。对相关性较高的图像作对比度扩展，通常也只是扩大了图像的明亮程度，对增强色调差异作用较小。( 3 ) 人眼只能够通过感知颜色的亮度、色调以及饱和度来区分物体，不能够直接感觉红、绿、蓝三色的比例，此外，色调和饱和度与红、绿、蓝的关系是非线性的因此，r g b 空间中对图像进行分析与处理，难以控制其结果：图像检索系统与用户对颜色的主观感受密切相关，选用的颜色空间必须能最好地反映人限对颜色的感知性。h s v ( h u es a t u r a t i o nv a l u e ) 是完全面向用户的种颜已空间，因此普遍用于图像分析与处理。h s v 根据视觉原理定义了三个互不相关的颜色属性：亮度、色调、饱和度，其中，h 是表面呈现近似红、黄、绿、蓝等颜色的一种或几种的目视感知属性；s 是颜色具有“白光”的程度；v 是物体表面相对明暗特性。h s v 颜色模型对应于圆柱坐标系中的一个圆锥形子集，如图2 - 2 所示。第二章颜色和纹理特征的分析与提取图2 - 2 h s v 颜色空同在h s v 颜色空间中，每一种颜色和它的补色相差1 8 0 0 ，饱和度取值从0 到l 。圆锥的顶面对应于v = 1 ，它包含r g b 模型中的r = i 、g = i 、b = 1 三个面，故所代表的颜色较亮。色度h 由绕v 轴的旋转角给定。红色对应于角度0 。，绿色对应于角度1 2 0 。，蓝色对应于角度2 4 0 。在圆锥的顶点处，v = 0 ，h 和s 无定义，代表黑色。圆锥的顶面中心处s = 0 ，v = l ，h 无定义，代表白色。从该点到原点代表亮度渐暗的白色，即具有不同灰度的白色。对于这些点s = 0 ，h 的值无定义。任何v = l 、s - 【的颜色是“纯”色。h s v 空间中的三分量具有相对独立性，可分别对它们进行控制，能够准确定量地描述颜色特征，因而图像识别和检索领域特别具有优势。由于r g b 图像在显示方面的优势，大多数的图片都是以r g b 模型呈现的，所以在提取颜色特征时首先要把r g b 空间转换为t t s v 空间，这种变换称为芒色儿变换。在计算机上实现时的数学转换公式为：假定m = m a x ( r ，g ，6 ) ，h = m i n ( r ，g ，b ) ( 其中，蜀b 分别是归一化的r g b 颜色空间中的值，m a x ( 3 和m i n ( ) 是其中的最大值和最小值) ，那么：9第二章颜色和纹理特征的分析与提取0 ，6 0 ( g b ) ( m 一”) ，3 6 0 + 6 0 ( g b ) ( m 一月) ，1 2 0 + 6 0 ( b ，) i ( m n ) ，2 4 0 + 6 0 ( r g ) i ( m 一月) ，2 1 2 颜色直方图s = 0( 2 1 )，= 晰g b，= m & g 1 ，y = i n t e g e r式中：x 。= 日一( x c o s o + y s i n 0 ) ，y = - m ( 一x s i n o + y c o s 0 )这里，0 = ? l t f k ，厅表示总的方向数目( n 【0 ，k 】) ，a ”为尺度因子，在上式中用来确保其总的能量与胛无关。通过改变历和，7 的值，便可以得n - - 组方向和尺度部不同的滤波器。g a b o r 小波集的非正交性意味着经滤波后的图像中有冗余信息。为减少这些冗余信息，设计滤波器的策略即为：确保g a b o r 滤波器组的响应在频谱上半峰幅值能相互接触，且互不重叠。设和u i 分别代表高频和低频的中心频率，k 是方向的数目，s 代表多分辨率分解时尺度变化的次数，得如下计算滤波器参数吼，瓯( 即o x ，q ) 的公式：口= ( u 声吼= 丽( a - 1 ) u b ，铲锄c 驰划晤，弘z 一警r式中= 以，历= 0 ，1 ，2 ，s l 。为了减少滤波器响应对冲激响应的敏感性，可以给g a b o r 滤波器的实部加上一个常量使它的均值为零( r p g ( o ，o ) = 0 ) 。本实验中所采用的滤波器各参数为：u h = 0 4 ，= 0 0 5 ，k = 6 ，s = 4 相应的滤波响应等值线见图2 4 。弛一章j 颏也驯毁堙特二i 曲打 ! j 亍。) 摊取一、“h聪敞讯、生图2 - 4 频带宽度为u k u i ，方向数为6尺度数为4 的g a b o r 滤波器半峰曲线给定一幅图像，( x y ) ，它的g a b o r 小波变换可以定义为：阡，胛，( x ，y ) = i ，( x l ，y 1 ) g 。+ ( 工一一，y y i ) d r l 砂l这里，木千表取其共轭复数。假设局部纹理区域具有空间一致性，则变换系数的均值心。和方差吒可以代表该区域用作分类和检索的目的。心。= 朋( 叫) i 出砂吒，。= 小w ，2 蚴用和吒。作为分量，可以构成总共4 8 维的特征向量，即：7 = 硒o ，o ，- 鸬j ，吒，】。下面用图像直观的解释基于g a b o r 变换的纹理特征，在m a t l a b 中根据上述方向数为6 ，尺度数为4 的一组共2 4 个滤波器对图2 5 进行滤波处理，结果如图2 6所示。第一章颤包删缎垲特征的开祈j _ 性耿图2 - 5 滤波前的原始图像图2 - 6 经方向数为6 尺度数为4 的一组g a b o t 滤渡器滤波后的结果图像对图2 - 6 中的2 4 幅滤波后图像分别求均值和方差，就得到一组2 4 2 = 4 8 维的纹理特征向量。9第二帮，；f 弁l 户堪，毛耻区域的i 兰】像性索第三章基于用户感兴趣区域的图像检索本章将首先简要介绍三种基本的图像检索方法：基于全局特征的检索、基于区域的检索( r b m ) 和基于子图的检索( c b s r ) 。在c b s i r 的基础上，提出了一种基于用户感兴趣子图的检索算法，实验证明，该算法能发挥用户在检索过程中的作用，较好地捕获用户检索意图，具有简单、高效的优点。3 1 三种基本的图像检索方法大多数c b i r 的实验原型系统和商业系统都采用根据样例查询的检索方法( q u e r y b y e x a m p l e ，q b e ) 。q b e 要求用户先从一个样例集合中选择一个图像，把它作为待查询的样例图像提交给系统进行特征提取和特征匹配，i t q b e 衍生出了三种主要的图像检索方法：基于全局特征的检索、基于区域的检索( r e g i o n b a s e di m a g er e t r i e v a l ，r b i r ) 、基于子图的检索( c o n t e n t b a s e ds u b i m a g er e t r i e v a l ，c b s i r ) 。基于全局特征的检索大多数的研究都采用基于全局特征的检索，即提取样例的全局特征，如全局颜色直方图、全局纹理特征向量等进行匹配。但是，在相当多的情况下用户并非关心图像全局相似与否而更多关注图像中具有一定语义的区域，如果使用全局特征匹配，由于整幅图像的特征都整合成了一个或几个全局特征向量，检索的结果将必然包含不相关区域，从而丢失局部信息。图3 1 显示了两幅不相关的图像，由于具有相似的全局颜色特征，它们会被理解为相似图像。笫二章j l ；卜州一怂必越竖域的崮隙临索图3 1 通过比较图1 象宝局颇色特征得到的两幅相似图像r b i r考虑到全局检索存在的显而易见的不足，另一种面向对象的检索方法r b i r逐渐发展起来。r b i r 引入了图像自动分割技术，所谓图像分割，是把图像中互不相交、具有特殊涵义的区域区分出来，每个区域内像素的属性满足一定的一致性 2 0 】。将图像分割为一系列区域的集合后，对这些区域的颜色、纹理、形状特征分别加以描述，再对所得到的特征向量进行匹配和检索就是r b i r 的实现思路。8 1 0 b w o r l d 博i 图像检索系统，通过建立高斯混合模型对像素聚类来分割图像，用户选择分割后的区域来提交查询，图3 2 显示了b l o b w o r l d 的分割结果。文献 1 9 中提出一种无监督提取图像中显著区域的算法，以这些显著区域作为图像内容的描述。s i m p i i c i t y 系统【3 8 】中提出了一种对颜色和频率信息进行k 一均值聚类的图像分割算法。图3 - 2b l o b w o r l d 分割示例然而，r b i r 的有效性依赖于图像分割技术，但图像分割又始终是计算机视觉处理中的一项瓶颈技术。尽管已经有了许多分割方法，现有的图像分割技术还远未达到完善的程度。因为图像分割与人的主观认识有密切联系，除了少数可以运用到领域知识的特定问题领域，到目前为止还不存在一种通用的方法【3 9 】，也没有一个判断分割质量的标准，当前的任何计算机自动图像分割技术，都只是按照各自定义的客观“标准”来分割图像，因而分割结果必然会造成与人的主观认识上的差异，产生不够准确的分割结果，且分割的不准确性随着图像复杂度的提高而、提高，这种区域分割结果的不准确性，导致了无法准确地提取相关区域的视觉特征，从而降低了检索结果的有效性。c b s i rc b s i r 与r b i r 相似，其目标都是实现对象级别的检索，所不同的是c b s i r 搜索的是一幅完整的图像，该图像被另一幅更大的图像所包含，而r b i r 检索的是一个区域，该区域是图像分割的产物。前者更为直观，而且实现上也类似于传统的基于全局的检索，不必依赖于任何图像分割处理。实际上，c b s i r可以认为是一种中间方法，它不像全局检索会完全损失图像的空间和拓扑信息，也不像r b i r 要使用复杂的图像处理技术来分割图像区域，相应地，应用c b s i r 的代价是比全局检索需要更多的特征向量和更复杂的匹配算法，比r b i r 又包含更多的冗余。但是用于一般的图像检索，这种冗余是可以接受的，而且有时还会有更好的效果，因为可以利用这些冗余信息检索在某些特定背景下的对象【4 0 1 。尤其在含有大量纹理丰富、内容复杂多变的图像的检索系统中，由于很难获得准确的分割区域，运用r b i r 的检索效果往往不尽如人意。在这种情况下，c b s i r 的优势尤为明显。图像划分是决定c b s i r 图像检索系统的功能和有效性的重要因素。基于划分的方法通常是对图像空间域采用几种固定尺度的网格状分解，再对每一尺度的分解结果进行分级表示。文献【4 i 】提出了一种分级树匹配方法( h i e r a r c h i c a lt r e em a t c h i n g ，h t m ) ，将图像库中的每幅图像划分成三级，每一级划分的子图称为图像“片”( t i l e ) ，提取这些“片”的特征构成三级特征树，检索时对用户提交的查询子图也构建同样的特征树，再依次与整个图像库的所有特征树进行匹配。3 c 献 4 0 采用一种四叉树来分解图像，它允许用户在查淘图像上选择多个感兴趣子图，对这些子图定义一个活动范围框( b o u n d i n gb o x ) 使范围框在图像库中的每一图像上移动来寻找每幅图像的最佳匹配子图。范围框约束了对象间的相对位置关系，例如：用户希望检索“海上日出”，显然，用户会按照这样的原则选择子图：即样例图像中包含蓝色区域( 大海) 、黄色区域( 太阳) 的子图且黄色区域在蓝色区域上站三童批十用户牲：遵区域的目像捡索方。这样，通过定义包含这些子图的范围框，可提取的特征除了各子图的颜色、纹理等，还包括范围框内各子图间的相对位置信息。但是该方法存在几个明显的问题：( 1 ) 四叉树分解过于粗糙，很可能造成一个对象被划分到两个子图中：( 2 ) 由于查询样例也要进行分解，故对样例的大小有了严格限制，必须为2 “2 ”像素；( 3 ) 范围框所包含的空间信息不完整，很难准确表现用户想要的对象间位置关系。本文采用上述三种基本检索方法中的c b s i r 方法的思想，具体实现算法将在下一节做详细阐述。3 2 基于用户感兴趣区域的图像检索算法3 2 1 子图划分与匹配策略概括地说，本文的子图划分与匹配策略是：对图像库中图像按照固定尺度多层分解，提取分解后各子图的特征形成特征库：用户按照任意尺度选取查询图像中的感兴趣子图，提取特征与特征库匹配。本文多层分解的方法采用的是文献 4 1 提出的多级树状表示方法，但在匹配策略上与其有所不同，h t m 从查询样例中先取一感兴趣的子图，再将此子图也与图像库图像做相同的树状表示，然后进行该子图树与图库中各图像树的匹配。h t m的搜索代价很高。实际上，通常用户选取的子图已经是一个比较明确的对象，比如一幅图像中的花，它所包含的冗余信息较少，只需提取它的整体特征，再与图像库中每幅图像的特征树的各层结点进行匹配就能取得较理想的结果。与h t m 相同，本文也采用4 4 的网格对图像库图像进行三级多尺度的表示，h t m 方法与文献 4 0 的四叉树分解的本质区别在于前者划分的子图是交叠的，而后者是完全不交叠的。图3 3 说明了图像的多级划分和树结构表示。图中的多级结构有三层：1 最高层：即原始图像本身；2 第二层：为图像划分成交叠的9 个子图，每个子图的边长为原始图像边长的一半：第三章基于用户感必趣区域的图像检索3 第三层：第二层的每个子图被划分成4 个不交叠的子图，总共有4 x 9 = 3 6个子图，其中需要提取特征的不重复的子图为1 6 个。一一a 一一 一b 一一i一一g 一一 一一d 一一ii s tl e v e l2 n dl e v e l3 r dl e v e l图3 - 3 图像的多级划分及对划分后的于图的结构表示检索前，对于图像库中的每幅图像都先进行如上划分，对于一幅图像，提取树中每个结点的特征向量，构成该图像的特征矩阵，对所有图像处理后得到整个图像库的特征库，这部分工作是离线完成的。检索时，用户先选择查询样例中任意感兴趣的矩形子图，这里，为了理解方便，也为了避免创造新的名词，还是延用了r b i r 中用到的r o i ( r e g i o n o f i n t e r e s t ) 来表示用户感兴趣区域。提取r o i 的特征向量，求此特征向量与