（计算机软件与理论专业论文）基于内容的自适应图像检索算法研究.pdf

基于内容的自适应图像检索算法研究 摘要 图像作为重要信息形式之一，已经越来越广泛地应用于各种领域。如何从大 量的图像信息中快速而准确地检索出有用的部分，就成为了一个急待解决的问 题。 目前，对于图像检索方法的研究，主要集中在基于内容的检索方法上，即基 于颜色特征、纹理特征和形状特征，或者这些特征的组合的检索方法。本文分别 分析了这些方法的优缺点。同时强调了在检索过程中用户反馈的重要性，并分析 了各种反馈机制。 然后，在已有方法的基础上，本文提出了一种基于颜色特征的，结合分块和 遗传算法的自适应检索方法。该方法充分利用了分块的特点，改善了颜色特征缺 乏空间信息的缺点；同时利用遗传算法的自适应性，使算法可以自动调整检索参 数，减少了在反馈过程中用户的选择操作，提高了系统的智能化程度。通过与另 外两种方法( 全局累加直方图法、分块和相关反馈法) 的比较实验，证明了该方 法的有效性。为了更迸一步地提高检索效果，又在此基础上加入了纹理特征。实 验结果表明，组合特征的自适应图像检索效果更好。 关键字：图像检索基于内容颜色纹理形状分块遗传算法 基于内容的自适应图像榆索算法研究 a b s t r a c t a sa n i m p o r t a n tk i n d o f i n f o r m a t i o n ，i m a m sh a v eb e e n u s e dw i d e l y s o a p r o b l e mi sp u ti n f r o n to fu s h o wt or e t r i e v eu s e f u li n f o r m a t i o nf r o ms om u c h i m a g e s ? n o w a d a y s ，t h e r e s e a r c h e so nt h e i m a g e r e t r i e v a l m a i n l y f o c u so nt h e c o n t e n t s - b a s e di m a g er e t r i e v a l t h ec o n t e n t so fa ni m a g er e f e rt oi t sc o l o r s ，t e x t u r e s ， s h a p e so rt h e i rc o m b m a t m n i n t h i sp a p e r , t h ec o n t e n t s - b a s e da p p r o a c h e sa r ea n a l y z e d i nd e t a i l a tt h es a m et i m e ，t h ei m p o r t a n c eo ft h ef e e d b a c ki nt h er e t r i e v i n gp r o c e s si s p o i n t e d o u ta n ds e v e r a lk i n d so ff e e d b a c ks t r a t e g i e sa r ea n a l y z e d t h e n ，i nt e r m so ft h ep r e d e c e s s o r s a p p r o a c h e s ，t h i sp a p e rb r i n g sf o r w a r dan e w r e t r i e v i n ga p p r o a c h ，w h i c hu s e sc o l o rf e a t u r e sa n di n t e g r a t e s t h ep a r t i t i o na n dt h e g e n e t i ca l g o r i t h m s t h i sa p p r o a c h a m e n d st h e d i s a d v a n t a g e o f l a c k i n gs p a t i a l i n f o r m a t i o ni nc o l o rf e a t u r e s ，a n du s e st h es e l f - a d a p t i v ec h a r a c t e r i s t i c so ft h eg e n e t i c a l g o r i t h mt oa d j u s ta u t o m a t i c a l l y r e t r i e v a l p a r a m e t e r s ，r e d u c et h e u s e r s s e l e c t i n g o p e r a t i o n si naf e e d b a c kp r o c e s s ，a n di m p r o v e t h ei n t e l l i g e n td e g r e eo ft h es y s t e m b y c o m p a r a t i v ee x p e r i m e n t sw i t ho t h e rt w ok i n d so fm e t h o d ，t h eg l o b a la c c u m u l a t e d h i s t o g r a m s a n dt h e p a r t i t i o n s a n dr e l a t i v i t y f e e d b a c k i n g ，t h i sm e t h o d i s p r o v e d e f f i c i e n t t oi m p r o v et h er e t r i e v a le f f e c tf u r t h e r , t h et e x t u r ef e a t u r ec a nb ea d d e d e x p e r i m e n t s r e s u l t ss h o wt h a tt h ee f f e c to fs e l f - a d a p t i v ei m a g er e t r i e v i n g w i t h c o m b i n e dl e a t u r e sw i l lb eb e t t e r k e yw o r d s ：i m a g er e t r i e v e ，c o n t e n t b a s e d ，c o l o r , t e x t u r e ，s h a p e ，p a r t i t i o n ，g e n e t i c a l g o r i t h m 1 1 华南师范大学学位论文原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到本声明的法律结果由本人承担。 一二 论文作者签名：盐数 日期：a 瓣f 月& g 日 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名： e t 期：a 防年岁月a 踊 导师签名：二l - l 雅 e t 期：& 明肄j 铂友蹈 基于内容的自适麻图像检索算法研究 第一章绪论 1 1图像检索的意义 图像，作为最基本的、最重要的多媒体信息形式之一，已经随着信息技术和 网络的发展，而越来越广泛地应用于各种领域，如数字图书馆、天气预报、卫星 图像管理、医疗图像管理、商标管理、公安刑侦系统、交通检测、军事系统和宇 宙探测等各种与人们工作和生活密切相关的方面，都可以见到图像信息的大量存 在。然而，在大多数情况下，这些图像信息都处于组织无序的状态。所以，如何 从这些无序的图像信息中快速而准确的检索出有用的部分，就成为了一个不可回 避的、急待解决的问题。 1 2 图像检索方法的研究综述 由于在应用过程中，越来越多的地方需要用到图像检索技术，迫切的需要促 使研究人员为此提出了各种各样的解决方法和理论。 目前，检索的方法基本分为两大类：基于文本的检索、基于内容的检索。 1 2 1 基于文本的检索方法 现阶段，真正进入普通意义上的实用阶段的图像检索方法，基本上还都是采 用了基于文本的检索方法。这种方法，实际上就是靠人工为图像进行标注，用对 图像的一些描述信息来作为检索时的关键字，如作者、标题、大致内容、创作时 间等。这样的系统有k o d a kp i c t u r ee x c h a n g es y s t e m ( k p x ) 、t h e a r c h i v ec o l l e c t i o n 等，还有现在广泛流行的商用搜索引擎，如g o o g l e 、百度。 基于内容的自适廊图像检索算j 去研究 这种检索的策略，实际上是抛开了图像信息本身，其实质还是传统的文本信 息检索。而且，显而易见的是，由于不同的人对同一幅图像可能有不同的理解， 从而不可避免的造成t - - - 义性。并且由于现实情况的复杂性，要建立能够完整表 达图像信息的关键字是十分困难的，几乎不可能办得到。同时，随着图像的不断 增多，人工标注的工作量也会急剧攀升。所以，使用这种方法，虽然在一定程度 上缓解了人们的迫切需要，但往往不能取得令人满意的效果，应用范围受到极大 的限制。所以说，基于文本的图像检索方法，只能是权宜之策，而不是最终的解 决之道。 1 2 2 基于内容的检索方法 基于内容的图像检索( c b i r ，c o n t e n tb a s e di m a g er e t r i e v a l ) ，是近些年发展起 来的侧重于挖掘图像本身特征的一种检索策略， 图像的内容即图像的特征，而基于内容的检索就是通过两幅图像的特征匹 配，即图像特征的相似性度量来实现的。要进行图像特征匹配首先要进行特征提 取。图像的特征分为低层物理特征( 如颜色、纹理、形状、轮廓等) 和高层语意 特征( 是人对图像的概念级的反映，如对图像的个人感受等) 。高层特征在目前 的条件下，一般通过人工注释的方法来实现，也就是前面说的基于文本的图像检 索方法，这种方法要实现自动化有较大的困难，且主观性太强。不利于标准化的 实现。而低层次的颜色、纹理、形状等特征则相对较容易提取，也可较客观地反 映图像之间的差别。 基于内容的查询方法_ 和基于文本的查询方法相比，有这样几个特点；n ) 采 用从图像中提取出来的颜色、纹理、形状等真实特征来作为检索的依据，而不是 人为的文字评价；( 2 ) 对这些特征进行相似性度量，即采用近似查询的方法：( 3 ) 多采用示例查询的方法q b e ( o u e r yb ye x a m p l e ) ，即给出示例图像，再从图库中 查找与之相似的结果图像来。 如果将图像检索和图像理解相比的话，两者在基础技术上比较相似，但还 是存在着许多重要的不同之处的。比如，c b i r 并不需要计算机识别出具体的目 基于内容的自适应图像检索算法研究 标是什么，计算机可以在完全不了解具体内容的意义的情况下，而找出若于幅类 似的图像来；另外，图像检索是模糊的相似性判断，检索结果应尽可能包含图像 库中的所有相关图像，并且允许在结果中存在不相关的图像，而不同于图像识别 那样必须找出明确的、完全相似的内容。 采用c b i r 方法开发的第一个功能较为齐全的系统，要属i b m 公司a i m a d e n 研究中心开发的q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统，它可以利用颜色、纹理、 形状和草图等多种方法进行检索，用户只需给出示例图像或草图，就可方便地在 图像库中找到相似的图像来。 美国加州大学伯克利分校与加州水资源部合作进行了c h a b o t 计划，开发系 统用于检索水资源部大量的水资源方面的图片。另外，密歇根州立大学也开发了 一种商标、图标图像检索系统，该系统通过计算归一化的颜色直方图之间的欧氏 距离，并用c a n n y 算子提取边缘点，用边缘点的方向直方图来表示形状，从而综 合了颜色和形状两种特征，使得检索精确度有较大的提高。 目前，国内也有很多研究机构和人员在积极参与研究基于c b i r 的图像检索 方法，并有许多成果出现。 1 2 2 1c b i r 系统的基本工作原理 总的来说，基于内容的图像检索是一个复杂的工作过程，涉及到认知科学、 人工智能、图像处理、图像识别和数据库检索等多个方面，是一个综合的学科领 域，有着广阔的应用前景。而实现一个c b i r 系统也必须要考虑以下几个关键的 步骤： ( 1 ) 选择适当的图像特征或特征的组合来构成特征空间； ( 2 ) 选择有效的算法提取特征，并组建特征库： ( 3 ) 根据相似性度量算法确定图像问的相似程度； 第一步中图像特征的选择是c b i r 系统的标志，它在很大程度上影响了系统 其他方面的实现。下面分别对步骤( 1 ) 和( 3 ) 进行一些讨论，步骤( 2 ) 在以后碰到具 体的提取特征时再具体讨论。 基于内容的自适应图像检索算法研究 1 2 2 2 按特征空间对c b i r 系统的分类 根据所选取的不同特征空间，c b i r 系统可以分为以下几类： 基于象素特征 这种方法的优点在于其特征提取相对较简单，但作为特征的轮廓难于结构 化，只适用于检索有着较明确布局的图像，使用范围有限。这方面的代表 有t k a t o 的研究小组开发的“艺术博物馆系统”【l l o 基于颜色特征 基于颜色特征的检索算法统计图像的全局颜色特性，具有旋转不变性、平 移不变性和尺度不变性的特点，并且提取相对较容易，是简便有效的图像 描述工具。但它反映的是图像的总体特征，缺乏对空间关系信息的捕捉， 错检率比较高。引入适当的空间域信息可以改进系统的检索效果l 引。 基于纹理特征 这种方法在特征提取时的计算量较大。对于有大片均匀纹理区域的图像， 检索效果较好，但如果是纹理变化较多，显得有些“杂乱”的图像，则以 上方法并不理想。 基于形状特征 形状特征符合人对图像的认识是主要集中在某个目标区域这个事实，但对 图像的分割缺乏可靠的技术手段，经常要依靠人工或半人工的方法勾勒目 标形状边界，操作繁复。 基于概念特征 图像的概念特征，接近于人类思想的理解，是最理想的特征。但在现阶段 的技术条件下，由于机器视觉、人工智能和神经网络等相关技术还不够成 熟，通常只在定义好的问题领域才能有效地获取高层知识，所以应用范围 还非常有限。使用基于概念特征实现的图像检索系统有麻省理工学院的 4 基于内容的自适应图像检索算法研究 p h o t o b o o k 系统l 5 1 。 1 2 2 3c b i r 的相似性度量方法 在确定并提取了图像特征后，就要涉及到如何比较两幅图像的相似程度了。 在图像检索中，一般是由用户给出草图或例图来进行查询，所以查询要求 的表达不是精确的。同时，图像之间的比较，也不像图像识别那样的要求精确。 所以，为了判断两幅图像之间的相似程度，就需要有一个距离值的计算问题。 这个距离的计算与使用的特征描述方法是密切相关的。如使用直方图来对 选定的图像特征进行描述，则在计算时可以使用直方图相交的方法。这种方法最 早由s w a i n 于1 9 9 1 年提出【6 】。当然，后来又有人考虑到人类本身的视觉特性， 采用比较接近人类视觉特性的色度频谱上的分段匹配方法【7 j 。 1 2 3 图像检索系统的性能指标和评价准则 检索的目标是发现和提取需要的图像。为了判定各种检索算法的优劣，要求 我们考虑所检索出来的相似图像的数量和排列次序，所以，我们定义以下两个重 要的参数，作为性能指标和计量准则：查全率和准确率。 这两个参数的定义如下： 查全率= 篙蒜燃m 准确率= 甏器器 从定义中我们可以看出，查全率反映了检索算法找到关联结果的全面程度， 它涉及到漏检的问题；而准确率则反映了算法每次检索出来有效关联结果的能 力，它涉及到误检的问题。 显而易见的，查全率和准确率的计算都需要知道图库中真实的存储内容。所 以这两个参数可用于实验系统的研究，而对实际系统的评价则不适用。 基于内容的自适应图像检索算法研究 1 3c b i r 的应用领域 图像检索技术有着广泛的应用。在早期，曾被广泛地应用于刑侦系统中，如 面部特征识别与搜索、指纹的识别与管理等，大大提高了刑侦人员的工作效率。 现在随着技术的进步，主要的研究都集中在了基于内容的图像检索中，c b i r 技 术越来越多的出现在我们的日常生活中，如利用搜索关键帧的方法，查找电影库 中的某个镜头或情节；在数字图书馆中查询各种电子图片信息；科研工作中对大 量图片资料的搜索等等。 如果从系统的角度来说，图像检索技术可集成于多媒体数据库中，作为一个 功能模块，也可单独建立应用系统，如上面提到的指纹、人脸检索与管理系统。 而且随着网络的发展，图像检索技术可以和网络上现有的搜索引擎相配合，从而 得到比现在仅利用基于文本的图像检索方法更好的查询效果。 综上所述，对图像检索技术，特别是基于内容的图像检索技术的研究，在今 后一段时间内都具有较高的研究价值。 1 4 本文所做的主要工作 本文主要研究基于内容的图像检索算法。 由于图像的内容都是一些低层次的特征，和人对图像的认识总是存在一定的 差距；并且无论哪种特征，都有其固有的缺陷。基于以上原因，本文做了以下：亡 作： 1 系统地讨论了图像检索的方法，重点介绍基于内容的图像检索的各种方 法及其优缺点； 2 讨论了检索过程中的各种反馈机制，分析其优缺点，并指出自适应反馈 能够减少用户的操作，提高系统的智能化程度： 3 根据前面分析的结果，提出一种基于内容的自适应检索策略：采用颜色 和纹理特征，利用分块的方法弥补颜色特征缺少空间信息的缺点，并利用遗传算 法自动调整各分块的权重，以减少用户的反馈操作。经过实验证明，在保证检索 6 基于内容的自适脚尉像检索算法研究 效果的同时，确实提高了系统的智能化程度。 本论文其余部分内容安排如下： 第二章按照特征空间的不同，分类介绍了基于内容的图像检索的各种方法， 并分析了它们的优缺点； 第三章介绍了检索过程中的几种反馈机制，通过各种机制的比较，指出自 适应反馈能够提高系统的智能化程度； 第四章在前面的基础上，提出了一种基于内容的自适应检索策略，并通过 实验证明了它的有效性； 第五章是全文的总结，并指出了进一步的研究方向。 基于内容的自适戍图像检索算法研究 第二章基于内容的图像检索方法 c b i r 试图以图像本身的内容为线索，有效地管理和利用图像数据库中的信 息，是目前图像检索技术的研究热点。 按照特征空间的不同，c b i r 可以分为基于象素特征、基于颜色特征、基于 纹理特征、基于形状特征和基于概念特征这5 类方法。但基于象素特征的方法只 能通过提取草图的轮廓进行检索，基于概念特征的方法则在目前的技术条件下难 于实现，所以这两类方法都具有较大的局限性。下面仅从颜色、纹理和形状三个 特征空间加以分析和介绍。 2 1基于颜色特征的图像检索方法 在人类的眼中，世界是丰富多“彩”的。颜色使人们心目中的世界变得充 满生机。所以说，颜色是视觉信号一种很重要的信息源，有助于人们对客观世界 的认识。同样，对于图像来说。其中蕴涵的不同颜色信息极大地影响了人们的认 知。再加上颜色特征与其他特征( 如形状特征) 相比，具有一定的稳定性，对旋 转和图像大小都不敏感，表现出相当强的鲁棒性，并且信息提取也相对比较容易， 从而使颜色成为图像检索所采用的主要手段之。 其具体的检索步骤是：选取颜色模型；颜色特征的表达；颜色特 征的匹配。 2 1 1 颜色模型 对颜色的特征表达依赖于所选用的颜色模型。考虑到颜色模型的用途，可 以将常用的颜色模型分为两类。一类是面向彩色显示器或打印机等硬件设备的， 基于内容的自适虑图像检索算法研究 这一类中有r g b 模型、用于彩色打印的3 补色c m y 模型等；另一类是面向视 觉感知，或者说是以颜色处理、分析为目的的应用，如生理学和精神物理学的颜 色模型，包括图像检索中的应用。这一类中有m u n s e l l 模型，以及在此基础上提 出的诸如h s i 、h s v 、m t m 、l a b 等模型。更多的颜色模型可参见参考文献【1 9 】。 下面分别简单介绍一下最常用的r g b 模型和h s i 模型。 ( 1 ) r g b 模型 在计算机领域中，最常用的颜色模型就是r g b 模型。它根据人眼结构，把 所有颜色都看作是三种基本颜色r ( 红) 、g ( 绿) 、b ( 蓝) 三种颜色的不同组合。 r g b 模型可以建立在笛卡儿坐标系统里【8 1 ，如图1 所示。 但是，r g b 模型的三个分量具有很大的相关性，导致该模型从感知上不均 匀。也就是说，不同颜色的差值( x r 、a g 、x b ) 相同，却并不意味着人也会 有相应的知觉差异。同时，r g b 模型也是非线性的，这种非线性给衡量颜色之 间的差别带来了很大的不便。所以，很少有将r g b 模型直接用于图像检索系统 的【9 】。 ( 2 ) h s i 模型 这种模型是用于彩色处理的最常用的模型。它是根据人们区分颜色常用的 3 种基本特性量：色调( h ) 、饱和度( s ) 、亮度( i ) 来定义的。它的坐标系统 如图2 所示。 1 1 曩 忒6 i - l 爵州 豺。， f o 图1r g b 颜色模型 图2h s i 颜色模型 基于内容的自适应图像检索算法研究 h s l 模型中，色调与混合光谱中主要光的波长相联系：饱和度与色调的纯 度有关，纯光谱色是完全饱和的；色调和饱和度与人对颜色的感受方式紧密相连； 而亮度与图像的彩色信息是无关的，如果没有彩色，则就只有亮度这一维的变化。 由于有以上这些特点，使得h s i 模型非常适合用于要求与人的视觉系统类似能力 的图像检索系统中。 我们可以比较容易地从r g b 模型换算得到h s i 模型。假设已知图像某个 象素的r 、g 、b 值，则 胁c o s ( r - g ) + ( r - b ) - b x g 丽 一b ) j 其中r g或r b ，若b g ，h ；2 珂一h s ；m a x ( r ，g ，口) 一m i n 僻，g ，曰)( 4 ) ，：半( 5 ) 2 1 2 颜色特征的表达 颜色模型选定后，就要对一幅图像的颜色特征进行某种形式的表达，以方 便两幅图像的比较。对颜色特征的表达有很多种方法，如统计直方图法、累加直 方图法、中心矩法等。 ( 1 ) 统计直方图法 图像的统计直方图实际上是一个一维的离散函数，如对色调h 函数表达式 为： h ) = 等 七却，l ，l - l( 6 ) 式中k 代表h 的取值，l 是特征h 可取值的范围，为特征值取k 的象素的个数， n 是图像中总的象素个数。图3 是一个统计直方图的示例。 如果采用h s i 颜色模型的话，则对于其三个分量，可分别做出各自的统计 直方图来。 基于内容的自适应图像检索算法研究 但是，在实际应用中，例如前面介绍的h s i 模型，还存在着两个重要的问 题。一个问题是模型的维数太高，光色调h 的维数就有3 6 0 维之多，这势必增 加了存储空间和影响检索速度，所以必须降低模型的维数。另一个问题是对于我 们人类而言的，因为人眼对于色彩的分辨能力是有限的，例如，在相同亮度和饱 和度下，我们无法察觉出色调h 在一定范围内的变化1 2 0 】。所以，为了降低维数 和利用人眼的这种视觉特性，我们可以加大量化的间隔，将那些相近的颜色量化 到同一个直方图单元中，这不仅降低了直方图向量的维数，也大大降低了直方图 匹配的计算量。不过，这种简单的加大量化区间会出现另一个问题：对于两个相 近的颜色，可能会划到同一个区间，从而量化到同一个坐标上；但也很有可能会 被划分到不同的区问，而被量化到不同的坐标上。也就是说，因为量化，使得边 界上互相靠近的相近的颜色被分开了，从而导致误检。再者，从视觉的角度来看， 颜色的分布并不均匀，如蓝色系的分布就要比黄色系的分布要更宽些。为了解决 以上问题，可以有以下两个弥补的方法。 一个方法就是根据红、黄、绿、青、蓝、紫六个最为显著的颜色，将色调h 从0 度开始，以6 0 度为一个区问，等间隔的量化为六个区间；饱和度s 则分为 高饱和、中饱和、低饱和三个区问；亮度i 的划分和s 类似。具体的区间如下所 示【2 1 l ： h = s = j ； 0 ，f ， 1 ，f ， 2 ，f ， 3 ，i f 4 ，f ， 5 ，f ， he 3 3 0 ，3 5 9 1u 【0 , 3 0 ) he 3 0 ，9 0 ) h 9 0 ，- t 5 0 ) ( 7 ) h e 1 5 0 ，2 1 0 ) h 1 2 1 0 ，2 7 0 ) h 2 7 0 ，3 3 0 】 0 ，f ，s e o ，5 1 ) 1 ，i fs 5 1 , 1 7 9 ) 2 ，l ，se l l 7 9 ，2 5 5 】 0 ，f ，i e 0 ，5 1 ) 1 ，f ，i e 5 1 ，1 7 9 ) 2 ，i fi 1 7 9 ，2 5 5 】 基于内容的自适应图像检索算法研究 这样按照不同颜色进行的颜色区间的划分，就尽量的使得相近颜色被划分到不同区 间的可能性减到最小。 另一个方法就是下面要介绍的累加直方图法。 ( 2 ) 累加直方图法 累加直方图也是一个一维的离散函数，同样是对色调h 的话，其表达式为： n ( k ) ；毫；= o ，1 ，一，l l ( 1 0 ) 式中的参数含义和前面统计直方图中的相同。图4 则是一个累加直方图的示例。 对于h s i 模型的三个分量，同样也是可以做出各自的统计直方图来。 图3 统计直方图示例图4 累加直方图示例 累加直方图的优点在于它体现了两种颜色在色调h 轴上的距离和相似性之 间的关系，即轴上两个距离近的点要比距离远的点在视觉上更相近。关于这一点 的数学证明可以参见文献 3 。所以使用累加直方图，和一般的统计直方图相比， 检索结果会有所改善，存在着一定的优势。 2 1 3 颜色特征的匹配 以上介绍了统计直方图法、累加直方图法和这两种颜色特征的表达方法。 这些方法都以直方图为基础，那么可以通过计算直方图间的距离d ，从而得出两 幅图像之间的相似性程度，进而可以比较查询图像和整个图像库中图像的相似程 度，选取出若干幅最相似的作为结果返回。 直方图匹配的方法有很多。下面简单介绍一下以下三种方法：中心矩法、 相交法和欧氏距离法。 ( 1 ) 中心矩法 基于内容的自适应图像检索算法研究 对于一幅图像的统计直方图来说，其零阶矩以及更高阶矩也可用于图像的 特征表达。如对直方图 i ( i ) 来说，其前三阶矩为： 即圭砉h ( f ) ) 峥压鬲丽 m 3 = 蹶鬲丽 ( 1 2 ) ( 1 3 ) 那么，以h s i 模型为例，两幅图像a 和b ，其三个分量h 、s 和i 的i ( is 3 ) 阶中心矩分别用m 月州，m 一可，m 月和m 脚，m 删，m 脚表示的话，则 图像a 和b 之间的匹配值，或者说是距离，就是： d ，b ) =w h 3 3 3 其中，、w s 和为加权系数a ( 1 4 ) ( 2 ) 市h 燹援 假设。 ) 和h 。 ) 分别为查询图像a 和数据库中的图像b 的特征的统计直 方图，则两幅图像之间的匹配，或者说是距离d 就可借助直方图相交法来实现“1 ： m i n h 。 ) ，h 。 ) 】 d ( a ，口) 一旦百一( 1 5 ) 荟h 脚 式中i 为特符的维数。 ( 3 ) 欧氏距离法 两幅图像直方图之间的距离d 还可以用一般的欧氏距离函数来衡量： d 似，b ) = 臣丁一 j 磊饵水) - 以) 2 ( 1 6 ) 如果采用归一化的直方图( 即将所有的特征直方图的数值都归一化到 o ，1 基十内容的自适应图像榆索算法研究 = 两2 p 戮 2 1 4 综合利用分块策略和颜色特征的检索方法 前面介绍了利用颜色特征进行图像检索的一般步骤和方法。虽然颜色有着 提取容易、鲁棒性强等很多优点，但前面的方法都是对图像的颜色特征进行了带 有统计性质的表达，体现了对图像整体性质的关注，而缺少了对图像局部特征的 描述。这也是利用颜色来进行检索的固有的缺陷。实际上空间分布对人判断一幅 图像有着重要的影响。单纯利用颜色进行检索，经常会发生将一点都不相象，而 颜色分量相似的图像当作结果检索出来的情况。如下图的两幅示例图像： 即足 图5 两幅颜色分布不同但统计结果相同的图像 为了弥补颜色特征在这个方面的缺陷，很多人进行了相关的研究。目前这 方面的技术主要分为两大类”1 ；( 1 ) 基于图像空间的固定划分方法，即人为地将 图像划分成适当的分块，然后为每个分块提取相应的局部颜色特征，例如文献 【4 】、【1 5 1 和 1 6 1 。( 2 ) 基于像素颜色的空间相关性的聚类方法，这种方法认为， 如果两幅图在空间位置接近的地方存在颜色相似的区域，则这两幅图具有较大的 相似性。例如文献【1 6 】、1 1 7 1 ，但同时，一项比较性研究表明【1 0 1 ，大多数情况下， 聚类方法并不占优势。 在文献 4 】中，按第类空间索引方法，提出了将图像按5 x 5 、9 x 9 、1 6 x 1 6 基于内容的自适应图像检索算法研究 三种分辨率进行空间上的划分，分别提取每一块的颜色信息，并为每一块以及三 种分辨率各分配一个系数。通过用户对检索结果图像相似度的选择，依靠相关反 馈技术改变这些系数，体现不同区域的不同重要性，从而较好的获得用户的检索 意图，逐步达到最佳的检索效果。文献中通过实验，证明了这种方法是行之有效 的，确实能够在一定程度上捕捉到用户的真实意图，检索的结果明显优于两种用 于比较的方法：全局直方图和i b mq b i c 颜色空间布局方法。 2 2 基于纹理特征的图像检索方法 对于纹理目前尚无正式的定义，因为对纹理的感受是与心理效果相结合的， 用语言文字很难准确描述。总的来说，纹理是所有物体的表面所具有的内在特性， 它可以表征为物体表面的结构安排以及周围环境的关系。一般来说，纹理是在某 个给定的区域中局部模式的重复出现。从心理学的观点看，人类观察到的纹理特 征具有粒度性( g r a l l u l a f i t y ) 、方向性( d i r c c t i o n a l i t y ) 和重复性( r e p e c i t j v e n e s s ) 等特点 1 8 】。一般的，纹理和图像频谱中的高频成分是密切相关的，光滑的图像主要包含 低频分量，通常不认为是纹理图像。 和利用颜色特征进行图像检索一样，基于纹理特征的图像检索也要经过三 个步骤：选取纹理模型；纹理特征的表达；纹理特征的匹配。其中的 纹理特征表达和匹配，与上述利用颜色特征进行检索时的方法类似，而且这两步 都依赖于第一步纹理模型的选取。所以下面着重分析纹理模型的选取。 纹理的性质可分为基于空间性质、频域性质和结构感知性质三类，所以用 来描述纹理的模型也可以分为基于空间性质的纹理模型、基于频域性质的纹理模 型和基于结构感知性质的纹理模型三种。 2 2 1 基于空间性质的纹理模型 有很多种基于空间性质的纹理模型，例如基于共生矩阵的模型、随机分形模 型、随机( s t o c h a s t i c ) 场模型等。其中，基于共生矩阵的模型可以提取很多参数， 媾于内容的自适应图像椅索算法研究 比较全面地反映了图像的纹理特征。 图像中灰度基元的空间分布与纹理有着密切的关系，而共生矩阵就是用来描 述纹理中灰度基元之间空间联系的基础，因为图像中相距( a x ，a y ) 的两个象素 同时i 出现的联合概率分布可以用共生矩降寒表示。 灰度共生矩阵的计算方法是“： 灰度共生矩阵为l * l 维的矩阵( l 为图像的灰度级) ，可以表示为 m 母) q ，t ) ，其中位于坐标( h ，k ) 的元素埘“为计数器，记录了符合下列条件的 象素对的个数：一个象素灰度为h ，而另一个灰度为k ，且两个象素之问的距离 为d i s t 的象素对。此条件可以写成表达式为： g ( p 1 ) = h a n d g ( p2 ) = k a n dd ( a x ，a y ) 。d i s t( 1 8 ) 其中，g ( p 。) 和g ( p ：) 表示象素p 。、p ：的灰度级，d ( a x ，a y ) 表示象素p 。、p ： 之间的距离。 从计算方法中，可以看出灰度共生矩阵是一个沿对角线对称的矩阵。不同 的图像由于纹理尺度的不同其共生矩阵可以有很大的差别。例如，对于粗纹理的 图像来说，共生矩阵中的肌。值比较集中于主对角线附近，因为粗纹理图像中， 象素对趋于具有相同的灰度；而对于细纹理图像，情况则正好相反，m 。值趋向 于散布在各处。由此可见，灰度共生矩阵可以在一定程度上反映图像中象素的空 间信息。 更重要的是，从灰度共生矩阵中，我们可以提取多达1 4 个的纹理描述符， 如果再加上梯度信息的话，则可以另外再提取1 5 个纹理描述符“4 。利用这些纹 理描述符，我们可以比较两幅图像在纹理方面的相似程度。例如，我们可以提取 反差、能量、熵和相关这四个描述符“”。 反差：c o n ，罗罗似一七) 2 m m ( 1 9 ) _ ，_ 彳腑5 萃善 熵；e n r 4 摹；m o g m n ( 2 0 ) ( z 1 ) 基于内容的自适成图像检索算法研究 相关： c o 噼= 【； 枷n 一z x z y 】吒 ( 2 2 ) 其中，以，一，叽，盯，分别为m ；，m ，的均值和方差，m ，是共生矩阵m 中每列 的元素之和，m 。则是每行的元素之和。 反差可以反映纹理的粗细程度，对于粗纹理，由于卅。的数值相对集中于主 对角线附近，此时仿一t ) 的值较小，相应的反差c o n 值也较小，反之，细纹理的 反差c o n 值则较大；能量是对图像灰度分布均匀性的一种度量，当m 。的值分布 较集中于主对角线附近时，相应的a s m 值较大，反之，a s m 值则较小：熵则反映 了灰度共生矩阵中各m 。的情况，当m 。数值相差不大且较分散时，e n t 值较大， 而当m 。的数值比较集中时，e n t 值较小；而相关c o r 则是用来描述矩阵中行或 列元素的相似程度的，它是灰度线性关系的度量。 用共生矩阵来统计纹理特征时，我们就可以用四个方向的共生矩阵 m 似。) ( 蠢，女) 、m ( 蛐) 谚，七) 、m u ，一d 伪，k ) t n m o d ) 辑，是) 来分别提取描述符，例如可以 提取前面介绍的4 个描述符：反差、能量、熵、相关，将这4 个方向的共生矩阵 的4 个描述符分别求其均值和标准差，最后得到8 个数作为一幅图像的最后的纹 理特征描述符存入图像的特征库中去。 但是，因为从共生矩阵中可以提取出十几个纹理特征描述符，每一个描述 符都反映了纹理不同方面的特征。检索时如果把每一个描述符都利用上，则会大 大增加时间复杂度，严重影响得到检索结果的时间；并且这也是不必要的，因为 每幅图像的纹理特征，只有几个方面才是最重要的，只需选取能够体现这些方面 特征的描述符就可以了。所以，就有人提出”“，在检索过程中引入进化规则算法， 在提取出的1 1 个纹理描述符中，利用进化规则算法所具有的良好的随机化全局 搜索最优解的性能，选择出最重要的几种纹理描述符来进行检索，从而使得图像 检索达到较高的检索精度。 基于内容的自适应图像柃索算法研究 2 2 2 基于频域性质的纹理模型 在前面我们说过，纹理是在某个给定的区域中局部模式的重复出现，纹理的 粗糙度正比于这个模式在空问上的出现周期。也就是说，纹理是和图像的频域有 密切关系的。粗纹理的空间能量主要集中在频域中的低频部分，而细纹理对应的 频率分量则主要集中在高频部分。 可以用傅立叶变换或小波变换来得到图像的频谱特征。 当采用傅立叶变换时，傅立叶频谱中突起的峰值对应着纹理模式的主方向； 这些峰在频域平面的位置对应模式的基本周期；并且，将傅立叶频谱滤波之后， 可以用统计的方法进行描述。为简便起见，可把频谱转化到极坐标中，此时的频 谱可用函数s ( r ，口) 表示。对每个确定的频率r ，可以分析s ，p ) 得到频谱在以原 点为中心的圆上的行为特性；而对给定的角度日，则可分析s 。( ，) 得到频谱沿着 某个方向上的行为特性。如果把s ，p ) 、s 。( r ) 对下标求和，则可以得到全局性的 描述：s p ) ；s ，p ) 和s p ) 一z s 。( ，) ，其中r 是以原点为中心的圆的半径。 ，- 7d - 0 s ( 0 ) 和s ( r ) 构成了整个图像的纹理频谱能量的描述。 下图分别给出了2 个纹理区域及其频谱的示意图，从其中的两条频谱曲线， 我们可以看出2 种纹理的朝向区别。 闽 d ，zt 图6 纹理和频谱的对应示意图 另外，有研究表明。“，如果将图像分成若干个小的子图像块，对子图像块再 利用频域的方法进行纹理分析，则能够克服单纯利用傅立叶频谱的方法时，只能 进行全局分析的缺点。 如果采用小波的方法，则可以利用小波变换具有时问一频率都局部化的这种 “变焦”的特性，提取出多分辨率、多方向性的纹理特征a 雉于内容的自适应图像检索算法研究 为了进行纹理分析，常用的有两种结构的小波变换：金字塔结构的小波变换 ( p w t ) 和树状结构的小波变换( t w t ) ，也称小波包变换。下图给出了一个这两 种结构的三级小波变换域分解的示意图，其中l 和h 分别表示低频和高频。 l l w t 札 i w i 儿 k “w l 删 w 1 l r w i 。n w 2 埘 w 皿 j 1 w i 取 w 照 ( a ) 金字塔结构( b ) 树结构 图7 两种结构小波分解的对比图 在金字塔结构的小波变换中，仅递归分解l l 通道。也就是低频部分，以生 成下一尺度的各频带输出。一般的，纹理图像有很多重要的信息都包含在中频部 分，也就是h l 和l h 通道中。所以，相比之下，树状结构分解方法更为适用。根 据文献 2 5 所得出的结论，如果在树状结构中对高频h h 通道也进行递归分解， 将锝到完全的四叉树，可以达到更好的图像检索效果。而文献 2 6 则采用事先设 定标准，以判断哪个通道需要继续分解，同样有较好的效果，同时减少了计算量。 具体实现方法是： 以纹理的能量函数来作为子通道是否继续分解的准则。一幅纹理图像 i ( n 木n ) ，其能量e 的表达式为 e = 志nn 渺( f ，刊( 2 3 ) 钉钉一 其中x ( i ，j ) 是象素点的灰度值。 做树状小波分解时，先按上式计算给定图像的能量，记作；然后进行一 阶小波变换，将图像分解为4 个子带，再计算各个子带的能量e 。、e 。、e m 和 e l l ：如果子带的能量小于c e 。，其中c 是事先给定的常数，则停止分解该子带： 如果子带的能量大于c e 。，则对子带图像按上述步骤继续分解。 基于内容的自适应图像检索算法研究 通过实施这样的分解变换，就可以得到一树状分布的纹理特征矢量，如下 图所示： 图8 树状小波分解示意图 2 2 3 基于结构感知性质的纹理模型 人们通过对图像纹理的直观感知后，常发现复杂的纹理是由一些简单的纹 理单元以定的、有规律的形式重复排列组合而成的。对纹理进行描述的结构法 就是以此为基础的。 设纹理基元为h ( x ，y ) ，纹理排列规则为r ( x ，”，则纹理t ( x ，y ) 为 t ( x ，y ) 一h ( x ，y ) o r ( 石，y ) ( 2 4 ) 其中，r o ，_ ) ，) = 6 0 一，y y 。) 这里的和y 。是脉冲函数的位置坐标。根据卷积定理，在频率域有 r 0 ，v ) = 日q ，v ) r ，y ) ( 2 5 ) 所以，当给定纹理基元h ( x ，y ) 后，就可以推倒反卷积滤波器日似，v ) ，将这 个滤波嚣用于纹理图像得到在含有纹理区域中的脉冲阵列，每个脉冲都在纹理基 元的中心。纹理基元描述了局部的纹理特征，对整幅图像中不同纹理基元的分布 进行统计，就可获得图像的全面的纹理信息。这里可以用纹理基元的标号为横轴， 以纹理基元出现的频率为纵轴，得到纹理图像的直方图，也叫纹理谱【2 7 1 。在得到 纹理基元后，为了用结构法来描述，还要建立描述它们的排列规则。通常这种规 则是通过形式化语言来完成的。 基于内容的自适应幽像榆索算法研究 2 3 基于形状特征的图像检索方法 对形状的表达比颜色或纹理的表达本质上要复杂得多，形状常与目标联系 在一起，有一定的语意含义，所以它可以看作是比颜色或纹理要更高一级的特征。 要获得相关目标的形状参数，首先要对图像进行分割。所以形状特征的提 取要受到图像分割效果的影响。而如果没有相关应用领域的先验知识，目前的自 动分割方法很难将相应目标准确提取出来。所以目前的很多检索系统都是由操作 人员采用手工或半手工勾勒目标边界的方式提取目标【2 1 , 3 5 】，然后计算机提取目标 的有关特征并存入特征库中：查询时，用户给出的例图，仍然采用手工或半手工 的方式提取目标，然后与特征库中的目标特征进行匹配检索。显而易见，这将使 检索系统变得繁琐，实用性不足；当然，另一方面，由于有人的干预，却也免去 了复杂的专家系统、知识库等部分。 在用户勾勒出目标形状之后，对它的描述又是一个非常复杂的问题。事实 上，至今也没有能与人对形状的感觉完全一致的确切的数学定义。人对形状的感 觉不仅是一个