（计算机应用技术专业论文）基于内容的图像数据库检索技术的研究及应用.pdf

摘要 高速互联网络和多媒体技术的飞速发展，海量存储设备和处理机 性能的不断提高极大地促进了图形图像系统的普及和发展。图像数据 库正在被越来越多的领域所广泛应用：数字图书馆、医学图像数据库、 卫星图像数据库、商标数据库和建筑艺术图像数据库等。如何在大量 的图像中查找所需要的图像信息，成为图像应用一个急待解决的问 题。 c b i r ( c o n t e n t b a s e di m a g er e t r i e v a l ) 根据图像的视觉特征如颜 色、纹理、形状和空间位置关系来分析图像，通过建立图像各种特征 向量数据库，构建查询模块进行图像检索。本文在广泛查阅国内外相 关研究技术资料的基础上，首先对图像的颜色、纹理、形状视觉底层 特征进行研究分析，提取图像底层特征向量构建特征数据库。其次研 究分析多特征融合技术在图像检索中的应用，结合基于区域分割颜色 特征、形状、纹理特征多种检索方法，给出了基于综合特征的图像检 索方法。利用区域位置信息，提取图像各区域内颜色矩特征和改进 h u 不变矩特征作为特征向量对图像进行检索。实验验证表明，综合 颜色、纹理和形状特征的图像检索方法克服了利用单一特征检索的局 限性，提高了检索的准确率和检索的通用性。由于底层视觉特征与图 像高层语义之间关联较弱，在研究中引入相关反馈技术获得用户检索 信息意图，可较好提高检索的查准率。 本文给出了一种基于特征加权的相关反馈方法，结合用户标记的 反馈图像建立权重动态调整，使查询更好地满足用户要求，从实验中 可以看出该反馈法的有效性。本文设计了一个图像数据库检索原型系 统，用于对基于内容的图像数据库检索研究结果的实验验证。 关键字：基于内容的图像检索；形状不变矩；多特征融合；相关反馈 a bs t r a c t t h er a p i d d e v e l o p m e n to fh i g h - s p e e di n t e m e ta n dm u l t i m e d i a t e c h n o l o g ya n dt h ec o n t i n u o u si m p r o v e m e n to fm a s ss t o r a g ed e v i c e s a n d p r o c e s s o rp e r f o r m a n c eh a v eg r e a t l yp r o m o t e dt h ep o p u l a r i z a t i o n a n d d e v e l o p m e n to ft h eg r a p h i ci m a g es y s t e m i m a g ed a t a b a s e i s b e i n g w i d e l yu s e di nm o r ea n dm o r ef i e l d sl i k ed i g i t a ll i b r a r y ，m e d i c a li m a g e d a t a b a s e s ，s a t e l l i t ei m a g ed a t a b a s e ，t r a d e m a r k sa n da r c h i t e c t u r ed a t a b a s e ， a n ds oo n h o w e v e r ，h o wt of i n dt h en e c e s s a r yi m a g ei n f o r m a t i o ni na l a r g e n u m b e ro fi m a g e si sn o wa p r e s s i n gp r o b l e mi n t h ei m a g e a p p l i c a t i o n c b i ra n a l y z e st h ei m a g ea c c o r d i n gt ov i s u a l f e a t u r e so fi m a g e s s u c ha sc o l o r ，t e x t u r e ，s h a p ea n ds p a t i a lp o s i t i o nr e l a t i o na n dc o n d u c t st h e i m a g er e t r i e v a lb ye s t a b l i s h i n gav a r i e t yo fi m a g ef e a t u r ev e c t o rd a t a b a s e s a n d b u i l d i n gaq u e r ym o d u l e b a s e do naw i d ec o n s u l t a t i o no fr e l a t e d r e s e a r c ha n dt e c h n o l o g ym a t e r i a l sh o m ea n da b r o a d ，t h et h e s i s ，f i r s t l y ， s t u d i e sa n da n a l y z e st h ec o l o r ，t e x t u r ea n df e a t u r e so fs h a p ev i s u a l u n d e r l y i n g o ft h e i m a g e s ，a n d b u i l d sc h a r a c t e r i s t i c sd a t a b a s e sb y e x t r a c t i n g t h eu n d e r l y i n gf e a t u r e sv e c t o ro fi m a g e s t h e nt h et h e s i sp r o b e s i n t ot h ea p p l i c a t i o no fm u l t i - f e a t u r ei n t e g r a t i o nt e c h n o l o g yt ot h ei m a g e r e t r i e v a la n dp r e s e n t st h em u l t i p l ef e a t u r eb a s e di m a g er e t r i e v a lm e t h o d w i t ht h ec o m b i n a t i o no fo t h e rr e t r i e v a lm e t h o d sb a s e do nc o l o rr e g i o n s e g m e n t a t i o n ，s h a p ea n dt e x t u r ef e a t u r e t h ei m a g er e t r i e v a li sr e a l i z e d w i t ht h eu s eo fr e g i o np o s i t i o ni n f o r m a t i o na n db ye x t r a c t i n gt h er e g i o n a l c o l o rm o m e n tf e a t u r e sf r o mt h ei m a g e sa n db yi m p r o v i n gh um o m e n t i n v a r i a n tf e a t u r e sa st h ef e a t u r ev e c t o r t os o l v et h ew e a kc o r r e l a t i o n b e t w e e nt h eu n d e r l y i n gv i s u a lf e a t u r e sa n dt h eh i g h l e v e ls e m a n t i c so f t h e i m a g e ，t h et h e s i si n t r o d u c e st h er e l e v a n tf e e d b a c kt e c h n o l o g yf o ru s e r s i n f o r m a t i o nr e t r i e v a lp u r p o s et oi m p r o v et h ea c c u r a c yo ft h er e t r i e v a l t h et h e s i sp r e s e n t sar e l e v a n tf e e d b a c km e t h o db a s e do nt h ef e a t u r e w e i g h t e d ，w h i c he s t a b l i s h e st h ed y n a m i cr e a d j u s t m e n to ft h ew e i g h tw i t h t h ec o m b i n a t i o no ft h ef e e d b a c k i m a g e s m a r k e db yu s e r ss ot h a t t h e r e t r i e v a lm e e t s u s e r s r e q u e s t s b e t t e r t h ee f f e c t i v e n e s so ft h e f e e d b a c km e t h o dc a l lb ep r o v e db ye x p e r i m e n t s t h et h e s i sd e s i g n sa l l i m a g ed a t a b a s er e t r i e v a lp r o t o t y p es y s t e mt ov a l i d a t et h er e s e a r c hr e s u l t s o ft h et h e s i s k e yw o r d sc o n t e n t b a s e di m a g er e t r i e v a l ；m o m e n ti n v a r i a n t ； m u l t i f e a t u r ef u s i o n ； r e l e v a n c ef e e d b a c k 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：盔哑 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允 许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：拉皇鱼玺塞导师签名兰迥日期：垃年旦月三日 中南大学硕士学位论文 第一章绪论 1 1 课题背景和研究意义 第一章绪论 随着计算机和多媒体技术的飞速发展，特别是高速互联网络的普及和应用， 图像和视频数据呈现出几何级数增长的趋势。图像数据库的应用也被越来越多的 领域所采用：数字图书馆、数字博物馆、医学图像库、地理图像数据库、商标数 据库。高性能多媒体计算机、数字设备、互联网络的出现，为数字图像的获取、 处理、存储、传播提供了技术和物质基础。尤其随着高速互联网络技术的发展和 应用，使人们能以各种形式( 图像、文字、语音、视频) 获取自己所需要的信息， 进一步推动了对数字图像的需求。 对图像数据的需求以及图像数据呈几何级数的增长，使得对图像数据检索成 为图像数据库普及应用的关键。早期图像数据库的检索采用的主要是基于文本关 键字( t b i r ，t e x t b a s e di m a g er e t r i e v a l ) l lj 的方法。7 0 年代起，有专家提出对 图像数据库中的每幅图像内容进行文本关键字的描述。基于文本的图像检索沿用 了传统文本检索技术，回避对图像可视化元素的分析，而是从图像名称、图像尺 寸、压缩类型、作者、年代等方面标引图像，一般以关键词形式的提问查询图像， 或者是根据等级目录的形式浏览查找特定类目下的图像：g e t t y 丸盯使用近 1 3 3 ，0 0 0 个术语来描述艺术、艺术史、建筑以及其它文化方面的对象，并推出3 0 多个等级目录，从7 方面描述图像的概念、物理属性、类型和刊号等；g o g r a p h 将图像分为动态图像、照片、图标、背景、艺术剪辑图、插图、壁纸、界面、成 套图像8 个一级类，下设数量不等的子类。t b i r 技术实现较简单，更符合人们 检索习惯，同时可以充分结合已有的成熟文本检索技术和网络搜索引擎技术。但 是在实际应用中，人们逐渐发现关键字检索难以解决的问题： 1 每幅图像都需要进行人工标注关键字，费时费力。随着图像数据爆炸式 增长，很难在有限的时间完成并在实际中应用。 2 人工标注关键字带有一定的主观性，对于一幅图像，不同的人对图像内 容作出注释可能是不同；即使是同一个人，在不同时间或不同角度，对同一幅图 像也可能作出不同的注释。这将导致在查询时出现关键字不一致或不存在而造成 检索失败。 3 一幅图像所包含内容非常丰富，往往很难用几个关键字完全描述出来。 因此，基于文本关键字检索的方式越来越不适应当前图像数据库的应用，从 2 0 世纪9 0 年代开始，利用图像底层视觉特征：颜色、纹理、形状、空间位置关 中南大学硕十学位论文第一章绪论 系以及图像高层语义检索图像的技术应运而生【2 3 1 ，这种技术就是基于内容的图 像检索( c b i r ，c o n t e n t b a s e di m a g er e t r i e v a l ) 。其基本原理是对表征图像内容 的颜色、纹理、形状、空间关系等信息，建立图像特征数据库，对这些特征建立 索引。检索时根据多维特征向量进行相似性匹配，检索与目标相似的图像。这项 技术涉及计算机视觉、图像处理、人工智能、机器学习、心理学等众多领域的技 术，是当前研究的一个热点，c b i r 和相关技术互相促进，共同发展。 1 2 国内外研究现状及发展趋势 从9 0 年代中期，基于内容的图像检索技术经过了十多年的发展历史，由于 该项技术具有广阔的应用前景和巨大的商业价值，迅速成为图像处理领域一个研 究热点。随着研究的深入，各大研究机构和公司均推出了性能各异的图像检索原 型系统和商业应用系统。 1 国外研究发展现状 目前在国外比较成熟的各具技术特色的图像检索系统主要有i b m 的q b i c ， m i t 的p h o t o b o o k ，哥伦比亚大学的v i s u a l s e e k 和w e b s e e k ，i l l i n o i s 大学 的m a r s 等。 ( 1 ) q b i c 系统【4 】 q b i c ( q u e r yb yi m a g ec o n t e n t ) 是由i b m 提出的、在基于内容图像检索领域 应用最早的商用产品。q b i c 系统是基于图像的视觉内容，利用颜色百分比、颜 色分布和纹理等特征进行检索1 5 j ，系统提供了多种查询方式，包括：支持用户使 用例子( 系统自身提供) 查询、用户素描草图查询、扫描输入图像查询、指定特 征( 纹理、颜色等) 查询方式、用户输入动态影像片段和f j 景中运动的对象等查 询方式。颜色主要使用在( r ，g ，b ) 、( y ，i ，q ) 、( l ，a ，b 幸) 等颜色空间 的颜色直方图。纹理特征主要基于文献的纹理描述方法；形状信息主要采用面积、 圆形度、偏心度、矩不变量等。另外，q b i c 系统还考虑到了高维特征的索引， 采用r 幸树作为索引结构。 ( 2 ) p h o t o b o o k 【2 6 l p h o t o b o o k 是m i t 多媒体实验室开发的图像检索系统，p h o t o b o o k 有三个子 部分，分别用于提取形状、纹理和面部特征。因此，用户可以在这三个子部分中 分别进行基于形状、基于纹理和基于面部特征的图像检索。在p h o t o b o o k 的最新 版本f o u r e y e s 中，p i c a r d 等人提出了把用户加入到图像注释和检索过程中的思 想。同时由于人的感知是主观的，他们又提出了“模型集合来结合人的因素。 实验结果表明，这种方法对于交互式图像注释来说非常有效。 ( 3 ) v i s u a l s e e k l 7 】和w e b s e e k 2 中南人学硕士学位论文 第一章绪论 由美国哥伦比亚大学开发的姊妹系统。v i s u a l s e e k 和w e b s e e k 的主要特点是 研究利用图像区域空间关系进行查询和从压缩域提取视觉特征来进行检索。系统 中主要使用的特征是颜色特征和基于小波变换的纹理特征，并且使用基于 q u a d t r e e 和r t r e e 的索引结构以提高检索速度。支持基于视觉特征及其相互之 间空间关系的检索。w e b s e e k 主要是面向w e b 的搜索引擎，它包括3 个模块， 图像视频收集，分类与索引和搜索，浏览和检索。支持关键词检索，并使用用 户相关反馈技术来改善检索结果。 ( 4 ) m a r s 8 】 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是多媒体分析检索系统。其 特点是使用比较全面的图像底层特征，提供基于树结构的多特征组合检索。检索 时对各底层特征分别采用相应的相似性度量方法，最后给出综合排序。m a r s 系统是正式提出相关反馈( r e l v e n a c ef e d e b a c k ，r e ) 的图像检索系统。m a r s 系 统实现了被称为标准背离方法的特征权重调整的方法的改进。权重调整的方法试 图通过调整各个特征、特征各维的权重来优化检索结果。由于采用多方面的图像 特征描述和相应的相似性度量方法，该系统可以提供比较复杂的检索功能，如可 以通过布尔表达式进行组合查询，动态的组织和优化查询，提高检索效率。 2 我国研究发展现状 近几年来，我国在基于内容的图像检索技术方面也取得较大的进展。在国内， 基于内容的图像检索系统主要有中国科学院计算技术研究所智能信息处理重点 实验室开发的基于内容的图像检索演示系统( m i r e s ) ，m i r e s 系统是一个综合利用 高层语义特征和低层可视特征的图像检索系统。它通过提取图像语义类别来表示 图像高层内容，低层特征则集成图像的颜色、纹理、边缘特征。中国科学院声学 研究所开发的图像检索系统i m a g e h u n t e r 9 1 ，主要是基于纹理和颜色特征对图像 进行检索。南京邮电学院研制了基于纹理和颜色特征的实验系统【l o 。 3 c b i r 发展趋势 基于内容的图像检索技术经过十几年的发展，研究人员从各方面入手都取得 了相应的成果。但是大多原型系统都是从图像的底层视觉特征为描述模型的，而 底层特征的提取依赖于特征和距离相似度算法，并且计算机自动提取的特征和人 理解图像的高层语义之间存在很大的差别，单纯的基于底层视觉特征的检索很难 完全满足人们对图像检索的要求。因此，还存在很多问题等待完善和解决。 ( 1 ) 结合高层语义描述的图像检索 建立在颜色、纹理、形状等底层视觉特征的图像模型对图像的描述一般以统 计数据的形式出现。实际上，这些统计数据与人对图像的内容理解存在很大差异。 人对图像的描述和理解主要是在语义层测j 上进行的，不仅要依赖特征统计方法 中南大学硕士学位论文第一章绪论 处理，而且人还有知识能力和学习能力。对图像内容的理解具有一定的“模糊” 特性。如何构筑高层语义与底层特征之间的联系，将图像语义特征结合到检索中 是提高检索系统性能的关键所在，已得到了越来越多的关注。 ( 2 ) 特征降维和高维索引技术 特征向量一般情况都是高维向量，一般在1 0 2 维l ，维数的急剧膨胀将带来 维数灾难。为了在众多的高维数据中提取有意义的信息，就必须对高维向量进行 降维处理。降维技术要满足2 个方面的要求：一方面降维映射后的数据要避免信 息丢失的基础上大幅度降低维数，另一方面重构映射应能尽可能还原信息。如何 构造一种有效的多维索引技术来检索特征向量也是一个研究方向。目前常用的降 维方法主要是k t l 和柱状聚类方法【1 2 - 1 3 1 。己有的多维检索技术包括分桶算法、 k d 树、优先k - d 树、四叉树、k d bt r e e 、h bt r e e 、rt r e e 及其变种r + 树和r 树1 1 4 - 1 5 1 等。除了上述方法，在模式识别中广泛应用的神经网络技术也可以用于索 引。 ( 3 ) 相关反馈( r e l e v a n c ef e e d b a c k ，r f ) 技术。 相关反馈技术主要基于人机交互的思想，借助一种相关反馈的技术来猜测用 户的需求，并且根据用户的需求动态调整系统检索时所采用的特征向量或参与检 索的不同特征的权重系数，从而尽量缩小底层特征和高层语义之间的差距，提高 系统的检索效果。实际上，相关反馈是文本检索领域中一个基本的技术，r u iy o n g 最先将其用到c b i r 领域i l 每1 。7 1 ，实验证明它十分有效。此项技术也迅速成为c b i r 的研究热点，许多相关反馈方法也相继被推出。最近几年c b i r 技术引入了相关 反馈( r e l e v a n c ef e e d b a c k ) 与机器学( m a c h i n el e a r n i n g ) 机制，把用户模型与图像 模型成功地结合起来，它将成熟的学习算法与图像检索中的在线学习过程 ( o n 1 i n e l e a m i n g ) 结合起来以提高检索准确率，代表性的研究成果包括：基于 b a y e s i a n 理论的研究f 1 8 】，基于s v m ( s u p p o r tv e c t o rm a c h i n e ) 的研究1 1 9 】。 1 3 本文研究内容和组织结构 本文研究的主要内容围绕基于内容图像数据库检索的关键技术，在系统学习 和掌握图像检索领域相关知识的基础上，大量参阅分析国内外研究文献，对图像 特征提取技术、多特征融合技术、相关反馈技术进行了详细的分析和具体实现， 并对系统设计做了大量深入的研究。 本文研究的方法主要从理论和实验验证两个方面入手，首先研究底层视觉特 征的提取理论方法，对比分析各种方法的优缺点：在此基础上通过实验分析选取 合适的特征提取方法，并对其加以改进，力求在计算复杂度、实时性、准确度方 4 中南大学硕十学位论文第一章绪论 面取得较好的平衡；最后构建一个图像数据库检索原型系统，综合实现较为满意 的基于内容的图像检索效果。 本文共分6 章，具体章节安排如下： 第一章绪论：介绍了基于内容图像检索的研究现状，本文的研究背景、意 义以及本文主要研究工作和研究方法。 第二章基于内容图像检索综述：阐述基于内容的图像检索的系统构成和实 现的关键技术，包括特征提取、相似度匹配、索引技术、相关反馈以及系统评价 方法。 第三章基于内容图像特征提取相关技术：主要介绍图像内容的视觉特征描 述，对各颜色模型的特点进行对比分析；并对颜色、纹理、形状等方面介绍了图 像底层视觉特征特征描述和提取典型理论和算法。 第四章基于内容图像检索方法的研究与设计：本章是本文的重点，研究分 析并设计本文构建基于内容图像检索原型系统使用的颜色、纹理、形状特征的提 取方法、相似度距离和实验仿真方法。对全局颜色矩特征进行改进，提出基于圆 一不规则分割区域颜色矩的特征提取方法；颜色布局描述符表征颜色特征算法的 实现；对于纹理特征提取，实现了k 度共生矩阵的提取算法：对于形状提取的 不变矩方法，验证了本文提取特征的旋转、平移、缩放的不变性；并对算法的实 时性、复杂性进行分析平衡，设计基于形状不变矩的二值边缘图像线矩的提取方 法，并实现缩放的不变性，进行实验仿真，对实验结果进行分析，证明本文设计 的方法的有效性。 第五章基于内容图像检索原型系统设计与实现：研究并设计基于相关反馈 的综合多特征图像检索的方法，通过用户反馈，系统对各特征、特征各维权重进 行调整，根据用户的预期给出进一步符合用户心理的检索结果。本文构建了一个 原型系统；论述基于反馈机制的综合颜色、纹理和形状特征的原型检索系统的总 体框架、各模块的功能、数据库规划并实现一个原型系统设计。 第六章总结与展望：对本论文研究进行总结，指出存在的问题及将来应改 进的地方，并对未来的基于内容图像检索领域作出前景展望。 中南大学硕士学位论文第二章基于内容图像检索综述 第二章基于内容图像检索综述 基于内容的图像检索是提取能表征图像内容的颜色、纹理、形状、空间位置 等底层视觉特征的基础上，通过降维技术、构建索引结构，融合图像多特征进行 索引匹配，并加入相关反馈提高检索满意度。一副图像包含的信息非常丰富，人 们很难用有限的关键字描述，图像的一种特征往往也只能表示图像的部分信息， 特征的表示和提取也依赖于研究人员采用的方法和算法。特征向量的高维性质也 决定数据检索的复杂度，如何对特征空间进行降维和构建合适的多维索引结构对 图像检索的效率有着极大的关联。低层视觉特征和高层语义之间存在“语义沟 ( s e m a n t i cg a p ) 2 0 】，采用多特征融合技术和反馈机制将能帮助在图像之间传 递语义信息，提高检索的满意度。 2 1c b i r 的系统构成 c b i r 主要由4 个子系统构成，如图2 1 所示：人机交互子系统a 、特征表 示与提取子系统b 、多特征匹配和相关反馈子系统c 、数据库子系统d 。 1 人机交互子系统 图2 1 典型c b i r 系统结构 6 中南大学硕十学位论文第二章基于内容图像检索综述 提供友好的人机交互界面，用户输入查询示例图像，计算机全自动或半自动 进行多特征提取，用户可选择颜色、纹理、形状、空间位置等特征组合进行示例 图像的特征提取以便进行下一步的检索。特征的提取可以是全局特征，也可以是 局部特征( 用户感兴趣的区域或计算机判定的显著区域) 。如有反馈机制，也在 界面中提供用户输入反馈信息。 2 特征提取子系统 提供对图像数据库中的图像预先进行特征提取，同时提供对用户输入的查询 示例图像进行特征提取。特征提取在图像检索的关键之一，合适的特征描述会对 图像内容的j 下确表示有很大的影响。 3 多特征匹配和相关反馈子系统 实验证明利用图像单个特征进行检索，可能会与期望大相径庭。利用多特征 融合技术，用低层的视觉特征组合表示图像的高层语义会使得检索的查准率大幅 度提高，加以用户提供反馈信息，能使得查询结果更加符合用户的需求。 4 数据库子系统 数据库子系统由图像数据库、特征数据库、文本关键字数据库和多维索引构 成。适当地引入文本索引，对于检索有一定的帮助。图像数据的高维特性，使得 在数据库子系统中必须采用降维的手段，构造合适的索引结构，提供有效的访问 机制，才能进行有效的查询。 2 2 基于内容图像检索的主要技术 2 2 1 图像特征提取与表示 图像特征的提取是基于内容图像检索的基础，如何构建反适当映图像内容的 特征是进行图像检索的关键技术之一。目前流行的表征图像内容的主要特征有颜 色、纹理、形状、空间关系等底层视觉特征。 颜色是数字图像内容的一种重要表示方法，颜色特征是在图像检索中应用最 为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相 关，颜色特征对图像本身的大小、方向的不敏感，从而具有较强的鲁棒性。实现 图像颜色特征的检索，一般采用将图像的颜色信息转换成某种选定的颜色模型表 示信息后再进行颜色特征的提取。颜色特征主要有全局颜色特征和空间颜色特 征。 纹理主要反映图像中所有物体的表面共有特性。纹理特征包含了物体表面结 构组织排列的重要信息以及它们与周围环境的联系【2 1 1 。纹理特征通常具有旋转 不变性，纹理特征需要在包含多个像素点的区域中进行统计计算。在模式匹配中， 这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。纹 中南大学硕士学位论文第二章基于内容图像检索综述 理特征主要有t a m u r a 纹理特征、自回归纹理模型、方向性特征、小波变换和共 生矩阵等形式。 物体和区域的形状是图像内容表达和图像检索中的另一重要的特征。形状特 征的表达是以对图像中物体或区域的分割为基础。当前的技术无法做到准确而鲁 棒的自动图像分割，图像检索中的形状特征只能用于某些特殊应用，在这些应用 中图像包含的物体或区域可以直接获得。形状特征主要有两种表示方法，轮廓特 征和区域特征。图像的轮廓特征只用到物体的外边界，而图像的区域特征则关系 到整个形状区域。这两类形状特征的最典型方法分别是傅立叶描述符和形状无关 矩。 空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方 向关系，这些关系也可分为连接邻接关系、交叠重叠关系和包含包容关系【2 2 】 等。空间位置信息主要有两种：相对空间位置信息和绝对空间位置信息。前一种 关系强调的是目标之间的相对情况，后一种关系强调的是目标之间的距离大小以 及方向。空间关系一般在检索中配合其他特征而不单独使用。 2 2 2 图像特征的相似性度量 相似性度量方法用于度量两幅图像的相似程度。由于相似性度量方法依赖于 具体的底层图像特征，因此其模型多种多样，没有哪一种方法适用于所有情况。 由于计算方法和计算量的原因，目前用于图像检索的相似性度量模型主要采用距 离度量。 常用的图像相似性度量方法都是基于向量空间模型( v e c t o rs p a c em o d e l ) 的， 就是将图像提取的特征看作是向量空间中的“点”，通过计算两个“点 之间的 接近程度来衡量图像之间的相似度。对于几何相似距离的数学表达形式通常采用 m i n k o w s k y 和h a u s d o r f 的距离表示方法，信息论中的嫡及其相关概念如互信息 等也常用来进行相似度度量。根据不同的特征，通常采用不同的相似度度量方法， 如对于图像色彩直方图之间的距离，目前主要有直方图的交、直方图的绝对值距 离、直方图的欧几罩德距离或加权距离作为直方图之间的度量方法。 1 l 1 距离和l 2 距离 如果图像特征的各分量之间互不相关，并且各维特征的重要程度相同，则特 征向量q 和t 之间的相似性可以用l l 或l 2 来度量。 l l 距离计算公式： 搬( 卯) 2 善1 9 刮 其中：n 为特征向量的维数 ( 2 1 ) l 2 距离计算公式： 8 中南大学硕士学位论文第二章基丁二内容图像检索综述 d f s t ( q ，r ) = ( ( q z ) 2 ) j 其中：n 为特征向量的维数 ( 2 2 ) l l 称为城区( c i t y b l o c k ) 距离，l 2 称为欧氏距离( e u c l i d e a nd i s t a n c e ) 。 2 直方图相交 对于颜色直方图来说，采用直方图相交( h i s t o g r a mi n t e r s e c t i o n ) 来进行相似性 度量能够取得更好的检索效果。直方图相交法( h i s t o g r a mi n t e r s e c t i o n ) 是由s w a i n 等人于1 9 9 1 年首次提出的，直方图相交法计算简单快速并且能较好地抑制背景 的影响，其数学描述为【2 3 】： d ，2 1 一善m i n ( 口j ，6 ，) ( 2 3 ) 3 二次式距离( 马氏距离) 对于基于颜色直方图的图像检索来说，二次式( q u a d r a t i cd i s t a n c e ) 距离【2 4 1 已 被证明比欧氏距离及直方图相交法更为有效，其原因在于这种距离考虑到了不同 颜色之间存在的相似度。二次式距离可以表示为： d i s t ( q ，t ) = ( q r ) 7a(qt)(2-4) 这种方法通过引入颜色相似性矩阵a ，使其能够考虑到相似但不相同的颜色 间的相似性因素，颜色相似性矩阵m 可以通过对颜色心理学的研究中获得，但 也是比较主观的，很难有一个统一的标准，用二次式距离的难点就在于a 的确 定。 4 m i n k o w s k y 距离： 蚪土 d i s t ( q ，r ) = ( lq 一乃l p ) ，p = l ，2 ，3 ，n ( 2 5 ) p = 1 时，m i n k o w s k y 距离为m a n h a t a n 距离；当p = 2 时，m i n k o w s k y 距离为 e u c l i d e a n 距离，当p 一，m i n k o w s k y 距离为c h e b y c h v 距离，此时公式变换为： d i s t = 1 9 一zi 。 ( 2 - 6 ) 5 加权e u c l i d e a n 距离 加权欧几里德距离考虑了不同维向之间的不同的重要性。由于c b i r 系统通 常抽取了大量的特征，不同特征的重要性都是不同的，因此加权欧几里德距离在 c b i r 系统中应用很广，可单独用于颜色直方图( c o l o rh i s t o g r a m ) 、纹理 ( t e x t u r e ) 、形状( s h a p e ) 或他们的联合向量，研究证明，加权欧几里德距离可 9 中南大学硕士学位论文第二章基于内容图像检索综述 以取得比欧几里德距离更好的效果。但各特征向量的权重的确定会在一定程度上 影响检索效果。 h i d i s t ( q ，r ) = ( 1 4 ，( q 一正) 2 ) j ( 2 7 ) 百 6 视觉相似性模型 在实际应用中，采用上述的相似度比较函数并非严格满足距离度量的四条公 理，它们一般只是满足以下公理的某个或某几个【2 5 1 。 设d 为距离函数，a ，b ，c 为任意的特征向量，通常情况下，距离度量函数应 受以下四条公理的限制： ( 1 ) 自相似公理 d ( a ，彳) = d ( b ，曰) = 0 ( 2 ) 最小公理 d ( a ，b ) d ( a ，a ) = 0 ( 3 ) 对称公理 ( 2 8 ) ( 2 9 ) d ( a ，曰) = d ( b ，a ) = 0 ( 2 - 1 0 ) ( 4 ) 三角不等式公理 a ( a ，c ) d ( a ，君) + d ( b ，c ) = 0( 2 - 11 ) 2 2 3 索引和反馈机制 1 索引技术特点 图像数据库一般都包含庞大的数据而且由于描述图像的特征矢量的维数往 往很高，为了能够有效检索，高效的索引机制是非常重要的。由于图像数据库与 文本数据库有很大的区别，所以很多传统的索引机制无法直接用于图像数据库。 c b i r 系统使用特征向量来描述图像，这些特征向量的维数的数量级一般达 到1 0 2 。对于小型图像数据库( 1 0 4 幅) ，简单的线性查找或优化的线性查找就 可以有效地进行。但对于数字化图书馆和其他的一些集成检索系统，图像库的容 量都是非常大的( 1 0 5 幅) ，高维索引对检索效率的影响很大，要求尽可能不对 数据库进行遍历，而是在数据空间最匹配子集上查询，因此高效地索引机制十分 必要。目前通用的办法是首先采用维数缩减技术降低特征向量的维数，然后使用 恰当的高维索引技术( 通常能够支持非欧拉的相似度衡量方法) 进行索引2 7 1 。 综合国内外的研究工作而言，对图像数据库索引结构的典型要求如下： ( 1 ) 索引结构必须能有效的处理高维数据特征 l o 中南大学硕七学位论文第二二章基于内容图像检索综述 基于内容的图像数据库检索系统的索引结构必须能处理高维特征，当索引结 构构建起来的时候，它的节点数不应该随着维数的增加而呈指数增长。 ( 2 ) 索引结构必须能够适应于相似查询 不同于传统的数据库系统，基于内容的图像检索系统处理的查询需要基于相 似性，因为处理的数据不是原子对象而是无定格式数据。因而，索引结构必须要 能有效处理相似查询。 ( 3 ) 索引结构必须能有效的支持不同的查询类型 索引结构必须能处理各种查询类型，比如精确匹配查询、部分匹配查询、范 围查询和k 1 1 1 1 查询。索引结构必须能够对每种查询都有很好的处理性能。 2 索引技术的实现 为有效利用现有的索引技术，目前研究的合理做法是对图像特征向量的维数 先进行缩减。已有研究表明：对于多数可视特征集来说，维数可很大程度上压缩 而检索性能不会显著的降低。常用的两种缩减方法是k a r j i m e n - - l o e v e 变换( k l t ) 和柱状聚类。 经过了维数裁减，图像特征向量的维数一般仍然较高，因此需要选择一个合 适的高维索引算法来为特征向量建立索引。 3 用户反馈机制 相关反馈( r e l e v a n c ef e e d b a c k ，r f ) 原是一种在文字检索系统中使用的技术， 它利用用户先前的检索结果信息进行反馈来自动调节当前查询，也可借助人机交 互细化用低级特征表达的高层查询【2 8 。2 9 】。在图像检索中，相关反馈的引入可以给 系统提供更多的信息，对于检索过程的正确进行具有重要的指导作用。有效的检 索应该是一个渐近的过程，而在这个过程中，用户通过对检索结果的反馈而直接 参与检索会起到重要作用。系统和用户通过交互逐步使检索结果向着接近用户基 于综合特征的图像检索及相关反馈方法研究期望的方向前进，并最终达到用户的 要求。检索可以看作是一个主观和客观有机结合的过程，而反馈则是借助人机交 互实现主客观结合的重要手段。 2 2 4 系统评价原则 在进行图像检索时往往需要选择一种或多种最有效的特征描述方法和相似 性度量方法，这就需要对不同的图像特征或特征组合以及不同的相似性度量方法 的检索效果进行全面的评价，比较不同方法的性能，找出最好的方法。一般用查 全率和查准率2 个指标来评价检索系统。 查准率是指在一次查询过程中，系统返回的相关图像数目占所有返回图像数 目的比例。查全率则是指系统返回的查询结果中相关图像数目占图像库中所有相 关图像数目( 包括返回的和没有返回的) 的比例。 中南大学硕+ 学位论文 第二章基于内容图像检索综述 设q 为待查图像，其查准率r 可定义为： r = a b ( 2 1 2 ) 查全率p 可定义为： p = a c ( 2 - 1 3 ) 其中：a 是一次检索出与q 相似的图像数目，b 是一次检索输出的图像的 总的数目，c 是图像数据库中与q 相似的图像数目。 这两个指标越大，表明该检索系统的效果越好。一般说来，这两个指标相互 矛盾，当要求精度较高时，查全率较低， 求在这两者之间达到一个最优的平衡点， 本章小结 反之亦然。因此，一般的检索系统只要 就可以认为达到了较好的检索性能。 本章阐述基于内容的图像检索的系统构成和实现的主要技术，针对图像视觉 特征提取、各种相似度匹配方法、图像数据库索引技术、相关反馈以及系统评价 原则的典型方法进行综述。 1 2 中南大学硕士学位论文第三章基丁内容图像特征提取相关技术 第三章基于内容图像特征提取相关技术 图像的特征是指图像的原始特性或属性，图像特征的提取与分析的目的就是 为了让计算机具有认识或者识别图像的能力，即图像识别。而图像的检索就是根 据一定的图像特征进行的。特征的提取从广义上而言就是一种变换。图像原始特 征的数量很大( 基本上是高维数据) ，通过映射或变化将高维空间中的特征描述 用低维空间的特征来描述的过程称为特征提取。 3 1 颜色空间模型 颜色可以用亮度、色调、饱和度来描述，人眼看到的彩色光都是由这三个特 性综合颜色特征而得的。颜色反映彩色图像的整体特性，在图像检索中占有很重 要的地位。通常人在区分或描述彩色时常采用亮度、色调、饱和度三个感知量来 表示彩色的特性。色调，是一种颜色区别于其它颜色的因素，也就是我们平常所 说的红、绿、蓝、紫等，色调是与混合光谱中主要光波长相联系的。饱和度是指 颜色的纯度，鲜红色饱和度高，而粉红色的饱和度低，纯光谱色是完全饱和的， 随着白光的加入饱和度逐渐减少。亮度是与物体的反射率成j 下比，如果无彩色就 只有亮度1 个维量的变化。对彩色来说，颜色中掺入白色越多就越明亮，掺入黑 色越多亮度就越小。与之相对应，从光学物理学的角度出发，颜色的三个特性分 别为主波长( d o m i n a n tw a v e l e n g t h ) 、纯度( p u r i t y ) 和明度( l u m i n a n c e ) 。主波长是产 生颜色光的波长，对应于视觉感知的色调，光的纯度对应于饱和度，而明度就是 光的亮度。这是从两个不同方面来描述颜色的特性。色调和饱和度合起来称为色 度。颜色可以用亮度和色度共同表示。设为组成某种颜色c 所需的三个刺激量 分别用x ，y ，z 表示，三个刺激量与r ，g ，b 有如下关系： x = 0 4 9 0 2 r + 0 3 0 9 9 g + 0 1 9 9 9 b y = 0 1 7 7 0 r + 0 8 1 2 3 g + o 0 1 0 7 b z = 0 0 0 0 0 r + 0 0 1 0 l g + o 9 8 9 9 b 反之，根据x ，y ，z 三个刺激量值也可以得到三种基色： r = 2 3 6 3 5 x 0 8 9 5 8 y 一0 4 6 7 7 z g = 0 5 1 5 l x + 1 4 2 6 4 y + 0 0 8 7 7 z b