（计算机软件与理论专业论文）基于内容的综合多特征图像检索方法研究.pdf

基于内容的综合多特征图像检索方法研究 摘要 随着互联网的深入应用和多媒体计算机技术的飞速发展，大量图像信息被产 生出来，如何对这些图像信息进行高效检索是迫切要解决的问题之一。基于文本 关键词的传统检索方法已经不能适应图像信息检索的要求，基于内容的图像检索 方法近年来虽然发展很快，在一些特殊场合下的检索精度已经很高，但还是很少 有方法针对不同的实用环境都能达到较高的检索精度；基于此，本文重点研究了 基于图像颜色空问分布特征的检索方法并探讨了综合颜色、形状、纹理特征的图 像检索方法，在解决传统方法遇到的问题方面有一定的研究进展。本文主要工作 概括如下： 1 探讨了基于内容的图像检索领域的一些关键技术问题和研究进展，介绍 了颜色、纹理、形状等图像低层特征的描述方法及提取方法，并描述了图像间的 相似性度量方法，图像库索引机制，图像检索算法的评价方法等。 2 为了提高检索精度，在提出的减小颜色量化误差方法中，引入了非截断 型颜色量化参数模型，使量化结果与人眼感受更接近；提出了一种新的基于象素 颜色相邻矩阵及其近邻关系参数模型的颜色空间检索方法，该方法根据图像相 邻象素点的颜色近邻位置关系不会随图像整体扭曲形变而改变的特性，将传统的 局部颜色直方图的颜色值和颜色相邻矩阵相结合，得到一个统一两者特征的相似 度，提高了局部颜色直方图对形变的鲁棒性。实验证明该方法比一般的颜色空 间检索方法精确性更高。 3 对传统的基于形状特征的表示法作了一些改进，提出了改进的基于链码 的表示法。传统的形状特征表示法一般是基于边界链码特征，其对图像的旋转、 扭曲等形变非常敏感，而如果采用向心链码则又增加了处理过程及时间复杂度， 本文提出的改进的基于链码表示法预先将例图链码特征进行旋转再进行比较，在 一定程度上提高了对形变的鲁棒性，且对计算量的增加仅仅是线性的。 4 进一步探讨了特征向量归一化理论及融合多种特征的图像检索方法，并 提出了综合改进的分块局部直方图法和颜色相邻矩阵法、改进的基于链码的形状 特征表示法、基于游程的纹理特征提取方法的图像检索方法，并通过实验验证了 这种综合颜色、形状和纹理特征的图像检索方法能够有效地提高系统的查准率。 关键词：综合多特征；局部颜色直方图；颜色相邻矩阵；链码；纹理特征 i m a g er e t r i v a lr e s e a r c hb a s e d0 nc o n t e n t a n di n t e g r a t e dw i t hm u i 汀ic h a r a c t e r s a bs t r a c t w i t ht h ei n d e p t ha p p l i c a t i o n so fi n t e m e ta n dr a p i dd e v e l o p m e n to fm u l t i m e d i a c o m p u t e rt e c h n o l o g y , i th a sb e c o m ea nu r g e n tp r o b l e mt oe f f e c t i v e l ys e a r c ht h e s e i m a g e s t h et r a d i t i o n a ls e a r c h i n gm e t h o db a s e do nt e x tk e y w o r d sc a n tm e e tt h en e e d o fi m a g er e t r i v a l ，t h ep r o b l e m so ft r a d i t i o n a li m a g es e a r c h i n gm e t h o dc o n t a i n sl o w r e t r i v a lp r e s i o n ，d i s a b i l i t yi ne x t r a c t i n gt h ek e yi n f o r m a t i o no fi m a g e sa n dd e s c r i b i n g t h ei m a g e s s e m a n t i ci n f o r m a t i o na n ds oo n t h i sa r t i c l ee m p h a s i z e so nt h er e t r i v a l m e t h o db a s e do ni m a g ec o l o rs p a c ed i s t r i b u t i o na n dt h em e t h o di n t e g r a t e dc o l o l s h a p ea n dt e x t u r e ，s o m er e s e a r c hp r o g r e s sh a sb e e ni n t r o d u c e di ni t t h em a i nw o r ki s s h o w na sb e l o w ： 1 d i s c u s s e ss o m ek e yt e c h n i q u e sa n dr e s e a r c hp r o g r e s si ni m a g er e t r i v a lr e a l m b a s e do nc o n t e n t ；i n t r o d u c e st h ed e s c r i p t i o nm e t h o d sa n d e x t r a c t i n gm e t h o d so fl o w e r l e v e lc h a r a c t e r so fi m a g e ss u c ha sc o l o lt e x t u r e ，s h a p ea n ds oo n ；o nt h eo t h e rh a n d ， d e s c r i b e st h es i m i l a r i t ym e a s u r i n gm e t h o db e t w e e nd i f f e r e n t i m a g e s ，t h ei n d e x m e t h o do fi m a g ed a t a b a s e ，t h ee v a l u a t i o no fi m a g er e t r i v a la r i t h m e t i ca n ds oo n 2 f o rt h es a k eo fe n h a n c i n gp r e c i s i o n ，i n t r o d u c e sap u z z l e dc o l o rs c a l e d p a r a m e t e rm o d e li nt h em e t h o do fd e c r e a s i n gc o l o rs c a l e de r r o rt on a r r o wt h eg a p b e t w e e nt h es c a l e dr e s u l ta n dp e o p l e sp e r c e p t i o n ；i n t r o d u c ean e w c o l o r - s p a c er e t f i v a l m e t h o db a s e do np i x e lc o l o ra d j a c e n tm a t r i xa n dt h ea d j a c e n tr e l a t i o np a r a m e t e r m o d e l ，a c c o r d i n gt ot h ec h a r a c t e rt h a tt h ec o l o ra d j a c e n tr e l a t i o n s h i pw o n tc h a n g e w h e nt h ei m a g ed i s t o r t s ，t h em e t h o dc o m b i n e sw i t ht r a d i t i o n a ll o c a lc o l o rh i s t o g r a m a n dc o l o ra d j a c e n tm a t r i x ，g e t sai n t e g r a t e ds i m i l a r i t y , e n h a n c e st h er o b u s t n e s so fl o c a l c o l o rh i s t o g r a ma g a i n s ti m a g ed i s t o r t i o n i th a sb e e nv e r i f i e di ne x p e r i e n c e st h a tt h e m e t h o dh a sah i g e rp r e c i s i o nt h a ng e n e r a lc o l o r - s p a c er e t r i v a lm e t h o d s 3 m e n d st h et r a d i t i o n a l d e s c r i p t i o nn o t a t i o n b a s e do ns h a p e ，i n t r o d u c e s i m p r o v e dd e s c r i p t i o nb a s e do nc h a i nc o d e s t r a d i t i o n a ls h a p ed e c r i p t i o ni sb a s e do n e d g ec h a i nc o d ec h a r a c t e r , i ti sv e r ys e n c e t i v et oi m a g ed i s t o r t i o n ，w h e r e a st o w a r d i n g c e n t e rc h a i nc o d ed e s c r i p t i o ne n h a n c et h ec o m p l e x i t yo fp r o c e d u r e ，t h em e n d e dc h a i n c o d ed e c r i p t i o ni n t h i sa r t i c l er o t a t et h ee x a m p l ec h a i nc o d e f i r s t l ya n dt h e n c o m p a r e ，e n h a n c et h er o b u s t n e s sa g a i n s ts h a p ed i s t o r t i o na tae x t e n ta n do n l yh a sa l i n e ri n c r e a s e m e n ti na r i t h m e t i cc o m p l e x i t y 4 f u t h e rd i s c u s s e sc h a r a c t e re i g e n v e c t o rn o r m a l i z a t i o nt h e o r ya n di m a g e r e t r i v a lm e t h o di n t e g r a t e dw i t hm u l t i c h a r a c t e r , a n di n t r o d u c e s i m a g er e t r i e v a l m e t h o d sc o m b i n i n gw i t hm e n d e db l o c k e dl o c a l h i s t o g r a ma n dc o l o ra d j a c e n t m a t r i x ，m e n e ds h a p ec h a r a c t e rd e s c r i p t i o nb a s e do nc h a i nc o d ea n dt e x t u r eb a s e do n r u n l e n g t h a tl a s t ，v e r i f y st h er e t r i v a lm e t h o da b o v et h a ti tc a ne f f e c t i v e l ye n h a n c et h e s e a r c h i n gp r e c i s i o n k e yw o r d s ： i n t e g r a t e dm u l t ic h a r a c t e r ；l o c a lc o l o rh i s t o g r a m ；c o l o r a d j a c e n tm a t r i x ；c h a i nc o d e ：t e x t u r ef e a t u r e i v 浙江师范大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及 取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他 人或其他机构已经发表或撰写过的研究成果。其他同志对本研究的启发和 所做的贡献均已在论文中作了明确的声明并表示了谢意。本人完全意识到 本声明的法律结果由本人承担。 作者签名：喜之 嗍冲6 月了日 学位论文使用授权声明 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关机关或机构送交论文的复印件和电子文档，允许论文被查 阅和借阅，可以采用影印、缩印或扫描等手段保存、汇编学位论文。同意浙江 师范大学可以用不同方式在不同媒体上发表、传播论文的全部或部分内容。 保密的学位论文在解密后遵守此协议。 作者签名：袁表 导 以歹lq “ 期：刁年 月多日 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理 条例。我的学位论文中凡引用他人已经发表或未发表的成果、 数据、观点等，均己明确注明并详细列出有关文献的名称、作 者、年份、刊物名称和出版文献的出版机构、出版地和版次等 内容。论文中未注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担一切责任。 承诺人( 研究生) ：蕃麦 指导 1 1 研究背景及意义 1 绪论 随着科学技术特别是信息技术的发展，人类累积了大量各种形式的信息，既 有形式较简单的文字信息，又有图形图像、声音、视频等多媒体信息。在这种情 况下，用户需要一个好的查找工具迅速找到他所需要的信息。当前文本信息的查 询技术已相当成熟，各种实用的互联网搜索引擎如g o o g l e 、b a i d u 等都是基 于文本查询技术。然而用户希望能进一步简单而全面的搜索和利用各种多媒体信 息。图形图像信息作为多媒体信息中应用最广泛的一种类型，怎样对它进行有效 迅速的检索是人们一直思考的问题。 初始的图像检索系统大多是将图像作为数据库中存储的一个对象，用关键字 或自由文本对其进行描述。查询操作是基于该图像的文本描述进行精确匹配或概 率匹配，有些系统的检索模型还是有词典支持的。然而实践证明这种图像检索技 术存在着很多问题。这就是最早的基于文本的图像检索技术( t e x tb a s e di m a g e r e t r i e v a l ，t b i r ) 的技术雏形。一方面是由于计算机视觉、模式识别、人工智能 等计算机基础技术发展水平的制约，目前还不能做到对图像进行计算机自动标 注，而必须依赖于人工对图像标注，又由于不同的人对同样的图形往往理解上不 一致，主观因素太多，使得人工图像标注过程中没有统一的标准，结果不准确、 不完整。另一方面由于文字没有图形表达能力强，造成图形图像中很多丰富的视 觉特征和语义因素用文字表达不准确或根本无法表达。 图像不同于简单的文本，它在二维平面罩展现内容，其包含的信息量远大于 文本。特别是文本自身就拥有语义上的定义，而图像信息的表达必须通过图像本 身来进行。由于基于文本的图像检索的固有缺陷，随着计算机技术的发展，人们 继而把注意力转向基于图像本身对图像进行检索，也即基于内容的图像检索 ( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 。c b i r 主要是指通过提取图像的内在特 l 绪论 征进行匹配、查找。利用某些算法，进行特征提取和匹配。而这些步骤完全由机 器自动完成，克服了手工注释的低效和二义性。按照提取的图像特征，c b i r 可 分为基于低层视觉特征( 如颜色、纹理、形状、轮廓、图像内容的空间、时间关 系等) 的图像检索和基于高层语义特征( 人们对图像内容的概念级反映，般是 对图像内容的文字性描述) 的图像检索。总之，基于内容的图像检索技术融合了 低级的图像理解技术，从而可以提供更加有效的检索途径，而且还可以增加反馈 环节，进一步修正和优化检索结果，具有很好的用户体验。如果基于内容的图像 检索系统能实现，那么它无疑会大幅度节省用户检索时间，大大提高用户的图像 检索效率。基于内容的图像检索技术其实是多媒体数据挖掘领域的一部分，它融 合了数据库、人工智能、机器学习、统计学、计算机视觉等多个领域的理论和技 术。 近年来，基于内容的图像检索技术尽管已取得了一定的发展，但大多是基于 挖掘底层图像特征如颜色、形状、纹理等进行相似度匹配从而得出检索结果，而 在高层语义方面进行挖掘的研究和应用都还只停留在理论阶段。基于内容的图像 分析的当前目标并不是去追求对图像语义的真正理解，而是希望通过对图像的分 析后抽取出一些具有较强区分能力而且尽可能的向图像语义靠近的特征，利用这 些特征作为索引可以实现图像的相似性检索。基于内容的图像检索在医学、卫星 遥感、安全相关、知识产权保护、新一代网上搜索等方面都有极大的应用前景。 1 2 国内外研究现状 基于内容的图像检索综合集成了图像特征提取、图像特征匹配、数据模型、 高维索引、相关反馈、人机接口、检索性能评价等多项技术。下面我们针对本文 相关研究内容，简要介绍一下特征提取、特征匹配、图像索引及相关反馈方面的 国内外研究现状。 特征提取方面，图像的内容特征可以分为两类：低层视觉内容和高层语义内 容。低层视觉内容主要包括颜色、形状、纹理等特征：而高层语义内容则包含高 层的概念级反映，需要对物体进行识别和解释，往往要借助人类的知识推理。由 于目前计算机视觉和图像理解的发展水平所限，使得c b i r 还无法真j 下支持基于 语义的图像检索。所以，目前对图像特征提取算法的研究绝大部分是基于图像的 2 i 绪论 低层特征的，即利用图像的颜色、纹理、形状等特征来检索图像。己经被实践证 明对图像检索比较有效的颜色特征的表达方法有：颜色直方图，颜色相关图，颜 色矩，颜色一致性矢量等方法；纹理特征的表达方法包括：t a m u r a 纹理表示，g a b o r 滤波器，多尺度子回归等方法；形状特征的表达方法包括：边缘方向直方图，兴 趣点，不变矩，傅立叶描述子等方法。 特征匹配方面，一般来说，图像的内容含有语义信息( 主观的) 和视觉特征( 客 观的) 。在语义信息上的相似性度量需要专家系统的帮助，这不属于c b i r 系统的 范围，因此，c b i r 系统对相似性的度量应建立在图像视觉特征的基础上。通常 将距离度量和角度度量作为图像的相似性度量。距离相似性度量是以查询目标与 库中图像两个对象的特征值距离的大小为依据，距离度量函数一般有绝对值距离 ( 也叫城市街区距离) 、相交距离、欧几里德距离( 欧氏距离) 、二次距离度量方法 等。 特征索引方面，一般情况下，描述图像内容的特征集合可看作是高维空间中 的一个向量，这样，基于内容检索( 寻找与指定特征最相近的一组对象) 就转化为 高维空间点集的最近邻搜索问题。由于c b i r 系统中往往含有海量图像，有必要 在特征库中使用相似索引技术来建立特征索引结构，以支持对中、高维特征向量 的基于相似性的查询。在特征匹配时，c b i r 系统将计算出来的向量距离按由小 到大的排序方法来决定返回的结果。结果的返回方式大致分成两类：k 个最近邻 居查询和球形范围查询，前者返回与查询向量的距离最小的k 个特征向量所对应 的图像：后者则返回与查询向量的距离小于一个阈值的所有图像。常见的索引结 构是四叉树表示，此外，还有k - d 树和r 树等。 相关反馈在信息检索中是一种指导性学习的技术，其目标是从用户与查询系 统的实际交互过程中进行学习，发现并捕捉用户的实际查询意图，以此修正系统 的查询策略，得到与用户实际需求尽可能吻合的查询结果。由于相关反馈可以实 时地修改系统的查询策略，从而为图像检索系统增加了自适应功能。相关反馈的 标准模型是r o c c h i o 公式，利用贝叶斯规则来优化检索结果，r u i 和h u a n g 提出 了一种利用特征标准差的算法，实验证明，这种方法大大提高了系统的检索能力。 随着对相关反馈研究的深入，从机器学习的角度又提出了基于支持向量机的 ( s u p p o r tv e c t o rm a c h i n e ) s v m 的相关反馈算法。 l 绪论 由于基于内容的图像检索较之以往的图像检索方法有效性、准确性、友好性 都有较大的提高，所以国内外许多公司和学校、科研机构都纷纷投入人力物力进 行研究。目前已有一些系统已进入了实际应用中，还有很多演示软件。比较有影 响和有代表性的主要有以下几种： o q b i c 1 1 q b i c ( q u e r yb yi m a g ec o n t e n t ) 是i b m 开发的，它的系统框架和结构对后 来的同类系统产生了深刻的影响。q b i c 可分为三大部分：图像数据库部分、特 征计算部分、查询部分，它支持例图查询、手绘草图查询，还可选择特定的颜色 和纹理进行查询。q b i c 是少数几个考虑高维特征索引的系统，它使用的特征向 量包括颜色、纹理、形状三个方面。在最新的系统中，它还支持基于文本的关键 字查询。 ( 至) v i r a g e v i r a g e 是v i r a g e 公司开发的一种基于内容的图像搜索引擎。它与q b i c 相 似，支持基于颜色、颜色分布、结构和纹理的查询。但v i r a g e 比q b i c 更进一步 的是，它支持以上4 种查询的各种组合，而且用户可以根据自己的需要调整这4 种分量的权值，从而得到优化的结果。v i r a g e 的技术核心是v i r a g e 引擎及其 在图像对象层级上的操作，这种引擎主要有图像分析、比较和管理三方面的功能。 v i r a g e 引擎在其中是作为一个插件的形式出现的，它还可以进行扩展和应用到 特定的场合和领域。 p h o t o b o o k p h o t o b o o k 是m i t 多媒体实验室开发的一套用于浏览和搜索图像的交互式工 具。它包括三个子块，分别用于提取纹理、形状和面部特征。用户可在每个子块 按特定特征进行查询。它还有一个有特色的功能，其人脸识别技术已做得相对比 较成熟，已被应用于美国的警察机关。由于不同的应用领域侧重点不同，没有哪 个统一的标准能应用于所有的场合，所以在其最近的一些版本中p i c a r d 等人提 出把用户加入到图像检索过程的想法，提出了模型集( s o c i e t yo fm o d e l ) 方法 ( p i c a r d1 9 9 4 ，m i n k aa n dp i c a r d1 9 9 7 ) 2 j 3 o 试验结果证明该方法在交互式图 像注释中很有效。 v i s u a l s e e k 和w e b s e e k 4 l 绪论 v i s u a i s e e k 和w e b s e e k 都是哥伦比亚大学丌发的。v i s u a l s e e k 是基于视觉 特征的搜索工具，而w e b s e e k 是一种面向w w w 的文本图像搜索工具。这两个系 统提取的视觉特征是颜色集( c o l o rs e t ) 和基于小波变换的纹理特征。为了加速 检索过程，采用了基于二叉树的索引算法( c h a n g1 9 9 5 ) h 3 。v i s u a l s e e k 支持基于 视觉特征和它们之间空间关系的查询。w e b s e e k 是面向w w w 的文本、图像搜索工 具。它包括3 个主要模块：图像、视频收集模块，主题分类和索引模块，搜索浏 览和检索模块。主题分类是它的主要优点。w e b s e e k 支持三种检索方法，一是使 用关键词进行自由全文检索，但不支持短语检索；二是利用不同的类目等级进行 主题浏览；三是在检出图像的基础上利用其可视属性做进一步检索。它的检索结 果显示为没有文本的简图，单击简图可以得到原图。 此外，还有e x c a l i b u r 公司开发的r e t r i e v a lw a r e 图像搜索引擎，美国伊 利诺斯大学u r b a n a c h a m p a i n 分校开发的m a r s ( m u l t i m e d i aa n a l y s i sa n d r e t r i e v a ls y s t e m 等。 国内享有一定知名度的c b i r 系统主要有中国科学院计算技术研究所研制的 m i r e s 以及清华大学计算机系研制的i m g r e t r 。 基于特征的多媒体信息检索系统m i r e s 由中国科学院计算技术研究所和国 家图书馆联合研制，该系统可以按照图像的颜色、纹理、形状等特征进行检索， 对中文信息能够进行全文检索，具有布尔检索、截词模糊匹配检索和完全字符串 等多种检索技术。 i m g r e t r 是一个基于j a v a 的图像检索系统，它可对静态图像的颜色( 直方图 分布) 、形状、纹理等特征进行直接检索，其用户界面采用1 0 0 的j a v a ，可以直 接通过w e b 进行访问，应用i n t e r n e t 之上。 1 3 本文的主要研究内容 本文在系统性的回顾和归纳基于内容的图像检索的相关关键技术后对基于 内容的图像检索的特征向量的提取和相关算法的实现作了较详尽的研究。本文的 主要创新点如下： 1 探讨了基于内容的图像检索领域的一些关键技术问题和研究进展，介绍 了颜色、纹理、形状等图像低层特征的描述方法及提取方法，并描述了图像间的 i 绪论 相似性度量方法，图像库索引机制，图像检索算法的评价方法等。 2 为了提高检索精度，在提出的减小颜色量化误差方法中，引入了非截断 型的颜色量化参数模型，使量化结果与人眼感受更接近；提出了一种新的基于象 素颜色相邻矩阵及其近邻关系参数模型的颜色空间检索方法，该方法根据图像 相邻象素点的颜色近邻位置关系不会随图像整体扭曲形变而改变的特性，将传统 的局部颜色直方图的颜色值和颜色相邻矩阵相结合，得到一个统一两者特征的相 似度，提高了局部颜色直方图对形变的鲁棒性。 3 对传统的基于形状特征的表示法作了一些改进，提出了改进的基于链码 的表示法。传统的形状特征表示法一般是基于边界链码特征，其对图像的旋转、 扭曲等形变非常敏感，而如果采用向心链码则又增加了处理过程及时问复杂度， 本文提出的改进的基于链码表示法预先将例图链码特征进行旋转再进行比较，在 一定程度上提高了对形变的鲁棒性，且对计算量的增加仅仅是线性的。 4 进一步探讨了特征向量归一化理论及融合多种特征的图像检索方法，并 提出了综合改进的分块局部直方图法和颜色相邻矩阵法、改进的基于链码的形状 特征表示法、基于游程的纹理特征提取方法的图像检索方法，并通过实验验证了 这种综合颜色、形状和纹理特征的图像检索方法能够有效地提高系统的查准率。 1 4 论文组织结构 第一章介绍选题背景，基于内容的图像检索技术的研究意义，国内外研究 进展情况以及本文主要研究内容。 第二章系统的介绍了基于内容的图像检索研究的关键技术，分析和比较了各 种技术的解决方案。 第三章研究了基于颜色的图像检索方法，并提出了一种改进的基于颜色直方 图的颜色一空间检索方法。 第四章研究了基于形状的图像检索方法，并讨论了本文中要用到的基于形状 的图像检索相关技术。 第五章研究了纹理特征的表示方法和小波分析相关知识，提出了一种改进的 基于游程的纹理特征提取方法。 6 l 绪论 第六章研究了多特征综合的图像检索相关知识，并设计实现一个多特征综合 图像检索实验进行不同算法在同一平台下的效果对比。 2 基于内容的图像检索方法综述 2 1 基于内容的图像检索系统的体系结构 在图2 1 的c b i r 系统中，对于保存在数据库中的图像，系统先自动提取并 用多维向量表示其特征( 如颜色、纹理、形状等) 。所有图像的特征向量都保存 在库中，形成图像特征数据库。用户可通过构造草图、轮廓，选定色彩和纹理样 式，选择具有代表性的一幅或多幅示例图像等多种方式提出查询要求。系统先对 这些示例图像进行特征提取并构造出相应的特征向量；接着检索图像特征数据 库，计算示例图像的特征向量和特征数据库中特征向量的距离；最后找出与示例 图像最相似的图像，在检索过程中会用到相应的索引信息。为了提高检索的j 下确 性，现在很多系统提供了反馈机制，用户可以根据反馈信息更改查询要求，进行 再次查询，从而获得更精确的查询结果。 查 询 结 果 图2 1c b i r 体系结构 一个c b i r 系统可以分为四个模块：特征提取模块、索引模块、特征匹配模 块和相关反馈模块，以下分别介绍。 8 2 基丁内容的图像检索方法综述 2 2 基于内容的图像检索特征提取技术 图像所含的数据量是相当大的。例如，一幅真彩色8 0 0 6 0 0 的b m p 格式图 像数据有1 4 4 m ，一幅卫星遥感图像的数据量就更大。为了快速有效地实现后续 的图像处理，就要对原始数据进行变换，以降低图像检索空间维数，得到最能反 映图像本质的特征。这就是特征提取和选择的过程。但是从输入的原始信息得到 特征通常需要复杂的非线性运算，直接找到这种算法是很困难的，而且寻找到的 这些特征并未能真正的反映图像语义内容。由于现阶段直接提取图像的语义还很 困难，所以更多的是提取图像的底层特征。许多研究者提出了各种各样的图像低 层特征提取算法，以期得到的特征可以较准确的描述图像本身涵义。例如，对于 颜色特征，已提出颜色直方图、颜色累计直方图、颜色模糊直方图、颜色矩、颜 色集、颜色致矢量等特征提取方法；对纹理特征，也已提出共生矩阵、频谱法、 模型法等；对形状特征，有不变矩法、频谱法等特征提取方法。 图像特征提取是图像检索过程一个很重要的步骤，所提取的特征直接影响 后续的图像相似匹配过程、检索有效性等。目前应用的特征主要有颜色特征、纹 理特征、形状特征、空问位置特征等。本文中提取图像的颜色、形状、纹理三方 面的特征。以下作简要介绍，后面的章节会详细介绍。 2 2 1 颜色特征提取 在基于内容的检索技术中，颜色作为图像的重要特征一直受到研究人员的 重视。提取颜色特征时要注意以下问题：颜色空间模型的选择，颜色的量化，颜 色特征的提取方法。 ( 1 ) 颜色空间的选择和颜色的量化 为了准确描述图像的颜色，人们提出了很多种颜色空间模型。有r g b 颜色 空间、h i s 颜色空间、h s v 颜色空问、l 宰a 宰颜色空间等等。其中r g b 颜色空 间是最常用的颜色空间，因为绝大多数数字图像都是映射到r g b 空间存储的， 而且与计算机显示原理一致。r g b 颜色空间虽然应用最为普遍，但在研究基于 颜色特征图像检索时，它并不是最佳的选择。因为它不具有视觉一致的属性，会 在后续的颜色量化和相似性比较过程中带来较大的误差。所谓视觉一致性就是在 颜色空问中，距离相等的两组颜色对在视觉上也有相同的视觉差。视觉致性隐 9 2 基丁内容的图像检索方法综述 含两方面含义：颜色分布是均匀的，颜色变化和视觉变化是同步平缓的。具有视 觉一致属性的颜色空间有h i s ，h s v ，m u n s e l l 空问等。在比较图像颜色是否 相似时，当然应该将图像映射到具有视觉一致性的颜色空间，这样才能减少误差。 我们存储的颜色基本上都是用三维r g b 空问表示的，每一维空间坐标轴都 被分为2 5 6 个单位。每一个像素的颜色是由这三维空间上的值共同表示的。当观 察者分辨两幅图像是否相似时，主要是看两幅图像的颜色及空间分布是否相似。 人类视觉能够分辨出的颜色是有限的，在r g b 空间上颜色值不完全相等的像素 视觉效果上可能是一样的，所以我们可以通过聚类或量化，减少颜色的种类，降 低颜色特征的表示复杂度，节约计算时间。通过对大量图像的研究表明，用6 4 色颜色箱就可以较好地表示出一幅图像的内容瞄1 。 ( 2 ) 颜色特征的提取 对于图像颜色特征，可以从很多角度分析。最经典的方法就是颜色直方图 法，该方法具有计算简单，平移、旋转、尺度变换不变的良好特性。颜色直方图 给出了图像中每种颜色出现的频率信息。可以用全局直方图表示图像整体信息， 或用部分直方图表示局部颜色信息3 。还有其它利用颜色的方法，应用较广的就 是主颜色分析法。人们通过大量观察实验发现，一幅图像的颜色种类虽然很丰富， 但是使用几种主要的颜色就可以较好地表征图像内容。可以提取整幅图像的主要 颜色作为特征矢量，也可以先将图像进行弱分割，分成几个区域，提取区域的主 要颜色及其百分含量合成特征矢量。 单纯提取颜色信息对于准确检索图像来说是不够的，颜色空间分布信息是 必不可少的。考虑到距离一定的两个像素颜色的空间关系，j h u a n g 和s r k u m a r 提出了颜色相关图h 1 。 h yk w o n 和h yh w a n g 提出一种基于三种颜 色特征关系检索图像的方法m 1 。首先找出在颜色直方图中所占比例最大的三种颜 色，计算每种颜色所有像素的平均坐标，这三个平均坐标连成一个三角形。特征 矢量就是由三种主要颜色的直方图值、平均坐标、三角形边长和三个内角组成。 颜色还可以和一些不变特征结合起来作为图像特征。例如，颜色和边缘密度、强 度梯度睁3 、纹理信息n 们相结合表述图像特征。还有基于信号、基于分割、基于聚 类的三种颜色空问检索技术等1 。 1 0 2 基丁内容的图像检索方法综述 2 2 2 纹理特征的提取 纹理提供了图像的颜色或强度的空间分布信息，与场景中目标在物理学、 光度学、几何属性的不连续性相对应n 刳。纹理的物理基本属性是场景表面的反射 率、照度、方向和深度。纹理提取的方法可以被归纳为以下几类：统计的、几何 的、结构的、基于模型的和基于信号处理特征的n3 1 。方法不同得到或是粗糙或是 细微的纹理。一幅图像的纹理的特征依赖于纹理基元的空间大小n 4 j 。 提取纹理的方法有很多种。早在上个世纪7 0 年代，h a r a l i c ke ta 1 提出了用 共生矩阵代表纹理特征。共生矩阵是纹理分类的标准工具，它在灰度级上揭示了 纹理的空间独立性n5 1 。用共生矩阵提取纹理的方法是根据像素的方向和距离建立 共生矩阵，然后从共生矩阵中提取有意义的统计特征表示图像的纹理。h s i n - c h i h l i n 提出一种针对具有规则纹理图像的检索方法n6 ，该方法从共生矩阵中计算出 五种特征表示纹理的特征化统计属性，实验证明这种方法具有平移、旋转变换不 变性。t a m u r ae ta 1 把生理学的理论应用到对人类纹理视觉方面的研究中n7 1 ，他 把生理学认为重要的纹理视觉属性近似计算出来。六个纹理视觉属性是：粗糙度 ( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向性( d i r e c t i o n a l i t y ) 、近似线性( 1 i n e l i k e n e s s ) 、 规则性( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) 。纹理还可以用傅立叶频谱、马尔可夫随 机场和基于不规则碎片形表示。 在上世纪九十年代初期，小波变换被引入到图像检索技术中，并建立了相 关的理论体系。小波变换给图像检索技术注入新的活力，被广泛应用于纹理特征 提取、形状特征提取和特征点提取。在m a r s 中，对图像进行小波变换，把小 波变换的系数作为特征矢量。j a m e s 对像素颜色值进行d a u b e c h i e s 小波变换，提 取最低的频率波段系数和偏差作为特征矢量，代表纹理口8 1 。在j a m e s 的实验中， 应用掩模( m a s k ) 处理部分草图，这种技术比传统的颜色分布算法更能捕捉图像的 共性、目标的粒度、局部颜色和纹理特征，效果好，偏差小。 2 2 3 形状特征的提取 形状是一种特殊的边缘，是一种重要的低层图像特征。形状表示可以分为 基于轮廓的形状和基于区域的形状。前者只利用形状的外围边界，后者则用的是 整个形状区域。 2 基于内容的图像检索方法综述 基于轮廓的方法有系列码、形状信号、多边形近似、自回归模型、傅立叶 算子和曲率尺度空间等方法，这些方法揭示了形状边界信息，形状边界信息对于 人类在视觉上判断形状相似性是至关重要的n 引。基于区域的方法有几何不变矩、 z e m i k e 矩、栅格表示法和面积法，这些方法揭示了形状内在信息，因此被广为 应用。在基于区域的方法中，一些几何特征如平均尺度、倾斜度和峰度反映了重 要的视觉特征。 傅立叶算子和不变矩阵可以成功地表示这两类形状。傅立叶算子是用傅立 叶变换边界作为形状特征。傅立叶系数在频域表示目标形状，低频表征总体轮廓， 高频表征轮廓细节。即使形状很复杂，用几个频段的系数表示也就足够了。不变 矩阵用基于区域的矩阵作为形状特征，不变矩阵具有变换不变性。 在图像检索时，形状表示法应该具有仿射不变性、稳定性、简洁性、容易 计算匹配并具有一定视觉信息。考虑到以上属性，傅立叶算子、曲率尺度空间描 述子、z e m i k e 矩算子和灰度算子被视为较好的形状表示法。 还有其它检测形状的方法，如用小波变换可以自动提取形状信息啪1 。这样 表示的形状特征矢量具有较高的维数，高维数据在索引时比低维数据执行时间要 慢一些。为解决这一问题，d o n g h ol e e 和h y o u n g - j o o k i m 提出一种新的索引结 构一球形金字塔技术乜0 。，它可以有效支持高维数据空间的矢量查询。 2 3 基于内容的图像检索特征匹配技术 传统的数据库系统中的检索一般基于精确的匹配，而基于内容的图像检索 中，图像特征是图像的近似表示，检索也是在图像集合中查找与给定检索图例“相 似”的对象，即从候选图像集合中找出与指定的待检索对象在视觉特征上相似度 最大的对象子集。属于“相似性检索 ( s i m i l a rs e a r c h ) 。 因此，定义一个合适的视觉特征相似性度量方法对检索的效果有很大的影 响。c b i r 中的视觉特征大都可以表示成向量的形式，常用的相似性度量方法都 是基于向量空间模型( v e c t o rs p a c em o d e l ) 即将视觉特征看作是向量空间中的点， 通过计算两个点之间的接近程度来衡量图像特征问的相似度。设x ，y 为图像特 征，分量分别为薯，y , 0 f 厅) l 、m i n k o w s k i 距离 2 基于内容的i 划像检索方法综述 m i n k o w s k 距离公式为： d ( x ，】，) ：( 窆卜只1 7 ) 形 ( 2 1 ) 其中，fl 时称为m a n h a t t a n 距离，也叫c i t y b l o c k 街区距离或l 1 距离；r = 2 时为e u c l i d e a n 距离，或l 2 距离，这是人们通常所说的距离概念：r 专o o 时为 c h e b y s h e v 距离，此时的表达式为： d ( x ，功= m b a xx ，一只i ( 2 2 ) 2 、二次式距离 二次式距离考虑了不同特征之间存在的相似度，二次式距离表示为： d ( x ，聊= ( x 一】，) 7 a ( x y ) ( 2 3 ) 这种方法通过引入特征相似性矩阵a ，使其能够考虑到相似但不相同的特 征间的相似性因素。其中a = ，a v 表示特征分量i 和特征分量j 之间的相似 度。 如果特征向量的各个分量间具有相关性或者具有不同的权重，可以采用马 氏距离( m a h a l a n o b i sd i s t a n c e ) 来计算特征之间的相似度。马氏距离的数学表达为： d ( x ，聊= ( x 一】，) 7 c 叫( x y ) ( 2 4 ) 其中c 是特征向量的协方差矩阵。 3 、直方图交 度量直方图距离还有一种方法是直方图相交( h i s t o g r a mi n t e r s e c t i o no 直方图 的相交是指两个直方图在每个b i n 中共有的像素数量。有时，该值还可以通过除 以其中一个直方图中所有的像素数量来实现标准化，从而使其值属于【0 ，1 】的值域 范围。 d ：盘坚荸! ( 2 - - 5 ) 一“m i n ( z t = o x , ，二咒) 该距离一般用于以直方图为特征矢量的相似性度量，可以证明当底层特征 经过归一化处理，直方图交等价于m a n h a t t a n 距离。 4 、k u l l b a c k - l e i b l e rd i v e r g e n c e 距离( k l 距离) ： 2 基于内容的图像检索方法综述 砸2 喜仙g 蚤 ( 2 6 ) k l 距离来源于信息理论，描述了当使用一种直方图作为另一种直方图的码 书时编码的效率。 5 、j e f f r e yd i v e r g e n c e 距离： 。c 五y ，= 喜c 。g 毒+ y , l o g 昔， 一7 ， 其中m ，= ( 薯+ y i ) 2 ，这种距离是k l 距离的改进型，提高了距离的抗噪声 能力。 6 、