（计算机软件与理论专业论文）基于内容的图像检索技术研究(2).pdf

基于内容的图像检索技术研究 摘要 9 0 年代以来，随着多媒体技术及i n t c r n e t 技术的迅速发展，大量数字图像不断出 现，如何对这些庞大的图像库管理和检索显得非常重要。传统的基于文本的图像检索通 常是为图像加上关键字，缺点是比较费时费力，常常不能准确地反映图像的内容，且带 有很强的主观性，不同的人会有不同的理解，这已不能满足用户的迫切需求。因此近几 年来，基于内容的图像检索( c b i r ) 变得越来越重要，已经成为最活跃的研究领域之一。 所谓基于内容的图像检索是指利用图像内容对图像进行相似性查询的一项技术。一般来 说，图像的内容包括图像的颜色特征、形状特征、纹理特征等，它们是检索中最基本的 底层特征。 该文实现了一个实用的基于颜色、纹理特征的图像检索系统。在c b i r 系统中，特 征提取和匹配算法是决定图像检索结果好坏的关键。基于这方面的考虑，在提取图像的 颜色特征时，采用两种方式：一是在h s v 颜色模型空间中进行颜色直方图统计得到一个 7 2 柄的一维矢量。二是首先将图像在纵横方向进行平均分割，以各个分割块中像素的色 彩平均值和分割块在图像中的位置作为图像的像素坐标空间特征，即提取平均色；然后 在h s v 颜色模型空间中，通过适当的聚类分析算法提取出能够代表图像颜色特征的代表 色集，即代表色，综合平均色和代表色特征值进行检索。在提取纹理特征时，为了减少 计算量、提高检索准确率，首先对原图像进行压缩和灰度化。在此基础上，利用图像的 灰度共生矩阵，统计出反映纹理一致性、纹理对比、纹理的熵和纹理相关性的数值。并 给出了基于以上三种特征的匹配算法。 通过大量实验和对检索结果进行评价，表明该系统是可用的。 关键词：基于内容的图像检索，特征提取，颜色特征，纹理特征，相似度量。 i m a g er e t r i e v i n gs y s t e m r e s e a r c hb a s e do nc o n t e n tf e a t u r e a b s t r a c t w 弛t h er a p i dd e v e l o p m e n to fm u l t i m e d i aa n di n t e m e tt e c h n o l o g ys i n c et h e1 9 9 0 s ，ah u g e a m o u n to fd i g i t a li m a g e sh a v eb e e ne v e r - i n c r e a s i n g l yp r o d u c e d i ti sv e r yi m p o r t a n tt om a n a g et h e e n o r m o u ss i z eo fi m a g ed a t a b a s e sa n dr e t r i e v ei m a g e sw en e e d e d 1 1 1 ed r a w b a c k so ft r a d i t i o n a lt e x t - b a s e di m a g er e t r i e v a la r et i m ec o n s u m i n ga n dl a b o rc o n s u m p t i o n w h e nat e x t - b a s e di m a g ei si n d e x e d t h i sm e m o dc a l ln o tr e p r e s e n tc o n t e n t so ft h ei m a g e p a r t i c u l a r l y d i f f e r e n tp e r s o n sm a yp e r c e i v et h e s a m ei m a g ed i f f e r e n t l y i ns p e c i f i ca p p l i c a f i o n t h i sc a n n o tm e e tt h eu s e r sr e q u i r e m e n t s n u st h e c b i rt e c h n o l o g y ，w h i c hu t i l i z e st h ec o n t e n to fi m a g ef o rs i m i l a rq u e r yi ni m a g ed a t a b a s e ，i s i n c r e a s i n g l yb e c o m i n ga l la c t i v er e s e a r c hd o m a i ni nr e c e n ty e a t s n l ec o n t e n to fi m a g ei n v o l v e sc o l o r , s h a p ea n dt e x t u r e w h i c ha r et h eb a s i cf e a t u r e sa n da l s ot h ev i s u a lf e a t u r e si nc o n f o r m i t yw i t hh u m a n t h i st h e s i sp r e s e n t sap r a c t i c a li m a g er e t r i e v i n gs y s t e mb a s e do nc o l o ra n dt e x t u r ec h a r a c t e r i s t i e s hc b i rs y s t e m f e a t u r ee x t r a c t i o n sa n ds i m i l a rm e a s u r e m e n tm e t h o d sf o rt l l ec o n t e n to fi m a g ea r e i m p o r t a n t t h ec o l o rf e a t u r e s ，w h i c hw ee x t r a c ti nt h i ss y s t e m ，a r ea7 2b i nv e c t o ro fo n ed i m e n s i o n b ys t a t i s t i c a lc o l o rh i s t o g r a mi nh s vs p a c e ，as e to fc o l o ra v e r a g eo fs u b i m a g e s ，as e to fp o s i t i o no f s u b i m a g e sb yd i v i d i n gt h eo r i g i n a li m a g ea n du s i n gs t a t i s t i cp i x e l sc o l o ri n f o r m a t i o n as e t0 f r e p r e s e n t a t i v ec o l o ro fa ni m a g eu s i n gas u i t a b l ec l u s t e ra l g o r i t h mi n 廿l eh s vs p a c e i no r d e rt o e x t r a c t i l l gt e x t u r ef e a t u r e 。w ec u td o w nt h ea m o u n to fc a l c u l a t i o n ，c o m p r e s st h ei m a g ea n dc o n v e r ti t t og r a yi m a g e o nt h i sb a s i s ，t h ef o u rn u m e r i c a lf e a t u r e si d c n t i f y i n gt h ec o n t e n to fi m a g ea l ee l i c i t e d f r o mg r a y l e v e lc o - o c c u r r e n c em a t r i xo ft h ei m a g e f i n a l l y ，w ee v a l u a t et h er e t r i e v e dr e s u l t p r a c t i c a h t yo ft h es y s t e mw i l lp r o v et h em e t h o d o l o g yi s f e a s i b l e k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ，f e a t u r ee x t r a c t i o n ，c o l o rf e a t u r e 。t e x t u r ef e a t u r e ， s i m i l a r i t ym a t c h i n g i 郑重声明 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽 窃、抄袭等违反学术道德、学术规范的侵权行为，否则，本人愿意承担由此 产生的一切法律后果，特此郑重声明。 学位论文作者( 签名) ：缎、面熵 二o o 六年十月十日 郑州大学硕士学位论文基于内容的图像检索技术研究 第一章绪论 1 1 图像检索的重要意义 图像的产生，从古老的人工绘制、印刷复制、照片摄影、制版冲洗，到今天的计算 机合成，其中的发展变化，使图像的产生方式、存储形式和传输方式日益简单方便，尤 其是数字技术、计算机及网络技术的发展和普及，使图像成为大众化数字信息的一种广 泛形式。强大的数字处理能力，使人们可以利用相应的软件，随心所欲的对图像进行编 辑、复制和发行。数字图像强大的优越性，使对图像信息的使用渗入到社会各行各业和 人们生活的每一个角落。 今天，对数字图像的使用包括国防军事、工业制造、医疗卫生、新闻媒体、大众娱 乐和家庭生活等各个方面。在如此广泛的应用背景下，产生了大量的各种各样的图像数 据库，急剧增多的信息使得对图像数据库的查询和管理成了一个迫在眉睫的研究课题。 图像数据库检索研究的目的就是实现自动地、智能地检索，以及查询和管理图像。使查 询者可以实现方便、快捷、准确的查找；使管理者可以从大量的单调的人工管理工作中 解放出来，实现管理工作的无人干预。因此图像数据库的研究核心技术就是图像检索， 这也是近年来海量信息处理所面临的“瓶颈”。 图像作为一种描述和存储信息的媒体，不同于常规的字符数字信息，它包含了复杂 的难以用常规关键字描述的语义、视觉特征、时间和空间信息线索。因此我们需要研究 一种新的结构化描述机制，能够充分反映出图像数据内在的特性和语义，以便于进行大 规模信息库的内容管理，这也正是基于内容的图像检索技术的基本核心内容。 基于内容的图像检索不同于图像处理、模式识别、计算机视觉、图像理解等，但要 以这些技术作为重要的基础，属于多媒体的综合集成技术。不仅要确定是否能够找到， 还要确定相应的输入输出方法、存储方法、媒体间的组织方法等。它利用认知科学、用 户模型、图像处理、模式识别、知识处理、计算机图形学、数据库管理以及信息检索技 术等方法，建立新的多媒体数据表示方法和数据模型，采用有效和可靠的查询处理算 法，使得用户可以在智能化的查询接口的辅助下完成查询检索工作i l l 。基于内容的图像检 索属于信息检索范畴，能够从海量数据库中，以用户可以接受的相应时间、尽量使用与 领域无关的方式检索到所要求的数据信息。 1 2 图像检索的历史和现状 最早的图像管理方式是以文件系统的形式存在，当用户查询一幅图像时，要逐一打 开文件进行浏览才能找到目标图像，随着图像文件数量的增加，这种查找方式的效率急 剧下降，但由于以文件存储方式对图像的使用和操作非常方便，使得这一管理方式至今 在沿用。 郑州大学硕士学位论文基于内容的图像检索技术研究 1 2 1 基于文本方式的图像检索 早在7 0 年代，数据库专家就开始研究如何对图像数据进行有效的管理，其主要方法 是对图像文件建立关键词或文本标题以及一些附加信息，然后在图像的存储路径和图像 关键词之间建立联系，传统的关系数据库就可以满足这样的要求。采用基于文本标注的 方法实质上是把图像检索问题转换成了传统的文本检索问题，这样可以借助许多相对较 为成熟的数据库技术解决。但如果图像库数量增大到一定程度( 数万或数十万以上) ， 基于文本标注的图像检索存在的问题就显现出来了。 1 2 2 基于知识和视觉特征的图像管理 事实上，对图像视觉特征进行管理在7 0 年代就曾经引起人工智能和模式识别领域的 关注，并取得了一定的成就。这主要涉及地理信息系统、病人x 光照片的归档、检索和 诊断系统，以及人脸识别和指纹识别系统。这个时期的图像数据库规模较小且仅仅用在 特定的领域，检索方面也大都以精确匹配为主。8 0 年代是多媒体技术发展非常迅猛的一 段时间，从图像的获取、创作、压缩、存储等技术都取得了举世瞩目的成就，但对图像 信息管理、检索等领域没有给与足够的重视。 1 2 3w e b 环境下基于内容的图像检索 自1 9 9 0 年以来，特别是9 0 年代中期以来，以w w w 为代表的信息发布以及资源访 问方式得到广泛应用，信息也从单一的文本方式转变为图像、动画、视频、音频等。整 个i n t e m e t 网络环境就像一个大型的分布式数据库，在其中寻找自己感兴趣的媒体犹如大 海捞针，这对信息检索工具的依赖日益增强。而目前基于网络的检索工具大多采用文本 检索方式，这种方式已经越来越不适应网络信息检索的要求，究其原因主要是存在如下 局限性： 1 随着图像数据来源日益广泛，使用手工对其加注文本信息费时费力； 2 文本描述信息是非常主观和不精确的。由于图像包涵的内容十分丰富，不同的人 对同一幅图常常有不同的描述和理解，即使是同一个人，在不同的环境下对同一幅图像 也往往有不同的描述和理解。因此对图像的歧义标注常常导致以后检索过程中不可挽回 的错误匹配； 3 “一幅画胜过一千句话”，区区几个关键词很难将图像所反映的内容描述清楚； 4 由于媒体信息发布在i n t e m e t 网络环境中，不同国家不同民族很难用同一种语言 对图像进行标识，而且对图像语义理解的差别很大。 为了突破文本检索方式的诸多弊端，人们转向研究图像中所包含的内容信息作为图 像的索引，其主要的方法是根据图像的色彩、纹理、图像对象的形状以及它们的空间关 系等内容特征作为图像的索引，计算查询图像和目标图像的相似距离，按相似度匹配进 行检索，其目的是试图解决图像数据库系统中手工建立文本标注信息的缺点。 郑州大学硕士学位论文基于内容的图像检索技术研究 作为传统数据库检索的拓展，基于内容的图像检索系统主要是根据图像的内容进行 检索，同传统的关系数据库检索系统相比，它主要具有以下特点： 1 传统的数据库中，符号数据可以用基本数据类型精确的表示，检索匹配是精确的 匹配，而图像数据是一段二进制数据流，对图像进行像素之间的精确匹配不科学。事实 上日常生活中人对两个图像的相似和不相似的判断是根据图像中所包含的内容，很难将 其精确描述，因此内容的表达是近似的。 2 图像数据的表达不是单一的，多种表达方式并存是可能的。表达方式的选择要依 赖与特定的用户和特定的应用领域，随着识别技术的发展还可以采用更新或更好的表达 方式。 3 符号数据本身就具有语义信息，在符号数据命名的过程中就赋予了特定的信息， 而图像中的内容本身不包含语义信息，对图像的匹配主要是对图像中的内容特征进行相 似匹配。 4 由于对内容表达的不准确，因此检索到的结果可能包含一些不相关的图像，这种 情况对基于内容的检索是允许的，但重要的一点是在检索中不要将相关的图像漏掉。 1 3 基于图像内容检索系统的应用 虽然当前对基于内容的图像检索( c b i rc o n t e n t - b a s e di m a g er e t r i e v a l ) 技术的研 究还不是很成熟，但是作为商业软件包的图像检索系统已经问世。这些系统的框架和查 询的处理过程很相似，只是采用的特征和搜索的方法各具特色，性能也互有差异。下面 介绍一些比较有代表性的c b i r 系统1 2 j 。 1 q b i c t 3 j 这是最早的商业c b i r 系统，它的系统框架和技术对后来的c b i r 系统有 着深刻的影响。q b i c 支持基于样图的查询、用户绘制草图的查询和用户选择颜色和纹理 模式的查询。颜色特征采用平均颜色的直方图，颜色空间有r g b 、y i q 、l a b 、m t m 等；纹理特征是t a m u r a l 4 1 的纹理表示的改进版本，综合了粗糙度、对比度、和方向性的 特征；形状特征由形状的面积、圆度、离心率、主轴方向和一系列的代数距不变量组 成。q b i c 还考虑了高维特征索引的问题，采用k l t 方法降维。此外，它还将基于关键词 的检索和图像内容检索结合在一起。 2 v t r a g ev i r a g e 是由v i r a g e 公司开发的基于内容的图像搜索引擎，支持基于颜色、 颜色布局、纹理和结构( 对象边界信息) 的可视化样图查询。v i r a g e 进一步支持上述四种 查询的任意组合，用户可以根据自己的查询需求调整这些特征查询的权值；进一步提出 了开放的检索系统管理框架，将查询需求分为两类：一类是通用的视觉特征( 颜色、纹 理、形状) ，一类是指定领域( 人脸检测、癌细胞检测) 。不同的原始特征可以根据领 域查询的需要加入到v i r a g e 系统中。 3 r e t r i e v a l w a r er e t r i e v a l w a r e 是由e x c a l i b u r 公司开发的图像检索引擎。早期它使 郑州大学硕士学位论文基于内容的图像检索技术研究 用神经网络的技术进行图像检索，后来加入了颜色、形状、纹理、亮度、颜色布局、图 像的外观等作为查询特征。它同时也支持这些特征的组合查询和用户调整权值。该系统 已被成功的应用于y a h o o 上，即图像冲浪组件，真正实现了基于内容的图像检索。 4 c h a b o tc h a b o t 是在已有的图像数据库基础上完成的系统，其目标是建立一个先 进的能存储大量图像和数据的关系数据库，提供在线浏览、检索图像功能。它可以看作 是基于关键词的检索系统向基于内容的检索系统转变的例子。 5 p h o t o b o o kp h o t o b o o k 是m i t 实验室开发的交互式浏览和检索图像库的工具，由 纹理、形状和人脸特征组成，用户可以根据自己的需要基于这些特征进行检索。该系统 后来在检索和图像标注时引入人的作用，提出模型团体( s o c i e t yo fm o d e l s ) ，实验表明 这种方法对图像的交互式标注非常有效。 6 v i s l s e e k 和w 曲s e e k s u a l s e e k 是视觉特征引擎，w 曲s e e k 是基于互联网 的文本图像搜索引擎，由哥伦比亚大学开发。主要研究图像中区域的空间关系特征和基 于压缩域的视觉特征提取，视觉特征主要使用颜色集合，纹理特征主要使用小波变换特 征。为了加快检索速度，他们提出了基于二值树的索引算法。 7 m a r sm a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是i l l i n o i s 大学的分校 ( u i u c ) 开发的，和其他系统不同的是，m a r s 将计算机视觉、数据库和信息检索三者 结合起来进行综合研究和技术开发，并结合人的因素。它不是寻找单个最好的特征描 述，而是着眼于将各种视觉特征组织成有意义的检索结构，能动态的适应不同的应用和 不同的用户。m a r s 在检索中引入相关反馈，并在不同的检索层次上集成这种技术，包 括查询矢量的优化、自动匹配工具、自动的特征适应。 基于内容的图像检索技术具有强大的应用市场，主要包括：防止犯罪等司法部门、 军事领域、版权保护领域、建筑和工程设计、时尚和室内装潢设计、旅游业和广告业、 医学领域、地球信息系统和遥感系统、考古学、教育和训练、家庭娱乐、网络查询等。 基于内容的图像检索技术覆盖了许多领域，主要涉及图像处理和信息检索，目前还 需要进行大量研究的领域包括：正确理解使用者的要求( 选择描述图像内容的适当方 法) ，从原始图像中抽取特征描述；提供对大容量的图像数据库的压缩存储；选择与人 的视觉特征相符合的相似性度量方法；如何最有效地获取存储的图像；c b i r 系统必须有 非常友好的人机接口。 1 4 论文的主要工作 在前人的基础上，根据c b i r 的基本原理，实现一个基于颜色、纹理特征的图像检索 系统。该系统以数字图像为研究对象，对数字图像进行预处理、特征提取，并将图像及 所提取的颜色、纹理特征存入数据库，最终形成图像数据库。在查找图像时，只要输入 一幅图像并获取其特征，就能检索出图像数据库中的相似图像，自动的实现了图像的管 郑州大学硕士学位论文基于内容的图像检索技术研究 理工作。下面是本论文所做的具体工作： 第二章：在本章中设计了基于内容的图像检索系统的系统结构，并说明了该系统的 特点，以及各功能模块主要使用的理论依据和方法； 第三章：实现了基于颜色特征的图像检索技术，主要使用的颜色模型包括：r g b 颜 色模型和h s v 颜色模型，以及从r g b 颜色模型到h s v 颜色模型的转换；另外介绍了利 用平均色和代表色颜色特征的图像检索。 第四章：实现了利用图像的纹理特征进行图像检索的技术，包括基于共生矩阵的图 像标识及其度量。 第五章：对全文进行总结，给出研究结论，并进行相关讨论。对基于内容的图像检 索技术的发展进行展望。 ， 郑州大学硕士学位论文基于内容的图像检索技术研究 2 1 系统结构 第二章基于内容的图像检索系统构成 目前对于c b i r 系统的构成和设计，尚没有统一的标准，主要是设计一个支持内容查 询的图像数据库系统，针对这一设计目标，提出了一个五层的图像数据库管理模式，详 见表2 1 。图2 1 是目前c b i r 系统构成的基本框图嘲，表明了各子系统之间的关系。 表2 1 图像数据库的5 个层次任务 层次任务 用户视图层空间推理 语义特征视图层 图像知识结构 图像特征视圉层图像理解 特征表达层 图像数据结构 特征组织和检索层 图像数据检索 贰 - r 囤 业 、涪 一刺o l 用 塾广 【j 户 圆 用户 il i i 相似度度量 ! 索引 ； 特征提取存储 图2 1c b i r 系统基本框图1 2 1 就目前发展来看，c b i r 主要集中在下面三个层次的研究上，因此设计的系统基本框 架如图2 2 所示，主要任务是图像数据库的建立和特征提取两个模块。 6 郑州大学硕士学位论文基于内容的图像检索技术研究 图2 2 论文实现的系统框架 建库模块主要用来建立和维护整个图像库，其核心是图像特征提取技术。特征提取 技术对图像库中的图像抽取特定特征生成特征矢量，并与图像一起存入图像库，从而形 成基于内容的图像数据库。 图像检索模块主要负责与用户的交互和度量数据库中图像与用户提交查询图像之间 的相似性。当用户提交查询图像后，对其进行分析并提取特征矢量，按照相应的相似度 度量准则在图像库中进行匹配，最后根据相似度顺序输出检索结果。 2 2 系统特点 1 从图像内容中提取信息线索。基于内容的检索突破了传统的基于表达式检索的局 限，利用图像内容特征建立索引进行检索。 2 基于内容的检索是一种近似匹配。由于内容表达的不精确性，必然是一种近似的 检索。因此，c b i r 可采用相似性匹配的方法逐步求精，以获得查询结果，即不断减少查 询结果的范围，直到定位于要求的目标。 3 大型数据库的快速检索。实际的图像数据库不仅数据量巨大，而且种类和数量繁 多，因此，要求c b l r 技术也象常规的信息检索技术一样，能快速实现对大型数据库的检 索。 4 应具有很强的交互性，即用户应能够参与检索过程，以查询用户所希望获取的图 像。 2 3 视觉特征的提取 可视的特征( 即内容) 提取是基于内容的图像检索的基础。 2 3 1 颜色 颜色特征是图像最直观、最明显的特征。颜色特征的描述方法主要有： 7 郑州大学硕士学位论文基于内容的图像检索技术研究 1 颜色直方图( c o l o rh i s t o g r a m ) 。颜色直方图具有旋转不变性( r o t a t i o n - - i n v a r i a n c e ) 、尺度不变性( s c a l e l n v a r i a n c e ) 和平移不变性( t r a n s l a t i o n i n v a r i a n c e ) ，因此它被广泛的应用到图像检索中。其核心思想是在颜色空间中采用一定 的量化方法对颜色进行量化，然后统计每一个量化通道在整幅图像颜色中所占的比重。 常用的颜色空间有r g b 和h s v 空间，量化的方法有均匀量化方法、基于主观感知的量化 等。 2 颜色矩( c o l o rm o m e n t ) ：类似于描述形状的区域矩不变量，颜色矩的数学基础 是任何颜色分布均可由它的矩来刻画，颜色矩的主要思想是在颜色直方图的基础上计算 出一些统计量；如一阶中心矩、二阶矩等，用这些统计量来表示颜色特征。 包含空间信息的颜色描述方法( s p a t i a lc o l o r ) ：颜色直方图的缺点是失去了象素点 的位置信息，为了克服此缺点，许多方法在描述颜色的同时考虑了空间信息。常用的方 法有利用颜色对相对于距离的分布来描述颜色信息、类似于灰度共生矩阵一种颜色共生 矩阵。 2 3 2 纹理 纹理是与物体表面材质有关的图像内在特征，包括了表面的结构安排以及与周围环 境的信息，反映了图像本身灰度变化的属性。关于纹理的量化方法主要有两类：结构方 法和统计方法。 在7 0 年代早期，h a r a l i c k 等人提出了关于纹理特征的共生矩阵表示，该矩阵是图像 灰度的二阶统计度量。该方法探索的是灰度级的纹理的空间依赖关系。首先根据图像像 素之间的方向和距离构造一个共生矩阵，然后从该矩阵中提取出有意义的统计作为纹理 表达。 基于人类对纹理的视觉感知的心理学的研究，t a m u r a 等人发展了对视觉纹理特征的 近似计算，这六大视觉纹理特征分别为：粗糙度、对比度、方向度、线象度、规整度和 粗略度。这些特征在视觉上是有意义的。 2 3 3 形状 形状是刻画物体的本质特征，也是最难描述的图像特征之一。其主要问题是难以把 目标从背景中分割出来，得到目标的形状信息。 通常形状表达可以分为两类，基于边界的和基于区域的，前者利用的是形状的外边 界，而后者则利用整个形状区域。最成功的表达是傅立叶描述符和矩不变量。 傅立叶描述符的主要思想为：在对物体进行分割以后，可以得到物体的边界点的集 合，把这些边界点进行傅立叶变换，可以生成一个复系数的集合。这些系数就称为傅立 叶描述子。矩不变量的主要思想是使用基于区域的矩作为形状特征。 0 郑州大学硕士学位论文基于内容的图像检索技术研究 2 4 图像特征的匹配 图像匹配是基于内容图像检索系统中的一个关键步骤。如何进行相似性度量也是基 于内容图像检索系统的一个重要问题。通过对人类的视觉心理学研究表明，人类对相似 性的判断是取决于人类对图像内容的认识( 即语义) 。虽然图像特征可以包含部分语义 信息，但完全的基于语义上的度量需要专家系统的支持。因此基于内容图像检索系统对 相似性的度量必须建立在图像特征的基础之上，而不可能直接进行图像语义上的度量。 通常基于图像特征相似性的度量可分为几何矩阵模型和集合理论模型。 以下介绍目前在基于内容图像检索系统中常用的距离公式嘲。 龇o w s k y 距离 d ( x ，力= ( k y , 1 7 ) ； i-!(2-1) 这是若干种距离公式的通式表示，是m a n h a t t a n 距离和欧几里德距离的特例。 欧几里德距离。两个特征向量的欧几里德距离定义为： r 一 d ( x ，y ) = 1 ( _ 一乃) 2 y 4 ( 2 2 ) 欧几里德距离是最简单的距离公式，也是在基于内容的图像检索系统中应用较广的 距离公式。然而欧几里德距离完全不考虑向量各维之间的关系，而且各维必须是同等重 要的，这就大大影响其使用范围和有效性，欧几里德距离可以单独用于色直方图和纹理 特征。 加权欧几里德距离 一 d 力= 1 f ( 矿y ，) 2 ye 1 ( 2 3 ) 加权欧几里德距离考虑了不同维之间的不同重要性。由于基于内容的图像检索系统 通常抽取了大量的特征，不同特征的重要性都是不同的，因此加权欧几里德距离在基于 内容的图像检索系统中应用很广，可单独用于色直方图、纹理、形状或它们的联合向 量。 直方图交( h i s t o g r a mi n t e r s e c t i o n ) m i n ( x i l y i d d ( x ，j ，) = 生了- m i n o - 1x 【f l y 吣 mm 0 ( 2 - 4 ) 9 郑州大学硕士学位论文基于内容的图像检索技术研究 该距离只能用于直方图，当纹理用直方图表示时，也适合使用该公式。另外， c h a m f e r 匹配是轮廓匹配中常用的距离度量。 2 5 图像检索中的相关反馈技术 描述图像的低层视觉特征和用户的主观需求之间的巨大鸿沟导致了基于内容的图像 检索技术无法实用。为了弥补低层特征和高层语义之间的差距，将相关反馈技术 ( r e l e v a n c ef e e d b a c k ) 引入到了图像检索中，其耳的是利用人机交互，让系统能够根据 用户选择猜测用户的兴趣，并能自动地调整相似性度量准则来提高检索的准确率。因 此，有关相关反馈技术的研究成了最近图像检索领域的热点。 经典的相关反馈过程如下：系统根据用户提交的查询，返回相应的检索结果后，允 许用户对检索结果进行评价并做出标记，如哪幅图像与查询相关，哪幅图像与查询不相 关，接着根据标注的结果，相关反馈算法将调整相似性度量准则，重新输出检索结果， 这样的反馈一直继续直到用户满意。 目前的相关反馈技术主要可以分为四种类型：查询点移动( q u e r yp o i n t m o v e m e n t ) 、相似性度量准则更新( s i m i l a r i t ym e a s u r er e f i n e m e n t ) 、基于传统的统计学 习理论和基于机器学习理论。 2 6 基于内容的图像检索查询方式 2 6 1 外部图例查询( q u e r yb ye x t e r n a lp i c t o r i a le x a m p l e ) 外部图例查询中的示例图像来源于检索系统的外部，也就是说给定的图像不是数据 库中存储的图像。用户可以数字化一张照片，也可以在i n t e m e t 或别的什么地方找一幅质 量比较好的图片作为示例，要求系统在数据库中搜索相似的图像。例如，当一个企业需 要注册商标的时候，可以将其新的商标作为示例检索数据库，以确定没有太多相似的己 注册的商标。执法机构也可以使用外部图例查询将现场犯罪痕迹与犯罪记录库的信息相 比较寻找破案线索。 外部图例查询的优点是易用性，缺点是需要付出一定的努力向系统提供外部示例图 像。 2 6 2 内部图例查询( q u e r yb yi n t e r n a lp i c t o r i a le x a m p l e ) 内部图例查询中的示例图片是从检索系统的数据库中选出的。当没有可用的外部示 例图片时，用户可以从可用的图像集合种选择查询图片。系统在其他方面的功能与外部 示例图片基本上一致。 为了比较内部与外部示例查询，拿前面提到的抢劫嫌疑犯的照片的检索作例子。如 l o 郑州大学硕士学位论文基于内容的图像检索技术研究 果保安摄像机没有拍摄到有效的劫匪的照片，警察只有依赖于目击者。目击者没有必要 一张一张地翻阅警察局存档的嫌疑犯照片库，通过图例查询，目击者可以先选择一张看 上去比较象嫌疑犯的照片，比如两者都有络腮胡子，然后从系统给出的所有相似者列表 中快速确定搜索目标。内部图例查询的优势在于不再需要为了进行图例查询而首先从外 界寻求或构造一幅示例图片。但是，系统要求用户必须首先在数据库中找到一幅类似的 图片，这个过程可能是相当费时费力的。所以内部图例查询经常与其它检索方法结合使 用以避免这个问题。比如可以先通过直接查询缩小图像搜索范围，然后再使用内部图例 查询。 总之，内部图例查询的优点是用户不再为获得一个外部示例图片而烦恼，缺点是仍 然需要用户付出努力在数据库中找到一幅合适的示例图片。 2 6 3 草图查询( q u e r yb ys k e t c h ) 草图查询是图例查询的一种形式，其中的示例图像由用户创建。用户为他希望的得 到的图像勾画一张草图。用户在查询画布上组织或编辑一些预定义的图片元素以创建一 幅示例图像。检索系统为此必须为用户提供一些图像部件( 如各类纹理) 和作图工具。 我们还是拿前面提到的抢劫嫌疑犯的照片检索作例子，这里向系统输入的示例图像 是一张嫌疑犯的简略肖像草图，它是由警察中的艺术家根据目击者的叙述描画的。有时 目击者可以通过组合一些诸如头发、鼻子、眼睛等部件的照片从而构造一张脸。 与自然图像相比，人工创作的草图具有更高的抽象性，用户只需勾画出他所寻找的 图片的重要部分，在这方面草图查询要比其他使用已有图片的图例查询更具优势。 草图查询的缺点是它要求用户或多或少要有一些艺术才能，因此，草图查询在大多 数的场合下仅用来指出图像中对象的位置或一些对象的全局属性。 可见，草图查询的优点是用户可以根据需要指出最重要、最感兴趣的图像细节，缺 点是草图的创建不像想象的那么容易，而且很难建立草图与图像之间的映射关系。 郑州大学硕士学位论文基于内容的图像检索技术研究 第三章颜色特征的图像检索技术 3 1 利用h s v 颜色特征进行图像检索 3 1 1i i s v 模型 颜色是图像内容组成的基本要素，选择一个符合人眼视觉特性的颜色模型是利用颜 色特征进行图像检索的关键。传统的r g b 颜色模型可分辨的色差是非线性的，且没有直 感，所以不是一个好的颜色描述系统。h s v 颜色模型与人的视觉特性比较接近，它由色 度h 、饱和度s 、亮度v 三个分量组成，是一种基于感知的颜色模型。由于这种模型具有 线性伸缩性，可感知的色差与颜色分量的相应样值上的欧几里德距离成比例，因此h s v 颜色模型比r g b 颜色模型更直观、更容易接受。h s v 模型如图3 1 所示： 图3 1h s v 颜色模型示意图i 7 i 圆锥的顶面对应于v = l ，它包含r g b 模型中的r = l ，g = l ，b = l 三个面，故所代表 的颜色较亮。色彩h 由绕v 轴的旋转角给定。红色对应角度o o ，绿色对应于角度1 2 0 0 ， 蓝色对应于角度2 4 0 0 ，在h s v 颜色模型中，每一种颜色和它的补色相差1 8 0 0 。饱和度s 取值从0 到l 。由于h s v 颜色模型所代表的颜色域只是c i e 色度图的一个子集，所以这 个模型中饱和度为1 0 0 的颜色，其纯度一般小于1 0 0 。 在圆锥顶点处，v = 0 ，h 和s 无定义，代表黑色。圆锥的顶面中心处s = 0 ，v = i ， h 无定义，代表白色。从该点到原点代表亮度渐暗的白色即具有不同灰度的白色。对于 这些点，s = 0 ，h 的值无定义。任何v = i ，s = i 的颜色是“纯”色。在这种纯色中，添 加白色相当于减少s ( 但不改v ) 。 h s v 对用户来说是一种直观的颜色模型。我们可以从一种纯色彩开始，即指定色彩 角h ，并让v = s = i ，然后我们可以通过向其中加入黑色和白色来得到我们需要的颜色。 增加黑色可以减小v 而s 不变，同样增加白色可以减小s 而v 不变。例如，要得到深蓝 色，v = 0 4 s = 1h - - 2 4 0 度。要得到淡蓝色，v = is = 0 4 h = 2 4 0 度。 郑州大学硕士学位论文基于内容的图像检索技术研究 般说来，人眼最大能区分1 2 8 种不同的色彩，1 3 0 种色饱和度，2 3 种明暗度。如果 我们用1 6 b i t 表示h s v 的话，可以用7 位存放h ，4 位存放s ，5 位存放v ，即7 4 5 或者 6 5 5 就可以满足我们的需要了。 3 1 2 从r g b 推算h s v 通过非线性变陕训每r 颜色空间，g ，6 值转换到璐v 空间的i i ，西v 值嘲 设v m a x ( r ，g ，6 ) ，定义，g ，为： 止f 而v l - 石r 历，g 2 石赢v - - 瓦g 孬 6 | = ! l 二垒 v l m i n ( ，g ，6 ) 则厅：6 0 h ，j ：v - - r a i n ( r , g , b ) ，1 ，： ，- 2 5 5 v 其中： h 。 ( 5 + 6 ) ，r = m a x ( r ，g ，6 ) 和g = m i n ( r ，g ，6 ) ( 1 一g ) ，r = m a x ( r ，g ，6 ) 和g m i n ( r ，g ，6 ) ( 1 + r ) ，g = m a x ( r ，g ，6 ) 和b = m i n ( r ，g ，6 ) ( 3 6 ) ，g = m a x ( r ，g ，6 ) 和b m i n ( r ，g ，6 ) ( 3 + g - ) ，b = m a x ( r ，g ，6 ) 和，= m i n ( r ，g ，6 ) ( 5 一i f ) ，其它 式中，r , g ，b o a2 5 5 】，h e 0 a3 6 0 ，j 【0 al 】，v 0 al 】。 3 1 3h s v 直方图特征 在基于内容的图像检索中，大量采用直方图方法，例如颜色直方图。纹理和形状等 视觉特征的表示也可以用直方图方法。直方图之所以得到广泛应用，主要是因为它有很 多特点： 1 直方图是表示随机变量概率分布的好方法，不管是什么分布或几维分布，都可以 用直方i 虱近似表示，而且还可以从直方图中提取出该分布的各种数字特征，如均值、方 差等； 2 直方图可以用比较简单的统计方法自动提取； 3 基于直方图的距离定义很方便，常用的有直方图交和直方图距离； 4 直方图适用范围广。只要特征可以量化，一般都可以用直方图来表示； 5 只要选择合适的视觉特征，直方图可以做到旋转不变和平移不变。归一化直方图 还可以做到与图像尺度无关。 因为直方图的上述优点，它得到了广泛应用。但是，直方图也有缺陷，例如，三维 颜色直方图，如果每维量化为1 6 份，则每个直方图需要1 6 x 1 6 1 6 - - - - 4 0 9 6 个存储单元， 随着特征矢量维数增加，空间消耗将呈指数增长相应地，计算距离的复杂度也将随数 1 3 郑州大学硕士学位论文基于内容的图像检索技术研究 据量的增加而增长。基于这些原因，目前所使用的直方图比较小、特征矢量维数较低， 例如，对三维颜色直方图来说，常用3 个大小分别为2 5 6 的一维颜色直方图来代替大小为 4 0 9 6 的三维颜色直方图，这样做虽然可以解决计算和存储问题，但是降低了检索性能。 对h s v 空问进行适当的量化后再计算直方图，则计算量要少得多。根据经验数据可 将h ，s ，v 三个分量按人类的颜色感知进行非等间隔的量化： 1 按照人的视觉分辨能力，把色调h 空间分成8 份，饱和度s 和亮度v 空间分成3 份则基本上能满足肉眼分得分辨要求。 2 根据色彩的不同范围进行量化阴： h = 0 i f 1 i f 2 i f 3 矿 4 i f 5 i f 6 i f 7 矿 ! h 1 7 5 1f o i f j r ， ： 7 6 , 1 5 q1s ： i i f 蒜t u , 2 u ，0 z 1 7 1 1 5 6 ,190一1：矿芝鼢qhe 1 9 1 ，2 7 0 】 i z ”、u 。b u f 0i f1 ，【o ，0 2 】 y = 1i f1 ，( o 2 ，0 7 】 【2i fv ( o 7 ，1 7 】 3 构造一维特征矢量。按照以上的量化级，把3 个颜色分量合成为一维特征矢量： ，刁噬k p 。诞扩矿 其中，令9 和q 扮别是分量s 和v 的量化级数，在这里岱= 3 ，q r = 3 。因此上式可 表示为：i = g h 十3 s 十v 这样，h ，s ，v3 个分量在一维矢量上分布开来。根据上式，的取值范围为 【0 ，1 ，- m e , 7 1 ，计算，获得7 2 柄的一维直方图。图3 - 2 中的对话框显示了一幅图像的归 一化的h s v 直方图。 图3 2图像h s v 直方图特征 1 4 郑州大学硕士学位论文基于内容的圈像检索技术研究 3 1 4h s v 直方图相似度计算 假设示例图像为q ，其直方图特征矢量为h q ( q o ，q i - ，q l ) ，图像数据库中的图像为 s ，其直方图特征矢量为h s ( s o ，s t ，s l ) ，其中o q 一l ，o 丑s l ，为归一化的比例 值。l 为一维直方图矢量的元素个数。那么利用直方图交叉算法进行图像相似度测量如下 式所示。 ， s i r a ( q ，s ) = n f i n ( q ，q ) b d 如果两幅图像的颜色分布相同，那么相似性测度为l ，否则为0 到1 之间的个数。 最不相似为0 ，如黑和白图像的直方图交集。直方图交叉算法实际上是计算两幅图像的公 共部分，可以比较明显地区分出不相似的图像。 利用h s v 空间的颜色直方图特征检索的结果如图3 3 、3