（信号与信息处理专业论文）基于形状的图像检索技术研究.pdf

基于形状的图像检索技术研究中文摘要 基于形状的图像检索技术研究 中文摘要 在计算机视觉中，形状特征是描述高层视觉特征( 如目标、对象等) 的重要手段， 基于形状特征的图像检索是基于内容的图像检索( c b i r ) 技术中的一个重要方面，它利 用目标图像的形状特征进行检索，已成为图像检索的研究热点。本文首先回顾了基于 内容的图像检索理论及其应用研究的发展过程，对基于内容的图像检索，尤其是形状 检索领域的背景和发展概况作了综述，并探讨了其中的一些关键技术。本文的主要工 作包括： 首先，提出了一个基于多维隐马尔科夫模型的图像分类算法。算法以轮廓的拐点 对图像的轮廓进行精确分段，利用改进的边界跟踪法进行形状特征提取，构造以对称 性、方向性、线性以及长度四个结构特征的轮廓段标识，然后对四维的结构特征进行 均匀量化，并应用于四维的隐马尔科夫模型的构建，最后，将此模型用于形状的分类 和检索。实验结果证明该算法进一步提高了图像检索的效率和速度。 其次，提出了一种多尺度的形状匹配算法。在对轮廓进化处理时采取不同的高斯 核尺度分别对目标轮廓的凹陷部分和凸起部分进行进化处理，得到原始轮廓的进化曲 线：当采用较大的高斯核尺度时，能更快地得到轮廓的全局信息；当采用较小的高斯 核尺度时，保留更多一些突出点以及周围有影响区域的信息。实验证明，该改进算法 能满足用户的多尺度需求，有效地改善检索效率，减少了检索时间。 关键词：图像检索；拐点；结构特征；隐马尔科夫模型；多尺度形状匹配 作者：李剑 指导老师：王加俊 r e s e a r c ho fs h a p e - - b a s e di m a g er e t r i e v a l a b s t r a c t i nc o m p u t e rv i s i o n , s h a p ef e a t u r e sa l ei m p o r t a n tt o o l sf o rt h ed e s c r i p t i o no ft h e h i g h 1 e v e lv i s i o nf e a t u r e s ( s u c ha so b j e c t i v e s ，t a r g e t s ，e t c ) s h a p e - b a s e di m a g er e t r i e v a l ， w h i c hi so n eo ft h em a i na s p e c t so ft h ec o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) ，h a sb e e n a l l a c t i v er e s e a r c ha r e ai ni m a g er e t r i e v a l i nt h i st h e s i s ，w ef i r s tr e v i e wt h ed e v e l o p m e n t p r o c e s so ft h et h e o r ya n da p p l i c a t i o no f t h ec o n t e n tb a s e di m a g er e t r i e v a l t h eb a c k g r o u n d a n dt h ed e v e l o p m e n ts t a t u so ft h ec o n t e n tb a s e di m a g er e t r i e v a la r ed i s c u s s e da l o n gw i t h s o m ek e yt e c h n i q u e s 1 1 1 em a i nc o n t r i b u t i o n so ft h i st h e s i sa r es u m m a r i z e da sf o l l o w s ： f i r s t l y ，an e wi m a g e r e t r i e v a la l g o r i t h mb a s e do nt h e4 - d i m m e n t i o n a lh i d d e nm a r k o v m o d e l ( h m m ) i sp r o p o s e d i nt h i sa l g o r i t h m ，t h eo b j e c tc o n t o u ri sf i r s t l yp a r t i t i o n e da t p o i n t sw i t hz e r oc u r v a t u r ev a l u e t h e n ，a ni m p r o v e db o u n d a r yt r a c k i n ga l g o r i t h mi su s e d f o r t h ee x t r a c t i o no ft h es h a p ef e a t u r e so ft h es y m m e t r y , t h eo r i e n t a t i o n ，t h el e n g t h ，a n dt h e l i n e a r i t yf o rt l l ed e s c r i p t i o no ft h es h a p e f o rt h ee x t r a c t e df o u rs t r u c t u r a lf e a t u r e s ，t h e u n i f o r mq u a n t i z a t i o na l g o r i t h mi su s e df o rf e a t u r e sq u a n t i f i c a t i o ns ot h a tt h eq u a n t i f i e d v e c t o rc a nb ec o n s i d e r e da st h ei n p u tt ot h e4 dh m m f i n a l l yt h e4 一dh m m i su s e df o r t h ec l a s s i f i c a t i o na n dr e t r i e v a lo ft h eo b j e c t s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d a l g o r i t h mp e r f o r m sw e l lb o t hi ne f f i c i e n c ya n ds p e e d s e c o n d l y , an e wi m a g er e t r i e v a lm e t h o db a s e do nm u l t i - s c a l es h a p em a t c h i n gi s p r o p o s e d d i f f e r e n ts c a l e so fg a u s s i a nf u n c t i o n sa r e u s e df o rt h ec o n c a v ea n dc o n v e xp a r t o ft 1 1 ec o n t o u rt og e n e r a t et h ee v o l v e dv e r s i o no ft h eo r i g i n a lc o n t o u r ：w h e nu s i n gt h e l a r g e r - s c a l eg a u s s i a nf u n c t i o n ，t h eo v e r a l li n f o r m a t i o no f t h ec o n t o u rc a nb ec a p t u r e df a s t e r ； o nt h ec o n t r a r y , w h e nu s i n gt h es m a l l e r - s c a l eg a u s s i a nf u n c t i o n , i tw i l lb em o r eh e l p f u lt o k e e pt h ei n f o r m a t i o no ft h es a l i e n c ep o i n t sa n dt h en e i g h b o r i n gr e g i o n s e x p e r i m e n t a l r e s u l t ss h o wt h a tt h i sa l g o r i t h mp e r f o r m sw e l li nm u l t i s c a l ea n dt a i lm e e tt h eu s e r s p e r s o n a l i z e dr e q u i r e m e n t s k e yw o r d s ：i m a g er e t r i e v a l ；i n f l e c t i o np o i n t ；s t r u c t u r a lf e a t u r e s ；h i d d e nm a r k o vm o d e l ； m u l t i - s c a l es h a p em a t c h i n g w r i t t e n b yl ij i a n s u p e r v i s e db yw a n gj i a j t m i i 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：筮金l e l 期： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理j 研究生签名：盔剑 日 别磁辄麟日 基于形状的图像检索技术研究第一章绪论 1 1 引言 第一章绪论 随着多媒体信息技术及计算机网络的快速发展，海量多媒体数据的存储和传输成 为可能，数字信息的数量和种类不断膨胀。各行各业对图像的使用越来越广泛，图像 多媒体信息来源不断扩大，这些信息所涉及到的领域包括学术、环境、医学、气象、 交通、军事等各个方面。毫不夸张的说，现代人的生活已经离不开这些信息为其提供 的服务。但是，图像数据以几何级数增长的同时，这些信息所包含的内容在现阶段还 没有被充分的利用。因此，如何充分、高效的利用这些信息，建立有效的图像描述和 检索机制，已经成为目前国内外研究的热点。 2 0 世纪7 0 年代末，图像检索主要是基于文本的图像检索( t e x tb a s e di m a g e r e t r i e v a l ) n 1 ，通过对图像进行人工文字注解，利用文本检索实现对图像特征的查找。 这种检索技术有两种方法被广泛使用：一种是通过对图像使用人工标注关键字进行检 索；另一种就是根据图像的外部信息，如图像的文件名、目录名、路径名或周围的文 字说明信息进行检索，这也是目前搜索引擎中使用最多的方法。这种采用将图像建立 关键字等文本描述信息的方式不仅费时费力，而且文字描述很难反映图像的完整内 容，已不能完全适应网络信息检索要求。 2 0 世纪9 0 年代初，随着大规模图像集的不断涌现，研究人员相继提出了基于内 容的图像检索( c o n t e n tb a s e di m a g er e t r i e v a l ，c b i r ) 乜3 。与原有的基于文本的图像检 索不同，基于内容的检索使用颜色、纹理、形状与空间关系等视觉特征建立索引，通 过图像特征间的距离进行相似性度量。c b i r 综合了图像工程、数字信息处理、人工 智能等相关学科的知识，直接比较图像的内容，成为图像检索技术研究的主流。根据 例图在大图像库中进行检索，实现了图像视觉内容特征的检索，这种以“图找图”的 查询模式是对“以关键字找图”的一大突破。 1 2 国内外的研究现状 基于内容的图像检索是一种综合集成技术，包括图像特征提取、图像特征匹配、 基于形状的图像检索技术研究第一章绪论 数据模型、高维索引、相关反馈、检索性能评价等多项技术环节。每个方面都已进行 了不同程度的研究，且都处于尚未成熟阶段。1 9 9 4 年美国启动了持续4 年的“数字 图书馆项目”，1 9 9 8 年，美国自然科学基金会( n f s ) 、国防部高级研究计划署( d a r p a ) 、 国家航空航天局( n a s a ) 、国家医学图书馆( n l m ) 、国会图书馆( l o c ) 、国家人 文基金会( n e h ) 和联邦调查局( f b i ) 联合自主d l i 第二期计划的实施，掀起了全 球性的数字图书馆研究热潮3 。9 0 年代后期至今，我国也掀起了基于内容的图像检索 的热潮。目前，我国的医疗卫生领域、工业生产和机械制造加工领域、农业生产领域、 国防科技领域以及娱乐文化领域等都逐渐应用这项技术。 虽然目前的c b i r 技术的研究不成熟，但是在理论研究领域和商业应用领域的图 像检索系统相继问世，促进了c b i r 的发展。国外具有商用价值的著名检索系统包括 i b m 公司的q b i c ( q u e r yb yi m a g ec o n t e n t ) h 卜嘲系统，v i r a g e 公司的v i r ( v i s u a l i n f o r m a t i o nr e t r i e v a l ) 口卜哺1 图像工程系统。 i b m 公司的q b i c 系统是第一个商用基于内容的图像检索系统。它可以作为独立 的软件产品，也可作为i b m 公司的d b 2 数字图书馆的一个组成部分。q b i c 系统实 现了基于颜色、纹理和形状的组合查询，查询接口方式实现了基于模板图像的查找、 基于调色板的查找与基于草图的查找。q b i c 是少数几个考虑高维特征索引的系统。 v i r a g e 的技术核心是v i r a g ee n g i n e 以及在图像对象层上的操作，它支持基于颜色、 颜色布局、纹理、结构四个查询的任意组合，主要有图像分析、图像比较和图像管理 三方面的功能。此外比较著名的国外检索软件还有e x c a l i b u r 公司开发的运用神经网 络算法实现图像检索的r e t r i e v a lw a r e 系统；m i t 多媒体实验室开发的p h o t o b o o k 田1 系 统；哥伦比亚大学研制开发的刚s e e k n 们以及其姊妹系统w e b s e e k ；以及美国伊 利诺斯大学的m a r s 1 系统等。 与此同时，国内也有许多基于内容的图像检索系统出现，具有代表性的系统有： 浙江大学计算机系研究的基于图像颜色的检索系统p h o t on a v i g a t o r 和基于形状的图 像检索系统p h o t oe n g i n e r 阻羽、清华大学的基于i n t e m e t 上静态图像的内容检索的原型 系统、中科院计算技术研究所数字化技术研究室开发的i m a g e h u n t e r 系统口3 1 等。这些 系统所采用的特征和搜索方法不同，性能与应用范围也不同。 基于形状的图像检索技术研究第一章绪论 1 3 课题的研究意义及主要内容 基于内容的图像检索是一门综合性的交叉学科，能够解决多媒体信息数据量大、 抽象程度低的问题，从海量图像信息中抽取有用信息，进而取代基于文本的图像检索。 在实际应用中，基于内容的图像检索的研究对知识产权保护、多媒体数字图书馆、医 学图像管理、卫星遥感系统、地理信息系统、犯罪识别系统、生物的辨识分类等方面 提供了有力的支持。而在基于内容的图像检索中，除了纹理和颜色，形状也是物体最 基本的有感觉意义的特征之一，图像的形状信息不随周围( 如亮度等) 环境的变化而 变化，是物体稳定的特征。近些年大量研究集中于将形状描述用于图像检索领域，目 前，基于形状的图像检索还很不成熟，形状特征的提取和描述是基于形状的图像检索 的重要方面。本文的主要贡献为：首先提出了一种新的形状分类算法，基本步骤是将 图像形状轮廓的特征提取，并应用到多维的隐马尔科夫模型( h i d d e nm a r k o vm o d e l ) ， 实现图像的分类和检索。其次提出了多尺度的形状匹配，在对轮廓进行处理时采用多 种高斯核尺度相结合，满足不同的需求，达到特定的检索效果。 ， 1 4 论文的组织结构 本文共分5 章，主要内容概述如下： 第一章介绍了课题的研究背景和研究意义，以及目前国内外的研究现状、发展 趋势。同时也说明了本课题研究的主要内容和文章组织结构。 第二章本章首先简单介绍了基于内容的图像检索的体系结构、成熟技术以及相 关检索评价标准，然后详细介绍了基于形状的图像检索。回顾了基于形状的图像检索 的背景、现状和内容以及基于形状的检索系统框架，然后介绍了形状的表达和描述， 以及与其对应的基于形状特征的检索算法。 第三章本章提出了一种新颖的基于形状的图像分类算法。算法的主要步骤为： 对图像进行边缘提取和轮廓跟踪，得到图像的形状轮廓，然后对形状轮廓以拐点为分 割点获取分段弧，并提取弧段的各类特征值：对称性、方向性、归一化长度和线性， 以这四个结构系数作为轮廓段的描述特征，将获取的特征向量均匀量化并将量化后的 特征值直接应用到多维h m m 进行形状的训练和分类。本章最后将本文算法的分类效 果与其它算法进行了比较，并作了相应的性能分析。 基于形状的图像检索技术研究第一章绪论 第四章本章在原有的形状匹配算法的基础上做了改进，提出了基于多尺度的形 状匹配算法，在对图像进行轮廓卷积时，根据用户的个性需求，采用不同尺度的高斯 核进行轮廓进化：当需要得到轮廓的全局信息而不考虑检索的精度时采用较大的高斯 核尺度；反之，当需要得到轮廓的细节信息和关注检索精度时采用较小的高斯核尺度。 根据不同的检索要求对尺度值选择不同的权值，达到检索效率与精度的统一，本章取 各类数据库进行了算法的性能分析，并给出了不同权值下的检索结果。 第五章总结和展望。对已做工作的回顾和以后算法改进方向的总结。 4 基于形状的图像检索技术研究第二章基于形状的图像检索 第二章基于形状的图像检索 形状特征是基于内容的图像检索技术中非常重要的特征之一，对于人类来说，形 状是用来确认相似物体的主导因素。但是，形状特征是一个困难的问题，世界万物的 形状各式各态，且经常以扭曲和变形的方式存在，早期形状描述的目的是模式识别和 基于形状的分类，而近年来的研究是将形状描述用于图像检索领域。本章首先概括了 基于内容的图像检索的发展状况以及一些成熟技术，然后简要介绍形状的描述和表 达，并分析了基于形状的图像检索技术。 2 1 基于内容的图像检索 基于内容图像检索的研究内容是在数字图像处理的基础上进行特征提取、多维索 引以及检索系统设计，主要利用了图像本身包含的客观视觉特征。基于内容的图像检 索有以下特点：( 1 ) 基于内容的图像检索突破了传统的基于表达式检索的局限，可以 直接从图像内容中提取特征作索引，使得检索过程更加有效，适应性更强；( 2 ) 基于 内容的检索是相似性检索，是一种近似匹配的技术；( 3 ) 基于内容的检索能满足多层 次的检索要求，同时也可以满足大型数据库的快速检索。基于内容的图像检索技术能 够根据图像的可视内容产生查询，方便了用户，检索时针对不同的具体应用，可以使 用一种特征或组合几个特征进行检索n 4 1 。 2 1 1 基于内容的图像检索系统框架 基于内容的图像检索系统“劬如图2 1 所示，可分为以下几个模块：图像预处理、 特征提取、数据库、查询接口、检索接口以及索e j i 过滤器。各模块的详细介绍为： 基于形状的图像检索技术研究第二章基于形状的图像检索 特征提取子系统查询子系统 图2 - 1 基于内容的图像检索系统 ( 1 ) 图像预处理：包括图像格式的转换、图像边界短间隙的连接、边缘的提取、 轮廓的跟踪等处理。这一模块主要为下一步的特征提取做准备，它的处理效果直接影 响图像特征提取得效果，并影响最终检索结果。因此，图像预处理也是图像检索中一 个重要的模块。 ( 2 ) 特征提取：从图像中提取颜色、纹理、形状、空间位置等信息特征，用它们 来描述图像内容的某些属性。 ( 3 ) 数据库：图像库、特征库和知识库共同组成了数据库系统。图像库包含图像 数据；特征库包含图像的各类属性，如颜色、形状等；知识库包含图像的语义特征， 可作为更高级的基于语义的图像检索。 ( 4 ) 查询接口：为用户提供友好的人机交互界面。用户可以通过查询接口提交查 询关键图，也可通过该接口直观地观察到检索结果以及相关信息。在基于内容的检索 中，由于特征值为高维向量，不具有直观性，因此必须为其提供一个可视化的输入手 段。可采用的方式有操纵交互输入模式、模板选择输入模式和用户提交特征样板的输 入模式，同时还应支持多种特征组合的查询接口。 ( 5 ) 检索引擎：这一模块利用特征之间的距离函数来进行相似匹配，具体就是将 通过分析查询得到的描述与图像数据库中图像的描述进行比较，提取视觉效果或语义 6 基于形状的图像检索技术研究第二章基于形状的图像检索 相似的图像。 ( 6 ) 索引过滤器：在对整个特征库运算之前先利用一些简单的特征滤去那些不 符合要求的图像，过滤后的数据再用复杂特征进行匹配检索，从而达到快速检索的目 的。 2 1 2 基于内容的图像检索的主要技术 图像的特征是指人对图像视觉感受的量化描述，好的特征能较好的表征人对图像 的视觉感受。图像特征有两类n 射：一类用于描述和识别单个物体或物体的某些部分， 如颜色、纹理及形状结构，其中颜色和纹理特征强调物体表面的颜色和灰度变化，形 状和结构特征强调物体的外形，如弯曲、大小等；另一类用于描述物体和景物组成或 物体的三维信息，如左右、远近、透视等。图像特征的分析和处理涉及到模式识别、 计算机视觉、图像理解等诸多领域，是多种技术的组合，因此有着广泛的应用前景n 引。 目前的研究方向主要集中在颜色、纹理、形状和空间关系的图像检索。 1 颜色特征 颜色特征是图像的基本特征之一，也是图像检索中应用最为广泛的视觉特征，与 其它特征相比，颜色特征对图像本身的尺寸、方向和视角的依赖性小。颜色特征的提 取也相对容易，因此基于颜色的图像检索的研究受到广泛的重视。同时，面向图像检 索的颜色特征的表达涉及到若干问题，首先要选择合适的颜色空间来描述颜色向量， 其次需要采用一定的量化方式将颜色特征转化为向量的形式，最后还要定义一种相似 度标准来衡量图像之间在颜色上的相似性。基于颜色的检索算法的基本思想即进行颜 色空间直方图( c o l o r h i s t o g r a m ) 匹配，采用的颜色空间和匹配方法因不同算法而异。 颜色直方图描述了图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，易 于计算又非常有效，而且对图像中的对象的平移和旋转变化不敏感。颜色矩n 7 3 ( c o l o r m o m e n t s ) 也被广泛应用在许多图像检索系统，该算法包括三个颜色矩，它们对图像中 的颜色分布描述非常有用、高效，尤其适用于只包含目标的图像。颜色聚合向量 n 踟( c o l o rc o h e r e n c ev e c t o r ，c c v ) 是颜色图像直方图的一种演变，它克服了颜色直 方图无法表达图像色彩空间位置的缺陷。此外，对于颜色的研究还有色彩相关图 ( c o l o rc o r r e l o g r a m ) 。 基于形状的图像检索技术研究第二章基于形状的图像检索 以上各种基于颜色的检索算法都是从不同的方面对颜色特征问题进行研究，但目 前主要存在的问题是颜色空间选择并不统一，有的使用r g b 颜色空间，还有l u v 空间 和l a b 空间。这些算法之间关于色彩的度量方式也不统一，对算法检索效果的评价造 成了难度。 2 纹理特征 纹理特征的本质是刻画像素的邻域灰度空间分布规律，图像纹理分析是图像处理 研究中的一个重要组成部分。作为一种统计特征，纹理特征通常具有旋转不变性，对 噪声也有较强的抵抗能力。但是，纹理特征也有其缺点，最明显的缺点是当图像的分 辨率变化的时候，所对应的纹理可能会有较大偏差。 目前纹理特征描述方法总体上可以被分为四类n 9 1 ：结构法、统计法、模型法和空 间频率域联合分析法。结构法通过鉴别原始结构关系以及排列规则来描述纹理，包 括图像的对比度、方向性、重复性和复杂性等；统计法是通过统计图像的强度分布来 描述纹理，包括共生矩阵法、l a w s 纹理能量法；模型法假定纹理按某种模型分布， 例如m a r k o v 随机场模型、g i b b s 随机场模型、分形模型等；基于空间频率域联合分 析法主要包括g a b o r 变换法和小波变换法。 纹理统计的复杂性既受到计算复杂度的限制，也受到用有限数据估计纹理模型时 统计概率的影响。总的来说，纹理模型符合人的视觉特性和人对纹理的理解。由于纹 理特征没有明确的定义，人们对纹理的视觉特征的认识也非常主观，因此目前的特征 描述方法还没有一个能对各种典型的示例查询都达到良好的检索效果，基于纹理特征 的检索仍需进一步的深入研究。 3 形状特征 形状是刻画物体的最本质的特征，也是最难描述的图像特征之一，主要难度在图 像中感兴趣目标的分割和形状提取。目前用于图像检索的形状描述方法主要有两类： 基于轮廓的形状检索和基于区域的形状检索，前者利用了图像的边缘信息，而后者利 用区域内的灰度分布信息。关于形状轮廓特征的描述主要有：傅立叶描述、直线段描 述、样条拟和曲线以及高斯参数曲线等。这在本章的以下各节中会作详细的介绍。 4 空间关系特征 空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关 系，这些关系也可分为连接邻接关系、交叠重叠关系和包含包容关系等。通常空间 8 基于形状的图像检索技术研究第二章基于形状的图像检索 位置信息可以分为相对空问位置信息和绝对空间位置信息两类。前一种关系强调的是 目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小 以及方位。提取图像空间关系特征可以有两种方法汹3 ：一种方法是首先对图像进行自 动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征， 并建立索引；另一种方法则简单地将图像均匀地划分为若干个有规则的子块，然后对 每个图像子块提取特征，并建立索引。将图像的空间关系转换为图像相似性的定量度 量，目前还是一件比较困难的事情。 5 综合多特征 不同的图像特征有各自的矢量表示方法和相似性测度算法。然而基于一种特征的 方法只能表达图像的部分属性，由于对图像内容的描述比较片面，缺乏足够的区分信 息，在图像有较大变化的场合常常不能取得理想的检索效果，为此人们引入了综合特 征检索。综合特征检索就是综合图像颜色、形状、纹理或空间位置等特征，计算图像 特征向量。各个特征之间有一个权重关系，由用户根据需要进行调整，以适用不同情 况的查询。常用的多特征综合的检索结构有异步组合结构和同步组合结构，利用多特 征不同权重的组合，可以有效的改善检索效果。 2 1 3 图像检索算法性能评价 任何一项技术在该领域中都需要有相应的评价标准，比如数据压缩领域的评价标 准是信噪比( s i g n a ln o i s er a t i o ，s n r ) ，在基于文本的信息检索领域是查准率 ( p r e c i s i o n ) 和查全率( r e c a l l ) 。一个好的评价标准会引导相关技术向先进的方向发 展。有效性评价可以从人的主观感受和量化的评价标准两个方面来考虑，人的主观感 受由于受到其主观性和个体性影响，很不容易把握，因此量化的评价标准是一种直观 通用的检索有效性的评价方法。几种公认的量化标准有查全率和查准率、排序评价法、 匹配百分数t a u 系数、检索评分法和相似性排序百分比等。下面介绍较为常见的几种 量化评价标准。 1 查全率与查准率 查全率与查准率瞳日是信息检索中的标准评价方法，现在已被越来越多的应用到基 于内容的图像检索中。图2 - 2 ( a ) 所示， 用a 、b 、c 、d 的关系来描述检索中的查全 9 基于形状的图像检索技术研究 第二章基于形状的图像检索 翠和查准翠，q 为整个图像数据厍，集合a 代表布甘夫图像的集合，集合b 代表裣察 出的图像集合。它们间的关系为：q = a + 6 + c + d ，a = a + c ，b = a + 6 。则查准率为： p 叫舢) = 等= 毫 ( 2 - 1 ) 查全率为： r = p ( 8 1 舻篙茅= 老： ( 2 - 2 ) 误枪塞为： f ：上 b - i - d ( 2 3 ) 用查全率r 作为x 轴，查准率p 作为y 轴，绘制的曲线成为p v r 曲线。p v r 曲 线与x y 轴围成的面积称为p v r 指数，如图2 - 2 ( b ) ，计作e 。e 越大，图像检索性 能越好；e 越小，图像检索性能越差。如果e = i ，那么图像检索性能达到最佳。 l a o 。晶 o o - 山 or e c a l l1 图2 - 2 ( a )图2 - 2 ( b ) 图2 - 2 ：查全率和查准率的描述与p v r 曲线 由上图可知，查全率反映检索的全面性，查准率反映了检索的准确性，因此可用 查全率和查准率来评价系统的有效性。除了p v r 曲线，常用的基于查全率和查准率 的评价方法还有3 点平均法、1 1 点平均法、当准确度下降到0 5 时查准率的平均值等。 2 排序评价法n 们 设查询的返回图像幅数为n ，在n 幅返回图像中，n r 为相关图像的数目，p ，为 相关图像的排序编号，n a 为实际的相关图像数，则检索到的相关图像的平均排序k ， 为：k 。：軎釜所，理想的相关图像的平均排序为：k ：等，丢失的图像相关率 v 舟，等1 厶 1 0 基于形状的图像检索技术研究第二章基于形状的图像检索 为：m = r n 爿。k ：表示理想情况下，即返回相关图像全部排在最前面时的平均序 号。k 。越接近k ：表示查询效果越好。 3 平均归一化修正检索等级( a n m r r ) a n m r r ( a v e r a g en o r m a l i z e dm o d i f i e dr e t r i e v a lr a n k ) 是m p e g 7 核心试验的 评价准则。设n ( q ，) ( f 1 , 2 ，q ) 表示图像库中与图像g ，相似的所有图像数目， m = m a x n ( q ，) ，n ( q ：) ，n ( q 3 ) ，k = m i n 4 n ( q 。) ，2 m ) ，设与例子图像相似的图像在 检索结过序列中所处的位置为： 僦( 垆协1 ；乏量 ，y k i o 5 一o 5 木( g ，) 彳r=吉三。=l尝rank(k)nmrq k050茅5n p 4 ， 。- 一8 1 + 一木 ( 口i ) 、 有上式可以分析得知，a n m r r 的取值越小说明算法的检索性能越好。a n m r r 考虑检索的相似图像集数量的同时也考虑了检索结果中的等级( r a n k ) ，解决了查准 率和查全率没有考虑到检索等级的缺点。 2 2 基于形状的图像检索的研究背景、现状和内容 2 2 1 基于形状的图像检索的研究背景和现状 基于形状的图像检索技术是利用图像中目标的形状特征进行图像检索，研究者主 要做了以下方面的研究工作：( 1 ) 形状特征的表达、描述及其匹配；( 2 ) 将形状特征 与颜色、纹理还有空间特征有效的结合起来，以实现通用的综合图像库检索；利用形 状带有一定语义的特点，将较低层的形状特征和高层的语义特征结合起来做更深的研 究；( 3 ) 形状特征在检索背景下的性能比较研究；( 4 ) 形状特征对形状的描述能力与 人的视觉相似性的比较研究。目前，基于形状特征的图像检索应用于许多领域心引，主 要应用的专属领域有外观设计专利库管理、商标库的注册和检索、中文文字检索、机 械零件库的管理和利用、建筑设计、考古研究、医学图像库管理、服装设计等。 形状特征本身就可以将不同的图像区分开来，然而形状的特征提取等自身的特殊 基于形状的图像检索技术研究第二章基于形状的幽像检索 性也是图像检索的难点，在进行基于形状的图像检索研究中，有三个问题值得关注乜副： 首先，形状常与目标联系在一起，有一定的语义含义，因而形状特征可以看作是 比颜色或纹理要高级的一些的特征。另外，对形状的表达比对颜色或纹理的表达复杂 的多。要获取有关目标的形状参数，常要先对图像进行分割，所以形状特征的提取会 受图像分割效果的影响，而目前，图像分割在理论上仍缺乏简单易行又准确可靠的通 用的方法。 其次，目标形状的描述是一个复杂的问题。目标形状的描述相当复杂，至今还没 有找到对形状的确切的数学定义，包括几何的、统计的、或形态学的测度与人对形状 的感觉完全致的、，即数学上的描述和人眼感觉的不相符。 最后，从不同的视角获取的图像中目标形状可能存在很大差别，为准确进行形状 匹配，还需要解决受噪声污染、平移、尺度、旋转变换以及闭塞( o c c l u s i o n ) 等不变 性的问题，这在形状检索应用中起非常重要的作用。 2 2 2 基于形状的图像检索的系统框架和内容 基于形状的图像检索技术作为基于内容图像检索的一部分，和它具有相似的系统 结构口引，如图2 3 所示。区别在于对形状特征提取和检索引擎的研究： 寓线建立， 添加删除 图像 离线提取 特征 离线标注 图2 - 3 基于形状的图像检索系统结构 ( 1 ) 形状特征提取 在检索出目标的边界线或分割出目标形状的基础上，对形状进行特征提取，并需 要解决形状特征对平移、尺度、旋转变化的不变性问题。简言之，形状特征提取就是 1 2 基于形状的图像检索技术研究第二章基于形状的图像检索 寻找一些能描述形状某种属性的几何变换不变量。 ( 2 ) 检索引擎 研究图像形状的相似性度量方法。例如欧式距离方法，比较查询图像和图像库中 图像的特征向量之间的欧式距离，并按照相似度的大小排列检索结果。不同的形状特 征与不同的相似性度量结合所获得的检索结果大不相同，因此研究特征的提取及相应 的匹配方法是密切相关的。 2 3 形状的表达和描述 形状的表达和描述也就是形状特征的提取，是在形状分割的基础上实现的。表达 和描述是两个不同的概念，又有着紧密地联系m 删。形状描述必须具备独特性、完备 性、几何不变性、灵活性以及抽象性。目前形状的描述符可以大体被分为两类：基于 区域的描述符( r e g i o n b a s e dd e s c r i p t o r ) 和基于轮廓的描述符( c o n t o u r b a s e d d e s c r i p t o r ) 。与之对应基于形状的图像检索也有两种方法心引：一种是基于区域的图 像检索；另一种是基于轮廓的图像检索。具体分类图示如图2 - 4 。 l 形状 ii 基于轮廓的基于区域的 l 结构的全局的全局的结构的 j 上上 链码 边界的长度 区域的血积 紧致性 欧拉数 c o n v c xh u l l 多边形近似 中轴 偏心率 偏心率 形状标记 几何矩 h a u s d o 用垣离z e m i k e 矩 傅里叶描述子p s e u d o - z e m i k e 矩 小波描述子 通用傅里叶描述子 尺度空间 栅格法 形状描述矩阵 图2 - 4 形状描述符的详细分类 基于形状的图像检索技术研究第二章基于形状的图像检索 2 3 1 基于区域的描述算法 基于区域的形状描述1 以是否把形状分成子块为依据，将描述算法分为全局的方 法和结构的方法。基于区域结构的方法，是把形状区域分解成块并应用于形状的表达 和描述，常见的方法如利用区域的骨架来进行形状的描述。全局的形状描述方法是 通过整个形状区域信息计算其数字多维特征向量作为形状的描述，利用矩阵距离进行 相似性度量。简单的形状描述符有区域面积、区域重心、形状参数、偏心率等。区域 面积( a r e a ) 是对所属区域占图像总面积的百分比，描述了区域的尺度特征；区域重心 ( c e n t r o i d ) 是根据所有属于区域的点计算出来的区域中心；形状参数( f o r mf a c t o r ) 是根 据区域的周长与面积的相互关系得来，反映了区域的紧凑性；偏心率( e c c e n t r i c i t y ) 是 边界长轴长度和短轴长度的比值，同样在一定程度上反映了区域的紧凑性。 应用更为广泛的区域描述方法是基于矩的方法，基于矩的方法在表征形状时具有 旋转、平移、缩放等空间不变性。它是提取区域像素的统计分布，低阶矩具有较为明 确的物理意义。常用矩有几何不变矩和正交矩。 ( 1 ) 几何不变矩n4 剃( i n v a r i a n tm o m e n t s ，i m ) 几何不变矩是通过低阶矩的非线性组合获得的。其中区域的低阶矩是使用区域的 所有点计算按出来的，它不易受噪声影响。图像，( f ，) 是区域二值图像或抑制背景以 后的区域图像的“、v 阶统计矩，定义为： m ( u ，v ) 兰i ( i ，j ) i “9 i = 1j = l 其中，( i ，歹) 称为区域形心的位置：；兰m ( 1 ，0 ) m ( o ，0 ) 歹兰m ( 0 ，1 ) m ( 0 ，0 ) 。 图像川，_ ，) 的u 、v 阶中心矩定义如下： 以。，兰i ( i ，) ( f 一矿( j - 3 ) ” i = ij = l 根据各阶的中心矩而定义的7 个不变矩为： m l = l 2 ，o + o ，2 m 2 = 0 2 ，o - p 。，2 ) 2 + 4 p 1 ，1 2 m 3 = ( 3 。o - 3 p l ，2 ) 2 + ( 3 2 ，1 一 0 , 3 ) 2 1 4 ( 2 5 ) ( 2 6 ) ( 2 - 7 ) ( 2 8 ) ( 2 9 ) 基于形状的图像检索技术研究 第二章基于形状的图像检索 m 4 = ( 3 ，o 一) , 2 ) 2 + ( 2 。l + 1 1 0 , 3 ) 2 ( 2 1 0 ) 心5+(3(3,0-3川1,2)(拖3,0毪2)啦2卜-3(2,1-i-3,0)2)2】0,3 1 2 2 0 , 3 ( 2 - + ( 3 2 ，1 一o ，3 ) ( 2 ，l + ) 【3 ( 3 ，o +l ，2 ) 2 一( 2 ，l + ) 2 】 、7 m r _ 2 0-o,2)乙u3。，2譬峥+o,3)2】(2-12)( + 4 i ，i ( 3 ，o + l ，22 2 ，l + o ，3 ) m7。也(3j22,1。-一0,3)(j3,0+11,2)脚63,o，+，崩，2：毪，+，+10,3)2)31,20 , 3 ( 0 , 3z 】 ( 2 1 3 ) 一( 3 ，o 一) ( 2 ，1 +) 【3 ( 3 ，o + l ，2 ) 2 2 ，l + ) z 】 ， 令，= ( 2 。o + 2 0 ，2 ) 2 ，对以上矩阵变形得到： m 滓r bm ；= m 2 r 4m ；= m 3 r 6 m ：= m 4 r 6 m ；= m 5 r 1 2m ：= m 6 r 8m ；= m 7 r 1 2( 2 1 4 ) 其中b 为一常数。几何不变矩满足平移、伸缩、挤压不变性，此外，前六个归一化 中心矩对旋转不变，第七个阶矩对扭曲具有不变性。 ( 2 ) 正交矩 正交矩在图像处理方面有着很广泛的应用，因为与几何矩相比，正交矩有两个优 点：首先正交变换是可逆的，可以用正交矩的运算重建原图像；其次正交矩具有最小 的信息冗余，用很小的数据集合就可以描述图像。常见的正交矩有l e g e n d r e 矩和 z e r n i k e 矩。l e g e n d r e 矩定义为： 九一= 堡竺掣匕( x ) 只( y 矿( 五y ) ( 2 - 1 5 ) 这里，只( x ) = 而1 万d ( x 2 - 1 ) ”。 z e m i k e 矩定义为： j“w(，)=”-j,；mi,)2。l，：ji；jij：j；ii：!：(：nj：j-ffs；j)晒! n 一2 5 ( 2 _ 16 ) 其中，n ，m 为z e m i k e 多项式的阶数，n 为非负整数，刀一lml 为偶数。z e m i k e 矩的 基是正交径向多项式，和其它描述子相比，除具有旋转不变性、易构造高阶矩、冗余 性小的优点外，通过变换还具有比例和平移不变性。在众多的形状矩描述中，z e m i k e 矩是最适合用于形状描述的，已被m p e g 7 采纳作为标准的形状描述方法。 基于形状的图像检索技术研究第二章基于形状的图像检索 此外，还有基于变换域的描述子，如广义的傅里叶描述子m 3 ( g e n e r i cf o u r i e r d e s c r i p t o rg f d ) 。假定形状表示为： ，= f ( x ，y ) ；0sx m ，0sy ) ( 2 1 7 ) 首先将笛卡儿坐标系下的图像转化为极坐标系下，即通过极