（信号与信息处理专业论文）基于综合特征的图像检索方法研究.pdf

基于综合特征的图像检索方法研究 摘要 在简要介绍了基于内容的图像检索研究背景、意义、国内外应用现状和关 键技术发展的基础上，本论文重点研究与探讨基于综合特征的图像检索方法。首 先研究了基于颜色、形状特征的图像检索方法。其次为了使检索的结果尽可能与 人对图像内容的理解一致，减小语义鸿沟，本文探讨了基于区域的综合特征图像 检索，对其主要从图像分割、区域表达、相似性度量等方面作了研究和探索，并 用具体理论推导和实验结果证明了文中算法的正确性和有效性。 本文的主要工作和创新如下： ( 1 ) 为了能更好地表达颜色的空间分布特征，提出了一种基于局部颜色空 间特征的图像检索方法，它依据图像中主要物体的尺寸动态的对图像分块的方法 来获取颜色的空间分布信息，且能进行各分块权值的调整，从而提高了检索精度。 ( 2 ) 研究了基于颜色和形状综合特征的图像检索。用边缘方向自相关图表 示图像的形状内容；对于颜色特征，计算图像颜色的局部累加直方图，同时为了 弥补其不包含颜色空间分布关系的缺点，又提取了分块的颜色矩，并利用高斯模 型对各特征距离进行归一化，综合上述三个归一化距离，进行全局相似度量。综 合不同特征进行图像检索能达到优势互补的效果。 ( 3 ) 基于有限混合模型和e m 算法，提出了综合颜色、纹理和位置特征的 自适应图像分割方法。用高斯混合模型和t 混合模型建立颜色、纹理和位置特征 的联合分布，分别用改进的分裂一融合e m 算法和贪婪的e m 算法估计模型参数， 然后根据贝叶斯最小错误率准则对图像进行分割。 ( 4 ) 区域匹配和相似性度量也是图像检索系统的中心环节，本文通过检索 图像与数据库中图像各区域之间的特征距离得到最佳匹配区域，即综合所有区域 特征的距离方法来实现图像匹配，这种方法能在一定程度上减小分割不确定性对 检索结果的不良影响。同时根据人的视觉特点，在全局相似性度量时我们调整了 各个区域的重要系数。 关键词：图像检索 图像分割 颜色空间分布特征边缘方向自相关图 相似性度量 摘要 a b s t r a c t i nt h i st h e s i s ，t h er e s e a r c hb a c k g r o u n d ，t h ei m p o r t a n to ft h ei s s u e ，t h eu p t o d a t e a p p l i c a t i o n sa n dt h ed e v e l o p m e n to ft h ek e yt e c h n i q u e so fc o n t e n t b a s e di m a g e r e t r i e v a la r er e v i e w e df i r s t ，w ec o n c e n t r a t eo nt h er e s e a r c ho fi m a g er e t r i e v a lu s i n g c o l o r , t e x t u r ea n ds h a p ei n f o r m a t i o nt h e n ，w ed i s c u s st h er e g i o n - b a s e di m a g e r e t r i e v a lm e t h o d sf r o md i f f e r e n ta s p e c t si n c l u d i n gi m a g es e g m e n t a t i o n ，i m a g er e g i o n r e p r e s e n t a t i o na n ds i m i l a r i t ym e a s u r e m e n t sr e g i o nb a s e di m a g er e t r i e v a li sab e t t e r m e t h o dw h i c hs i m u l a t e st h eh u m a nc o m p r e h e n s i o no fi m a g e s ，a n dh e n c et h es e m a n t i c g a pi sn a r r o w e dt h ep r o p o s e dm e t h o di sp r o v e di t sv a l i d i t ya n de f f i c i e n c yt h o u g h t h e o r e t i c a ld e r i v a t i o na n de x p e r i m e n t a lr e s u l t s t h em a i nr e s e a r c hw o r ka n di n n o v a t i o no f t h i st h e s i sa r ea sf o l l o w s ， 1 ) t or e p r e s e n ts p a t i a lc o l o rf e a t u r e s ，w ep r o p o s e da ni m a g er e t r i e v a lm e t h o d b a s e do nt h e s p a t i a l d i s t r i b u t i o no fl o c a lc o l o r st h es p a t i a lc o l o rd i s t r i b u t i o n i n f o r m a t i o ni so b t a i n e db yd y n a m i cs u b - b l o c ks p l i t t i n gm e t h o dt h ei m a g ei ss p l i t i n t os u b b l o c k sa c c o r d i n gt ot h es i z eo f t h eo b j e c ti nt h eq u e r yi m a g e ，a n dt h ew e i g h t s o ft h es u b b l o c k sc a nb ea d j u s t e d 2 、c o n t e n t b a s e di m a g er e t r i e v a lu s i n gc o l o ra n ds h a p ei ss t u d i e dt or e p r e s e n t t h es h a p ec o n t e n to fa ni m a g e ，t h ee d g eo r i e n t a t i o na u t o c o r r e l o g r a mi su s e dt o r e p r e s e n tc o l o rf e a t u r e s ，l o c a lc o l o rc u m u l a t i v eh i s t o g r a mi sc o m p u t e d ，a n dt os o l v e t h ep r o b l e mo fl a c k i n gt h es p a t i a lk n o w l e d g eo ft h eh i s t o g r a m s ，w ea l s oe x t r a c tt h e c o l o rm o m e n t so ft h ep a r t i t i o n st h eg u a s s i a nm o d e li su s e dt on o r m a l i z et h ef e a t u r e d i s t a n c e c o m b i n i n gt h ea b o v et h r e en o r m a l i z e dd i s t a n c e ，t h eg l o b a ls i m i l a r i t y m e a s u r ei so b t a i n e db e t t e ri m a g er e t r i e v a lp e r f o r m a n c ec a nb ea c h i e v e db yu s i n gt h e c o m b i n e df e a t u r e s 3 ) an e wf e a t u r ev e c t o ri sp r o p o s e db yc o m b i n i n gc o l o r , t e x t u r ea n dp o s i t i o n i n f o r m a t i o na na d a p t i v ei m a g es e g m e n t a t i o nm e t h o di sp r o p o s e db a s e do nt h ef i n i t e m i x t u r em o d e la n dt h ee ma l g o r i t h mt h eg a u s s i a nm i x t u r em o d e la n dtm i x t u r e m o d e la r eu s e d t h em o d i f i e ds m e ma n dt h eg r e e d ye ma l g o r i t h me s t i m a t et h e p a r a m e t e r so ft h em i x t u r em o d e l si m a g e sa r es e g m e n t e da c c o r d i n gt o t h eb a y e s 基于综合特征的图像检索方法研究 m i n i m i z a t i o ne r r o rp r i n c i p l e 4 ) r e g i o nm a t c h i n ga n ds i m i l a r i t ym e a s u r e sa r ea l s ot h ek e yt e c h n i q u e so f c b l rt h eb e s tm a t c hr e g i o ni sf o u n df o re a c hr e g i o no f q u e r yi m a g eb yc o m p a r i n gi t w i t ht h er e g i o n so fe a c hi m a g ei nt h ed a t a b a s e t h em a t c h i n gi sa c h i e v e db yu s i n g t h ei n t e g r a t e d r e g i o n f e a t u r ed i s t a n c e s ，w h i c hc a nd i m i n i s ht h ei n f l u e n c eo ft h e s e g m e n t a t i o nu n c e r t a i n t yt or e t r i e v a lr e s u l t st h ew e i g h t sf o re a c hr e g i o na r ea d j u s t e d a c c o r d i n gt oh u m a np e r c e p t i o ni ng l o b a ls i m i l a r i t ym e a s u r e k e y w o r d s ：i m a g er e t r i e v a l ，s p a t i a ld i s t r i b u t i o n o fc o l o r s ， e d g e o r i e n t a t i o n a u t o c o r r e l o g r a m ，i m a g es e g m e n t a t i o n ，s i m i l a r i t ym e a s u r e 独创性声明 本人声明所里交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得哎磷1 文六孝或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：f 砂毽兰签字日期：历彤年妇9 日 学位论文版权使用授权书 本学位论文作者完全了解受瑚技大誓有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权费黼以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：珏葱兰导师鲐够旷 签字日期：硼6 年5 月g 日 签字日期： 朋z ，年，月萝日 学位论文作者毕业去向： 工作单位：电话： 诵讯地址：邮编： 第一章绪论 第一章绪论 1 1 基于内容的图像检索的研究背景、动机、特点和现状 随着科学技术的进步发展和推广应用，特别是计算机技术和网络技术的发 展，信息高速公路的建设，以及多媒体的推广应用，现代信息处理的对象和方法 都有了很大的变化。大量的各种类型的信息在全球得到了采集、传输、流通和应 用，人们正在快速地进入一个信息化的社会。多媒体信息数据，特别是图像数据 是这些信息中最重要的一种。图像信息有其特点，它的信息量大，百闻不如一见， 图值千字都说明了这个事实。进入新世纪后，有人估计世界上每年产生的新图 像已达到8 0 0 亿幅。现在，全球各地已建立了许多大型的多媒体数据库，并通 过网络对公众提供全方位服务。因此如何从海量的图像库中快速而准确的找到满 足用户需求的图像就成为迫切研究的热点问题。 图像检索自7 0 年代以来一直是个非常活跃的研究方向，传统的图像数据库 大多是基于关键字、文本的方法来管理和检索图像，它回避对图像可视化元素的 分析，而是从图像名称、图像尺寸、压缩类型、作者、年代等方面标引图像，一 般以关键词的形式查询图像，或者是根据等级目录的形式浏览查找特定类目下的 图像，如g e t t y a a t l 2 使用近1 3 3 ，0 0 0 个术语来描述艺术、艺术史、建筑以及其 它文化方面的对象，并推出3 0 多个等级目录，从7 方面描述图像的概念、物理 属性、类型和刊号等。这种基于文本的图像检索存在诸多弊端。主要表现在： 当图像的数量非常庞大时，对图像进行文字描述的工作量也很大； 通常来说，文字难以充分表达图像中蕴含的丰富信息，特别是诸如颜色、 纹理、形状、空间关系等信息的描述； 对图像的检索完全依赖于描述图像特征的文字，文字描述的主观性和不准 确性则导致不准确和不完全的检索结果； 传统的业已发展的数据库管理系统如o r a c l es y b a s 等虽然在处理格式化 的数值数据上取得了巨大的成功，但对于语义性非格式化的多媒体数据的 处理却力不从心。 9 0 年代初期，随着大规模数字图像库的出现，上述的问题变得越来越尖锐。 为克服这些问题，人们开始研究基于内容的图像检索，1 9 9 2 年“基于内容的图 像检索( c o n t e n t b a s e di m a g er e t r i e v a l ) ”一词开始在国际上正式使用，当人们将 基于综合特征的图像检索方法研究 多媒体仅与存储和快速传输各种媒体信息的技术联系在一起时，基于内容的图像 信息检索从信息加工的角度指出，对多媒体信息进行自动查询和搜索也是非常重 要的。1 9 9 4 年，结合相关领域已有的工作基础国内也开始关注这方面的研究。 基于内容的图像检索即指从图像库中查找含有特定视觉特征的图像的过程， 其基本思想就是通过分析图像本身的视觉内容来实现图像检索和管理。基于内容 的图像分析的目标并不是去追求对图像语义的真正理解，而是希望经过对图像的 分析后抽取出具有较强区分能力而且尽可能的能表达出图像语义的特征，利用这 些特征作为索引可以实现图像的相似性检索。本论文就是基于此研究动机而展开 的。同传统的图像数据库检索系统相比，基于内容的图像检索主要具有以下的特 点： 从图像内容中提取信息线索：基于内容的检索突破了传统的基于关键词检 索的局限，直接对图像进行分析并提取特征，使得检索更加接近图像对象。 提取特征的方法多种多样：对图像的特征提取可以是颜色特征、形状特征、 纹理特征、空间关系特征等。 人机交互进行：人对于特征比较敏感，但对于大量的对象，一方面难以记 住这些特征，另一方面人工从大量数据中查找目标效率非常低，而这正是 计算机的长处，因此，使用基于内容的图像检索系统时，人与计算机相互 配合进行检索。 基于内容的图像检索是一种近似匹配：在检索过程中，采用逐步求精的办 法，每次的中间结果是一个集合，不断减小集合的范围，直到定位到目标。 这一点与数据库检索的精确匹配算法有明显的不同。 我们可以将图像的特征分为两大类，即低层物理特征f 如颜色、纹理、形状、 轮廓、图像内容的空间、时间关系等，以及它们的组合) 和高层语义特征( 是人们 对图像内容概念级的反映，一般是对图像内容的文字性描述) 。基于内容的图像 检索技术发展到今天，其研究成果己由最初的简单基于低层视觉特征( 颜色、纹 理、形状、空间关系等) 来衡量图像之间相似度的检索方法，到目前引入学习机 制f 监督学习、非监督学习、b a y e s 学习、s v m 动态学习、相关反馈等) 用于图像 高层语义的图像检索方法。当然基于内容的图像检索是一个挑战性的研究，它涉 及许多学科和领域。从研究内容来看，它与数学、物理学、生理学、心理学等许 第一章绪论 多学科密切相关，从技术基础来看，主要包括图像技术、计算机技术、数据库技 术等信息技术，而从发展应用来看，它与工业、通信、娱乐、医学、遥感等是密 切相关的。 目前，由于计算机视觉技术还不成熟，低层视觉特征和高层语义之间的“语 义鸿沟”还将存在，所以寻求两者之间的关联规则，研究如何减少两者之间的 “语义鸿沟”方法将是未来基于内容的图像检索技术的热点和重点。 1 2 当前比较著名的基于内容的图像检索系统 基于内容的图像检索的研究和应用已经取得了长足发展，迄今已有许多图像 检索系统面世。下面介绍一些比较有代表性的c b i r 系统： ( 1 ) q b i c i b m 的q b i c 系统是第一个商品化的基于内容的图像检索系统，其系统框 架与技术对后来的图像检索系统有深远的影响。提供对图像、视频、文本和语音 多种形式的多媒体信息进行检索，它支持基于例图、用户构造的草图、选择颜色 或纹理等多种方式的查询。它采用的纹理特征有粗糙度、对比度、方向性等，形 状特征包括形状面积、圆形度、偏一t l , 率、惯性主轴方向以及一组代数不变矩。 q b i c 是少数考虑高维特征索引的系统之一。在它的索引子系统中，首先采用 k l 变换来减小维数，然后采用r + 树作为多维特征索引结构。 ( 2 ) p h o t o b o o k 4 1 在学术研究领域，m 1 t 的p h o t o b o o k 是最早的；p h o t o b o o k 是m i t 的媒体实验 室开发的一套交互式图像数据库浏览和查询工具。它有四种应用领域的示范：纹 理识别、形状识别、人脸识别和大脑形状识别。纹理识别主要针对以纹理为主体 内容的图像；形状识别给出了一些具有简单形状物体( 如板手) 的检索示例；人 脸识别是m i t 基于其研究技术基础上开发的新的应用领域；大脑形状识别则是 p h o t o b o o k 的另一个新的应用领域，它在检索过程中处理图像的3 d 数据。f o u r e y e s 是p h o t o b o o k 的扩展版本，它突出了交互式语义查询及系统学习能力，并且还应 用了相关反馈的技术。系统可以保留用户的记录，使用一个代理设施来进行学习， 通过分析选择出较好的匹配模式，以改进功能。 基于综台特征的图像检索方法研究 ( 3 ) v i s u a l s e e k i i v i s u a l s e e k 是由哥伦比亚大学开发研制基于w e b 的图像视频搜索工具，它 是最早基于区域的图像检索系统。它充分利用图像与区域之间的空间关系，从压 缩域中提取视觉特征，系统所采用的视觉特性是颜色集和基于小波变换的纹理特 性，为加速检索过程，采用了基于二叉树的索引算法。例如用户查找“日落”的图 像，可在草图上半部分绘制成桔红色区域，下半部分绘制成蓝绿色区域。 v i s u a l s e e k 系统由三部分组成：图像视频收集器、主题分类和索引器、检索器。 v i s u a l s e e k 提供了四十多个一级类目管理图像，用户首先通过关键词检索得到初 步结果，然后可以根据初次反馈结果，选中满意的图像作为训练样本进行相关反 馈，以选中图像的特征来调整下一次查询的要求，在所提供演示版本中主要是对 颜色进行训练和学习。 ( 4 ) n e t r a i “j n e t r a 系统是在u c s b 大学a l e x a n d r i a 数字图书馆项目中用于图像检索的原 型系统，它是基于图像分割的检索系统。利用图像区域的颜色、纹理、形状及空 间关系等信息从图像库中检索相似的区域。n e t r a 在研究方面的主要特点包括采 用了g a b o r 滤波器的纹理特征，基于神经网络的“图像词典”的构造和基于边流 法( e d g ef l o w ) 的图像分割。 ( 5 ) v i r 系统7 l v i r a g e 是v i r a g e 公司开发的基于内容的图像搜索引擎。其特点是提供完善 的用户开发功能，如：提供用于开发用户界面的工具包：提出p r i m i t i v e 的概念， 用于支持用户定义新的图像视觉特征；支持五种抽象数据结构便于图像特征的描 述，并提供用户相关反馈检索机制。v 1 r 已经和多种商业数据库系统进行了集成。 ( 6 ) m a r s 系统 m a r s 是多媒体分析和检索系统的英文缩写，是伊利诺斯大学分校开发的。 它是计算机视觉、数据库管理系统和信息检索多个领域交叉的结果。m a r s 系统 的重点并不在于找到所谓“最好”的图像特征，而在于根据实际的应用环境和用 户需要在检索框架中动态地组合调整各种不同的图像特征。在图像检索中正式地 提出相关反馈结构，并在检索的不同层次上结合了该技术，包括查询矢量优化， 自动匹配工具选择和自动特征适应。 第一章绪论 ( 7 ) r e t r i e v a l w a r e 9 1 r e t r i e v a l w a r e 是由e x c a l i b u r 开发的一种基于内容的图像检索引擎。它使用 了颜色、形状、纹理、亮度、颜色布局以及图像的方式比等作为查询特征。它 同时还支持将这些查询特征组合起来，并可以由用户来指定各自的权重。 r e t r i e v a l w a r e 的技术已经部分应用到y a h o o 的i m a g es u r e r 图像搜索引擎中。 ( 8 ) b l o b w o r l d l l l b l o b w o r l d 是u cb e r k e l e yc o m p u t e rv i s i o ng r o u p 的b e r k e l e y 开发的基于 图像分割的检索系统。该系统的一个重要特点是用户可以清楚地看到图像的表 示，提交查询的同时，可以定性规定所选区域和其它区域的重要程度，以及各区 域的各种特征( 颜色、纹理、形状、位置) 的重要程度，从而使用户能清楚地理解 查询结果。 ( 9 ) s t a n f o r d 大学的s i m p l i c i t y i ”i 该系统能对图像进行语义的分类，如纹理和非纹理图、户内和户外图等等。 它首先从图像的4 4 像素块抽取小波纹理、l u v 颜色特征，基于k m e a n s 聚类 方法分割图像成区域，同时分割的结果输入到分类器中以决定图像的语义类型。 s i m p l i c i t y 的贡献是提出了i n t e g r a t e dr e g i o nm a t c h i n g ( i r m ) 相似度量，这一算 法通过两幅图像的各个区域之间建立多对多的映射，以减小不精确分割的影响。 1 3 基于内容的图像检索的应用领域 当基于内容的图像分析与检索技术的研究逐渐走向成熟时，它可以找到许多 非常有价值的应用“，下面是一些应用示例： ( 1 ) 医学分析、研究和远程医疗系统【l 驯 例如医生需要通过检查医学数据库中的2 一d 放射照片以发现多个病人间的 某种相似病状或分析一个新病人的病情和发展。特别对远程会诊，基于内容的图 像查询可提高效率并节省大量的网络传输费用。 ( 2 ) 新一代网上搜索、数字图书馆和艺术博物馆1 1 4 】 网络正逐渐渗透到人们的日常生活中，除了文本资源外，网上还存在非常丰 富的图像资源。新一代网上搜索引擎应该具有协助用户从大量而且无序的网上图 像资源中寻找符合要求的图像的能力。另外，日益兴起的数字图书馆正在改变传 基于综合特征的图像检索方法研究 统的图书馆的概念。历史资料的存储以及人们对资料的查阅和浏览方式也在发生 本质的改变。显然，对于数字图书馆中的多媒体数据，基于内容的图像分析和检 索技术是非常有用的。对于艺术博物馆例如用户可以检索出与给定查询图具有某 些相似性的所有油画，以发现不同画家间的共同特性或他们在使用颜色、安排空 间和表现主题方面的相互影响。 ( 3 ) 专利检索、商标注册管理 ”1 商标注册人员在申请商标时需要检查是否与商标库中已经登记注册的商标 有相同或相似之处。q b i c 和v i r a g e 检索系统已经采用了商标数据库。 ( 4 ) 犯罪与安全预防 安全部门可以将人的主要特征( 指纹和脸部) 的图像存储在数据库中，通过 指纹识别和人脸识别就有可能从大量的指纹库或者人脸库中自动识别出特定的 目标。因此，它具有重大的社会价值。 ( 5 ) 遥感和地球资源信息的管理和共享| j 6 | 在地质图中确定某种地质构成的位置，或它与其它地质构造的空间关系。 除此之外，基于内容的图像检索还可以应用到数字视频的协同生产和编辑以 及传输播发，服装设计、建筑设计、内部装潢，军事侦察作战等应用。随着图像 获取方式的改善和增加，各类图像库的建立和扩展，这种需求将变得更为迫切。 因此，它的研究将会具有很大的应用价值和应用领域。 1 4 本文的研究内容、组织结构 1 4 1 本文的研究内容 不同特征从不同的角度反映了图像的属性，因此基于综合特征的图像检索能 达到优势互补的效果，而且提高了检索的灵活性和系统的性能。本文从以下几个 方面重点研究了基于综合特征的图像检索方法。 ( 1 ) 为了能更好地表达颜色的空间分布特征，对颜色特征的表达进行了 改进，提出了基于局部颜色空间特征的图像检索方法，与颜色直方 图方法相比提高了检索精度。 ( 2 ) 为全面描述图像内容，有效提高检索性能，我们又提出了综合颜色 与形状特征的图像检索方法，其中颜色特征采用局部累加直方图和 第一章绪论 分块的颜色矩，用边缘方向自相关图表示图像的形状特征。实验表 明，它能取得更好的检索结果。 ( 3 ) 为了使检索的结果尽可能与人对图像内容的理解一致，我们还进行 了基于区域综合特征的图像检索研究，首先采用有限混合模型和改 进的e m 算法进行图像的自适应分割，对分割的区域提取相应的颜 色、纹理和形状特征进行基于内容的图像检索，在相似性度量时还 根据人的视觉特点调整各个区域的重要重要系数。实验表明，基于 区域的图像检索能减小语义鸿沟。 1 4 2 组织结构 第一章介绍基于内容的图像检索的研究背景、动机、特点和现状。并对当前 存在的典型图像检索系统以及图像检索的应用领域做了概括性介绍。 第二章根据基于内容的图像检索的基本框架图，我们逐一介绍了基于内容的 图像检索的几个关键技术，包括特征的表达( 这里主要包括颜色、纹理、形状特 征) 、相似性度量方法、高维索引技术、相关反馈和检索系统性能评价。 第三章包括两个方面，首先对基于颜色特征检索方法的一些改进，在颜色特 征的基础上考虑到空间信息，提出了基于局部颜色空间特征的图像检索方法，其 次进行了基于颜色和形状综合特征的图像检索实验。并分析和比较了实验结果。 第四章是从一种更高层的检索方法来探讨基于内容的图像检索，基于区域的 图像检索也是当前基于内容的图像检索的一个热点。本章主要包括图像分割、区 域表达、相似性度量。具体来说就是从基于区域的图像检索的流程图入手，首先 综述基于内容的图像检索中的图像分割方法，且提出了基于有限混合模型和改进 的e m 算法的图像分割方法，然后进行区域特征提取、最后实现基于区域综合特 征的图像检索实验，得到符合用户检索需求的图像。 第五章对本论文进行了总结，提出今后的研究方向。 基于综合特征的图像检索方法研究 第二章基于内容的图像检索的关键技术 典型的基于内容的图像检索系统一般由两部分构成【”i ：库生成子系统和图像 查询子系统。每个子系统包含相应的功能模块和部件。其系统体系结构如图2 1 所示 用户查询接口 查询子系统 图2 1 ：基于内容的图像检索系统结构 f i g u r e 21 ：t h ea r c h i t e c t u r eo fc o n t e n t b a s e di m a g er e t r i e v a l 库生成子系统负责图像的存储和特征提取，并以索引的形式存储图像特征信 息。库生成子系统主要包括： ( 1 )图像的预处理。包括图像格式的转换、统一格式，图像的增强与去噪等 功能，为图像的特征提取打下基础。 ( 2 ) 图像特征提取。即从包含大量信息的图像中分解出不同种类的特征信 息，特征提取可以是全局的，即整幅图像，也可以是针对某个目标的， 即图像中的子区域。它与预处理模块共同作用，得到完整的图像数据库 信息。 第二章基于内容的图像检索的关键技术 ( 3 ) 图像数据库。它是由图像库、特征库和知识库组成。图像库存储数字 化的图像信息；特征库存储图像内容特征和客观特征；知识库存储专 门和综合性知识，有利于检索优化和快速匹配。 图像查询子系统完成基于内容的检索功能，由用户查询接口，查询处理模 块、图像匹配模块组成： ( 4 ) 用户查询接口：查询接1 2 1 主要是完成一些人机交互工作，用户通过查 询接口进行参数设置，组织各种形式进行查询，检索所得到的图像也 通过此接口返回给用户。 ( 5 ) 查询处理模块和图像匹配模块：将用户查询接口送来的查询请求通过 特征提取模块转换为待查特征，然后调用匹配模块检索特征库，计算 目标图像与查询图像之问的特征相似程度，再从中挑出相似的若干图 像，并按相似程度由大到小排列返回给用户。 从上面对系统结构的分析可知，基于内容的图像检索的关键技术包括：图 像特征的提取、高效的索引技术，准确的相似性度量算法。同时，为了改善检 索结果，实现真正的人机交互，一个完整的检索系统还应考虑到相关性反馈方 法，以及检索性能评价等等。下面就对这些关键技术进行说明。 2 1 图像特征的表达与提取 目前，用于图像检索的低层视觉特征主要有三种：颜色、纹理和形状。 2 1 1 颜色模型及颜色特征的表达 颜色具有与生俱来的旋转不变性( r o t a t i o n i n v a r i a n c e ) 、平移不变性 ( t r a n s l a t i o n i n v a r i a n c e ) 和尺度不变性( s c a l e i n v a r i a n c e ) ，图像颜色特征与图像 尺寸和图像对象位置无关，从而具有较高的鲁棒性且计算简单。因此，在基于 内容的图像检索中，颜色是使用最广泛的特征之一。面向图像检索的颜色特征的 表达涉及到若干问题。首先，我们需要选择合适的颜色空间来描述颜色特征： 其次就是要采用一定的量化方法将颜色特征表达为矢量的形式，即颜色特征的 提取。 ( 1 ) 颜色模型 对颜色特征的表达依赖于所用的颜色模型，并不是定义的所有的颜色模型 基于综合特征的图像检索方法研究 都与人的感觉相一致，选择一个符合人眼视觉特性的颜色模型是利用颜色特征 进行图像检索的关键。考虑到颜色模型的用途( 包括基于内容的图像检索) ，常 用到的颜色模型可分两类i ”i 。一类面向诸如彩色显示器或打印机之类的终端显 示硬设备，一类面向视觉感知或者说以颜色处理分析为目的的应用。在后一类 中，有些是感知上非均匀的模型，有些则是在非均匀模型的基础上进行变换以 使其相对均匀的模型。面向硬设备的最常用模型是r g b 模型。因为面向硬设备 的颜色模型与人的视觉感知有一定距离，这时使用面向视觉感知的颜色模型比 较方便，例如：h s v 是对m u n s e l l 系统近似的比较客观的颜色模型。从视觉感 知均匀的角度来说，人所感知的两个颜色的距离应该与这两个颜色在表达它们 的颜色空间中的距离成比例，也就是说，如果一个颜色空间中，人所观察到的 两种颜色的区别程度要与该颜色空间中两点间的欧氏距离对应，典型的例子有 r ，+ v + r a b 等，它们都是r g b 模型通过线性或非线性变换从三基色或者c i e 的x y z 颜色体系计算出来的。 r g b 颜色模型 它是与人的视觉系统结构密切相连的模型。根据 人眼结构，所有颜色都可看作是3 个基本颜色( 红、 绿、蓝) 的不同组合。这个模型可建立在笛卡儿坐标 系统里，如图2 2 所示。但是，r g b 模型的三个分 量具有很大的相关性，导致其感知上不均匀。例如： 距离为5 0 的( 0 , 0 ，o ) 与( 5 0 ，0 ，0 ) 两种r g b 颜色认为是同一黑色，而距离为 5 0 的( 2 0 0 ，1 5 0 ，0 ) 和( 2 0 0 ，2 0 0 ，o ) 则是差别很大的两种颜色( 黄色和绿色) ，也就是 说其空间的相似不代表实际颜色的相似。所以很少将其直接用于图像检索。 h s v 颜色模型i ”1 h s v ( h u e ，s a t u r a t i o n ，v a t u e ) 是孟塞尔空 间的简化形式，属于非线性色彩系统，是圆柱坐标 系统，但一般用六棱锥来来表示，h s v 颜色表示方 、法同人对色彩的感知相一致。由于h s v 颜色空间 几乎是均匀的，因此，两个h s v 颜色的相似度可 以表达为它们在h s v 空间的相似性。r g b 空间中的一点可转换到h s v 空间m 第二章基于内容的图像检索的关键技术 设v m a x ( r ，毋b ) ，则，g + ，b 。为 止m i n ( r ，g ，6 ) ” 一口= 则h = 6 0 h ，s = 其中h 立v-min(rb)min(rgb ，拈高m i n ( rgb ( 2 1 ) v ，) v - m i n ( r , g , b ) ，：1 ， 2 5 5 1 ，i ( 2 2 ) ( 5 + 6 ) ，= m a x ( ，g ，b ) 干t a g - n n i n ( r ，g ，b ) ( 1 一g ) r = m a x ( r ，g ，b ) 和g m i n ( r ，g ，b ) ：1二711),g=：max(r,，g,，b6)干署t口lbg=min(r(,，93 b gm a x ( rgm i n ，g ：) b ) ( 2 3 ) ( 一) ， = 。，6 ) 署口g ( r ，b ) 、 ( 3 + 占) ，b = m a x ( r ，g ，6 ) 和r = m i n ( r ，g ，b ) ( 5 一r 1 ) ，其它 式中，r ，g ，b 0 2 5 5 ，h 0 8 6 0 ，s 0 1 ，v 0 1 。 c a + b + 颜色模型 l * a b 模型是国际照明委员会( c i e ) 于i9 7 6 年定义的一种近似的均匀 彩色模型。它是基于对立色理论和参考白色的，与设备无关，适用于接近自然 光照明的应用场合。由r g b 颜色空间到e a + b 。颜色模型的转换1 由下式给出， 其中凰，z 0 是白色对应的x ，yz 值： f = m 。剖1 7 4o 2 0 0 1 1 1 7 0 2 9 9 5 8 701 1 4 g yi = lo | | l zjl oo o o o0 6 6l l l 6jb j c 耖圳c 争地o o s s s s 9 。3 3 ( 专)( 专) s 。8 8 5 6 ( 2 4 ) a _ 5 0 0 【，( 争，( 争n 2o o 【厂( ，( z - ) l 其= 飘。川。：二：裟 r + v 颜色模型 l u + v + 模型适用于显示器显示和根据加色原理进行组合的应用场合 基于综合特征的图像检索方法研究 x c ，r o ，z 。为x 、y 、z 的对应参考白色，转换公式为j ” r = 1 1 6 ( y y - - ) 1 n 一1 6 一u 9 0 3 3 ( 善) 1 0 u = l3 l ( u 一u j ) ( 善) o0 0 8 8 5 6 0 ( 善) 0 0 0 8 8 5 6 0 v = l3 l ( v 一吨) ( 2 5 ) 其中j “2 4 “+ 1 5 7 + 3 z j “：2 4 。“。+ 1 5y o + 3 2 0 ) 【v 。= 9 x ( x + 1 5 y + 3 z )i v o = 9 x o ( x o + 1 5 r 0 + 3 z o ) ( 2 ) 颜色特征的表达 颜色特征反映彩色图像的整体特性，颜色特征的表达方法有许多种。根据 颜色与空间属性的关系，颜色特征的表达方法如下： 颜色直方图 从1 9 9 1 年由s w a i n 和b a l l a r de 2 2 i 提出了使用颜色直方图描述彩色图像和用 颜色直方图相交法进行相似度量以来，很多研究方法都将颜色直方图作为一种 常用的特征矢量用于c b i r 的研究。它表示图像中不同颜色在整幅图像中所占 的比例，计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小 区间成为直方图的一个柄( b i n ) 。这个过程称为颜色量化( c o l o rq u a n t i z a t i o n ) 。 然后，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。但是 两个内容很不相同的图像可能具有相同的颜色直方图，这主要是由于仅用颜色 直方图时不能反映颜色的空间分布导致的。为了克服全局颜色直方图的这种缺 陷，改进颜色直方图特征的方法包括：自适应柄的颜色直方图方法1 2 、累加直 方图方法等。 颜色矩 另一种非常简单而有效的颜色特征是由s t r i c k e r 和o r e n g o 所提出的颜色矩 ( c o l o rm o m e n t s ) 2 5 1 。这种方法的数学基础在于图像中任何的颜色分布均可以 用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用 颜色的一阶矩( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就足以表达 图像的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对特征进 行向量化，在实际应用中，颜色矩常与其它特征结合使用。设p i j 为第j 个像素 的第i 个颜色分量，n 为图像的像素总数，则均值、方差、三阶矩分别定义为： 第二章基于内容的图像检索的关键技术 j i ，f ：专萎p u 扛i ，2 ，3 ( 2 6 ) 颜色集 为支持大规模图像库中的快速查找，s m i t h 和c h a n g 提出了用颜色集( c o l o r s e t s ) 作为对颜色直方图的一种近似1 2 “。他们首先将r g b 颜色空间转化成视觉 均衡的颜色空间( 如h s v 空间) ，并将颜色空间量化成若干个柄。然后，他们 用颜色自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜 色分量来索引，从而将图像表达成个二进制的颜色索引集。在图像匹配中， 比较不同图像颜色集之间的距离和色彩区域的空间关系( 包括区域的分离、包 含、交等，每种对应于不同的评分) 。因为颜色集表达为二进制的特征向量，可 以构造二叉树来加快检索速度，这对于大规模的图像集合检索十分有利。 颜色聚合向量法 针对颜色直方图和颜色矩无法表达图像颜色的空间位置的缺点，p a s s t 2 7 魄 出了用颜色聚合向量( c o l o rc o h e r e n c ev e c t o r ) 表达图像的颜色。其核心思想是 将属于直方图每一个柄的像素进行分为两部分：如果该柄内的某些像素所占据 的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作 为非聚合像素，它是颜色直方图的种演变。假设q 与屈分别代表直方图的第 i 个柄中聚合像素和非聚合像素的数量，图像的颜色聚合向量可以表达为 。而 就是该 图像的颜色直方图。由于包含了颜色分布的空间信息，颜色聚合向量相比颜色 直方图能取得更好的检索效果。 颜色关联图法 颜色关联图( c o l o rc o r r e l o g r a m ) 是图像颜色分布的另一种表达方式1 。这 种特征不但刻画了某种颜色的像素数量占整个图像的比例，还反映了不同颜 色对之间的空间相关性。实验表明，颜色关联图比颜色直方图和颜色聚合向量 。川。川 峙上 = = 盯 t 基于综合特征的图像检索方法研究 具有更高的检索效率，特别是查询空间关系一致的图像。假设i 表示整张图像 的全部像素，i 。表示颜色为c ( j ) 的所有像素，则颜色关联图可以表达为： 粥l p r p 2 j 叫) 1 i p l p 2 | - 。p i l l