（信号与信息处理专业论文）一种基于高斯混合模型的图像检索方法.pdf

一种基于高斯混合模型的图像检索方法摘要基于内容的图像检索c b i r ( c o n t e n t b a s e di m a g er e t r i e v a l ) 是当i ； 图像检索研究的热点之一。如何有效准确的表达图像特征是基于内容的图像检索技术的核心闯题。本文以提取彩色图像颜色特征为主线，讨论了基于内容的图像特征提取方法，设计了基于内容的图像特征提取系统。本文的研究内容及创新点如下：较深入的研究了颜色特征在图像检索中的应用，讨论了利用颜色特征进行图像检索的关键问题；颜色的表示、颜色特征的提取方法等。并在讨论了h s v 颜色空间中s q 与v q 直方图生成方法的优缺点之后，提出了一种改进的v q 直方图生成方法一基于高斯混合模型的矢量量化直方图生成方法，并分别把这三种方法生成的直方图作为图像特征的图像检索系统的性能作了比较；最后在检索过程中对这三种方法使用不同的直方图距离，e u c l i d e a n 距离、i n t e r s e c t i o n 距离，q u a d r a t i c 距离。为了验证算法的有效性，本文建立了一个c b i r 演示系统，并利用它对数据库中的每一幅图像分别用s q 、v q 、g m v q 三种方法生成直方图，并将生成的直方图作为图像特征来进行检索，同时在检索过程中使用了不同的直方图相似性匹配算法。实验中，就基于g m v q 的检索算法的查全率、查准率分别进行了计算和分析。并与通过s q 、v q 方法生成的直方图算法进行了比较。实验证明该算法具有比另外两种算法更优的检索性能。关键词：基于内容的图像检索高斯混合模型标量量化矢量量化a ni m a g er e t r i e v a lm e t h o db a s e do ng a u s s i a nm i x t u r em o d e la b s t r a e tc b i r ( c o n t e n tb a s e di m a g er e t r i e v a l ) i so n eo ft h ep o p u l a rt o p i c si nc u r r e n ti m a g er e t r i e v a l h o wt od e s c r i b ei m a g ec h a r a c t e r se f f i c i e n t l ya n da c c u r a t e l yi sac o r ep r o b l e mi nc b i r b a s e do nc o n t e n t ，t h i st h e s i sd i s c u s s e sa l le x t r a c t i o nm e t h o da n dd e s i g n sa ni m a g ec h a r a c t e re x t r a c t i o ns y s t e mb yu s i n ge x t r a c t i n gc o l o rc h a r a c t e r so ft h ec h r o m a t i ci m a g e t h er e s e a r c hc o n t e n t sa n dt h eo r i g i n a l i t i e sa r ea sf o l l o w s ：t h i st h e s i sh a sad e e pr e s e a r c ho nt h ea p p l i c a t i o no ft h ec o l o rc h a r a c t e ri nt h ei m a g er e t r i e v a la n dd i s c u s s e st h ek e yp r o b l e m ：c o l o rd e s c r i p t i o na n de x t r a c t i o nm e t h o do f c o l o rc h a r a c t e r , w h e ni tc o m e st oi m a g er e t r i e v a lb yu s i n gc o l o rc h a r a c t e r s a f t e rd i s c u s s i n ga d v a n t a g e sa n dd i s a d v a n t a g e so fs qh i s t o g r a mg e n e r a t i o nm e t h o da n dv qh i s t o g r a mg e n e r a t i o nm e t h o di nh s vs p a c e ，t h i st h e s i sp u t sf o r w a r da ni m p r o v e dv qh i s t o g r a mg e n e r a t i o nm e t h o d ，w h i c hi sak i n do fv e c t o rq u a n t i f i c a t i o nh i s t o g r a mg e n e r a t i o nm e t h o db a s e do ng a u s s i a nm i x t u r em o d e l ，a n dm a k e sc o m p a r i s o n sa b o u tt h ep e r f o r m a n c e sa m o n gs q ，v qa n dv qm e t h o d sw h e nt h e ya l eu s e dt or e t r i e v ei m a g e a tl a s t ，i nt h er e t r i e v i n gp r o c e s s ，w ea p p l yd i f f e r e n th i s t o g r a md i s t a n c e ，e u c l i d e a nd i s t a n c e 、i n t e r s e c t i o nd i s t a n c e 、q u a d r a t i cd i s t a n c et ot h e s eg e n e r a t i o nm e t h o d s 。t op r o v et h ee f f e c to f t h em e t h o d ，t h i st h e s i sf i r s t l ys e t su pad e m o n s t r a t es y s t e m ，t h e ng e n e r a t e sh i s t o g r a m so fe a c hi m a g ei nt h ed a t a b a s eu s i n gs q 、v q 、g m v qm e t h o d sr e s p e c t i v e l y , a n dm a k e st h ei m a g er e t r i e v a lb yu s i n gt h eh i s t o g r a m sa si m a g ec h a r a c t e r s m e a n w h i l e ，d u r i n gt h er e t r i e v a lp r o c e s s ，i tr i s e sd i f f e r e n tm a t c h i n ga l g o r i t h mb a s e do nt h es i m i l a r i t yo ft h eh i s t o g r a m f i n a l l y , t h i st h e s i sh a sac o m p u t i n ga n da n a l y s i so nt h er e c a l la n dp r e c i s i o no ft h er e t r i e v a lm e t h o db a s e do ng m v qa n dm a k e sac o m p a r i s o nb e t w e e nt h eh i s t o g r a m sg e n e r a t e df r o ms q 、v qm e t h o d s e x p e r i m e n t sp r o v et h em e t h o dp u tf o r w a r di nt h i st h e s i si sb e r e rt h a nt h eo t h e rm e t h o d sa st ot h er e t r i e v i n gp e r f o r m a n c e k e y w o r d s ：c b i r ( c o n t e n tb a s e di m a g er e t r i e v a l ) ，g a u s s i a nm i x t u r em o d e l ，s c a l a rq u a n t i f i c a t i o n ，v e c t o rq u a n t i f i c a t i o n独创声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含未获得l 洼! 坌旦遣直墓丝益墨挂型虚塑的：奎拦互窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：悠歪和签字只期：y 净，月护开学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：赵也卅导师签字：签字日期：伊呷年，月j 口日签字日期：钞叼年厂月j 口日学位论文作者毕业后去向：工作单位：通讯地址：电话：邮编：一种碡十高斯混台模型的幽像拎索方 上1 绪论1 1c b i r 的基本内容1 、c b i r 的产生背景随着计算机和网络技术的迅速发展，特别是2 0 世纪9 0 年代以来因特网的普及，计算机逐渐成为了平民消费和生活的必需。与此同时，网络的宽带和网络上的信息量也飞速增长，因特网成为了名副其实的海量信息库。在同益丰富多彩的媒体信息给用户带来极大方便的同时，用户也同益面临着如何从海量信息中快速找到自己所需信息的问题。急剧增多的信息使得检索变得非常困难。众所周知，如果要对数据库中的多媒体数据进行检索和查询，早期的方法是利用文本将图像、视频、声音等其他非格式化的多媒体数据进行标识，检索时以文本为基础进行。对图像数据库而言，即通过人对图像的观察理解，对数据库中的每一幅图像建立关键字注释等文本描述信息作为图像的索引。这样处理之后，图像的检索变成了对关键字的查找，只需采用传统的数据库技术就可实现。但是，由于目前图像库的容量越来越大，图像中包含的信息和内涵越来越丰富，许多情况下仅用几个关键字难以对其充分描述；此外，作为关键字的图像特征的选取具有很大的主观性，而且费时费力。因此，这种传统的基于文本关键字的方法逐渐显得力不从心，难以胜任。为了克服传统检索方法的局限性，9 0 年代初基于内容的图像检索( c o n t e n tb a s e di m a g er e t r i e v a l ，c b i r ) 技术便应运而生，很快成为国际上众多公司、大学和研究机构的研究热点，在删w 、图像数据库和医学等应用上得到研究和发展。它区别于传统的检索方法，融合了图像理解技术，从而可以提供一种从大容量的图像视频库中，根据人们提出的要求进行有效检索的方法。总之，c b 取技术是随着大量多媒体信息的出现而产生的，是解决多媒体信息检索的有效途径，它有着广阔的应用前景。2 、c b i r 的定义基于内容的图像检索技术，是指从图像库中查找含有特定物体的图像( 也包括从连续的视频图像中检索含有特定物体的视频片段) ，其主要思想是根掘图像所包含的物理特征( 如颜色、形状、纹理等) 和语义等信息，建立图像的特征矢量作为索引，从而实现检索。基于内容的图像检索技术把计算机视觉( c o m p u t e rv i s i o n ) 、图像处理( i m a g ep r o c e s s i n g ) 、图像识别( i m a g er e c o g n i t i o n ) 和图像数据一种壮十商斯混台模型的幽像榆裳方i 土库技术( i m a g ed a t a b a s e ) 等几个领域的研究成果结合起来，充分体现了图像的信息特点，又充分结合了传统数据库技术，是一项在理论研究和实际应用中都极有前途的新技术，成为当今的研究热点。3 、c b i r 系统的特点基于内容的图像检索，属于一种语义检索，它根据图像对象的语义进行检索。具有如下特点：( 1 ) 从图像内容中由计算机自动提取视觉特征，并根据这些特征从图像数据库中查找、检索出具有相似特征的图像数据。基于内容的图像检索突破了传统的基于文本检索的局限，它直接对图像进行分析，抽取特征，利用这些内容特征建立索引进行检索。( 2 ) 基于内容的图像检索是种近似匹配。在检索的过程中，它采用近似性匹配方法逐步求精来获得查询的结果。即查询是一个迭代过程，不断减少查询结果的范围，直到定位到目标。这一点与常规数据库检索的精确匹配方法有明显不同。( 3 ) 直观的可视化查询方式，交互性强。基于内容的图像检索通常采用范例检索方式。当用户不清楚检索提问要求，或不熟悉信息结构类型时，可通过浏览选择例子或绘制草图，作为查询条件，并可以通过浏览结果来判断查询结果的好坏，从而做必要的修改，然后再次与系统交互，直至得到满意的结果。1 2c b i r 的意义及应用领域随着信息化社会的到来及信息高速公路计划的实施，人们接触到大量的图像。高科技的发展以及大容量存储器和数字化图像设备，诸如扫描仪、数码相机等技术的发展和普及应用，卫星、医疗、安全等部门每天都有大量的图像信息在不断地产生，图像数据呈现级数的增长。如何有效组织、快速检索这些信息，就成为一个迫切需要解决的问题。在一个含有数百万幅图像的数据库中，靠人工来查找某一幅图像或具有某个特征的一个图像集合，那是无法想象的事情，而这样的需求在许多领域里都会经常遇到，例如：每天人们熟知的天气预报离不丌卫星云图的帮助：公安系统的侦察破案，需要大量的罪犯图像信息作为辅助；战场信息的可视化，离不开图像信息的分析与重构；当前网上时兴的电子购物，也多半以图像的形式向用户展示商品；一种幕十扇撕混台模型的幽像榆索方法医学c t ，x 射线检索系统的数据库中相关的c t ，x 射线照片，可以为医生提供重要的参考；数码科技使得普通家庭也会产生成千上万的图像：商标管理系统、邮票管理系统含有巨大的图像数据库：此外，地球资源观察系统、宇宙探测、交通检测等领域，每天都有数量极其巨大的图像信息在不断地产生和使用。在以上这些方面，基于内容的图像检索将会发挥极其重要的作用。1 3c b i r 系统的研究现状从9 0 年代中期开始，c b i r 渐成为活跃的研究领域。每年都有相关的国际会议召开，各种国际一流的学术杂志均以此为主题，出版论文专辑；到目前为止，已经成功建立了c b i r 系统的通用框架，并且，按照这一框架，通过采用各有千秋的c b i r 检索技术，已有不少性能各异的c b i r 研究原型系统和商业应用系统面世。其中，比较有代表性的c b i r 系统主要有：1 、q b i c t l 】f 2 】q b i c 是由i b m 公司推出的、最早的c b i r 系统。其采用的系统框架和技术对后来基于内容的图像检索系统的发展具有深远的影响。q b i c 支持基于样图的查询，草图的查询和用户选择颜色和纹理的模式的查询。颜色特征使用1 ( - - 6 4 的平均颜色直方图特征：纹理特征是t a m u r a 纹理表示的一种改进，综合了粗糙度、对比度和方向性的特征；形状特征包括面积、圆形度、离心率、主轴方向和一系列代数不变矩( 1 n v a r i a n tm o m e n t ) 。q b i c 是少数考虑了高维特征索引的系统之一，其索引模块先使用k l 变换降低特征维数，再用r 一树构造多维索引结构。q b i c 还将基于关键词的检索和图像内容检索结合在一起。q b i c 的演示系统在h t t p ：w w w q b i c a l m a d e n i b m e o m 。2 、v i r a g e t 3 1v i r a g e 是由v i r a g e 公司丌发的基于内容的图像检索引擎。支持基于颜色、颜色布局、纹理和形状的可视化样图查询。v i r a g e 进一步支持上述四种查询的任意组合，用户可以根据需要调整各个特征的权值。最近，v i r a g e 丌始研究在一些专业领域的应用，如脸部检索及癌细胞检测等。此外，g u p t a 还提出了一种查询语言。v i r a g e 的演示系统在h t t p ：w w w v i r a g e e o m c g i - b i n q u e r y - e 3 、v i s u a l s e e k 和w e b s e e k一种堆于岛斯混仑模型的幽像榆索方法v i s u a l s e e k 是由美国哥伦比亚大学丌发的视觉特征引擎，其姊妹系统w e b s e e k 是基于互联网的文本图像搜索引擎。主要研究图像中区域的空间关系特征和基于压缩域的视觉特征提取。它使用颜色集和由小波分析提取的纹理特征。为加快检索速度，他们提出了二进制树( b i n a r yt r e e ) 的索引算法。使用w e b s p i d e r 技术从互联网上收集图像和视频信息，按主题分类和索引以供浏览和检索。演示系统在h t t p ：w w w e e e o l u m n b i a e d u - - s f c h a n g d e m o sh t m l 。4 、p h o t o b o o k 4 1由m i t 媒体实验室开发的用于交互式浏览和搜索图像库的工具。其检索使用形状、纹理和面部外形三种特征，同时还能结合文本关键字进行查询。在p h o t o b o o k 的最近的扩展版本f o u r e y e s 中，考虑到没有一个单独的特征可以很好地表示一组任意的图像集，提出了一个基于统计学习的“模型团体”( s o c i e t y o fm o d e l s ) 的概念，提供了基于用户提供的图像进行特征的交互性学习的方法。试验表明该方法对图像的交互式标注非常有效。除了以上介绍的c b 墩系统外，比较成功的类似系统还有：e x c a l i b u r 公司_ 丌发的r e t r i e v a l w a r e 图像检索引擎，u c s b a l e x a n d r i ad i g i t a ll i b r a r y ( a d l ) 的n e t r a原型系统、u cb e r k l e y 大学的c h a b o t 系统，伊利诺斯大学开发的m a r s( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 等。另外，国内一些院校也己开始了对c b i r 技术的深入研究。浙江大学从1 9 9 5 年开始进行多媒体图像检索的研究，开发了基于图像颜色的检索系统p h o t o n a v i g a t o r ，并将基于颜色的c b i r 技术较为成功地应用于敦煌壁画数据库的研究和开发【5 】。另外，国防科技大学等高校也对c b i r 领域进行了多年的深入研究。1 4 本文的主要工作本文的主要工作在于对基于内容的图像检索技术，重点是对基于颜色的检索技术进行较为深入的研究和探讨，并介绍作者在基于颜色检索技术的实际应用中采用的具体方法和改进手段。本文的主要研究工作和篇章结构概括如下：第一章首先介绍了c b i r 这一新兴技术的产生背景，并对其定义及特点、应用领域和研究现状进行了简要的综述。第二章介绍了c b i r 系统的系统框架，并详细介绍了颜色，形状和纹理三种特征抽取技术，以及图像检索的分类，语义特征，相关反馈，性能评价等内容。第三章针对c b i r 系统中应用最为广泛的颜色特征，首先介绍了两种常用的颜色空间模型；在此基础上重点对颜色特征提取技术进行了研究；另外还对4一种堆十商斯混台模型的幽像检索方法c b i r 中常用的颜色的量化方法及常用的颜色相似性度量方法进行了比较和介绍。第四章针对基于颜色的图像检索算法，讨论了在h s v 颜色空问s q 与v q 直方图生成方法，提出了一种改进的v q 直方图生成方法基于高斯混合模型的矢量量化的直方图生成方法，并分别把这三种方法生成的直方图作为图像特征来进行图像检索，并对检索性能作了比较；最后在检索过程中对这三种方法使用不同的直方图距离测度，将检索结果也作了比较。第五章对本文工作进行了总结，并讨论了c b i r 未来的研究方向。一种攮十南斯混台模型的幽像榆索方法2 基于内容的图像检索技术概述2 1c b i r 的系统结构一般来说。c b i r 系统分为计算机视觉的技术和数据库管理技术两个部分，系统可由5 个子系统构成，包括图像数据的存储，特征提取，相似性度量，高维特征索引过滤技术，用户查询和浏览接口。图2 - 1 是c b i r 系统构成的基本框图。图2 - 1 基丁内容图像检索的体系结构( 1 ) 特征的提取由特征的提取与插入模块来组成。特征提取是对图像数据特征进行分析，提取我们感兴趣的、能够反应图像内容的、适合于检索要求的特征。特征提取可以是全局性的也可以是局部的。即可以是整幅图像，也可以针对图像中某个具有代表性的目标。二者皆有优缺点：全局的特征所包含信息丰富，但数据量大且包含大量的背景干扰信息。局部特征数据量少且可尽可能的避免背景的干扰，但有可能丢失目标信息；特征插入子模块是将从图像中抽取最主要的一些特征( 如颜色直方图的统计、轮廓形状、纹理特征等) 作为记录插入特征数掘库。( 2 ) 数据库模块数据库模块由图像库、特征库来组成。图像库包含各类图像( 静态和动态)数据；特征库包含预处理过程中由图像中自动提取的内容特征或用户输入的特征。6一种幕十廓斯混合模型的幽像榆索方法( 3 ) 查询模块查询模块由查询接口、检索引擎等组成。其中，查询接口是每一个检索系统为用户提供的一个友好的交互界面。由于基于内容的检索，其特征不具有直观性，因此，必须为用户提供一个可以交互输入用于匹配的特征或查询参考图像，并能将检索的结果直观的返回的交互界面：检索引擎是用于计算特征之问的相似度的模块。基于内容的检索利用图像特征之间的相似性进行匹配，模仿人类的认知过程，近似得到数据库中的认知排队。所以，图像特征间相似度测算在基于内容的图像检索中有着重要的意义。( 4 ) 知识模块在实际应用中，基于内容的图像信息检索大多是针对某些特定领域的，只有在一定领域知识指导下才能取得较好的效果。在基于内容的图像检索体系的知识模块的主要作用是辅助指导完成以下功能：( 1 ) 将整个问题的目标分割成一系列子目标，每个于目标是个独立的逻辑单元。( 2 ) 将各子且标进一步分解成对应一组基本检索方法和算法的步骤这些步骤对应软件包的子程序。( 3 ) 检索不成功的容错处理。( 4 ) 表达和使用与领域无关的图像处理知识，如基于识别的分割( 5 )通过与模型的匹配识别目标。( 6 ) 对相似的问题采取相近的解决方法。2 2 特征提取目前，大量的c b i r 研究集中在特征抽取上，力求抽取出与人类观察最相近的特征。在c b i r 中比较通用、有效的特征主要有图像的颜色、纹理、形状特征等。由于不同的人对同一特征有着不同的主观感受能力，再加之特征表示技术尚未成熟，因此，对同一种特征会有多种不同的表示方法。2 2 1 颜色特征人类在对环境和物体的感知中，颜色往往起着十分重要的作用。在许多情况下( 特别是对于自然景物来说) ，颜色是描述一幅图像的最简便而有效的特征。与其他底层特征相比，颜色特征对于图像缩放，旋转，遮挡及其他形变有着更强的鲁棒性。颜色特征所具有的优点，使其成为基于内容的图像检索采用的最广泛的底层特征。基于颜色的图像检索技术是根据图像中组成目标对象的颜色特征信息进行检索，是基于内容的图像检索技术中最基本的方法。颜色直方图( c o l o rh i s t o g r a m )是最通常的颜色特征表示方法。其中涉及到颜色空问的选择、颜色直方图距离的一种螭十商斯混合模型的幽像榆索方 左度量、颜色制的相似性及背景颜色影响的处理等关键问题。从概率的角度来讲，颜色直方图反映的是彩色空间中三个颜色通道强度的联合概率。除了颜色直方图之外，常用的颜色特征表示还有颜色矩( c o l o r m o m e n t s ) 、颜色集( c o l o rs e t s ) ，颜色聚合矢量，颜色相关图等。2 2 2 形状特征形状特征对于人来说是识别物体的主要信息，是一种重要的图像内容表达手段。基于形状的图像检索技术是根据图像中组成目标对象的形状特征进行检索，所采用的形状特征量主要有：圆形度、狭长度、惯性主轴方向、二阶矩常量、多边形的顶点数及凹点数、内角平均值、内角标准方差等。该技术涉及边缘检测、形状识别、特征量的计算及匹配算法等关键问题。通常形状特征表示可分为两类：基于边界的和基于区域的表示。边界特征包括：线性形状，多边形逼近，有限元模型和傅立叶描绘子等，从中可以总结出许多有用的特征，如：边界的周长、面积以及区域的几何中心等：区域特征主要有矩不变量等。主要方法是求取区域的与变换无关的各阶统计矩。在进行基于内容的查询时，可以由用户选择某一种形状或者勾勒一幅草图( s k e t c h ) ，然后利用其形状特征进行匹配检索。对于基于形状的检索来说，形状的表示和匹配无疑是需要解决的重要问题。传统的计算机视觉中，曾先后用f r e e m a n 链码、曲线、f o u r i e r 描述子、二次曲线及b 样条曲线等来描述平面曲线。其后的研究成果包括：t e b o u l t 和a d g r o s s 采用超二次曲线来表示形状。g c c h u a n g 和c - j k u o 给出了形状的小波描述逼近。在复杂形状( 不连通) 的表示方面，s s w a n g 和p c c h e n 等提出了f o u r i e r 描述子方法，并将其用于汉字识别。d k e r e n 和d c o o p e r 等采用隐式多项式的表示方法，并对其表示能力进行了分析。对于形状匹配来说，h o u g h 变换是最经典的方法，而且对于噪声和遮挡具有良好的抗干扰性。但h o u g h 变换仅能解决形状的平移、旋转和缩放所带来的匹配问题，而对实际应用中广泛的变形匹配问题无能为力。针对由关节点联结起来的活动物体( 如剪刀) ，m e h r o t r a 等提出了f i b s s r ( f e a t u r ei n d e x b a s e ds i m i l a r - s h a p er e t r i e v a l ) ，用于此类物体的匹配。一种是十岛斯混合模型的幽像榆索方法对于更广泛的变形形状的匹配问题，则需要与变形模型的研究相结合。根据模型的不同特性，可将常见的变形模型分为两类：自由变形模型和参数变形模型。对于自由变形模型来说，模板没有全局的结构约束，而仅受局部的连续性和光滑性的约束。通过对图像中的显著特征如直线、边缘等建立能量函数而建立一个势场，使模板通过变形与这些特征匹配。形状特征表达的一条重要准则是要求对位移，旋转和比例的不变性，因为人类出于识别和检索的目的，总是趋向于忽略这种变化。但是因为现在计算机视觉技术的局限，我们无法将目标从背景中精确地分割出来，从而也很难让计算机来表达和理解其形状特征。这使基于形状特征地检索成为了当前c b i r 系统的一大障碍。2 2 3 纹理特征纹理也是图像的一个重要属性。一般地说，纹理就是指在图像中反复出现的局部模式和它们的排列规则，是图像像素灰度级或颜色的某种规律性的变化，这种变化是空间统计相关的。纹理是所有的表面，包括云彩、树木、砖块和头发等等所具有的内在特性，包含了关于表面的结构安排以及周围环境的关系。纹理特征由两个要素构成：( 1 ) 纹理基元；( 2 ) 基元的排列。纹理基元是一种或多种图像基元的组合，有一定的形状和大小。纹理是由纹理基元排列而成的。基元排列的疏密程度，周期性，方向性的不同，能使图像的外观产生极大的改变。因此，纹理分析应包括两方面的内容：检测出纹理基元和获得有关纹理基元排列分布方式的信息。如果在不知道纹理基元或尚未检测出基元的情况下进行纹理分析，那么只能从最小基元象素开始建立纹理特征的模型，这种方式称为纹理的模型分析。在已知基元的情况下进行的纹理分析称为纹理的结构分析。对应于上述两种纹理分析方式，纹理分析方法大致上可分为统计方法和结构方法：统计分析根据图像颜色强度的空间分布信息进行统计。用于分析像木纹，沙地，草坪那样的纹理细密而且不规则的物体。结构分析力图找出纹理基元，从基元的结构组成上探求纹理的规律。适用于像布料的印刷图案或砖花样等一类纹理基元及其排列较规则的图像。统计方法主要有空间域和频率域方法。空间域方法中，最简单的直方图统计特征法由于只能反映一维的灰度变化，9一种早十崩斯混合模型的幽像榆索方法早已不用。h a r a l i c k 和s h a n m u g a m 提出了共生矩阵法共生矩阵定义为从扶度为i 的象素点丌始离丌某个固定位置的象素点的狄度为j 的概率。从灰度共生矩阵可以分析图像的纹理。共生矩阵法算法简单，但共生矩阵通常较大，而且含有不少冗余信息。t a m u r a 等从视觉心理学角度出发，提出了新的分析方法。t a m u r a定义了粗糙度、方向、归整性等六种特征，这些特征都是相互独立而且具有可视性。与共尘矩阵相比，t a m u m 特性几乎没有冗余信息，效率相当高，因此在c b i r系统中应用较广，如i b m 的q b i c 。基于频率域的方法主要是傅立叶交换和小波分析。图像在傅立叶变换之后，其能量谱在一定程度上反映了图像的粗糙和方向性。9 0 年代以后，小波分析在纹理分析方面发展很快，出现了很多新的算法。2 3 图像检索的分类图像检索可根据检索系统提供给用户的查询方式分为1 6 ：( 1 ) 相关查询。用户没有特定目标，查询时通过浏览非限定图像源来寻找感兴趣的东西，进而查找类似图像。由于这类查询通常利用相关反馈技术来对查询结果进行优化，因此具有高度交互化的特点。( 2 ) 目标查询。即特定图像的查询，检索的目标可以是用户印象中的某一图像，也可以是具有相同目标物的其他图像，还可以是根据用户迭代指定的一组图例找出的最相似图像。( 3 ) 范畴查询。查询指定类型的任意代表图像。用户可能已有一幅或一组图像，而查询的目的就是得到别的同类图像。图像类别可根据图像标记得到也可直接来自于数据库。该类查询通常是根据相关领域指定的相似性来定义迭代优化检索结果。图像检索还可根据所利用的图像特征分为如下3 个层次1 7 1 ：第1 层次，对于图像简单特征，如颜色，纹理，形状或图像要素的空间位置的查询，由于这一层次检索使用的特征带来有主观性，可直接从图像中得到，因此不需要任何的外部知识。第2 层次，对于图像个体特征( 通常为局部特征) ，如检索某目标或者人物等的查询。由于这些特征包含对于所要识别目标某种程度上的逻辑推理，因此需要外部知识的辅助，以说明如何定义类型和目标物。第3 层次，对于图像抽象属性的查询，包括：检索有关某个事件或者某类0一种堆十高斯混合模型的幽像榆索方泣活动的图像等。如检索包含某种感情或信仰的图像等。由于抽象属性包含对于目标或者场景所代表含义，目的的描述及更高层的推理，因此通常需要通过复杂推理与主观判断束将图像内容与抽象概念联系起来。2 4 语义特征鹋1图像内容越深层的语义描述需要越深层的图像理解，虽然图像理解通常可依赖于图像景物的强分割来实现，然而，对于景物复杂( 如内容杂乱和相互遮挡)的图像，强分割通常是不可能或者很难自动实现的，由于图像本身并不能诠释图像的语义内容，如果没有外部知识的辅助，则很难确定一种结构是代表一个物体，还是仅仅代表一些在现实世界没有任何意义的偶然性组合的区域，因此，针对图像本身的景物，强分割与特征的完全描述对于取得图像相似性排序并不是完全必要的。由于基于语义的图像检索中的图像特征，目标特征以及抽象特征之间存在较大的差距，因此如何从简单的图像特征来获取高层特征，以满足基于语义的相似性要求是这个层次检索的研究重点和难点。目前基于语义的图像检索主要致力于如下两个方面的技术研究：景物分析与分类技术以及目标识别与检索技术。其中，景物分析与分类技术对基于语义的图像检索是非常重要的，因为其不仅可作为搜索时一个重要的过滤器，还可以帮助识别特殊物体。g o r k a n i 尝试利用低层次的特征来识别高层次的景物特征，以辨别城市风景和野外风景s z u m m e r 根据整幅图像与图像子块中的颜色，纹理与领域信息，将照片分为室内和室外两类，并利用位鹭和空间特征来提高分类的准确度【o 】：v a i l a y a 则首先利用二值b a y e s i a n 分类器来从底层特征中获取高层语义，然后构造出照片的层次类别，从而实现了基于类别的照片检索t “】。目标识别和检索主要是利用数据库检索技术来识别和分类目标，其包括自动目标识别和基于用户的相关反馈学习相关语义两种技术。其中，前者是对于每类目标提出的用于识别的模板，首先通过识别出可能包含目标的区域来建立可由此确定或推断目标是否存在的规则。这其中最广为人知的是f o r s y t h 提出的用于识别图像中不被遮挡人物的技术，出于该技术可以应用到更广泛的目标中去，其中包括马和树i l2 】；n e w s a m 等利用s a g ef l o w 方法来自动分割图像，并提取出目标，从而在目标特征相似性的基础上可实现基于目标的查询【1 3 1 。最早基于用户反馈来获得相关语义，以支持基于语义的检索系统是f o u r e y e s一种毕十南斯混合按型的幽儆榆素方i 主系统i l4 】，该系统是根据用户对图像区域所加的注释，对特征相似区域作相似的语义标记，并利用更深层的用户反馈来提高系统性能；另一种方法是c h a n g 提出的视觉语义模型，该方法是通过传统方法及相关反馈技术来给出查询结果，用户满意后，再给当的查询指令一个语义标记( 如同落) ，并存储到查询数据库。这样，时间久之。查询数据库就变成一个视觉词典，它可将每个语义概念与一组最可能检索到相关元素的主要图像特征联系起来；文献提出一种基于先验知识的上下文驱动的目标理解算法来实现图像语义的提取。第3 层次语义的自动检索技术目前还非常少见，c o r r i d o n i 提出利用颜色的主观注释( 如一种颜色被认为是冷色还是暖色，两种颜色是否相协调) 来检索可以激发某种特殊情感的图像。该方法取得怎样的成效目前还难以断定【。因此，基于语义的图像检索将不可缺少人工智能，模式识别，心理学，生理学以及人的视觉感知等领域更深入的研究成果2 5 图像检索相关反馈技术目前，基于内容检索的图像数据库中存在的一个主要问题是现有的检索方法都是以计算机为中心的，使得些查询结果计算机认为是相似的，而人却认为是不相似的，其主要原因是图像的底层特征和高层语义问存在很大差距。目前的计算机视觉、人工智能发展的程度对于高层的语义概念与底层物理特征之间的映射还是很不完善的。要解决这个矛盾，一方面对上述的检索方法进行改进，尤其是底层特征的选取、表示及匹配，尽可能缩小其与高层丰富语义之间的差距；另一方面增进人机之间的交互，计算机将查询的信息反馈给人，入对查询结果的评判信息反馈给计算机，这种反馈技术使计算机能够具有一定的学习能力，从而使检索结果逐步达到用户的要求。相关反馈技术基本思路是：在检索过程中，系统根据用户对于用户提供的范例图像，系统根据范例图像与图像数据库中图像的相似距离，给出一个基于相似度的排序列表，数据库中图像和范例图像在特征空间越相似，则排序越靠前，允许用户对检索结果进行评价和标记，指出结果中那些与查询结果相关的，那些不相关的，然后将用户标记的相关信息，作为训练样本反馈给系统进行学习，指导下一轮检索，从而使得检索结果更符合用户需要。1 9 9 8 年r u iy o n g 在m a r s 系统中首次将相关反馈应用于基于内容的图像检索中，从此采用相关反馈技术进行检索的研究迅速发展起来。图像检索中的相关反馈技术大致可以分为四种类型1 1 8 ：参数调整方法；聚类分析方法：概率学习方法；神经网络方法。一种桀十矗斯混台模型的幽像榆索方i 土2 6 图像检索性能评价一般地，图像检索分为两种主要类型：图像匹配和相似性查询。设图像库有n 幅图像。对匹配问题，理想情况是正确图像是检索结果中的第一个。通常用下面的式子评价匹配效果：匹配比率：型：正塑堕堡箜垒盗n 1检索性能的评价一般采用查准率一查全率( p r e c i s i o n - - r e c a 1 ) 的相似检索评价准则，通过执行检索集合中的各个查询，就可以计算出查询的平均查准率和查全率，据此就可以给出系统的检索性能评价。查准率和查全率的定义如下：( 1 )查准率p r e c i s i o n 定义为查询结果中与例子图像相关的图像所占的百分比例，p r e c i s i o n = 1 0 0 9 6 表示查询出图像均为相关图像。检索得到的相关图像数目竹黜m 忙面磊面疆酾面甄西百( 2 )查全率r e c a l l 定义为查询结果中与例子图像相关的图像占全部相关图像的百分比。r e c a l i = 1 0 0 表示全部相关图像均被检索出来。胁a n = 笔黧瓣全部相关图像数目2 7 本章小结本章介绍了c b i r 系统的系统框架，并详细介绍了颜色，形状和纹理三种特征抽取技术，以及图像检索的分类，语义特征，相关反馈，性能评价等内吞。一种缺十痢斯混合模型的幽像榆索方 上3 基于颜色特征的图像检索技术颜色是物体表面的一种视觉特性，每种物体都有其特有的颜色特征，譬如说到绿色往往是和树木或草原相关，谈到蓝色往往是和大海或蓝天相关，同一类物体往往有着相似的色彩特征，因此我们可以根据颜色特征来区分物体。由于颜色具有与生俱来的旋转不变性( r o t a t i o n i n v a f i a n c e ) 和尺度不变性( s c a l e i n v a r i a n c e ) ，得到了研究人员的广泛关注。目前几乎所有基于内容检索的图像数据库系统都把颜色检索方法作为检索的一个重要手段，利用颜色特征进行图像检索已经成为基于内容检索技术中最重要的方法之一。利用颜色特征检索图像有三个关键技术：选取合适的颜色模型、有效的特征提取方法、准确的特征匹配算法。下面分别介绍这三个关键技术。3 1 颜色模型的选取对彩色图像检索的研究，必须在特定的颜色空自j 中进行，实际应用中常用的颜色空间很多，有r g b 、y i q 和h s v 等等【嘲。对于颜色空自j 的构造需要满足三个要求：完备性( c o m p l e t e n e s s ) ，颜色空间应能描述人能感知的所有颜色；一致性( u n i f o r m i t y ) ，即颜色在空间度量的差异和感知的差异相吻合；唯一性( u n i q u e n e s s ) ，颜色空间中颜色在感知上彼此不同。目前常用的颜色空间可分为两类，一类面向诸如彩色显示器或打印机之类的硬设备，另一类面向以彩色图像处理为目的的应用。面向硬设备的最常用的颜色空间是r g b 颜色空问，而面向彩色图像处理的最常用颜色空间是h s v 颜色空间。下面我们对这两种伽1 颜色空间分别进行讨论。3 1 1r g b 模型根掘人眼结构，所有颜色都可看作是3 个基本颜色的不同组合。利用3 基色叠加可产生光的3 补色：品红( m a g e n t a ) ，青( c y a n ) 和黄( y e l l o w ) 。按一定的比例混合3 基色或将1 个补色与相对的基色混合就可产生白色。每个象素实际上任何可能要量化的颜色都能用三维空间中的一个点来表示，如图3 - 1 中的立方体所示。三色图像的灰度级直方图是r g b 空间的1 4一种璀十扇斯混合模型的i 生l 像榆索方法点分布。在r g b 颜色空自j 的原点上，任一基色均没有亮度，即原点为黑色。三基色都达到最高亮度时表现为白色。亮度较低的等量的三种基色产生灰色的影调。所有这些点均落在彩色立方体的对角线上，该对角线被称为灰色线。彩色立方体中有三个角对应于三基色，红色、绿色和蓝色。剩下的三个角对应于二次色，黄色、青色( 蓝绿色) 和品红( 紫色) 【2 l 】。数字图像一般用r g b 颜色空i 日j 来表示。r g b 颜色空自j 便于c r t 设备显示图像，使用最广泛，但它并不是以一致的尺度表示色彩，不符合人的感知心理【2 2 】。在r g b 颜色空间中改变一个颜色时，三个通道全部需要修改；由于不是一个均匀视觉的颜色空间，r g b 颜色空自j 上的距离并不代表人眼视觉上的颜色相似性t 2 z 红( 1 0 ，3 1 2h s v 颜色模型图3 - 11 - 1 s 7 空间模型的坐标系统1 ，0 )h s v 模型( 色调h 、饱和度s 、亮度v ) 以人类对颜色的感觉为基础，用h 、s 、v 三参数描述颜色的三种基本特性。其中h 定义颜色的波长，称为色调；s表示颜色的深浅程度，称为饱和度；v 表示亮度。色调和饱和度合起来成为色度，故颜色可由色度分量和亮度分量组成。色度分量与亮度分量是可分离的，图像的彩色信息与亮度无关，只与色调和饱和度有关。这些特点使得h s v 模型非常适合于人的视觉系统对彩色感知特性进行处理分析的图像算法。1 、色调( h u e )色调是从物体反射或透过物体传播的颜色。它由角度表示，它反映了颜色最接近哪种光谱波长，即光的不同颜色，如红、蓝、绿等。通常假定0 。表示的颜色为红色，1 2 0 。的为绿色，2 4 0 。的为蓝色