（应用数学专业论文）基于非监督纹理分割下的图像检索.pdf

摘要 摘要 随着图像数掘库的广泛应用，基于图像纹理的检索已经变成了一项重 要，同时也是复杂的工作。现实世界中，纹理是一个非常普遍的现象，有许 多小同的术源：酋先，很多小的物体组成的图像t 】丁以被认为是纹理：例如， 草、树、灌木丛、小石头、和头发。其次，有很多小物体组成的有规律的形 状的物体表面，也可以认为是纹理。例如，印度豹、美洲豹身上的斑点，老 虎或斑马身上的条纹，树皮、木头和皮肤上的图案。纹理研究中有三个基本 的问题：纹理分割、纹理合成和纹理恢复。纹理分割是把图片分成不同的部 分，每个部分内有近似的纹理；纹理合成是寻找如何利用局部的图像特征来 构造大片纹理区域的方法；纹理恢复形状是利用图像纹理恢复物体表面的方 向和形状。 为了更简单、快速地搜索图像库中的图像，本文基于图像纹理的非监督 分割，提出了新的图像分类方法。通过对每一纹理图像进行这种非监督纹理 分割，提取纹理的特征向量，然后运用这些参数，根据假设检验进行纹理的 分类和融合。 图像分割就是将图像分割成若干互不交迭的区域，每一个区域都有大致 相同的像素组成。例如，这些区域可能是亮度相同或颜色相同，说明这些区 域属于同一个物体或者一个物体的同一部分，而相邻的区域之间有明显的属 性差别。分割是计算机视觉和图像分析中十分重要的组成部分，通过分割可 以区分出图像中重要的区域。在许多重要的应用中，如何定义相似性和一致 性是一个基础的问题。纹理分割就是确认图像中相同的纹理区域，目前有很 多纹理分析的方法。如果已知一组纹理，图像的分割和检索就能够看作是一 种监督分类的工作，在模式识别和概率统计中有许多方法进行这种检验。图 草干非舱督纹理分剖下的图像榆索 像分割方法主要分为基于简单的统计模型获得的概率密度函数、基于图像的 狄度和纹理的度量等，可以通过局部的统计模型和边缘信息来从背景中分割 和区分重要的区域。分割方法有许多种，在相应的文献中部有介绍 砌。对 已有的方法进行比较表明，运用参数的最大似然估计或最大后验估计的近似 方法是一种较好的方法，但是其中计算分类标记区域的最大后验概率将是一 个 常复杂的问题。基 相似纹王甲的图像检索和 i 监督纹理分割之川存在着 紧密的关系。图像检索要求在数据库中搜集与所给检索图像最相近的一些图 像；分割是为了给出的图像分割成最大的相同区域。因为同一性可以定义为 同一个区域中局部纹理相似度量的平均，因此这些工作与相似度量的关系十 分紧密。 本文提出了一个非监督纹理分割方法，它不仅可以识别复杂的图像，并 能描述区域内容的变化。这种方法可以认为是将分割和类别参数估计同时进 行，其中最优的分类参数是由最小二乘法计算出。将分割和类别参数看成随 机变量，并对它们同时进行估计，可以同步地估计出来它们的最大后验概 率。在这个框架中，我们先将纹理图像进行分类，一般分为二类，给每一类 注上标记，然后提取每一类的纹理特征，经过必要的特征选择，在这些的特 征数据之上，通过假设检验进行分类和纹理区域融合，最终达到较好的分 割。 最后通过对m tv i s t e x 和b r o d a t z 数据库中选取的纹理图像进行分类测 试，结果表明本文所提出的方法是十分有效的。 关键词：非监督纹理分割；特征参数；图像检索；多重滤波器。 a b s t r a c t 。_ 。- 。_ _ - - _ 。_ _ _ _ _ _ - 。- _ _ - _ 。_ _ _ _ 。_ 。- - - 。_ _ 。- 。一 a b s t r a c t t e x t u r ei m a g eq u e r yi sb e c o m i n ga ni m p o r t a n ta n dc o m p l e xt a s k t e x t u r ei s ap h e n o m e n o nt h a ti s w i d e s p r e a d ；t e x t u r ea r i s e sf r o man u m b e ro fd i f f e r e n t s o u r c e s f l r s t l ) ，v i e w so fl a r g en u m b e r so fs m a l lo b j e c t sa r eo f t e nb e s tt h o u g h to f a s ；t e x t u r e s e x a m p l e si n c l u d eg r a s s ，f o l i a g e ，b r u s h ，p e b b l e sa n dh a i r s e c o n d l y , m a n ys u r f a c e sa r em a r k e dw i t ho r d e r l yp a t t e r n st h a tl o o kl i k el a r g en u m b e r so f s m a l lo b j e c t s e x a m p l e si n c l u d e ：t h es p o t so fa n i m a l sl i k el e o p a r d so rc h e e t a h s ； t h es t r i p e so fa n i m a l sl i k et i g e r so rz e b r a s ；t h ep a t t e r n so nb a r k ，w o o da n d s k i n t h e r ea r et h r e es t a n d a r dp r o b l e m st od ow i t ht e x t u r e ：t e x t u r es e g m e n t a t i o ni st h e p r o b l e mo fb r e a k i n ga ni m a g ei n t oc o m p o n e n t sw i t h i nw h i c ht h et e x t u r ei s c o n s t a n t t e x t u r es y n t h e s i ss e e k st oc o n s t r u c tl a r g er e g i o no ft e x t u r ef r o ms m a l l e x a m p l ei m a g e s s h a p ef r o mt e x t u r ei n v o l v e sr e c o v e r i n gs u r f a c eo r i e n t a t i o no r s u r f a c es h a p ef r o mi m a g et e x t u r e i nt h i sp a p e r ，an o v e lu n s u p e r v i s e ds e g m e n t a t i o nf o rt e x t u r ei m a g e q u e r i e s i sp r e s e n t e d t h ep r o p o s e df r a m e w o r kc o n s i s t so fa nu n s u p e r v i s e ds e g m e n t a t i o n m e t h o df o rt e x t u r ei m a g e s ，a n da nm u l t i f i l t e r q u e r ys t r a t e g y b ya p p l y i n gt h e u n s u p e r v i s e dt e x t u r es e g m e n t a t i o nm e t h o do ne a c ht e x t u r ei m a g e ，as e to f t e x t u r ef e a t u r ep a r a m e t e rf o rt h a tt e x t u r ei m a g ec a l lb ee x t r a c t e da u t o m a t i c a l l y b a s e du po nt h e s ep a r a m e t e r ，a l le f f e c t i v em u l t i f i l t e rq u e r y s t r a t e g yw h i c h a l l o w st h eu s e rt oi s s u et e x t u r e - b a s e di m a g eq u e r i e si sd e v e l o p e d s e g m e n t a t i o ni sa ni m p o r t a n tp a r to ft h ec o m p u t e rv i s i o na n di m a g ea n a l y s i s ， w h e r e i nr e g i o n so fi n t e r e s ta r ei d e n t i f i e da n de x t r a c t e df o rf u t u r ep r o c e s s i n g t h e d e f i n i t i o no fs u i t a b l es i m i l a r i t ya n dh o m o g e n e i t ym e a s u r ei saf u n d a m e n t a lt a s k 摹十l r l a 督纹理分割下的幽像柃索 i nm a n yi m p o r t a n ta p p l i c a t i o n s ，r a n g i n gf r o mr e m o t es e n s i n gt os i m i l a r i t y b a s e d r e t r i e v a li nl a r g ei m a g ed a t a b a s e ss u c ha st h eq u e r yb yi m a g ec o n t e n t ( q b i c ) s y s t e m t e x t u r es e g m e n t a t i o ni n v o l v e st h ei d e n t i f i c a t i o no fu n i f o r mt e x t u r e d r e g i o n s i n a l l i m a g e m a n yt e c h n i q u e sh a v e b e e nu s e d f o r t h e a n a l y s i s t e x t u r e w i t ht h er e s t r i c t i o nt oas e to fk n o w nt e x t u r e s r e t r i e v a la n d s e g m e n t a t i o np r o b l e m sa r ee s s e n t i a l l ) r e d u c e dt oas u p e r v i s e dc l a s s i f i c a t i o nt a s k ， w h i c hi sa m e n a b l ef o rs t a n d a r dt e c h n i q u e sf r o mp a t t e r nr e c o g n i t i o na n ds t a t i s t i c s t e c h n i q u e su s e df o ri m a g es e g m e n t a t i o ni n c l u d es i m p l es t a t i s t i c a lm o d e l st o o b t a i ne s t i m a t e so rp r o b a b i l i t yd e n s i t yf u n c t i o n s ，a n di n t e n s i t ya n dt e x t u r e m e a s u r e s l o c a ls t a t i s t i c sa n de d g ei n f o r m a t i o nh a v ea l s ob e e nu s e dt os e g m e n t a n dd i s t i n g u i s hr e g i o n so fi n t e r e s tf r o mt h eb a c k g r o u n d s e g m e n t a t i o nt e c h n i q u e s c a l lb eg r o u p e du n d e rs p l i ta n dm e r g e sm e t h o d s ，r e g i o n g r o w i n gm e t h o d s ，a n d s t o c h a s t i cm o d e lb a s e dm e t h o d s t h em a i na p p r o a c ht a k e ni nm o s to ft h e e m e r g i n gt e c h n i q u e si n c l u d e st h es t e p t oc h o o s eas t r a t e g yt oe s t i m a t et h e p a r a m e t e r so fd i s t r i b u t i o n s ，w h i c hi si n v a r i a b l yt ob et h em a x i m u ml i k e l i h o o d e s t i m a t i o no rm a x i m u map o s t e r i o r ie s t i m a t i o n h o w e v e r , c o m p u t i n gt h ee x a c t m p ae s t i m a t eo ft h ec l a s sl a b e lf i e l di sc o n s i d e r e dah a r dp r o b l e m a l s o ，n o m e t h o d si nt h el i t e r a t u r ec a nc o m p u t et h em a pe s t i m a t e so ft h ec l a s sp a r a m e t e r s a sw e l la st h ep i x e ll a b e l s s i m u l t a n e o u s l y t h e r ee x i s t sat i g h tr e l a t i o n s h i p b e t w e e ns i m i l a r i t y b a s e dt e x t u r e i m a g e r e t r i e v a la n du n s u p e r v i s e dt e x t u r e s e g m e n t a t i o n i m a g er e t r i e v a lo f t e nr e q u i r e st os e l e c tt h o s ei m a g e si nad a t a b a s e w h i c ha r em o s ts i m i l a rt oag i v e n q u e r yi m a g e ，w h i l et h eg o a lo fs e g m e n t a t i o ni s t op a r t i t i o nag i v e ni m a g ei n t om a x i m a l l yh o m o g e n e o u s r e g i o n s t h ep r o p o s e dm e t h o dc o n s i d e r st h ep r o b l e mo fs e g m e n t a t i o na saj o i n t e s t i m a t i o no ft h ep a r t i t i o na n dc l a s sp a r a m e t e r s t h i sc l a s sp a r a m e t e r i z a t i o n a b s t r a c t e n a b l e su st oc o m p u t et h eo p t i m a lp a r a m e t e r su s i n gas i m p l el e a s ts q u a r e s t e c h n i q u e ，a n dt h ec l a s sd e s c r i p t i o n sa r ea m e n a b l et o d i r e c te s t i m a t i o no ft h e i r p a r a m e t e r sw i t h o u tr e s o r t i n gt oe x p e n s i v en u m e r i c a lo p t i m i z a t i o np r o c e d u r e s b y c o n s i d e r i n gb o t ht h ep a r t i t i o na n dt h ec l a s sp a r a m e t e r sa sm n d o m v a r i a b l e sa n d e s t i m a t i n gt h e mj o i n t l y , t h e i rm a p e s t i m a t e sa r ec o m p u t e ds i m u l t a n e o u s l y i no u r f r a m e w o r k ，w ef i r s ts e g m e me a c ho ft h et e x t u r ei m a g e si n t oc l a s s e s ( u s u a l l y2 c l a s s e s ) ，a n de x t r a c tt e x t u r ef e a t u r e so fe a c hc l a s s ，s i m u l t a n e o u s l yb yg e n e r a t i n g t h ec l a s sp a r a m e t e r sd u r i n gt h ep r o c e s so fs e g m e n t a t i o n b a s e do nt h ed a t a b a s e s o ft h et e x t u r ef e a t u r e s ，am u l t i f i l t e rq u e r ym e c h a n i s mi sd e v e l o p e dt of i l t e ro u r m o s to ft h eb i a s e dt e x t u r ei m a g e st h a ta r ef a rd i f f e r e n tf r o mt h ee x a m p l eq u e r y t e x t u r ei m a g ea tt h ev e r yb e g i n n i n go fq u e r y , w h i c hc a l lg r e a t l yr e d u c et h e o v e r h e a d a tt h el a s tt h et e s tr e s u l t so ft h ep r o p o s e df r a m e w o r ko nt e x t u r ei m a g e o b t a i n e df r o mt h em tv i s t e xa n db r o d a t zd a t a b a s ea r ep r e s e n tt os h o wi t s e f f e c t i v e n e s s k e y w o r d su n s u p e r v i s e dt e x t u r es e g m e n t a t i o n ；f e a t u r ep a r a m e t e r ；i m a g e q u e r y ；m u l t i f i l t e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获烈药轺7 ：旁或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：秘辛) 音 签字日期： 硼6 年岁月日 学位论文版权使用授权书 本学位论文作者完全了解喀j 貉，：否有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阕。本人授权喀磕取荔可以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：舾荆去 导师签名：响。碴振 签字日期：1 呻6 年占月，日 签字日期：矽o6 年厂月“日 学位论文作者毕业去向： 工作单位：电话： 通讯地址：邮编： 第一帝引言 第一章引言 1 1 图像检索的起源和发展 随着计算机数据处理能力的提高和多媒体编码技术的进步，网络上的各 炎资源f 1 益# 富，尤其是人们对直脱形象的多媒体信息的古咏，使得敛# 化 图像作为多媒体信息的一个重要组成部分，因其生动形象、易于理解的 表现形式，成为在商业、教育、科技等多方面广泛应用的媒体形式之一；无 论是对于专业的设计者，还是一般的普通网友，挖掘网络素材，查找和利用 网络上的图像都成为一种必需。由此，在网络环境下实现对图像的快速查找 变得必要且迫切。 当我们的数字图像数量很多时，达到上千张、甚至上百万张，如何 快速有效地找到需要的数字图像是一项有挑战性的工作。那么，如何利 用计算机辅助检索图像呢? 与文本检索不同，图像与图像之日j 的比较是 一个复杂的问题。 目前，已经有不少的搜索引擎提供网络图像的检索服务，如g o o g l e 、 d i t t o 、p i c s e a r c h 、i x q u i c k 、m a m m a 、百度等。2 0 世纪7 0 年代，就开始进 行图像检索的研究，当时主要是基于文本的图像检索技术( t e x t - b a s e d i m a g er e t r i e v a l ，简称t b i r ) ，利用文本描述的方式描述图像的特征，如绘 画作品的作者、年代、流派、尺寸等。到上个世纪9 0 年代以后，出现了对 图像的内容，如图像的颜色、纹理、布局等进行分析和检索的图像检索技 术，即基于内容的图像检索( c o n t e n t - b a s e di m a g er e t r i e v a l ，简称c b i r ) 技术。c b i r 属于基于内容检索( c o n t e n t - b a s e dr e t r i e v a l ，简称c b r ) 的一 种，c b r 中还包括对动态视频、音频等其它形式多媒体信息的检索技术。 在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要 幕于非监督纹理分割下的图像榆索 包括三方面：一方面对用户需求的分析和转化，形成可以检索索引数据库的 提问：另一方面，收集和加工图像资源，提取特征，分析并进行标引，建立 图像的索引数据库；最后一方面足根扼相似度算法，计算用户提问与索引敛 据库中记录的相似度大小，提取出在一定阂值内满足的记录作为结果，按照 相似度降序的方式输出。为了进一步提高检索的准确性，许多系统结合相关 反馈技术束收集用户对检索结果的反馈信息，这位c b i r 中显得更为突出， 因为c b i r 实现的是逐步求精的图像检索过程，在同一次检索过程中需要不 断地与用户进行交互。由此可见，图像检索的目的就是为了解决图像数据库 与用户需求的匹配和选择问题，网络环境下的图像检索更是如此。 1 2 本文的内容介绍及构成 随着计算机及网络技术的发展，图像的检索变成越来越重要，成为人 们获取信息的重要手段。基于内容的检索技术也得到了深入的发展，建立在 图像分割基础上的检索技术研究成为了重要的研究领域。 在本文我们提出的图像检索首先就要把图像进行分割，图像的分割就是 将图像划分成若干不同的区域，其中的每一个区域具有相同的属性，而相邻 的区域之间有明显的属性差异。在计算机视觉和数字图像处理中分割是十分 重要的内容，通过分割可以区分出图像中重要的区域，进而可以用来检索相 似的图像。纹理分割就是用来划分图像中相同的纹理区域，目前有很多方法 用于纹理分析。在已知一组纹理的条件下，图像的分割和检索就能够简化为 一种监督分类的工作，模式识别和统计中有许多方法进行这种检验。图像分 割方法主要有基于简单的统计模型获得的概率密度函数、基于图像的灰度和 纹理的度量等，可以通过局部的统计模型和边缘信息来从背景中分割和区分 出重要的区域，然后基于这些重要的图像区域进行检索，这有利于提高检索 的速度和准确率。一般有分裂、融合算法，区域增长算法和基于随机模型算 2 第一章引言 法等很多种分割方法，采取何种分割算法是很值得探讨的问题。在已用的 方法中，最主要的方法是运用参数的最大似然估计或最大后验估计，但是计 算分类标记区域的最大后验慨韦足一个非常 j 难的j u j 题。 基于相似纹理的图像检索和非监督纹理分割之b j 有着紧密的联系。图像 检索要求在数据库中搜集与所给检索图像相近的一些图像，而非监督纹理分 割足将给出的图像分割成最大的相同区域。 本文是这样组织的： 在第二章，简述了图像的检索技术，简单介绍了图像检索技术的产生和 发展，互联网上一些常用的检索技术以及检索技术发展的方向，同时介绍了 基于内容检索的三种方法。 第三章，首先介绍了什么是图像的纹理，怎样识别纹理，如何进行纹理 分析，以及根据特征进行相应的纹理分割，根据迭代方法的思想提出了非监 督纹理分割的方法来获取相应的纹理特征参数进行分割。 第四章介绍了特征提取的方法以及如何从众多的纹理特征中选取合适的 特征进行纹理图像的检索，最后介绍了基于图像纹理特征的图像检索方法。 第五章给出了实验的结果并进行了简单的分析。 第六章是总结以及进一步的研究工作。 3 皋于非髓督纹理分割下的蹦像榆索 第二章图像的检索技术 2 1 图像检索技术的发展 2 1 1 基于文本的图像检索 基于文本的图像检索沿用了传统文本检索技术，四避对图像可视化元 素的分析，利用图像名称、图像尺寸、压缩类型、作者、年代等方面标引图 像，检索一般以关键词形式的提出查询图像，或者是根据等级目录的形式浏 览查找特定类目下的图像，如g e t t ya a t 将图像分为动态图像、照片、图 标、背景、艺术剪辑图、插图、壁纸、界面、成套图像八个一级类，下设数 量不等的子类。在图像数字化之前，档案管理者、图书管理员都是采用这种 方式组织和管理图像的，这是原始的图像检索方法。 网络环境下的图像资源区别于一般独立图像的特点，在于它们与w e b 网页有着千丝万缕的关系，一般都是嵌入在w e b 文档中随之发布的，处于 一定的上下文环境( c o n t e x t ) 。因此，借助网络图像的文本上下文环境，可 以在一定程度上为图像分析、标引提供依据。一般的，图像所在页面的主 题、图像的文件名称、与图像密切环绕的文字内容、图像的链接地址等都被 用作图像分析的依据，根据这些文本分析结果推断其中图像的特征。充分利 用w 曲文档丰富的文本上下文以及超文本结构信息，有助于实现在一定程 度避开可视化元素的识别达到图像分析的目的。 基于文本的图像检索技术实现较简单，更符合人们检索习惯，同时可以 充分结合已有的成熟文本检索技术和网络搜索引擎技术，减少许多对图像内 容本身的复杂考虑。其缺点在于，通过受控词汇来描述图像，不易自动表达 图像的语义信息，同时标引速度慢，文本标引效果也不能很好地满足用户对 图像原始特征信息的检索。 4 第二辛图像的检索技术 2 1 2 基于内容的图像检索 基于内容的图像检索1 6 1 | ”2 9 1 根据图像、图像的内容语义以及上下文联系 进行查找，以图像语义特征为线索从图像数据库中检出具有相似特性的其它 图像。因为图像的规模一般要大于纯粹的文本信息，因此，基于内容的图像 检索在检索的速度和效率上要求更高。目前已有不少应用于实际环境的基于 内容图像榆索系统，如由i b m 公司丌z 乏的最早商业化q b l c 系统，以及由 哥伦比亚大学研发的w e bs e e k 系统、麻省理工学院研发的p h o t ob o o k 系统 等。通过基于内容的技术检索w e b 图像，首先需要从w e b 中剥离图像，组 成图像集，对图像集中的各个对象进行基于内容的特征分析、相似度匹配。 基于内容的图像检索系统一般包括图像处理模块、查询模块、对象库和 特征库和知识库，系统体系结构如图2 1 所示。 图像处理模块：图像处理模块包括输入图像和图像特征的提取过程。图 像输入过程将图像输入到系统当中，类似于文本检索系统中文本内容的录入 过程。c b i r 系统一般允许用户以全自动或者半自动( 需要用户干预) 的方 式对图像进行分割，标识出需要的对象或内容关键点，以便有针对性地对目 标进行特征提取。如用户界面常常提供一组示例供用户选择，或者由用户亲 自绘制草图输入系统。 图2 1 基于内容的图像检索系统的体系结构 草十非监督纹理分割下的图像榆索 特征提取对用户或系统标明的图像对象进行特征提取处理。特征提取可 由人完成，例如人工给出一些描述特征的关键词，也可以通过相应的图像处 理程序完成，自动提取出检索用户町能关心的一些图像特征。提取的特征既 可以是全局性的，如整幅图像的颜色分布，也可以足针对某个内部的局部对 象，如图像中的予区域。特征表示方法有许多，如颜色表示法中就有颜色直 方图、颜色矩、颜色集等，纹理表示法中有t r a m u r a 纹王甲特征、基于小波变 换的纹理特征表示法。不过，涉及图像高级抽象的特征时，会受到知识领域 和检索任务的限制，因此往往需要外界知识提供辅助。 查询模块：查询模块主要实现检索匹配过程，根据相关度计算方法，实 现提问与记录的匹配和筛选，最终得到符合要求的结果反馈给用户。c b i r 采用示例查询的方式向用户提供检索接口，将用户的检索请求转化为可以对 数据库进行操作的提问。检索允许针对全局对象，如整幅图像，也允许针对 其中的子对象以及任意组合形式来进行。检索返回的结果按照相似程度进行 排列输出，如果有必要可以基于得到的检索结果进行进一步的查询。与基于 内容检索一样，c b i r 实现的足相似性检索，模仿人类的认知过程进行，因 此，往往需要在与检索用户不断地交互中提炼检索结果。 对象库与特征库：c b i r 中的对象库存储了输入的图像资源，特征库包 含了用户输入图像特征以及在预处理过程中自动提取的特征。对象库和特征 库通过组织与图像相匹配的索引来实现快速搜索，从而可以应用到大规模图 像数据库检索的过程当中。 知识库：在c b i r 系统中，知识库的目的是为了将检索限定在一定的任 何领域范围内，避免不同的检索要求以及不同的领域背景可能会导致对媒体 内容语义产生的不同要求。因此，检索需要一定的领域知识加以辅助来提高 检索的准确性。 例一：q b i c ( q u e r yb yi m a g ec o n t e n t ) ：q b i c 是由i b ma l m ad e n 研 6 第二章图像的捡索技术 究中心开发的基于内容检索系统，提供对图像、视频、文本和语音多种形式 的多媒体信息进行检索，q b i c 中的图像检索不仅提供颜色、纹理、形状、 卸局检索，还提供标准苊图( 系统自身提供) 检索、用户描绘的简图检索、 扫描输入的图像检索、用户输入动念影像片和前景中运动的对象等多种途径 的检索。如图2 2 所示，为q b i c 系统在白局检索的示例。 例二：w e bs e e k ：w e bs e e k 足山哥伦比哑人尹丌发研制的文本和图像 的搜索引擎，它充分利用图像与区域之问的空i b j 关系，从压缩域中提取视觉 特征，例如用户查找”只落”的图像，可在草图上半部分绘制成桔红色区域， 下半部分绘制成蓝绿色区域。w e bs e e k 系统由三部分组成：图像视频收集 器、主题分类和索引器、检索器。w e bs e e k 提供了四十多个一级类目管理 图像，用户首先通过关键词检索得到初步结果，然后可以根据初次反馈结 果，选中满意的图像作为训练样本进行相关反馈( 见图2 4 ) ，以选中图像 的特征来调整下一次查询的要求，在所提供演示版本中主要是对颜色进行i ) l i 练和学习。 图2 2q b i c 的布局检索界面 根据用户草图可以得到如图2 3 所示的结果页面。 7 摹卡1 r 舱督纹理分割下的| 奎i 像榆索 图2 3q b i c 的布局检索结果 图2 4 w e bs e e k 的相关反馈 2 1 3 网络上的图像检索方法 根据基于文本的图像检索和基于内容的图像检索的实现原理可以发现， 一般图像检索系统提供给用户的查询方法主要包括下列几种形式： 关键词查找：关键词查找输入关键词对查找图像进行描述，大多数网络 搜索引擎提供的是关键词查找的方式检索，例如，希望查找山水风景的图 片，可以输入”山水画”；又如希望查找关于猫的图片，可以直接输入”猫一。 浏览查找：浏览查找是指通过等级式类目录组织的图像检索人口，图像 按照不同的主题进行归类，用户在查找自己希望的图像时，通过点击层层类 8 第一二辛图像的榆索技术 目录的链接，到达自己所希望的类目录下的图像。 特征输入查找：对图像的特征参数进行设置，如希望图像中的色彩比例 为”r ：1 2 8 ；g ：1 2 8 ；b ：6 4 ”，或者是时图像的明亮度在0 1 0 0 之ih j 加以调节。 草图查找：用户亲自动手绘制希望查找的图像特征，以用户描绘的草图 为训缘杆奉，旮找t j 之h 似的其它图像。 示例查询：包括系统随机给出样本和用户提交样本两种，由系统随机给 出一组图像训练样本时，让用户对这组图像进行评价，选择与自己的检索需 求相似的图像，然后根据用户选择的图像进行分析，检出与之相似的其它图 像。另外，也可以由用户提供一副图像的地址信息，由图像检索系统即时抓 取、即时分析。 归纳而言，图像检索的方法对应于图像特征的三个层次，也可以归结为 相应的三个层次： 简单的可视化特征层次：对图像的简单可视化特征进行查询，如颜色、 纹理、形状或者是图像中元素的空间，这些特征反应的一般足图像本身客观 的一些属性，因此，一般不需要任何外界知识的辅助。 中日j 的对象层次：对图像的个体特征进行查询是介于简单的可视化特征 查询和高级的抽象语言特征查询的中间状态，一般表现为对局部的特征查 询，例如检索图像中的某个对象或者是某个人物等。这种查询一般需要对识 别和检索的目标进行一定程度的逻辑推理，所以需要借助外界知识的辅助。 高级抽象的特征层次：对图形的抽象属性的查询，包括检索与某个事件 或者是某个活动相关的图像，例如查找反映某种情感色彩，或者是符合某种 风格流派的图像，这时需要对这些抽象的目标和场景所代表的意义进行分 析，需要对其进行更高级的推理，同时这类特征带有较强的主观色彩，因 此，更需要外界知识的辅助。 9 基于1 r 监督纹理分割下的图像榆索 2 1 4 图像检索研究的三个方向 基于文本和基于内容足图像检索发展的两个分支，不过从目酌图像检 索研究的趋势而吉，尤其结合网络环境下图像的特征一嵌入在具有文本内容 的w e b 文档中，出现了三个不同的研究着眼点0 儿l ”。 基于文本的时图像榆索足将传统的文本检索技术移植于对多姘体信息的 检索上，因为文本的检索技术发展已经成熟。如p a g e r a n k 方法，概率方 法、位置方法、摘要方法、分类或聚类方法、词性标注法等，不仅技术发展 较为成熟，同时分析和实现的难度略小。但是因为受控词汇本身的局限，易 歧义，更新慢，所以不太容易处理网络上日新月异的各类图像。 基于图像内容的检索是对图像进行分析和检索。相比而言，尽管图像检 索已经出现了诸如直方图、颜色矩、颜色集等多种表征图像特征的方法，但 是要突破对低层次特征的分析，实现更高语义上的检索，实现难度大，进展 慢。不过，基于内容的图像检索建它在多媒体信息的内容语义上，能够更为 客观地反映媒体本质的特征。 结合文本和内容，进行融合性研究。发挥各自的优势促进图像的高效、 简单检索方式的实现，尤其是网络环境下，结合图像所在w e b 文档的特征 分析，推断图像的特征，同时结合对图像的内容分析，共同标引达到对图像 的分析和检索。 可以说，三个方向都是相互影响和促进的，任何一个方向的进展都会促 进图像检索技术向前更进一步。 ( 1 ) 基于手工标注的检索：对图像的内容( 如物体、背景、构成、颜 色等1 进行人工描述并分类，将其标注为一系列关键字，并对关键字建立索 引，当用户输入关键字后，系统可以根据数据库中的倒排文件将关键字映射 为m 站或网页的地址。但是，由人工完整地标注所有图像，劳动强度太 1 0 第二幸图像的榆索技术 大，限制处理图像的数量。由于图像所包含的信息量很大，不同用户对于同 一张图像的看法不尽相同，这就导致对图像的杯注没有一个统一标准。 ( 2 ) 基于图像外部信息进行检索：即根掘图像的文件名或目爿乏名、路 径名、页面标题、a l t 标签以及图像周围的文本信息等外部信息、进行检 索，这是目前图像搜索引擎采用最多的方法。 ( 3 ) 基于内容的图像检索f 2j ：u 蓟基于内容的图像枪索技术主要集中 在颜色、纹理、形状等低层物理特征提取的基础上基于高层语义的检索正 有待研究。颜色具有大小、方向、位置不变性，可以用直方图、颜色距、颜 色集、主色调等表征，颜色是描述图像最有效的特征之一。纹理是指图像像 素灰度集或颜色的某种规律性的变化，即图像中局部不规则而整体有规律的 特性称之为纹理，纹理是从像素分布和位置等得到的有意义的统汁数据。纹 理特征主要包括粗糙度、方向性、线性、对比度以及规则性，如人体肌肤的 纹理、毛发、天空、水、织物、树木的纹理等。形状包括面积、连通性、环 行性、偏心率、主轴方向等特征。很多情况下同一物体可能有各种不同的颜 色，但其形状总是相似的，如汽车。另外，对于图形来说，形状是它惟一重 要的特征图像中某目标的边缘称为轮廓，而基于形状或轮廓的检索是图像 内容检索的一个重要方面，它能从用户勾勒的图像的形状或轮廓入手，在图 像库中检索出形状相似的图像。 ( 4 ) 反馈与学习技术：相关反馈是在信息检索系统中的一种用户指导 性学习的技术，用以优化系统的检索能力。对于检索的结果，系统根据用 户反馈给系统的指导信息( 哪些符合用户需求，哪些不符合) ，对检索参数进 行调整，从而优化检索结果并提供给用户新的检索结果。 2 2 基于内容的图像检索技术 摹于1 f 监督纹理分割下的图像榆索 基于内容的图像搜索引擎，是建立存基于内容的图像榆索技术之上的图 像搜索工具，可以为在w e b 上浏览过的图像建立索引信息，能够进行图像 分析和判别，为图像加泣释，存储抽取出的索引信息并建立索引库。基j 二内 容的图像检索技术，可谓目i ； f 最流行的检索技术之一。它在特征匹配时，几 乎不需要用户的参与，而主要利用图像自身的特征( 如颜色、纹理、形状等) 束完成，具自软强的客观r 和丘观性。利用这特点，可以用柬抽取各类图 像库中所有图像文件的特征。在检索过程中，用户一般只需提供一个示例图 像，系统首先抽取该示例图像的特征，然后根据图像特征的相似性匹配算 法，与图像库中相应的特征进行比较，最后将与示例特征相似的图像返回给 用户，以达到一个完整的图像检索过程。 基于内容的图像检索的三种方法： ( 1 ) 基于颜色特征的检索：在一幅图像的各种特征中，颜色特征是其 中最直观、最明显的特征。一般采用直方图来描述这种特征。颜色直方图是 表示图像中颜色分布的一种方法，它的横轴表示颜色等级，纵轴表示在某一 个颜色等级上具有该颜色的像素在整幅图像中所占的比例，直方图颜色空间 中的每一个刻度表示了颜色空间中的一种颜色。采用直方图计算图像间的相 似性比较简单，但它不能反映图像中对象的空间特征。 ( 2 ) 基于纹理特征的检索1 2 1 ：图像可以看成是不同纹理区域的组合。 纹理通常定义为图像的某种局部性质，或是对局部区域中像素之间关系的一 种度量。纹理特征可用来对图像中的空日j 信息进行一定程度的定量描述。根 据纹理特征进行检索，主要考虑租糙性、方向性和对比性三种特征。由于纹 理描述比较困难，一般对纹理的检索都采用示例查询方式。用户给出示例的 全部或部分区域特征，从而找到类似图像。 ( 3 ) 基于形状特征的检索：采用该特征进行检索时，用户通过勾勒图 像的形状或轮廓，从图像库中搜出与该形状类似的图像。基于此特征的检索 第二章图像的榆索技术 方法有两种：其一，分割图像经过边缘提取后，得到目标图像的轮廓线，针 对这种轮廓线进行形状特征检索。其二，直接针对图形，寻找适当的矢量特 征检索算法。但处理这种结构化检索史为复杂，需要做更多的预处理。一般 说来，基于内容的种图像搜索引擎，需要完成以下四种工作：在网上搜集图 像