（计算机软件与理论专业论文）图像数据库检索中的关键技术研究.pdf

摘要 摘要 随着互联网的快速发展以及各种数字化设备的普及，现代社会中多媒体信息 的数量在迅猛增长，多媒体信息管理的研究得到越来越多的关注。图像数据库系 统在多媒体信息管理的研究中占有特别重要的地位，图像不仅是视频的基础，而 且图像数据库技术可以直接应用于：数字图书馆、数字博物馆，医学、地理图像 数据库，公共安全以及国防等多个领域。 图像数据库检索的研究可以分为两个阶段。随着图像数据规模越来越大，上 个世纪7 0 代出现的以人工标注为基础的图像数据库检索系统，已难以满足应用 的需要。9 0 年代出现的基于内容的图像数据库检索系统，由于采用图像处理、 计算机视觉等技术实现了图像视觉特征的自动提取，使得大规模图像数据库系统 的应用更具现实性。 目前，基于内容的图像数据库检索已成为图像数据库研究的主流，其核心是 基于内容的图像相似性检索。基于内容的图像检索遇到的主要问题是检索的准确 性需要进一步提高，即如何改普检索效果是基于内容图像数据库检索研究中的首 要问题。 为了改普图像数据库检索的效果，本文对基于长期学习策略的用户相关反馈 以及用户模型和反馈记录的分析效率等图像检索中的关键性问题进行了探索和 研究。针对存在的问题，提出基于长期学习策略的图像检索框架，并在此基础上 从用户模型，用户反馈模式，反馈日志的利用效率方面提出多个具有较好性能的 图像检索方法，并且对传统图像检索中检索目标分布的问题进行了讨论，给出了 新的检索方法。 本文主要研究内容如下： 基于长期学习策略的图像检索框架为了克服传统长期学习方法难以满足检 索中图像语义的灵活性以及用户检索的个性化要求的缺点，本文引入用户协 同过滤方法对用户反馈记录日志进行在线分析，并在此基础上给出一个基于 用户反馈臼志分析的图像检索相关反馈框架。本文根据该检索框架实现了一 个图像检索原型系统，并与传统图像检索相关反馈方法进行了对比实验。实 验显示基于本文框架的图像检索方法的检索效果明显优于传统的反馈方法。 基于用户反馈序列模式分析的图像检索方法本文对交互式图像检索中的用 户模型问题进行讨论，给出一个结合长期学习策略的用户模型，并提出用户 检索的反馈模式概念。在此基础上提出了一个基于用户反馈序列分析的图像 检索方法，该方法把用户在检索中所进行的反馈操作序列( 用反馈例编号表 h 录 示) 作为用户的反馈模式记录入数据库中，进行新的检索时使用协同过滤方 法对用户反馈的序列模式进行分析，进而有针对性地对数据库中的图像与当 前检索的语义相关性进行预测以改善检索效果。 一对反馈历史数据的概念聚类以及采用信息过滤的图像检索方法针对图像检 索中单纯利用用户反馈信息的长期学习方法存在的一些闯题，本文给出一个 结合检索样本图像特征和用户相关评价两方面内容的反馈记录分析方法( 称 为信息过滤) ，并且根据用户的评价信息对反馈记录中检索样本图像进行半 指导的模糊聚类( s e m i - s u p e r v i s i o nf u z z yc l u s t e r i n g ) 以提高反馈已录的分析 效率。 基于多聚类中心的图像检索方法传统图像检索方法通过用户给出的相关反 馈图像来寻求唯一的全局最优检索点与权重。由于图像内在的复杂性，唯一 的全局检索点通常难以准确覆盖用户的检索目标，使得反馈对检索效果的改 进表现出不稳定性。为解决这一问题，本文使用模糊聚类的方法对反馈图像 集进行分析，并在此基础上给出了一个基于反馈图像的多聚类中心的相关反 馈方法。 关键词：图像数据库系统；基于内容的图像检索：用户相关反馈；用户模型；模 糊聚类 中图分类号：t p 3 9 t a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e m e ta n dd i g i t a le q u i p m e n t s ，t h ea m o u n t o f m u l t i m e d i ai n f o r m a t i o nb e i n gp r o d u c e d ，s t o r e da n ds p r e a di si n c r e a s i n gr a p i d l y t h e r e f o r e ，r e s e a r c ho nm u l t i m e d i ai n f o r m a t i o nm a n a g e m e n ti sa t t r a c t i n gm o r ea n d m o r ea t t e n t i o n i nt h i sr e s e a r c ha r e a ，i m a g ed a t a b a s es y s t e mp l a y sa ni m p o r t a n tr o l e b e c a u s eo fi t sf o u n d a t i o n a ls t a t u so fv i d e o a p p l i c a t i o n s a sw e l la si t sd i r e c t e m p l o y m e n t i nm a n y i m p o r t a n ta p p l i c a t i o n ss u c ha s ：d i g i t a ll i b r a r y , d i g i t a lm u s e u m ， m e d i c a l ，g e o g r a p h i c a li n f o r m a t i o n d a t a b a s ea n dm i l i t a r yd e f e n s e r e s e a r c ho ni m a g ed a t a b a s e sc a nb ed i v i d e di n t o2s t a g e s e a r l yt e c h n i q u e sw e r e p r i m a r i l yb a s e do nt h et e x t u a la n n o t a t i o no fi m a g e s o b v i o u s l y ，a n n o t a t i n gi m a g e s m a n u a l l y i sac u m b e r s o m ea n d e x p e n s i v et a s kf o rl a r g ei m a g ed a t a b a s e s ，a n di so f t e n s u b j e c t i v e ，c o n t e x t - s e n s i t i v ea n di n c o m p l e t e i no r d e rt oo v e r c o m et h ed i f f i c u l t i e so f t h e e a r l ym e t h o d s ，c 6 n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) e m e r g e d a t9 0 s s i n c et h e v i s u a lf e a t u r e so fi m a g e sc a nb ee x t r a c t e da u t o m a t i c a l l yb yu s i n gt h et e c h n i q u e so f c o m p u t e rv i s i o na n di m a g ep r o c e s s i n g ，i t i sm u c hp r a c t i c a lf o rl a r g es c a l ei m a g e d a t a b a s et ob ei m p l e m e n t e db a s e do nc b i r c b i ri sac o r et e c h n i q u eo fi m a g ed a t a b a s es y s t e m t h em a i no b s t a c l ef a c i n g c o n t e n t b a s e di m a g ed a t a b a s ei st h a tt h er e t r i e v a le f f e c t i v e n e s si sn o ts a t i s f i a b l e t h e r e f o r e ，t h ed i f f i c u l t yi ni m p r o v i n gr e t r i e v a le f f e c th a sr e m a i n e da st h em a i n p r o b l e mp r e v e n t i n gl a r g e s c a l ei m a g ed a t a b a s es y s t e mf r o mp r a c t i c a la p p l i c a t i o n s t h em a i n t o p i co f t h i sp a p e ri sa b o u t u s i n gl o n g t e r ml e a r n i n gs t r a t e g yw i t h i nr f t oi m p r o v et h er e t r i e v a le f f e c to f i m a g ed a t a b a s e ar e t r i e v a lf r a m e w o r kb a s e do nr f l o ga n a l y s i si sp r o p o s e d b a s e do nt h i sf r a m e w o r k , s o m en e w r e t r i e v a lm e t h o d sa r e p r e s e n t e df r o m t h ea s p e c t so fn s e rm o d e l ，r fp a t t e ma n dt h ee f f i c i e n c yo ft h eu s eo f r fr e c o r d s r e s p e c t i v e l y t h em a i nw o r ko f t h i sp a p e ri sa sf o l l o w s ： _ar e t r i e v a lf r a m e w o r kb a s e d0 1 1i l f l o 祭a n a l y s i s t h i s p a p e rp r o p o s e sa n i m a g er e t r i e v a lf r a m e w o r ke m p l o y i n gl o n g - t e r ml e a r n i n gs t r a t e g y i nt h i s f r a m e w o r k , t h ec o l l a b o r a t i v ef i l t e r i n gm e t h o di sa d o p t e dt op e r f o r mt h e a n a l y s i so f r fr e c o r d s a ne x p e r i m e n tp r o t o t y p es y s t e mi si m p l e m e n t e dt o e v a l u a t et h ep e r f o i t n a n c eo ft h i sf r a m e w o r k e x p e r i m e n tr e s u l ts h o w st i l a t t h ee f f e c t i v e n e s so f t h e i m a g e r e t r i e v a lc a nb ei m p r o v e d a p p a r e n t l yc o m p a r e d 晡t hc o n v e n t i o n a lr e l e v a n c ef e e d b a c km e t h o d _ar e t r i e v a lm e t h o db a s e do nt h eu s e rr f s e q u e n c ep a t t e r na n a l y s i s a 图像数据库检索中的关键技术研究 3 博士学位论文 a b s t r a c t l o n g - t e r ml e a r n i n gm e t h o d b a s e du s e rm o d e lo fc b i ra n dt h ec o n c e p to fr f s e q u e n c ep a t t e ma r ep r o p o s e d a c c o r d i n gt ot h en e w u s e rm o d e l ，a ni m a g e r e t r i e v a lm e t h o db a s e do nt h eu s e rr fs e q u e n c ea n a l y s i si sp r o p o s e d i nt h i s r e t r i e v a l a p p r o a c h ，e d i t d i s t a n c ei s e m p l o y e df o rt h es i m i l a r i t y m e a s u r e b e t w e e nr f s e q u e n c e s i nt h ep r o c e s so f r f s e q u e n c ea n a l y s i s -ar e t r i e v a lm e t h o db a s e do nt h ef u z z yc l u s t e r i n go fr fr e c o r d s a n d i n f o r m a t i o n f i l t e r i n g t h e p r o p o s e d m e t h o di sb a s e do nt h e s e m i - s u p e r v i s i o nf u z z yc l u s t e r i n go f t h ef e e d b a c kr e c o r d sw i t l li n f o r m a t i o n f i l t e r i n g b o t ht h eu s e r s r e l e v a n c ee v a l u a t i o na n dt h e c o r r e s p o n d i n gq u e r y i m a g e so ft h er e c o r d sa r eu s e dt op r e d i c tt h es e m a n t i cc o r r e l a t i o no ft h e d a t a b a s e si m a g e sa n dc u r r e n tr e t r i e v a l t h em e r i t so fo u rm e t h o da r ea s f o l l o w s ：1 m o r es e m a n t i cc o r r e l a t i o ni n f o r m a t i o nc a nb eo b t a i n e du s i n gt h e i n f o r m a t i o n f i l t e r i n g ；2 w i t h t h e c l u s t e r i n g o ff e e d b a c k r e c o r d s ，t h e e f f i c i e n c yo f t h ea n a l y s i so f f e e d b a c kr e c o r d s c a r lb ei m p r o v e d ar e t r i e v a lm e t h o db a s e do n m u l t i l 0 - l es u b c l u s t e r i n ge e n t r o i d sw i t h r e l e v a n c ef e e d b a c kt h ep e r f o r m a n c eo fr e l e v a n c ef e e d b a c kt e c h n i q u ei n i m a g e r e t r i e v a li sn o ts t a b l ei nm a n y s e t t i n g s ，a n dm o r ef e e d b a c ki n f o r m a t i o n d o e sn o te n s u r em o r ei m p r o v i n gi ne f f e c t i v e n e s s t oa d d r e s st h i sp r o b l e m ， w eu s eu n s u p e r v i s e df u z z y c l u s t e r i n gm e t h o d t oc l a s s i f yt h eu s e r sr e l e v a n c e f e e d b a c k i m a g e si n t os e v e r a ls u b c l a s s e s ，a n de a c hs u b - c l a s sc e n t e rp o i n tw i l l b eu s e dt om o d i f yt h eo r i g i n a l q u e r ys o 私t oc o m p u t et h es c o r eo fe a c h i m a g eb y t h ef u z z ys e tr u l e s k e yw o r d s ：i m a g ed a t a b a s es y s t e m ；c o n t e n t - b a s e si m a g er e t r i e v a l ；u s e r s r e l e v a n c ef e e d b a c k ；u s e r m o d e l ；f u z z yc l u s t e r i n g 第一章前高 第一章前言 1 1 研究背景与意义 1 1 1 研究背景 伴随着互联网的快速发展以及各种数字化设备的普及，现代社会中多媒体信 息的数量在迅猛增长，从而推动了多媒体信息管理研究的进一步繁荣。图像数据 库系统在多媒体信息管理的研究中占有特别重要的地位，图像不仅是视频的基 础，而且图像数据库技术可以直接应用于如数字图书馆 姗9 8 f r e 9 9 、数字博 物馆 h m r 9 6 ，医学 w o n 9 7 s h y 9 9 ，地理观察 b f m 9 5 】【l c 9 6 】 k z t 9 3 ，石油地 质勘探，公共安全 j a i 9 7 c w s 9 5 ，以及国防等多个重要领域。 图像数据库系统的研究大体上分为两个阶段： 为了适应“适当规模”图像信息管理的要求，上个世纪7 0 代末出现了以人 工标注为基础的图像数据库管理系统 c f 7 9 c y d a 8 8 ，即对图像的语义内容进行 人工标注然后采用传统数据库技术或文本信息检索技术对图像的语义关键词进 行存储、索引和检索。随着图像数据规模的迅速增大，人工标注方法逐渐暴露出 效率低下以及人工标注的主观性和不致性等缺陷，基于人工标注的图像数据库 系统已经难以满足现代大规模图像数据管理的要求：随着图像处理、数据库和人 工智能等技术的进步，9 0 年代出现了基于内容的图像数据库系统 【n i b 9 3 】【j a i 9 3 】【j a i 9 5 1 ，它是集合上述不同领域的研究成果于一体的新型数据管理 技术。其核心是基于内容的图像数据库相似性检索。基于内容的图像数据库相似 性检索首先从图像中抽取多种底层视觉特征( 如图像的颜色、纹理、形状等) ， 组成特征向量存入数据库中。检索时系统根据用户提交的检索样本在数据库中返 回一定数量的与之最相似的图像，即( 按照向量模型) 系统把检索对象映射到特 征空间中，使得检索变成了特征空间中的相似向量查找，如：使用加权的欧式距 离 h m r 9 7 或一般的加权欧式距离 i s f 9 8 r h 9 9 进行特征向量的相似性度量。由 于采用图像处理 j a i 8 6 、计算机视觉 h s 9 2 等技术自动地提取图像的视觉内容 信息( 即使用图像的颜色、纹理以及轮廓等特征来对图像的内容加以描述) ，从 而避免了基于人工标注的图像检索系统所面临的一系列问题，使得大规模的图像 数据库系统的应用更具现实性。 目前对图像数据库的研究主要集中于如何改善检索效果，进一步推动通用的 图像数据库系统的大规模实际应用。交互式的图像数据库检索一即基于各种用户 相关反馈机制的图像检索方法是当前主要的研究方向 m o y 9 6 y w k 9 8 。 图像散据库检索中的关键技术研究 博士学位论文 第一章前言 1 1 2 研究意义 由于图像往往具有丰富的语义内容，而用户对图像的语义理解又经常表现出 主观性和易变性，即不同的用户在检索时对同一幅图像的理解与判断经常会不一 致，甚至同一个用户在不同的时间或环境下对同一幅图像的语义判断也会不同 【z h 0 1 。虽然人类可以通过对图像的视觉信息的感知来理解、认识图像的语义内 容，但是如何通过机器自动地理解图像的语义内容仍然是一个非常困难的问题， 即现代计算机视觉技术还不能稳定地建立起图像的语义信息与图像的视觉特征 间的对应关系，继而使得基于内容的图像数据库系统的检索性能受到影响。所以 尽管建立在图像底层视觉特征对比基础上的基于内容检索的图像数据库系统在 一些专业领域已经得到成功的运用，目前通用的图像数据库系统的检索性能与大 规模实际应用的要求还存在一定的差距。为了提高检索性能，产生于文本信息检 索领域的用户相关反馈技术【r o c 7 1 s m 8 3 】被引入到图像检索中 h m r 9 7 m p 9 6 。目前，用户相关反馈已经成为交互式图像检索系统的基本检索 手段，因此对用户相关反馈技术的研究具有非常重要的理论与现实意义。 用户相关反馈通常是一个人机交互的循环过程，就是在检索过程中由用户对 检索结果进行评价，然后根据这些用户评价信息调整检索样本或相似性度量函数 来进一步改善图像检索效果。根据利用的反馈信息的不同，相关反馈可以分为短 期学习和长期学习两类 f c 0 2 。所谓短期学习，即指相关反馈所使用的信息仅 为本次检索内的各轮反馈信息；而长期学习，则指利用系统累积的用户反馈信 息进行学习，前提条件是对用户给出的图像相关性评价信息进行存储和累积。早 期相关反馈方法主要依据一些启发式思想进行检索样本与参数调整 h m r 9 7 p b q 9 9 ，近来机器学习方法 v a p o o 也被用于用户相关反馈以进一步提 高检索性能。上述相关反馈方法通常采用短期学习策略，即检索系统并不保存以 前用户的反馈信息，在新一轮检索过程中，以前用户对数据库图像的语义相关性 评价信息已被丢弃，系统并未利用它来改进新检索的效果。 由于传统相关反馈中用户给出的反馈信息的数量经常难以满足学习方法对训 练样本数量的要求。所以。把用户曾经给出的反馈信息保存起来进行分析和利用 对提高检索系统的性能十分必要。近来采用长期学习策略，即利用系统积累的反 馈信息来改进检索性能的研究已经引起人们的关注阻m z 9 8 】【y l z 0 2 】 h o m + 0 2 1 z z z + 0 2 。 1 2 研究现状 1 2 1 基于内容的图像数据库检索技术 早期基于内容的图像数据库检索的研究主要集中于：如何在自动提取图像特 第一章前言 征的基础上实现对大量图像数据的稳定可靠的检索，如q b i c n i b 9 3 】 f l i 9 5 和 p h o t o b o o k p p r + 9 5 等。 系统提取的图像底层视觉特征与用户对图像的语义理解之间难以建立起稳 定的对应关系。为了缩小这种“图像底层视觉特征和高层语义间的差距”，用户 相关反馈技术被引入到图像检索中，出现了所谓采用交互式检索模式的图像检索 系统，其代表性工作是p i e h u n t e r m o y 9 6 和m a r s r h 9 7 1 等。 当前基于内容图像数据库检索研究的主流是在基于用户交互的检索模式的 基础上进行更深入的工作 s w s + o o 。如采用最优化方法来进行相似距离公式中 的参数调整 i s f 9 8 1 ；近来通过对相关反馈机制的深入研究，认识到用户相关反 馈采用的短期学习机制可以视为小训练样本的统计学习问题 w t h 0 0 ，所以采用 s v m t c 0 1 ，d i s c r e m e n t - e m 【w t h 0 0 等机器学习方法来提高反馈效率的研究工 作受到了重视 z h 0 2 。 z h 0 1 对相关反馈中用户未评价数据的利用问题进行了研 究。图像检索中的负反馈例的利用问题也得到了研究。 长期学习策略是另一种重要的学习机制。系统已有的反馈历史信息包含大量 的用户对数据库中图像的语义相关性评价。采用适当的形式记录并合理的利用这 些信息，将明显提高系统检索的效率和效果。l u 等利用v o t i n g 的机制逐步建立 并调整语义网络 l h z + 0 0 】；o c t o p u s 采用多层图模型( l g m ，l a y e r e dg r a p h m o d e l ) ，根据已有的反馈信息记录多媒体对象的语义相关性 y l z h 0 2 】， f e e d b a e k b y p a s s 通过记录已检索过的检索样本特征向量及相应权重来缩短反馈 轮数 b c w o i ，m u l l e r 等通过对系统积累的用户反馈的历史信息的分析来调整检 索参数以改善检索效果 m m s 0 0 。当前，利用用户反馈历史信息的图像检索相关 反馈方法的研究已引起较广泛的研究兴趣【y l z 0 2 】【c f 0 2 口c 0 2 z z z + 0 2 】 z z z + 0 3 。 1 2 2 基于内容的图像检索系统 自上个世纪9 0 年代，基于内容的图像数据库检索开始成为新的研究热点，出 现了许多研究或商用的图像数据库检索系统： q b i c ；q u e r yb yi m a g ec o n t e n t ( i b h 0 是第一个商用的基于内容图像检索 系统 n i b 9 3 】【f 1 i 9 5 】。q b i c 的基本检索模式为“用户提交检索样例的相 似性检索”，它也支持由用户给出检索样本图像的样式与布局以及选择颜 色与纹理进行检索。在图像的描述方面采用多种颜色特征、纹理特征和 形状特征。由于它的商用背景，q b i c 是少数几个采用高维索引结构的 图像检索系统，其索引结构是在k l t 降维基础上的r + 树。并且在基于 内容检索的基础上结合关键词的检索以及用户相关反馈技术。目前q b i c 已发展到视频与音频的检索。 第一章前言 _ v i r ：由v i r a g e 公司开发的基于内容的检索系统 b a c 9 6 。其特点是提 供完善的用户开发功能，如：提供用于开发用户界面的工具包；提出 p r i m i t i v e 的概念，用于支持用户定义新的图像视觉特征( 包括该特征的 类型，计算和相似性度量方法) ；支持五种抽象数据结构便于图像特征的 描述，并提供用户相关反馈检索机制。因此该系统比较适合用来进行特 定应用领域的图像数据库系统的二次开发。v i r 已经和多种商业数据库 系统如o r a c l e 、s y b a s e 等进行了集成。 一m a r s 是由u i u c 开发的支持图像底层特征的复合检索的图像检索系统 【h m r 9 6 t - r h m 9 7 r h m 0 9 8 】。其特点是使用比较全面的图像底层特征， 提供基于树结构的多特征的组合检索。在图像特征方面：使用h s v 空间 的h s 上的色彩直方图来描述图像的颜色；抽取图像纹理的粗糙度和方 向性以及对比度等特征描述纹理；采用图像的规则分割( 5 x 5 ) 的方法对 图像特征的空间分布进行描述( 颜色直方图和小波变换系数) ；根据纹理 对图像进行分割来实现图像中的对象描述，并对分割后的对象区域按照 敏感性进行分组：使用f o u r i e r 描述予对图像中对象的形状进行描述。 检索时对上述特征分别采用相应的相似性度量方法，最终给出综合排名。 由于采用多方面的图像特征描述与相似性度量方法，该系统提供较复杂 的检索功能，如可以通过布尔表达式进行组合检索。m a r s 是较早进行 用户相关反馈研究的图像检索系统。 一b l o b w o r l d 由u c b 开发 c t b + 9 9 。使用的图像特征为颜色、纹理，位置 以及区域和背景的形状。在颜色方面使用l a b 空间的2 1 8 b i n 的颜色直方 图进行描述。纹理通过区域的平均对比度和各向异性来描述。区域的形 状的描述由面积，离心率和方向性组成。对各个特征的相似性分别采用 欧式距和加权欧式距进行度量，最后给出统一的相似性距离。检索效率 方面，对2 1 8 b i n 的颜色直方图的计算进行降维处理，并采用r + 树 f b k s s 9 0 索引结构以提高检索效率。 p h o t o b o o k由m i tm e d i al a b 开发的图像浏览与检索的交互工具 p e n 9 4 p p r + 9 5 】。它包含3 个子部分。分别提取图像的形状，纹理和面 部特征。用户可以分别进行相应的检索。在此基础上发展出f o u r e y e s 系 统，集合了用户对图像的标注，以进一步提高系统的效率。 一v i s u a l s e e k 和w e b s e e k ，v i s u a l s e e k 是一个基于图像视觉特征的搜索 引擎 s c 9 7 ，w e b s e e k 是面向w e b 的文本和图像搜索引擎 s i m 9 7 ，由 c o l u m b i a 大学开发。其特点是提供对图像区域的空间关系的检索，图像 的特征从图像的压缩域中获得。图像视觉特征主要为颜色和基于小波变 冒像数据库检索中的关键技术研究 博士学位论文 撕帝前、 换的纹理特征，并且使用基于q u a d t r e e 和r t r e e 的索引结构提高检索速 度。支持基于视觉特征及其相互之间空间关系的检索。w e b s e e k 是一个 面向w e b 的搜索引擎，包括3 个模块，图像视频收集，分类与索引和搜 索，浏览和检索。支持结合关键词检索，并使用用户相关反馈技术来改 进检索效果。 一n e t r a ：是u c s b 数字图书馆项目中的图像检索原型系统 m a 9 7 。采用颜 色，纹理，形状等特征以及图像分割后的子区域间的空间位置信息对图 像进行描述。其特点是使用g a b o r 滤波器进行纹理分析，人工神经网技 术也被用于检索系统中。 1 3 存在的问题及研究方向 基于内容的图像检索以其自动化程度高、检索方便而逐渐取代了基于人工标 注的图像检索，并成为目前图像检索研究领域的主要方 s w s + 0 0 1 。基于内容 图像检索的理想前提是对图像语义内容的自动提取，但是研究表明：现代计算机 视觉技术还不能在图像的底层视觉特征和用户对图像的语义理解之间建立起稳 定的对应关系。其原因是多方面的 c b 0 2 l z f 0 2 ： 一般情况下图像的语义内容是非常模糊的，往往表现为用户对图像的一 种主观理解； 图像检索中，用户进行的检索通常具有一定的语义指向，并不是为了检 索图像的某些视觉特征。例如对于一幅红色汽车占主体的检索样本图像， 用户检索的目的往往是希望检索出关于汽车这种概念的相似图像，而不 红色占主体的其他的图像。 一图像本身是二维的，其视觉内容往往来自于三维空间中的语义对象的投 影，所以存在语义信息的缺失。 由于检索系统的检索模式原因，用户对检索的语义指派与检索系统对用 户的检索语义的理解经常存在偏差。 上述这些问题形成了基于内容的图像检索面临的主要难题“语义鸿沟” ( s e m a n t i cg a p ) 。尽管一些专用的图像检索系统已经在相应的领域得到成功的 应用( 如医学图像检索 w o n 9 7 和指纹检索 j a i 9 7 】) ，目前通用的基于内容的图像 数据库系统在检索效果上还难以满足大规模实际应用的要求。 为了改善图像检索的效果，研究工作主要集中在两个方面： 一寻找能更好的体现图像语义的图像底层视觉特征以及更有效的检索模 型： - 对交互式的图像检索方法的研究，即通过对用户的检索模式的分析，提 供用户对检索进行指导的机会，借助用户的语义判断来改善检索效果。 图像数据库检索中的美健技术研究 9 博士学位论文 第一章前南 早期的研究工作主要集中在寻找图像特征的新描述方法以及各种检索模型 上。随着研究的深入，人们对图像检索中的“语义鸿沟”问题的认识更加全面和 深刻，研究工作也逐渐转向采用交互式方法的图像检索方面 y w k 9 8 e a k 0 2 ， 并且取得了一定进展。交互式图像检索的核心是在图像检索中引入用户相关反馈 技术 s m 8 3 1 ，即借助用户的智能来提高检索系统的性能。用户相关反馈是当前 图像检索研究的热点和方向。 交互式图像检索中的用户相关反馈是一种学习机制，通常采用的是短期学习 策略，即检索系统根据用户对当前检索结果进行的相关性评价来调整检索参数， 改普检索效果。在基于短期学习的用户相关反馈中，存在如下现象：方面，为 了获得好的反馈效果，短期学习方法通常需要较多的反馈信息 i s f 9 8 z h 0 2 】， 但是在实际应用中，通常用户在一次检索中给出的反馈信息量是非常有限的；另 一方面，用户的反馈信息在该轮检索结束后就被抛弃了，由于用户的反馈包含了 对数据库中图像的语义相关性判断，丢弃这些信息显然是一种浪费。 近来使用长期学习策略对系统积累的用户反馈信息进行利用的图像检索方 法逐渐受到重视 l m z 9 8 m m s + 0 0 c f 0 2 1 。早期工作通常从图像之闻的相关性 角度考虑，对反馈积累信息进行离线分析来获取图像特征间的相关性权重 m m s + 0 0 】；或者对数据库图像的分类进行调整和更新 l m z 9 8 。对反馈记录信 息的离线分析不能很好的处理检索中不同用户对图像语义理解的动态性和多样 牲 z h 0 2 】。在交互式图像检索中，用户是检索系统需要考虑的个重要因素，而 现有长期学习方法对用户检索的个性化缺乏有效支持。 1 4 本文工作 1 4 1 研究内容 本文主要对图像数据库检索中基于长期学习方法的相关反馈以及用户模型和 反馈记录的分析效率等关键性问题进行了一些探索和研究。针对存在的问题，提 出基于长期学习策略的图像检索框架，并在此基础上从用户模型，用户反馈模式， 反馈曰志的利用效率方面提出多个具有较好性能的图像检索方法，并且对传统图 像检索中检索目标分布的问题进行讨论，给出了新的检索方法。 本文的主要工作如下： 一提出基于长期学习策略的图像检索框架： _ 给出结合用户反馈序列模式分析的图像检索方法： 一给出对反馈历史数据的模糊聚类以及采用信息过滤模型的图像检索方 法； 图像数据库检索中的关键技术研究l o 博士学位论文 第一章前言 一给出基于多聚类中心的图像检索方法 已知的采用长期学习策略的图像检索方法，比较注重数据库中图像间的语义 相关关系，通常使用离线分析的方法对反馈记录进行分析来建立图像之间的相关 关系。事实上图像的语义相关性是与用户的主观判断相关的，因此如何动态地适 应不同用户检索的个性化要求是一个关键问题。每一条反馈记录反映了该次检索 对图像语义相关性的个性化判断，本文把这些反馈记录存入反馈日志文件，在新 的检索中，根据当前检索的反馈信息从反馈臼志文件中寻找相似的反馈记录，从 而针对当前检索的特点进行预测，并使用预测信息来改进检索效果。这种根据当 前检索的特点对用户的检索进行预测的方法与电子商务中常用的根据用户的购 买模式进行商品推荐的思想有相似之处。因此，本文采用用户协同过滤方法对用 户反馈记录日志进行在线分析，并在此基础上给出一个基于用户反馈日志分析的 图像检索相关反馈框架。本文根据该检索框架实现了一个图像检索原型系统，并 与传统图像检索相关反馈方法进行对比实验。实验显示本文提出的检索方法在检 索效果上明显优于传统方法。 在交互式的图像检索中，用户模型的研究是非常有意义的。图像检索中的传 统用户模型根据用户在当前检索中的反馈行为对用户下一步的检索行为进行预 测【c m m + o o 】，该模型存在两方面的不足：缺乏动态的把握用户检索的个性化能 力；未充分利用系统积累的用户反馈信息。在基于用户协同过滤分析的图像检索 框架基础上，本文给出一个结合长期学习策略的用户模型，即当前用户的检索行 为可以根据历史上曾经发生过的相似检索进行预测。本文提出用户检索的反馈模 式的概念。用户检索的特点通过其反馈模式表示，因此不同检索之间的相似性可 以由相应的反馈模式的相似性进行判断。由于反馈模式以序列形式表示，本文使 用基于序列前缀的编辑距离来度量用户的反馈序列模式的相似性。在新的用户模 型的指导下，本文提出了一个基于用户反馈序列分析的图像检索方法，该方法把 用户在检索中所进行的反馈操作序列( 用反馈例编号表示) 作为用户的反馈模式 记录入数据库中，进行新的检索时使用协同过滤方法对用户反馈的序列模式进行 分析，进而有针对性地对数据库中的图像与当前检索的语义相关性进行预测。 基于协同过滤的用户反馈记录分析方法还存在一些不足之处：初始检索时无 法利用反馈日志信息改进检索效果；当用户在每次检索中给出的相关评价信息较 少时反馈日志中的反馈记录的耦合情况会明显减少，从而影响到用户过滤的效 果( 当系统初始运行时反馈记录数量较少，耦合情况也会比较少) ：对反馈日志 进行用户过滤的效率有待提高。针对上述i a - j 题，本文给出了一个结合检索样本图 像特征和用户相关评价两方面内容的反馈记录分析方法( 称为信息过滤) ，并且 豳像数据库检察中的关键技术研究 1 1 博士学位论文 蛳尊i 1 ； 根据用户的评价信息对反馈记录中检索样本图像进行半指导的模糊聚类 ( s e m i s u p e r v i s i o nf u z z yc l u s t e r i n g ) 以提高反馈记录的分析效率。其优点在于：1 使用结合两方面内容的信息过滤方法对反馈记录进行分析，可以获得更多的图像 语义相关性信息，与单纯的用户过滤方法相比，检索效果得到进一步改善。2 对 反馈记录进行模糊聚类后，可以在相应的子类中进行信息过滤分析，提高了分析 效率。实验显示，与现有方法相比，本文方法在图像检索的效果和反馈记录的利 用效率方面都有明显改善。 传统图像检索方法通过用户给出的相关反馈图像来寻求唯一的全局最优检 索点与权重。由于图像内在的复杂性，唯一的全局检索点通常难以准确、全面的 覆盖用户的检索目标，使得反馈对检索效果的改进表现出不稳定性。为解决这一 问题，本文使用模糊聚类方法对反馈图像集进行分析，并在此基础上给出一个基 于反馈图像的多聚类中心的相关反馈方法。 本文主要对图像检索中基于长期学习策略的相关反馈方法进行探索和研究， 提出了基于用户反馈日志分析的图像检索框架，并在此基础上从用户模型，用户 反馈模式，反馈日志的利用效率方面出发提出多个具有较好性能的图像检索方 法，并且对传统图像检索中检索目标分布的问题进行讨论，给出了新的检索方法。 1 4 2 本文结构 本文共分七章，文章结构及各章内容简介如下： 第一章为前言，简单介绍图像数据库的背景，图像数据库检索系统目前的 研究现状以及发展趋势，最后综述本文的工作及成果。 第二章首先介绍图像数据库的组成及其关系。然后讨论图像检索的模型和 用户相关反馈机制及其演变，指出当前图像数据库检索的发展趋势。然后分析现 有的问题，指出现有工作对采用长期学习策略的图像检索方法的研究还存在的不 足之处，从而为下一章提出基于用户相关反馈日志分析的图像检索框架以及后续 的研究工作奠定了基础。 第三章对已有基于长期学习策略的图像检索方法进行分析和总结，指出图 像检索中长期学习策略的基本方法与实质。在此基础上对用户反馈记录进行分 析，提出基于用户协同过滤的相关反馈长期学习方法。然后给出基于用户反馈同 志分析的图像检索框架，并且通过实现一个图像检索原型系统对该框架的有效性 进行评价。 第四章阐述用户模型在交互式图像检索系统中的作用与意义。讨论了已有 用户模型存在的问题，给出基于长期学习策略的图像检索用户模型。在此基础上， 提出用户反馈模式概念以及基于编辑距离的前缀序列模式相似性度量方法，最后 给出相应的图像检索方法及其性能评价。 第一章前言 第五章首先分析基于用户反馈信息的协同过滤相关反馈方法存在的问题与 不足，提出结合用户反馈记录中检索样本图像和用户评价信息两