（计算机软件与理论专业论文）贝叶斯图像检索模型中的相关反馈技术研究.pdf

摘要 摘要 随着多媒体技术和互联网的迅速发展， 包括数字图像在内的各种多媒体数据 的数量正以惊人的速度增长， 如何快速而准确地满足用户的多媒体信息需求成为 一个函须解决的问 题。 基于内 容的图 像检索( c o n t e n t - b a s e d i m a g e r e t r i e v a l , c b 工 r ) 不仅是图像数据库系统的核心，而且在数字图书馆，生物信息，医学，地 质，以及国防等多个领域都有十分广阔的应用前景。因此，c b i r已逐渐成为一 个活跃的研究领域，并引起越来越多的关注。 然而，经过近十年的研究与发展，c b 工 r仍然面临着一些问题，其中的主要 困难是 “ 语义鸿沟” :即系统理解的图像视觉特征和用户理解的高层语义之间缺 乏直接而稳定的对应关系。 这一问 题从根本上限制了图像检索系统的有效性， 导 致了目 前己 有的c b i r 系统还难以 满足大规模实用化的要求。为了 解决语义鸿沟 问 题，用户相关反馈技术被引入到图像检索领域。 根据利用的反馈信息的不同， 相关反馈可以分为短期学习和长期学习两类er 。借助用户对检索结果的语义评 判， 相关反馈机制使得系统能够不断学习调整检索策略及参数， 从而有效地改善 了检索的效果。 本文主要对贝叶斯检索框架下的相关反馈技术进行了探索和研究。在基于贝 叶斯公式的检索框架之上， 应用长期学习和短期学习的相关反馈技术， 构建扩展 的贝叶斯框架， 并提出了一个通过估算动态用户模型来预测用户检索目 标分布的 图像检索方法。 本文的主要工作如下: 给出了利用长期学习的扩展贝叶斯检索模型; 基 本贝 叶 斯检 索框架 (4 4 估算每 一幅图 像 在当 前 用户反 馈下成为检 索目 标的 概率， 并通过贝叶斯公式将目 标概率的计算转化为用户模式的估算。 基本贝叶斯 框架是相关反馈技术在概率模型中应用的代表性工作之一。 然而， 由于所利用的 反馈信息较少，基于短期学习的反馈方法的对检索效果的提高十分有限。因此， 本文提出了加入长期学习的扩展贝叶斯检索模型。 事实上， 己 有的反馈信息代表 了各次检索中用户反馈的模式， 记录并且分析利用这些反馈模式， 可以有效地预 测当前用户的检索目标。 提出了用户检索的反馈模式的概念，利用用户反馈序列描述用户反馈模 式，给出反馈模式的相似性定义 为了 描述每次检索反馈的不同 特点， 本文提出 用户检索的反馈模式的 概念。 用户检索的特点通过其反馈模式表示， 因此不同检索之间的相似性可以由 相应的 反馈模式的相似性进行判断。 由于反馈模式以序列形式表示， 本文使用基于序列 前缀的编辑距离来度量用户的反馈序列模式的相似性。 贝叶斯图 像检索模型中的相关反馈技术研究iv硕十学位论文 摘要 提出了基于长期反馈策略的动态用户模型，并给出通过用户反馈模式的 相似性匹配，动态估算用户模型的算法; 用户模型是智能信息检索中的一个重要概念， 对于交互式的、 自适应的系统， 需要以适当的形式描述并代表用户以反映用户的兴趣、 特征及要求， 从而推断用 户目 标， 识别用户计划， 预测用户行为等等。 用户在相关反馈中起着关键作用， 因 此对用户模型的研究在交互式图像检索中具有特别重要的意义。 基本贝叶斯框架 中首次提出了交互式图像检索中的用户模型概念: 根据用户在当前检索中的反馈 行为对用户下一步的检索行为进行预测， 但是该模型存在两方面的不足: 缺乏动 态的把握用户检索的个性化能力: 未充分利用系统积累的用户反馈信息。 在基本 的贝叶斯框架基础上， 本文给出一个结合长期学习策略的用户模型， 即根据历史 上曾经发生过的相似检索预测当前用户的检索行为。 在用户反馈模式定义地基础 上， 本文给出了一个通过用户反馈模式相似度匹配来估算用户模型的方法。 该方 法把用户在检索中所进行的反馈操作序列作为用户的反馈模式记录入数据库中， 进行新的检索时对用户反馈的序列模式进行分析， 通过相似度匹配来预测当前检 索的模式，进而推断用户检索的检索目 标。 实验数据显示， 相较基本贝叶斯检索框架及原有的用户模型， 本文所提出的 扩展贝叶斯框架及基于长期学习的动态用户模型有效地提高了检索精度， 改善了 检索效果。 关键词:基于内容的图像检索;贝叶斯模型; 相关反馈:短期学习;长期学 习: 用户模型 贝叶 斯图像检索模型中的相关反馈技术研究v 硕士学位论文 ab s t r a c t ab s t r a c t wi t h t h e r a p i d d e v e l o p m e n t o f m u l t i m e d i a t e c h n o l o g y a n d wo r l d wi d e w e b , t h e g ro w t h o f m u l t i m e d i a d a t a i s g a i n i n g a m a z i n g s p e e d . h o w t o m e e t p e o p l e s v a r i o u s i n f o r m a t i o n n e e d f a s t a n d a c c u r a t e l y h a s b e c o m e an i m p o r t a n t i s s u e . c o n t e n t - b a s e d i m a g e r e t r ie v a l ( c b i r ) , b o t h a s t h e c o r e o f i m a g e d a t a b a s e s y s t e m , a n d a s t h e k e y t e c h n o l o g y o f d i g i t a l l i b r a r y , b i o - i n f o r m a t i c s , m e d i c i n e , g e o l o g y , a n d d e f e n s e , h a s f o u n d it s w i d e a p p l i c a t i o n a n d b e c o m e a h e a t e d r e s e a r c h a r e a a tt r a c t i n g m o r e a n d m o r e a tt e n t i o n . a f t e r 1 0 y e a r s o f d e v e l o p m e n t , h o w e v e r , t h e r e s e a r c h o n c b i r i s s t i l l f a c in g m any p r o b l e m s . t h e m o s t i m p o r t a n t o f a l l i s t h e s e m a n t i c g a p , i .e . , t h e r e i s n o d i r e c t a n d s t a b l e m a t c h i n g b e t w e e n l o w - le v e l v i s u a l f e a t u re s a b s t r a c t e d b y t h e s y s t e m a n d h ig h - l e v e l s e m ant ic s p e r c e i v e d b y t h e u s e r . t h i s p r o b l e m s e rv e s a s t h e m a i n r e a s o n f o r t h e l i m i t a t i o n i n r e t r i e v a l e f fi c i e n c y . t h e r e f o r e , m o s t o f e x i s t i n g c b i r s y s t e m s c an h a r d ly m e e t t h e r e q u i r e m e n t o f p r a c t i c a l , l a r g e s c a l e a p p l i c a t i o n s . i n o r d e r t o b r i d g e t h e s e m a n t i c g a p , r e l e v anc e f e e d b a c k ( r f ) i s i n t r o d u c e d i n t o c b i r . a c c o r d i n g t o t h e u s e o f d i ff e r e n t r f i n f o r m a t i o n , r f c an b e d i v i d e d i n t o t w o c l as s e s : s h o rt - t e r m l e a rn i n g a n d l o n g - t e r m l e a rn i n g 5 . b y a n a l y z i n g t h e s e m an t i c r e le v a n c e j u d g m e n t o n r e t r i e v a l r e s u l t p r o v id e d b y t h e u s e r , r f t e c h n i q u e s h e l p s y s t e m t o a d j u s t t h e re t r i e v a l p o l i c y a n d p a r a m e t e r s , t h e r e f o re i m p r o v e t h e re t r ie v a l e ff i c i e n c y e ff e c t i v e l y . t h e w o r k i n t h i s t h e s i s f o c u s e s o n t h e re l e v anc e f e e d b a c k t e c h n i q u e s i n b a y e s i an re t r i e v a l m o d e l . u n d e r t h e r e t r i e v a l f r a m e w o r k o f b a y e s i an f u n c t i o n , w e p r o p o s e d a n e x p a n d e d b a y e s i a n f r a m e w o r k i n c o r p o r a t i n g b o t h s h o rt - t e r m l e a rn i n g and l o n g - t e r m l e a r n i n g t e c h n i q u e s . a l s o , a n e w r e t r i e v a l m e t h o d i s p r o p o s e d b y p r e d i c t i n g o b j e c t d i s t r i b u t i o n u s i n g d y n a m i c u s e r m o d e l . t h e f o l l o w in g a re t h e m a i n c o n t r i b u t i o n s o f t h i s p a p e r : a n e x p and e d b a y e s i an r e t r ie v a l f r a m e w o r k b as e d o n l o n g - t e r m l e a rn i n g b a s i c b a y e s i a n re t r i e v a l f r a m e w o r k p re d i c t s t h e t a r g e t p r o b a b i l i t y f o r e a c h i m a g e , and t h e c o m p u t a t io n o f t a r g e t p r o b a b i l it y i s t r a n s f o r m e d t o t h e p r e d i c t io n o f u s e r m o d e l . b a s i c b a y e s i a n f r a m e w o r k i s t h e r e p re s e n t a t i v e w o r k i n t h e a p p l i c a t i o n o f r f t e c h n i q u e s i n p ro b a b i l i s t i c m o d e l . d u e t o t h e l i m i t e d r f i n f o r m a t i o n u s e d , h o w e v e r , t h e r f m e t h o d b ase d o n s h o rt - t e r n l e a rni n g c ann o t p r o v i d e s a t i s f a c t o ry p e r f o r m a n c e i m p r o v e m e n t . t h e re f o r e , w e p r o p o s e d e x p a n d e d b a y e s i a n r e t r i e v a l m o d e l w i t h t h e i n c o r p o r a t i o n o f l o n g - t e r m l e a r n i n g . i n f a c t , t h e r f i n f o r m a t i o n o f p as t r e t r i e v a l r e p r e s e n t s t h e u s e r r f p a tt e rn s , i f r e c o r d e d a n d u s e d f o r f u rt h e r a n a ly z e , c a n h e l p p r e d i c t t h e c u rr e n t r e t r i e v a l o b j e c t g re a t l y , p r o p o s e d t h e d e fi n i t i o n o f u s e r r f p a tt e rn , a n d t h e s i m i l a r i t y m e a s u r e m e n t o f r f p a tt e r n s 贝 叶斯图 像检索模型中的相关反馈技术研究 硕 i 学位论文 八b s t r a c t -一一一一一 t o d e s c r i b e d i ff e r e n t c h a r a c t e r i s t i c s o f r f a c t iv i t i e s o f p a s t r e tr i e v a l s , w e d e f i n e d t h e c o n c e p t o f u s e r r f p a t t e r n . t h e p a r t i c u l a r i ty o f e a c h r e t r i e v a l i s r e p r e s e n t e d b y r f p a tt e r n . t h e r e f o r e , t h e s i m i l a r i t y o f d i ff e r e n t r e t r i e v a l s c a n b e e v a l u a t e d b y t h e s i m i l a r i t y o f r f p a tt e rn s . s i n c e t h e r f p a tt e rn i s r e p r e s e n t e d i n s e q u e n c e , w e u s e e d i t d i s t a n c e a s t h e s i m i l a r i t y m e a s u r e m e n t . p r o p o s e d t h e d y n a m i c u s e r m o d e l b a s e d o n l o n g - t e r m l e a rn i n g s t r a t e g y , a s w e l l a s t h e e s t i m a t i o n a l g o r i t h m o f i t u s e r mo d e l is a n i m p o rt ant e l e m e n t o f i n t e r a c t i v e i m a g e r e t r i e v a l s y s t e m . i t i s f i r s t p r o p o s e d i n b a s i c b a y e s i an mo d e l : p r e d i c t t h e n e x t u s e r a c t i v i t y b a s e d o n t h e c u r r e n t r f a c t i v i t y . b u t t h i s u s e r m o d e l h a s s o m e p r o b l e m s : f i r s t , i t l a c k s t h e a b i l i ty t o d y n a m i c a l l y d e s c r i b e t h e u s e r r e t r i e v a l ; s e c o n d , i t d o e s n o t m a k e f u l l u s e o f t h e u s e r r f i n f o r m a t i o n . b a s e d o n t h e b a s i c b a y e s i a n fr a m e w o r k , w e p r o p o s e d a u s e r m o d e l i n c o r p o r a t i n g l o n g - t e r m l e a rn i n g , i . e . , p r e d i c t c u r r e n t u s e r a c t i v i t y a c c o r d i n g t o t h e s i m i l a r p a s t r e t r i e v a l s . b a s e d o n t h e d e f i n it i o n o f u s e r r f m o d e l , w e p r o p o s e d a e s t i m a t i o n m e t h o d o f t h e u s e r m o d e l b a s e d o n s i m i l a r i ty m a t c h i n g o f u s e r r f p a tt e rn . w e f i r s t r e c o r d t h e r f a c t i v i t ie s o f p a s t r e t r i e v a l s a s u s e r r f p a tt e rn s , and t h e n p r e d i c t t h e c u r r e n t r e t r ie v a l p a t t e rn b y a n a l y z i n g t h e r e c o r d e d r f p a tt e r n s . e x p e r i m e n t a l r e s u l t s d e m o n s t r a t e a p p a re n t i m p r o v e m e n t s i n b o t h r e tr i e v a l e f f i c i e n c y a n d e ff e c t i v e n e s s b y o u r m e t h o d c o m p a r e d w i t h t h e m e t h o d i n b a s i c b a y e s i a n m o d e l . k e y w o r d : c o n t e n t - b a s e d i m a g e r e t r i e v a l ; b a y e s i an r e t r i e v a l m o d e l ; r e l e v a n c e f e e d b a c k ; s h o rt - t e r m l e a rn i n g ; l o n g - t e r m l e a r n i n g ; u s e r m o d e l 贝叶 斯图 像检索模型中的相关反馈技术研究 vu硕 i : 学位论文 第一章引 台 第一章 引 论 1 . 1研究背景 随着多媒体技术和互联网的迅速发展， 包括数字图像在内的各种多媒体数据 的数量正在以 惊人的速度增长， 如何从这些数据中快速而准确地发现有用的信息 成为一个qa须解决的问题。自 从2 0 世纪7 0 年代以来， 在数据库系统和计算机视 觉两大研究领域的共同推动下， 图像检索技术已逐渐成为一个非常活跃的研究领 域， 并且成为数字图书馆，生物信息，医学，地质，以及国防等多个应用领域的 关键技术。 图 像检索技术的研究大体上分为两个阶段: 基于文本的图像检索和基于内容 的图像检索。基于文本的图像检索技术可以追溯到7 0 年代末，它通过对图像进 行手工注解， 然后采用传统数据库技术或文本信息检索技术对图像的语义关键词 进行存储、 索引和检索。 但是基于文本的图像检索存在着两大难题: 一是手工注 解的工作量太大， 对于大的图像库需要有完全自 动化或半自 动化的方法; 二是由 于图像包含的丰富语义内 涵使得少量的关键词文本注释难以表达， 导致文本注解 不可避免地存在主观性和不精确性， 也决定了这一方法无法单独完成图 像检索的 艰巨任务。9 0年代初，随着图像处理、数据库和人工智能等技术的进步，研究 者 们 提出了 基于内 容的图 像 检索( c o n t e n t - b a s e d i m a g e r e t r i e v a l , c b i r ) 1 o c b i r使用了可以直接从图像中提取的客观的视觉内容特征，如图像的颜色、纹 理、 形状等来判断图像之间的相似性。 这类系统主要支持基于范例检索， 基于草 图检索和随机浏览及其组合的工作方式。 由于采用图像处理、 计算机视觉等技术 自 动地提取图像的视觉内容信息( 即使用图像的颜色、 纹理以及轮廓等特征来对 图像的内容加以描述) ， c b i r 避免了基于人工标注的图像检索系统所面临的一系 列问题，成为现代图像检索的主流框架。 然而，由 于图像语义的复杂性，现有的c b i r系统度很难达到令人满意的检 索效果。 主要的难题在于: 用户理解图像的语义概念和系统表达图像的视觉特征 之间没有确切的对应或匹配， 即存在所谓的语义鸿沟。 而且， 图像具有丰富的语 义内容， 用户对图像的语义理解又经常表现出主观性和易变性， 即不同的用户在 检索时对同一幅图像的理解与判断经常会不一致， 甚至同一个用户在不同的时间 或 环境下对同 一幅图 像的 语义判断 也会不同 3 1 。 这更 使得通过 机器自 动地理 解图 像的语义内容变得非常困难。 为了解决这一问题， 交互式的相关反馈技术被引入 到图 像检索中 4 1 。 其基本思 想是: 将用户的主 观视觉判断引 入检索过 程， 使得 用 户能够评价检索结果， 并且系统能够通过这些评价调整参数， 逼近用户的检索需 求。目 前，相关反馈已经成为基于内容的图像检索的关键技术。 贝 叶斯图像检索模型中的相关反馈技术研究t 硕 卜 学位论文 第一章引 台 用户相关反馈通常是一个人机交互的循环过程，就是在检索过程中由用户对 检索结果进行评价， 然后根据这些用户评价信息调整检索样本或相似性度量函数 来进一步改善图像检索效果。 根据利用的反馈信息的不同， 相关反馈可以分为短 期学习 和长期学习两类15 1 。所谓短期学习，是指相关反馈所使用的信息仅为 本 次检索内的各轮反馈信息:而长期学习，则指利用系统累积的用户反馈信息进 行学习， 前提条件是对用户给出的图像相关性评价信息进行存储和累积。 早期的 短期学习通过分析当前检索的反馈信息， 利用各种启发式或全局优化方法调整检 索参数， 逼近检索目 标分布4 ,45 1 ， 近来机器学习方法如支持向 量机 ( s v m) 等也 与相关反馈方法相结合来学习更复杂的目 标集分布， 以进一步提高检索精度。 然 而， 利用短期学习的检索效果十分有限:由于检索系统并不保存历史反馈信息， 在新 一 轮检索过程中，以前用户对数据库图像的语义相关性评价信息已被丢弃， 系统并未利用它来改进新检索的效果。 基于短期学习中存在的问题， 基于长期学 习 策略的相关反馈方法7 ,8 ,9 1 被应用于图 像检索系统中。 事实上， 系统已 有的反 馈 历史信息包含大量的用户对图库中图像的语义相关性评价， 采用适当的形式记 录 并合理的 利用这些信息， 将明显提高系统检索的效率和效果。 1 . 2 相关工作 1 . 2 . 1 c b i r 检索技术的发展 在c b i r的早期阶段， 研究主要集中于寻求各种图像特征表示方法， 即从图 像特征中找到所谓的“ 最佳” 特征或特征组合， 然后基于“ 最佳” 特征或特征组 合进行特征匹配和相似性度量， 提高图像检索精度。 例如， 对于纹理特征就有若 干种表示方法，包括t a r n u r a 纹理特征， ms a r特征，基于g a b o r 滤波器的特征 和基于小波变换的特征等。 早期c b i r系统的目标之一就是从中选取一种“ 最佳” 特征表示进行图像检索。 然而， 早期的图像检索系统在检索性能上很难令人满意， 主要有以下两个原 因: 高层语义概念同底层特征之间的差距 即 语义鸿沟问 题。 图像检索系统基于的前提假设是用户检索图 像所使用 的高层语义和系统识别图像所使用的底层特征之间可以确定对应关系。 然而这无论对用户或系统都是困难的。 除了 某些情况，比如将高层语义 概念 ( 红色苹果)对应到底层特征 ( 苹果的颜色和形状) ，用户很难根 据自己的语义需求 ( 甚至是抽象的概念) 指定数字化的图像特征。另一 方面， 在现有的图像处理、图像理解技术下， 机器通过底层特征准确地 贝叶斯图像检索模型中的相关反馈技术研究2 硕士学位论文 第一章引 台 得到图像语义也是不现实的。 人类感知的主观性 对于同一图像所蕴含的语义内容， 不同的人或者是同一个人在不同的情 况下可能会有不同的理解， 这就是人类感知的主观性p o 。 这种主 观性可 能存在于不同层次上， 例如，某人可能对图像的颜色感兴趣，而另一人 可能更多地注重纹理特征;或者两人同样都是注重纹理特征， 但他们各 自 所理解的纹理相似性也是完全不同的。 为了解决上面的问题，提高检索精度，提供更加方便的检索方式，c b i r的 研究 焦点转向 把人作为检 索过程一部分的 交互式 检索 机制 1 1 ,1 2 ,1 3 1 ， 如交互式图 像 区 域分 割 14 1 ， 交互式数据库标注 1 2 , 1 5 1 ， 在检索中 使用监督 学习 机制 1 6 ,1 7 1 ， 以 及交 互式地结合高层语义特征以 求改进图像检索性能的方法等 1 8 1 基于相关反馈的c b i r把交互式概念引入到图像检索中。 相关反馈是传统的 基于文本信息检索中的流行技术。它根据用户对前一次检索结果的相关性反馈， 自 动地调整查询， 使调整后的查询更加接近用户的 信息需求 1 9 ,2 0 1 早期的相关反馈大多基于短期学习策略， 利用当前检索用户提交的反馈信息 调整系统检索参数。 采用最多的检索模型是向量模型， 主要的技术包括查询向 量 优化和特征权重调整。 在向量模型中， 查询可以表达为特征空间中的向量， 即查 询点。 查询向量优化技术的本质就是根据用户反馈信息来调整查询点， 使之更加 接近理想查询点， 再用调整后的查询点去重新计算检索结果。 具体做法是移动查 询点， 使之更加靠近反馈正例在特征空间中所对应的点， 同时远离反馈负例所对 应的点， 从而逐步逼近理想查询点。 大量实验结果表明， 采用优化后的查询点重 新计算的结果明显优于前一次的查询结果。 这类算法中比 较有代表性的是ma r s 系统 2 1 中实 现的 算法。 特征 权重调整技术的 中 心思想是非常直观的: 根据用户 的反馈信息，学习各个特征对当前检索的重要性，重要性越大的特征权重越高。 在m a r s 系统中同 样实 现了 这类算法2 1 1 ， 它的 基本方 法是 用反 馈正 例在某 个维 度 ( 特征)上值的标准偏差来衡量该维度 ( 特征)的权重。 基于启发式参数调整的 短期学习技术， i s h i k a w a 等人在m i n d r e a d e : 系统2 2 1 中提出了用参数估计中的最小化问题解决相关反馈问题的数学模型， 并且由于使 用了一般欧式距，该方法所采用的图像相似度模型不但能够调整不同属性的权 重， 而且还考虑到了 属性 之间的 相关性。 在 此基础 上， r u i 和h u a n g 将相关反 馈 描述 成一个全局优化问 题， 并 提出了图 像的 多 层次 反 馈模型2 3 1 短期学习的第三个阶段主要是利用各种机器学习方法来解决相关反馈问 题。 w u 2 4 1 等人提出了一个传导学习框架下的d c s c ri m i n a n t - e m 算法，该方法同时利 用了 标注 和未 标注的图 片。t i e u 2 5 等人 提出了 一个用一 个超大规模 特征集来表 贝 叶 斯图像检索模型中的相关反馈技术研究3 4 y i 卜 学位论文 第一章引 启 征图 像的检索方法， 通过使用一个简单的b o o s t i n g 算法， 系统交互式地学习查询 向 量。 为了 解决学习问 题中 的 小 训练 样本问 题， t o n g (2 6 1等人 提出了 使用支 持向 量机的相关反馈方法。 已有的基于短期学习策略的相关反馈方法虽然在一定程度上提高了检索精 度， 可是存在的一个主要问题就是缺乏对用户相关反馈信息进行记录和累积的机 制， 浪费了大量有用的历史信息， 而本轮仅有的反馈信息又难以满足学习复杂的 目标分布的要求。 由此， 基于历史反馈信息分析的长期学习被引入。长期学习策略是另一种重 要的学习机制。 系统己有的反馈历史信息包含大量的用户对数据库中图像的语义 相关性评价， 采用适当的形式记录并合理的利用这些信息， 将明显提高系统检索 的 效 率 和 效 果。 l u 等 利 用v o t in g的 机 制 逐 步 建 立 并 调 整 语 义网 络 2 7 1 ; o c t o p u s 采用多 层图 模型( l g m , l a y e r e d g r a p h m o d e l ) ， 根 据已 有的 反 馈信息 记录多 媒 体 对 象的 语 义 相关 性s 1 , f e e d b a c k b y p a s s 通 过记 录已 检 索过的 检索 样本 特 征向 量 及相应权重来缩短反馈轮数12 8 1 , m u l l e r 等通过对系统积累的用户反馈的历史信息 的分析来调 整检索参数以 改善检索效果 2 9 1 。当 前， 利用 用户反 馈历史信息的图 像检索相关反馈方法的研究己引 起较广泛的 研究兴趣5 ,3 0 ,3 1 ,3 2 1 1 . 2 . 2已有的c b i r 系统 自 上个世纪9 0 年代， 基于内容的图像数据库检索己 经成为一个非常活跃的领 域。 不管是在商业上还是在研究领域， 都出现了一些图像检索系统。 其中大部分 的图像检索系统都具有以下一个或几个功能特点: 随机浏览功能 基于样例图片的检索 基于草图的检索 基于文本的检索 ( 包括关键词和语音) 图片分类浏览 下面列举一些具有代表性的图像检索系统， 并着重介绍它们各自 具有的突出 特点。 q b i c q u e r y b y i m a g e c o n t e n t 是由 i b m 开 发的， 第一个商用的 基于内 容图 像 检索系 统 1 i 。 该系 统的 设计 框架 和采用的 技术对后来的图 像检索系统产 生了深刻的影响。q b i c 支持基于样例图 片的检索模式，也支持通过由 用户构造的草图、 轮廓和选定的色彩和纹理样式的查找方式，以 及其他 一些查询方式。 q b i c 是少数几个采用高维索引结构的图 像检索系统， 其索引 结 构是在 k l t 降 维 基础上的 r 一 树。 并且在基于内 容检索的 基础上 j a丽鲡 蔽瘫瑟而蔽 面燕蔽而一 一了一一 硕 士 学 位 论 文 第一章引 台 结合关键词的检索以及用户相关反馈技术。在q b i c 的最新版系统中， 基于文本的关键词查找方式与基于内容的相似性查找方式相结合， 共同 完成查找功能。 v i r a g e v i r a g e 是由 v ir a g e 公 司开 发的 基 于内 容的 图 像 检索引 擎 3 3 1 。 同 q b i c 系 统 一样，它也支持基于色彩、色彩布局、纹理和结构特征 ( 对象边缘)的 视 觉查 询功 能 3 4 ,3 5 1 。 但 v ir a g e 要比 q b i c 在 技 术上向 前 迈了 一 步， 它 支 持 以 上四种基本查询的任意组合后的查询方式。 v i r a g e 的另一个特点是提 供完善的用户开发功能，如:提供用于开发用户界面的工具包;提出 p r i m it i v e的概念， 用于支持用户定义新的图像视觉特征( 包括该特征的 类型，计算和相似性度量方法) ;支持五种抽象数据结构便于图像特征 的描述，并提供用户相关反馈检索机制。因此该系统比较适合用来进行 特定应用领域的图像数据库系统的二次开发。 re t r i e v a l w a r e r e t r i e v a l w a r e 是由 e x c a l i b u r 科技有限公司开发的一种基于内 容的图 像检 索引 擎 3 6 a r e t r ie v a lw a r e 的 早期 版 本 着重 运 用神 经网 络算 法 来实 现图 像 检索。在比较新的版本中， 颜色、形状、纹理、明亮度、 颜色布局等特 征开始被用于检索中。它还允许组合使用上述特征，并且允许用户自由 调整每种特征的权重。 p h o t o b o o k p h o t o b o o k 3 7 1 是美国 麻省理工学院的多媒体实验室所开发的用户图像查 询和浏览的交互式工具。它由3 个子系统组成，分别负责提取图像的形 状、纹理和面部特征。用户可以分别进行相应的检索。 v i s u a l s e e k和 we b s e e k v i s u a l s e e k 3 8 1 是一个 基于图 像视觉 特征的 搜索引 擎， w e b s e e k 3 9 1 是一 种 面向www的文本和图像搜索引擎，它们都是由c o l u m b i a 大学开发的。 这两个系统的主要技术特点是采用了图像区域之间空间关系和从压缩 域中提取的视觉特征。 图像视觉特征主要为颜色和基于小波变换的纹理 特征。 为了加快检索速度， 系统采用基于二叉树的索引算法。 v i s u a l s e e k 同时支持基于视觉特征及其相互之间空间关系的检索。w e b s e e k 是一个 面向w e b 的搜索引擎，包括3 个模块，图像/ 视频收集，分类与索引和搜 索，浏览和检索。 ne t r a n e t r a 系统4 a 】 是u c s b 大学a l e x a n d r i a 数字图书馆项目中用于图像检索的 贝叶斯图 像检索模型中的相关反馈技术研究 硕士学位论文 第一章引 言 原型系统。它从分割后的图像区域中提取颜色，纹理，形状和空间位置 信息， 并依靠这些信息从数据库中查找相似的区域。 n e t r a 在研究方面的 主要特点是使用g a b o r 滤波器进行纹理分析，以及基于神经网的 “ 图像 词典”的构造和基于边缘流的图像分割。 mars m a r s 是多媒体分析和检索系统，由伊利诺斯大学 u r b a n a - c h a m p a i g n 分校开发。 m a r s 无论在研究角 度还是应用领 域都 和 其他的图像检索系统有很大的差异。 它融合了计算机视觉、数据库管理 系统以及传统的信息检索技术。其特点是使用比较全面的图像底层特 征，提供基于树结构的多特征的组合检索。在图像特征方面:使用h s v 空间的h s 上的色彩直方图来描述图像的颜色; 抽取图像纹理的粗糙度和 方向性以及对比度等特征描述纹理; 采用图像的规则分割的方法对图像 特征的空间分布进行描述( 颜色直方图 和小波变换系数) ;根据纹理对图 像进行分割来实现图像中的对象描述， 并对分割后的对象区域按照敏感 性进行分组;使用f o u r i e r描述子对图像中对象的形状进行描述。检索 时对上述特征分别采用相应的相似性度量方法， 最终给出综合排名。由 于采用多方面的图像特征描述与相似性度量方法， 该系统提供较复杂的 检索功能，如可以通过布尔表达式进行组合检索。ma r s 是较早进行用 户相关反馈研究的图像检索系统。 其它图像检索系统 a r t m u s e u m 14 p 开发于1 9 9 2 年，是最早的基于内 容的图像检索系统之 一。它采用图像边界特征作为检索中的视觉特征。加州大学b e r k e l e y 分 校开发的b l o b w o r l d 14 z 1 系统能够将原始像素点转换到在颜色和纹理空间 中局部相关的一组区域。 该系统允许用户看到提交的查询例子图像和查 询结果图像的内部表达式。这样，用户就可以 对查询做出相应的调整。 p r i n c e t o n 大学开发的 c a e t i i m l 系统 14 3 1 的 最大特点 在于将它的“ 在线” 相似度查询功能与 “ 离线”主题查询功能相结合。 1 . 3本文工作及内容组织 1 . 3 . 1本文主要工作 本文主要对贝叶斯图像检索中的相关反馈技术进行了一些探索和研究。在基 于贝 叶斯公式的检索框架之上， 应用长期学习和短期学习的相关反馈技术， 构建 扩展的贝叶斯框架， 并提出了一个通过估算动态用户模型来预测用户检索目 标分 布的相关反馈方法。 贝叶 斯图 像检索模型中的相关反馈技术研究6 硕 二 学位论文 第一章引 本文的主要工作如下: 给出了利用长期学习的扩展贝叶斯检索模型; 提出了用户检索的反馈模式的概念，利用用户反馈序列描述用户反馈模 式，给出反馈模式的相似定义 提出了基于长期反馈策略的动态用户模型，并给出通过用户反馈模式的 相似性匹配，动态估算用户模型的算法; 基本贝叶斯的检索框架4 4 ) , 每一幅图片估算当前用户反馈下成为检索目 标 的概率， 并通过贝叶斯公式将目 标概率的计算转化为用户模式的估算。 基本贝叶 斯框架是相关反馈技术在概率模型中应用的代表性工作之一。 然而，由于所利用 的反馈信息较少， 基于短期学习的反馈方法的对检索效果的提高十分有限。 因此， 本文提出了加入长期学习的扩展贝叶斯检索模型。 事实上， 己有的反馈信息代表 了 各次检索中用户反馈的模式， 如果记录下来， 并分析当前的反馈信息和已有的 反馈模式之间的相似性，可以有效地预测当前用户的检索目 标。 为了描述每次检索反馈的不同特点，本文提出 用户检索的反馈模式的概念。 用户检索的特点通过其反馈模式表示， 因此不同检索之间的相似性可以由相应的 反馈模式的相似性进行判断。 由于反馈模式以 序列形式表示， 本文使用基于序列 前缀的编辑距离来度量用户的反馈序列模式的相似性。 用户模型是智能信息检索中的一个重要概念， 对于交互式的、 自 适应的系统， 需要以适当的形式描述并代表用户以反映用户的兴趣、 特征及要求， 从而推断用 户目 标， 识别用户计划， 预测用户行为等等。 用户在相关反馈中起着关键作用， 因 此对用户模型的研究在交互式图像检索中具有特别重要的意义。 基本贝叶斯框架 中 首次提出了 交互式图像检索中的用户模型概念: 根据用户在当前检索中的反馈 行为对