（计算机应用技术专业论文）cbir系统中的bayesian相关反馈技术研究.pdf

摘篮 摘要 随着多媒体数据的目益发展和普及 多媒体相关技术的研究成为当前信息领 域的一个热点 特别是基于内容的图像检索 c o n t e n tb a s e di m a g er e t r i e v a l c b i r 形成了一类新的前沿课题 c b i r 系统提取图像中颜色 形状以及纹删 等视觉特征 并将其作为检索依据实现图像检索 实际图像检索中 用户所采川 的语义查询方式和图像的视觉特征描述之间的差异很大 而现有的信息处理和数 据分析技术很难获得二者之间满意的映射关系 因此仅通过视觉特征进行的舱索 在效果上往往不能满足用户需求 本论文旨在利用相关反馈方法来提高c b i r 系统的检索效果 为了描述刚 选择在检索过程中的主观性和随机性 本文在基于贝叶斯学习的相关反馈算法中 引入动态分布函数 实现了特征权值的动态更新 实验结果显示检索效果得到了 显著的提高 本文研究工作的主要特色和贡献有 1 对c b i r 系统中的相关反馈技术进行了详细的研究 设计并实现了一个 新的贝叶斯相关反馈算法 该算法针对现有相关反馈技术的不足 用特 征权值的动态分布函数对用户选择的主观性和随机性进行建模 2 由于分布函数在形式上具有多样性 本文重点研究了两类动态分布函数 线性分布函数族和正态分布函数族 并根据用户的反馈信息对这两类分 布函数进行了参数估计 在此基础上 给出动态分布函数的 般性设计 方法 3 结合c b i r 系统中广 泛应用的一些性能评估参数 建立了孳n 性能评f i f i 参数 针对c b i r 系统中的性能评估问题给出了 些新的思路 媾 二这 组性能评估参数进行的大量检索实验 验证了本文算法的稳定性币 收敛 性 与权值调整的相关反馈算法和基于支持向量机的相关反馈算法的对 比实验结果也验证了本文算法具有更好的查准率和查全率 关键词 基于内容的图像检索 相关反馈 贝叶斯学习 v 巾脚科学技术大学蜊上学位i 皂文 a b s t r a c t w i t ht h ed e v e l o p m e n ta n dp o p u l a r i t yo fm u l t i m e d i ad a t a m u l t i m e d i ar e s e a r c h e s p e c i a l l yt h er e s e a r c ho i lc o n t e n tb a s e di m a g er e t r i e v a l c b i r h a sb e c o m eo n eo f t h ee m e r g i n gf r o n t i e r si nt h ei n f o r m a t i o nr e s e a r c ha r e a c b i rs y s t e mp e r f o r m si m a g e r e t r i e v a lb a s e d0 1 1t h el o w l e v e lv i s u a l f e a t u r e se x t r a c t e df r o mt h ei m a g e s s u c ha s c o l o r s h a p ea n dt e x t u r ef e a t u r e s b e c a u s eo ft h eg r e a tg a pb e t w e e nl o w l e v e lv i s u a l f e a t u r e so fi m a g e sa n dh i g h l e v e ls e m a n t i cq u e r i e so fu s e r s m a p p i n gf u n c t i o n s b e t w e e nt h et w os i d e sa r es t i l li m p r a c t i c a lw i t hc u r r e n ti n f o r m a t i o np r o c e s s i n ga n d d a t aa n a l y s i st e c h n o l o g i e s r e t r i e v i n gr e l e v a n ti m a g e so n l yb a s e do nv i s u a lf e a t u r e s c a nh a r d l ym e e tt h er e q u i r e m e n t so f u s e r s t h ea i mo ft h i sd i s s e r t a t i o ni st oi m p r o v et h er e t r i e v a la b i l i t yo fc b i rs y s t e mb y u s i n gr e l e v a n c ef e e d b a c k d y n a m i cd i s t r i b u t i o nf u n c t i o n s w h i c hi n d i c a t eu s e r s s u b j e c t i v i t ya n dh a p h a z a r di nt h er e t r i e v a lp r o c e s s a r ei m p o r t e di n t ot h er e l e v a n c e f e e d b a c kp r o c e s sb a s e do nb a y e s i a nl e a r n i n gt op e r f o r mt h ec o n t i n u a l l yu p d a t i n go f f e a t u r ew e i g h t s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h er e t r i e v a la b i l i t yi s i m p r o v e d g r e a t l y t h em a i nc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r eo nt h ef o l l o w i n g 1 b ya n a l y z i n ge u r e n tr e l e v a n c ef e e d b a c kt e c h n o l o g i e si nc o n t e n tb a s e di m a g e r e t r i e v a l t h i sd i s s e r t a t i o nd e s i g n sa n di m p l e m e n t san o v e lb a y e s i a nr e l e v a n c e f e e d b a c ka l g o r i t h m t h i sa l g o r i t h mb u i l d sm o d e l sf o ru s e r ss u b j e c t i v i t ya n d h a p h a z a r du s i n gt h ed y n a m i cd i s t r i b u t i o no ff e a t u r ew e i g h t 2 b e c a u s eo ft h ed i v e r s i t yo fd i s t r i b u t i o n t h i sd i s s e r t a t i o nf o c u s e do nt w ok i n d so f d y n a m i cd i s t r i b u t i o nf u n c t i o n s l i n e a rd i s t r i b u t i o n f u n c t i o n sa n dn o r m a l v a b s t r a c t 凼科 t 挂术人学埘 l 学f 证论史 d i s t r i b u t i o nf u n c t i o n s u s e r sf e e d b a c ki n f o r m a t i o ni su s e dt oe s t i m a t et h e p a r a m e t e r so ft h e s et w ok i n d so ff u n c t i o n s b a s e d0 nt h e s ew o r k s t h i sd i s s e r t a t i o n p r o p o s e dag e n e r a lf r a m ef o rd e s i g n i n gd y n a m i cd i s t r i b u t i o nf u n c t i o n s 3 i n t e g r a t i n gt h ep a r a m e t e r sw h i c ha r ew i d e l yu s e di np e r f o r m a n c ee v a l u a t i o no f c b i r t h i sd i s s e r t a t i o ne s t a b l i s h e das e to fp e r f o r m a n c ee v a l u a t i o np a r a m e t e r sa n d p u tf o r w a r ds o m en e wi d e a st or e d u c et h ed i f f i c u l t yo fp e r f o r m a n c ee v a l u a t i o no f c b i r b a s e do nt h e r ep a r a m e t e r s ag r e a td e a lo fe x p e r i m e n t sa r ef u l f i l l e dt o v a l i d a t et h es t a b i l i t ya n d a s t r i n g e n c yo ft h ea l g o r i t h mp r o p o s e di nt h i sd i s s e r t a t i o n c o m p a r a t i v ee x p e r i m e n t s w i t ht w oo t h e r a l g o r i t h m s f e a t u r ew e i g h t i n g r e l e v a n c e f e e d b a c ka l g o r i t h ma n ds v mb a s e dr e l e v a n c ef e e d b a c ka l g o r i t h m s h o wt h a tt h ea l g o r i t h mp r o p o s e di nt h i sd i s s e r t a t i o nh a sb e t t e rp r e c i s i o na n d r e c a l i k e y w o r d s c o n t e n tb a s e di m a g er e t r i e v a l r e l e v a n c ef e e d b a c k b a y e s i a nl e a r n i n g v 撤谢 凼科学技术大学颤 学位沦文 致谢 n 叫将结束小艾 作的时候 我衷心感谢在我攻读硕士学位划间氨接或问接 指导 船助和天心过我的人们 首先感谢我的导师壬煦法教授 三年来 王教授为我提供了良好的研究环境 以及悉心的指导和帮助 他渊博的知识 敏捷的思维 严谨的治学精神 不倦的 作热情 民主的科研作风使我在学习和研究中获益匪浅 正是因为王教授的氏 期鼓励 引导和启发 本文的研究和写作才得以顺利完成 感谢李金龙博士 他严谨的工作态度 丰富的研究思路 让我在与他的讨论 交流中获得了不少灵感 开拓了研究思路 感谢陈恩红教授 营先彬教授 张荣老师 在三年里对我的生活 学习和研 究的关怀和指导 感谢本研究小组的王上飞搏士 硕士生王胜惠 方芳 张泽明 在与他们合 作研究 共同讨论的过程中 本文得到不断完善 感谢计算机系李胜柏老师 卢贤若老师 郑启龙老师和费广炜老师等对我平 时学习生活的关心和帮助 感谢我的父母 父母对我在学习和生活上的支持 永远是我的动力源泉 感谢鲍欣龙在本文的研究和写作过程中对我的关心 鼓励和支持 这三年里 他陪伴我一起克服困难 迎接挑战 分享快乐 使我拥有一个丰富多彩的生活 感谢所有关心和帮助过我的老师 同学和朋友们 在我所做的研究中凝聚着 他们的关心和友谊 l q f 学技术人 母 节啦沦文 第1 章绪论 本章首先网顾了图像检索发展的原因和现状 并分析了当前研究的热点及存 订 的n u 题 然后简单分析了相关反馈技术的研究及其对图像检索研究带来的机遇 年 挑战 在本章最后一节中 列出了论文的研究内容和组织结构 1 1 图像检索概述 信息是多维的 而人能够同时准确有效地处理多维信息 近年来 随着高性 能处理器 高速网络 高容量存贮设备出现和使用 以及压缩算法 语音 声音 图像和视频信号处理理论和技术的进步 数字媒体存贮 检索以及传输问题成了 国内外研究的热点 信息化社会中的用户对信息技术提出了许多更高的新要求 以人为主导 h u m a n c e n t e r e d 是这些众多新需求的核心环节 目前的信息技术或计算机技 术只能说是克服了距离和信息量制约的一种高度抽象化和客观化的技术 未能有 效地考虑用户的特殊性 主观性和个性化需求 这种 以机器为主导 m a c h i n e c e n t e r e d 豹技术立足于高度客观化和抽象化的符号知识处理 没有也 很难考虑到用户的多种多样的情感 爱好 目的 意识和文化背景等 在这种技 术背景下 用户 定要满足来自机器的约束或需求 这就严重影响了人一机交互 h u m a n m a c h i n ei n t e r a c t i o n 从而也影响了通过信息技术的人一人交互 h u m a n h u m a ni n t e r a c t i o n 因此发展 以人为主导 的信息技术以及构造相应 的信息环境是信息科学技术工作者在2 l 世纪中所面临的迫切任务和重大挑战 图像足众多媒体中的一种主要信息媒体 图像检索是在大量的图像数据中搜 索并获墩满足用户特殊 主观和个性需求的图像 因此图像检索技术的研究将促 进 以人为主导 的信息技术的发展 随着i n t e r n e t 技术的飞速发展和i n t e m e t 用户的迅速膨胀 各种类型的 海 量的数字化信息在i n t e m e t 上公布 允许在线存取 根据g i l d e r1 9 9 9 年的技术报 告 妇以及n e t s i z e r 在2 0 0 0 年初的评论e 2 3 i n t e m e t 上有超过7 0 0 0 万的主机 接近4 0 0 0 t b y t e s 的信息 而对如此巨量的信息财富 如何使用户能快速有效地 l 斯缔硷 搜索到感兴趣的信息是目前信息检索研究的重点釉难点 现今研究最多的是解决文本信息的搜索问题 并上 取得了娃井的成绩 在 i n t e m e t 上能找到许多基于文本的搜索b i 擎 例如 y a h o o 3 g o o g l e 4 a i t a v i s t a 5 l y c o s 6 e x c i t e 7 等 然而去除文木搜索 r 具 很少订实用的其他 媒体信息搜索工具 这从另一个侧面表明 图像 视频 声音等的搜索史为删稚 在图像和视频检索方面 所作的工作仅仅是刚起步 8 现今人们使用较 多的图像检索工具 例如g o o g i e 4 采用的是传统的基于手工注解c 文本检 索技术 这种技术的效率和大范围应用能力十分有限 1 1 1 基于文本的图像检索系统 图像检索传统的方法是基于文本特征的查询 图像的文本特征 如 文件名 标题 关键词等被用来注解和检索图像数据库 从2 0 世纪7 0 年代末期开始 由 于数据库技术的进步而建立和发展了基于文本的图像检索技术 9 1 0 l i 并 取得了一定的成果 1 2 例如数据建模 多维数据索引 查询优化和查询评估 等 在i n t e m e t 普及之前 这个方法是有效的 也获得了不少应用 然而 i n t e m e t 的出现和网络技术的发展 使得这种检索方法的不足和局限性曰益凸出 其中存 在的两个主要问题 阻碍了这个方法的进 步应用 第一个问题是人必须介入图像的注解过程 用一组预先选择好的关键词对越 来越多的图像一一进行手工描述或标记 巨大的工作量和复杂的标沣过程使得这 一方法陷入了困境 在大多数图像中部有若干个物体 每个物体部有自己的属性 集合可用于检索时的索引 物体之间又有相互关联 因此注解并不是一个简单操 作 需要花费脑力进行分析 对如此海量数据的分析并不是人脯所能承受的 第二个问题是关于用来注解图像内容的关键词 预先选择好的火键硼雄以i i 付冷僻词等非常规的检索 图像内容会因人的感受不同而出现茏歼 火键嗣难以 完备描述图像内容等 这些问题的存在 不可避免地阻碍了基于文本台勺圉像检索 的进一步应用 第1 荜绪论 1 4 乒i 学技术大学妖士学位论文 1 1 2 基于内容的图像检索系统 由于基于文本的图像检索系统的局限性 直接导致人们开始寻找新的检索方 法和技术 2 0 世纪9 0 年代初 人工智能 数字信号处理 统计学 自然语言理 解 数据库技术 心理学 计算机视觉 模式识别和信息技术等都得到了不同程 度的发胜 在此基础上 基于内容的图像检索 c o n t e n tb a s e di m a g er e t r i e v a l c b i r f 1 沦干 f 力法研究受到了众多的关注 并有力地促进了图像检索研究的发 展 觉特征提取黉 薹义特征提取 由由唇 视觉特征库语义特征库 l 塞引 匹酉强邕l 匹配圈 图1 1 图像检索的发展历史 如图l l 显示 图像检索从基于文本的图像检索 发展到以基于视觉特征的 图像检索和基于语义的图像检索为主流的研究阶段 基于内容的图像检索 被 确认和认同 并迅速掀起的研究热潮 在这期间 出现了相当多的图像检索系统 其中比较典掣的代表有q b i c 1 3 p h o t o b o o k 1 4 n e t r a 1 5 v i r a g e 1 6 v i s u a h e e k 1 7 和m a r s 1 8 等 本文对相关研究总结得到一个典型的基于内 第1 章绪论q f 妓术人 坝卜1 产 j 沦殳 容的图像检索系统结构框图 如图1 2 所示 图1 2 典型的基于内容的图像检索系统结构 从图1 2 可以看到 系统的组成结构一般含以下两类基本元素 静态元素和 动态过程 拂i 啦绪沦叶 凼科学技术大学碰士学位论文 静态冗素包括 图像库 图像视觉特征库 图像语义库 用户 共四个部分 动态过程包括 视觉特征提取过程 语义提取过程 检索接口 用户评价和 反馈 匹配索引过程 共四个部分 从另一个角度看 图1 2 将基于内容的图像检索系统分为离线处理部分和在 线处胖鄙分 离线处理部分完成对图像视觉特征的提取 包括颜色 形状 纹理 等 存线处理部分完成语义特征库的形成 检索过程 索引过程等 在丛于内容的图像检索系统中 用图像的视觉特征表示图像的内容 例如 用颜色 形状 纹理等视觉特征来表示图像的内容 利用查询例图的视觉特征和 图像库中图像的视觉特征进行匹配来完成检索 然而用户使用系统时 并不知道 颜色 形状和纹理等特征 用户的查询常常是用更为抽象的语言文字来描述 甚 至有些查啕是模糊而难以用文字描述的 这些查询属于语义检索范畴 这种查询 方式与实际系统利用视觉特征进行检索的方式之间形成巨大的差异 并导致最终 检索结果非常差 即使用户清楚知道依据图像的视觉特征来进行检索 但是视觉 特征相近或者相同而语义上却差之千里的图像并不少见 这严重影响了检索的准 确性和效率 因此到2 0 世纪9 0 年代末期 加之图像处理技术发展水平的限制 图像检索研究中对视觉特征的关注相对减少 图像检索研究发展到了图l l 所示 的第三个阶段 基于图像语义的检索 对用户个性化需求的理解和对图像内容的 更进一步抽象成为研究热点 如图1 3 所示 从图像视觉特征和用户两个方面向 位于中间的语义进行逼近 以期达到对接和重合 实现匹配 视觉特征语义特征 用户 图1 3 图像检索研究需要解决的两个主要问题 从图像的视觉特征到图像的语义特征 这两者之间的差距通常被认为是 语 义鸿沟 s e m a n t i cg a p 8 参见图i 3 2 0 0 2 年基于内容的图像和视频检索 t c v i r 国际会议的一个重要主题就是图像和视频的语义检索 会议认为 语 第1 章耆占论 埘科 肇技术人 1 二坝 f 书沦殳 义鸿沟 是目前图像检索领域急需解决的最大挑战 为填补存在的 语义鸿沟 不少相关研究者提出了自己的解决方案 2 0 2 i 2 2 2 3 2 4 等 f j 郝仪仪址 迈出了尝试性的第一步 研究处于探索阶段 这些方法的系统性 实用性等都有 待于进一步的验证 寻求图像语义提取的方法成为当前图像检索研究的重点羊l l 热 点 但是实际困难使得研究一直进展缓慢 1 2 相关反馈技术 图l 一2 中的系统结构引入了反馈子系统 其目标是解决用户检索意图的删解 问题 希望通过对用户反馈信息的学习逼近用户的需求 以文 2 1 为代表 f 多研究工作越来越关一1 5 相关反馈在检索过程中的作用 本节对这些研究1 作进行 了总结 1 2 1 以计算机为中心的c b i r 系统 早期c b i r 系统的目标是找到最佳视觉特征 该系统具有两个特征 1 检索过程中 用户选择感兴趣的图像特征 在根据多个特征进行检索时 用户需要指定不同特征的权值 2 基于选择的特征和指定的权值 检索系统试图找到最接近用户查询的图 像 这样的系统可以看作是以计算机为中心的 c o m p u t e rc e n t r i cs y s t e m 盯f 语义鸿沟 的存在 该系统并不能得到满意的效果 同时该系统表现j 曲个缺 点 l 查询中的特征及其相应权值是固定的 并不能反映用户感知的主观性 2 权值的设定强加给用户了过多的负担 要求用户对图像检索中用到的底 层特征具有一定的理解 但这并不符合实际需求 受到这些系统缺点的启发 c b i r 中后期的研究都倾向于交 l 技术 j 作 为检索过程的 部分存在i 2 5 2 6 2 7 2 8 1 例如 文1 2 7 2 9 中交互的图 痢i 啊绪论巾圆科学技术大学碰士学位论文 像数据库注解 文 3 0 3 1 中在检索前的有监督学习 文 3 2 3 3 中利用将 天键字和高层语义交互结合而提高图像检索性能 而其中用到最多的是相关反馈 技术 2 i 3 7 4 3 1 2 2c b i r 系统中的相关反馈技术 作为一种有效的检索手段 相关反馈在文本检索中 3 4 3 5 3 6 已经取得 j lt 人的成功 冈此 由f c b i r 检索效果的局限性 人们开始试图将相关反馈 川 像挺至视频检索 以划米解决 语义鸿沟 和用户需求理解的问题 并取 得了不错的效果 相关反馈在信息检索中是一种指导性学习的技术 强调检索过程是在计算机 和用户之间交互 假定用户对检索目标的高层语义理解能以低层视觉特征的某种 加权组合表示 通过相关反馈技术即人机交互过程建立二者的映射 同时 用户 不再需要在检索过程中指定特征的权值 用户只需要标记他 她 认为与查询相 关的图像 特征权值在查询中动态更新 从而实现对高层语义和用户选择的主观 性建模 图1 4 相关反馈示意图 用户 第1 章绪沦嘲年斗学技本人学硼 已学化沦义 在基于内容的图像检索系统中 典型的相关反馈过程如图1 4 所示 对于用 户提供的样本图像 系统根据相似矩阵和样本图像以及图像数据库中刚像的罔像 特征 给出一个基于相似度的排序列表 数据库中图像和样本图像如粜在特扯窄 间越相似 则排序越靠前 然后 用户在该列表中选择 组符合该次卡 象内容的 正反馈图像和一组不符合检索内容的负反馈图像 并提交给检索系统 系统根据 用户的提交信息 来优化相似矩阵并提交给用户新的检索结果 因此 在相笑反 馈中最重要的问题就是如何有效地利用用户提供的交互信息 相关反馈技术在基于内容的图像检索系统中已经得到了 泛的应用 21 3 7 4 3 按照反馈的方法可以大致分为三类 检索向量转移 权值问整和基于分 类的相关反馈 1 检索向量转移 检索向量转移方法的思想是通过分析用户的反馈信息 改变用户的检索向 量 将它向最理想的方向转移 通过这种方式来优化检索结果 这也常称为查询 优化 对于用户提交的正反馈集合d 和负反馈集合d t 一种方法是利用 r o c c h i o 公式 见公式1 1 改变用户的检索向量 q 古丕口 一 寿蚕q m t 其中 a 和y 是常量 和 j 分别为d 和d 中的反馈图像数 目 这种技术在m a r s 系统 2 1 中得到了实现 实验结果表明 通过用户的反 馈 系统的检索精度得到一定的提高 另外一种检索向量转移的方法是贝叶斯推理 c o x 3 7 和n u n o 3 8 结 合用户的反馈过程 对给定的样本 利用贝叶斯规则来预测该样本喝 个特定 类的概率 试图将检索错误降到最低 假定正反馈和负反馈是一系刈彼此独立的 检索单元 贝叶斯分类器可以表示为 g x a r g m a x j d i h o 粥i 啦绪沦小吲科学技术大学硕士学位论文 a r g m a x p x i y f p 0 i i 工 j 1 2 其中 k x 是一个查询序列 p p i ix 是关于图像类f 满足查询 婴求的先验概率 2 权值调整 由 二每幅图像都可以由一个n 维的特征向量表示 因此图像可以看做 维 窄间中的一个点 权值调整的基本思想就是通过凋整各个特征及特征各维的权 值 即图像在 维特征向量空间中的位置 来优化检索结果 r u i h u a n g 在文 2 1 3 9 提出了一种利用特征标准差的算法 其基本思路是对在特征空间中对 特征分布标准差大的特征维降低权值 反之则增加极值 来提高检索的效果 同 时他们提出了一种多层的图像模型 并以此模型为基础 使用了全局优化的方法 来处理权值调整的问题 每个特征i 的理想查询向量用所有正反馈图像的加权和 表示 旷兰 1 3 吼2 菇 这里 r 是特征i 的一个n x k k 为特征i 的维数 的i j l l 练样本矩阵 包 含了n 幅正反馈训练向量 维向量丌 防 以 表示了月幅正反馈图像与查询 的相关程度 通过用户的反馈而决定 系统利用q 作为最优查询来评估图像数据 库中所有图像的相关性 3 基于分类的相关反馈算法 文 4 0 4 1 4 2 中提出了一种基于分类的相关反馈算法 对于每个检索样 本图像 认为该图像和与之对应的所有正反馈图像构成了一个拥有共同语义含义 的幽像集合 并构造出该检索样本图像在特征空间的b a y e s i a n 分类器或者支持 向最机 s u p p o r tv e c t o rm a c h i n e s v m 分类器 该分类器参数反映了语义类在 特征空间中的分布信息 同时 利用用户的反馈信息来不断的更新该分类器的参 9 第1 章绪论 蝈 学技术人 产瑚b 学位硷文 数 使得检索效果不断的得到提高 方便用户以后的检索 文 5 5 r h 小文作 者对基于支持向量机的相关反馈算法进行了研究 通过对反馈信息的进一步羊t j f f j 改善了该算法的检索效果 支持向量机的分类器形式为 厂kj s 劬匹 q y k b xj b 1 4 其中 函数 k b x j v x 1 甲b 为核函数 工是位r 分类刚稿i i 的样本 即支持向量 基于分类的相关反馈算法可以看作检索向量转移和权值调整这两种方法的 结合 1 2 3 讨论 相关反馈技术在c b i r 系统中的研究最初是针对1 2 1 中以计算机为中心的 c b i r 系统的缺点提出来的 在相关反馈技术中 由于查询中的特征及其权值在 检索过程中是根据用户的每次反馈获取的 因此在一定程度上体现了用户选择的 主观性 然而 这些相关反馈技术具有两个缺点 1 在实际检索的过程中 由于用户缺乏对图像技术的了解 查询不可避免 的会具有随机性 例如当用户面对两幅与目标图像均无关的图像时 所 做出的选择是无法确切解释的 可认为随机的 这种随机性本质上根源 于用户在比较图像相似性时采用的度量标准的随机性 这一部分内容在 前面的相关反馈技术中都是不曾考虑过的 2 由于图像检索中随机性的存在 特征距离计算公式中每一维特 i f 权值应 该服从一个随机分布 其分布是未知的 在前面提到的相关反馈技术中 特征权值都是一个固定值 即使文 2 1 中对特征权值进行的调整 也 是固定的 本文对以上问题进行了研究 结合统计学习理论中的知识 本文认为特征距 离计算公式中每一维特征的权值服从一个随机分布 并根据用户的反馈信息对该 分布进行参数估计 o 心科学 直求人学颤士学位沧文 1 3 本论文的研究内容及组织 1 3 1 本论文的研究内容 本文研究在c b i r 系统中采用相关反馈 r e l e v a n c ef e e d b a c k 的方法来提高 检索效果 通过在基于b a y e s i a n 学习的相关反馈中引入特征权值的分布函数 系统在检索的过程中考虑了用户选择的主观性和随机性 显著的改善了检索效 梁 j 利件jb a y e s i a n 规则米优化检索结果 另一方面 通过用户的反馈 信 鬯耐特缸权值进行估计 本文中的b a y e s i a n 相关反馈算法是检索向量转移和 权值调整两种方法的结合 本文的研究内容从以下几个方面展开 l 对c b i r 系统中的相关反馈技术进行了详细的研究 设计并实现了一个 新的b a y e s i a n 相关反馈算法 该算法针对现有相关反馈技术的不足 用 特征权值的动态分布函数对用户选择的主观性和随机性进行建模 2 由于分布函数在形式上具有多样性 本文重点研究了两类动态分布函数 线性分布函数族和正态分布函数族 并根据用户的反馈信息对这两类分 布函数进行了参数估计 在此基础上 给出动态分布函数的一般性设计 方法 3 结合c b i r 系统中广泛应用的一些性能评估参数 建立了一组性能评估 参数 针对c b i r 系统中的性能评估问题给出了一些新的思路 基于这 组性能评估参数进行的大最检索实验 验证了本文算法的稳定性和收敛 性 与权值调整的相关反馈算法和基于支持向量机的相关反馈算法的对 比实验结采也验i 止了本文算法具有更好的查准率和查全率 1 3 2 本论文的内容安排 全文共分五章 具体安排如下 本章即为第l 章绪论 是本论文的简单概述 首先介绍了图像检索发展的历 史及研究现状 并指出了当前研究的热点和急需解决的问题 然后介绍了解决当 第1 章绪论 f 1 日科学技术大 坝1 1 学化论文 前研究中所遇到挑战的一种方法 相关反馈技术 最后列出了本文的组钐渖 啦 i 结构 第2 章在c b i r 系统中设计了一种新的b a y e s i a n 相关反馈算法 第3 章分析了算法的性能评估方法 并对测试平台进行了详细的介缁 第4 章给出了大量的检索对比实验并对实验结果进行分析 验证了本文算法 的有效性并从多个方面测试了算法的性能 第5 章对本论文的研究工作进行了总结和归纳 并指出了本文论文研究的特 色和创新之处 最后对今后进一步的工作做了说明 吼2 一 b a y e s i a nn i 天反馈摊 巾囤科学 土术大学硕士学位论文 第2 章b a y e s i a n 相关反馈算法 结合统汁学习理论中的相关知识 本章提出一种新的b a y e s i a n 相关反馈算 法 在检索过程中假定特征权值服从一个概率分布 并对该分布的参数进行估计 实现了相关反馈 2 1b a y e s i a n 定理 b a y e s i a n 学派是数理统计学中的一大学派 b a y e s i a n 方法可以预测类成员关 系的u j 能性 如给定样本属于一个特定类的概率 这里对b a y e s i a n 定理进行简 单的介绍 设 是类标号未知的数据样本 设h 为某种假定 如数据样本x 属于某特 定的类c 该分类问题的目标是确定p h l 即给定观测数据样本 假定h 成立的概率 p wf 是后验概率 或条件x 下h 的后验概率 b a y e s i a n 定理 提供了一种由p p p xj 口 计算后验概率j d 日 z 的方法 j p jx p xh 尸 2 1 2 1 1b a y e s i a n 分类器 基于内容的图像检索 c b i r 的标准交互范例就是所谓的 按例查询 即 刚户向系统提供个示例图像 系统从数据库中返回与之看上去是类似的图像 j 是问题可以自然地表示为 给定一个图像数据库 假设该数据库被完全划分 为k 个互斥的类 记为 q 妇 0 3 0 5 要求找到一个映射妒 y 卜 q 使得对于任意的j 妒 脚 1s k 特殊地 最大取值可以是整个数 据库中图像个数 即每个图像是一个不同的类 也可以比这个值小 该映射的 目标是减少检索系统的出错概率 可知最优映射是b a y e s i a n 分类器 第2 章b a y e s i a n 利关反馈算法 q 产技术人学硕f 化沦史 缈 a r g m a x p s i t x a r g m p x i s 1 尸 只 1 2 2 其中 是用户提供的反馈图像 s 是o 1 量 s i l 表示分类为印 如果没有 哪个类是占优的 则p s 1 是一个常毋 与f 无关 这也是通常进行b a y e s i a n 推理所做的基本假设 因此 c a 伍 a r g m a x p xs 1 2 3 公式2 3 提供了一个设计检索系统的基础 利用它可以解释反馈信息中的刖 户选择 2 1 2b a y e s i a n 相关反馈 图2 1 给出了一个典型的b a y e s i a n 相关反馈流程图 给定一个图像数据库 y t y y y 检索过程可以看作一个查询序列x 足 j 简单的运用 b a y e s i a n 规则 3 7 3 8 可得到 p lx 1 工 p x ly y e y ix i 一1 2 4 其中j 一是一个规范化常量 与目标无关 假定当前查询一独立于前面的套 询 这说明了用户在每次交互时都提供给了系统新的信息 第r 一1 次查询时用 的兴趣成为了第 次查询时的先验分布 取对数递归求解 可以得到 k i 一i l o g p y l 0 9 7 i 一 l o g p x 一tl y y 0 0 y 2 5 f t 0f o 由于七很大时 方程右边很大 所以新获取的数据不能引起明显的改变 所以 需要加上一个衰减因子t 2 将当前检索的上一步的后验概率进行衰减 是可 以得到 l o g e y f y y s a o r 2 6 一 r hg o 口 h m 一 g o 卜 口 h 第2 啦b a y e s i a n 丰 j 戈反馈算法巾翻科学技术大学硕士学位沦文 令a 一 a 0 一口 口 o 1 则 l o g p k y l o g y 口l o g p x 1y y i a l o g e 一i y 2 7 所以 若记检索的最优目标是y 则 a r g m a x a l o g p x iy y f 1 一a l o g p 一l y l 陔数值 j 以作为l o g p y 来充当下一步检索的先验 为了计算检索的擐优 目标y 需要计算公式2 8 中的类条件概率尸 y y 即后验概率 厂 检索成功 1 一 图2 1b a y e s i a n 相关反馈流程图 第2 章b a y e s i a n 树关反馈算法 中心科学技术人学硕l 学似沧文 2 2 本文中的b a y e s i a n 相关反馈算法 由于缺乏对图像技术的了解 用户在检索过程中不可避免的会产生奄询的主 观性和随机性 例如 当用户面对两幅与目标图像均无关的图像时 所做出的选 择是无法做出解释的 即是随机的 冈此 用 的反馈应该足 个随机变昂 小 文基于这种思想建立了图像检索系统中的随机模型 2 2 1 随机模型的介绍 假定图像y 是用户的目标图像 系统的目标是通过显示的数据库中的图像尽 可能快的找到目标 如果每一次显示的图像是两幅 用户会选择在他看来最接近 目标的图像 这个过程一直继续到用户找到目标为l f 对于系统提供给用户的侯 选图像集合s 可以找n 个度量标准d 使得d b 匕 d y r t 其中匕是用 户满意的图像集合 匕是用户不满意的图像集合 该度量标准可以看作查询和目 标图像的联合分布 其决定了显示的图像中哪一幅被用户选中 定义变量 目标变量 目标y 是一个随机变量 并具有先验分布风 j j y 即b a y e s i a n 学习中的先验分布 该分布随着查询中信息的收集而进化 实验中 叮以定为 均匀分布 查询变量 用户对侯选图像集合s 进行的评价记为幺 9 反映了用户的查 询目标 是一个随机变量 度量标准集合 d f d 是给定目标y 时度量图f 象集合s 的度量际准的集合 具有两点性质 i 4 对于给定目标j 是条件独立的 2 p d d i r y 1 工 d 由此可推出 访2 jl n y c s i a n 冉j 足 乏坝珏世 巾围科学灶术大学硕士学位沦文 p d d t dj n 屯 t 由上分析 公式2 8 中的后验概率的计算问题转化为了度量标准d 的分布函 数的确定 2 2 2 分布函数的设计 假定目标y 显示的图像集合s o 度量标准d 可以看作图像各维特征在距离计 算中的权值的一种表述 本文研究工作认为如果某一维特征在检索过程中的作用 巫明显 则应该增大该维特征的相应权值 度量标准d 可以看作不同特征的权 值的组合 这样d 的分布也可以看作各维特征的权系数吒的分布函数 公式2 8 中的后验概率的计算周各维特征的权系数岔 的分布函数密切相关 窿 的分布存 在下面两种情况 1 固定分布函数 这种情况下又可以分为两种情况 1 口 是一个固定值 2 吼是一个随机变量 它的分布函数是固定的 这腭种情况都是平凡的 a 与系统提供的侯选图像和用户的目标图像无关 q 此 j 以似定各维特征的权系数a 具有相同的分布函数 在第 1 种情况下 奉文中的b a y e s i a n 相关反馈算法就是普通的b a y e s i a n 相关反馈算法 在第 2 种情况f 需要选取合适的分布函数 例如 图2 2 中的正态分布函数与现实中 的很多事件都具有较多的相似性 第2 章b a y e s i a n 柑关反馈算法 吲科学技术大学颂f 4 产似 仑艾 图2 2 正态分布函数 固定分布函数独立于目标图像和显示图像 这与人机交互是不相符的 举一 个简单的例子 用户的检索目标是一个红色正方形 当系统提供的图像是红色圆 形和蓝色三角形 用户会根据颜色选择红色圆形 如果系统提供的图像是黄色 f 方形和蓝色圆形 用户会根据形状选择黄色正方形 因此 固定分布函数的缺陷 就是无法体现用户检索中的主观性和随机性 2 动态分布函数 口 是一个随机变量 它的分布函数与系统提供的侯选图像和用户的目标图像 相关 是根据检索的进行而不断动态变化的 基于这种假设 本文可以计算用户 检索过程中的个性化因素 估计出用户在反馈中倾向采用的特征及其权值 由于 分布函数的多样性 不可能遍历所有分布函数 因此本文做了一些简化假设 假 定a 的分布是已知的 其参数动态变化 这样本文对动态分布函数进行了研究 假设w f 的分布函数为 s u 叱 其中f 表示此分布是第 次反馈后 的分布函数 可以推山 丌胁 p q p i y y 堕兰塑等 一 2 1 0 其中m 表示特征的维数 d 表示所有加权系数w l w w 的集合 而公式 弼2 lb a y e s i a n 柑关反馈算旺 中国科学技术大学坝士学位沦文 a f w 川兰i l 且m i n d p 幽 m a x d p y t 表示能够解释用 户注意的加权系数集合 j 以这样理解公 2 1 0 针对一 个假定的目标图像 如果特征 越能很好的 k 分系统提供的候选图像s 那么用户在反馈时自然会越倾向于根据这一特征对 候选蚓像进 j 评价 凶此应当增大v 的值 以体现用户的这种倾向性 并不能 淀崩户一定是倾向于特征z 只是这种可能性比较大 故可通过定义其发生概率 来描述 使得m 取大值的概率变大 整体上w j 的期望变大 公式2 1 0 实际就是 计算这个期望值 w 取大值的概率变大并不排除用户不倾向于使用第f 个特征进 行评价的情况 从而实现了对用户选择主观性和随机性的容错 下面是关于特征 能区分侯选图像的讨论 将权系数w 在区间 0 1 上离 散化 设 的取值为j l n j 1 2 n 同时 假设候选图像的集合为s 每维 特征的区分度分别是t f t 参见公式2 一l l t 盯形 2 1 1 o i j z l 其中 正是第i 个特征在属于 的样本图像中的协方差 第i 个特征的区分度t 表明 如果用户评价为正 属于 的样本图像 的图 像都在第i 个特征上的取值很接近 则说明用户对目标图像在同样特征上的具体 取值已经有了很清楚的标定 用户更注重在这个特征上图像之间的细微的差异 即使候选图像和目标图像在这个特征上有比较小的差异的话 用户也可以将他们 区分开来 换而言之 就是用户注意到了这个特征 相反 如果评价为正的图像 在某个特征上的取值的差异很大的话 说明用户在作出正评价的时候完全没有顾 及这些特征的具体取值 在整体考虑候选图像和且标图像的距离的时候 这些特 征的取值对距离计算影响很小或者没有影响 由此得到公式2 1 l 的计算公式 9 第2 啦b a y e s i a n 十h 关反馈算法 巾例科学技术太学颇 产f 帚沦史 得到每维特征的区分度之后 根据区分度对分布函数进行估计 下面给 l 5 权 系数 为线性族分布函数时的具体形式 雎 j n 4 t 2 叫h 2 砌t 1 2 1 2 其中 j l 2 h 用一个 0 1 区间上的线性函数公式2 一1 2