（计算机应用技术专业论文）基于相关反馈机制的图像检索方法研究.pdf

摘要 目前基于内容的图像检索( c b i r ) 系统在图像的低层特征与图像的高级语义特征 之间还存在着较大的鸿沟，本文针对此问题，提出了一种基于迭代l o 西s t i c 回归和贝叶斯 ( n e m t i o nl o g i s t i c 鼬g r e s s i 伽锄db a y e s i 粕，i l r b ) 算法的相关反馈机制的图像检索方 法。着重研究了基于内容的图像检索中图像特征向量内部分量的分布模型及图像的后验 概率的预测问题，构建了一套完整的图像检索方案，并实现了相应的系统。实验结果表 明，本文提出的方案较好地缓解了目前检索系统存在的语义鸿沟问题。 本文论述了以下两方面的问题： 第一，建模特征向量的内部分量。人们在观察图像时往往从语义出发，而颜色，纹 理和形状等底层特征和图像的语义没有直接的联系，一些特征可以反映部分语义，而一 些特征与语义无关。因此，图像特征以及基于特征计算出来的相似度并不能很好地体现 人对图像的感知，针对这个问题，本文提出了迭代1 0 西s t i c 回归( i t e r 撕o nl 0 西s t i cr e 孕e s s i o n ，i l r ) 模型来建模图像特征向量的内部分量，它根据用户的选择来更好的确定 图像特征的选取( 调整特征向量里各个分量的权重) ，使系统自动的来调整特征，较好的 缩减了图像底层特征与高层语义之间的差异。 第二，建模特征空间。使用高斯分布来建模图像数据库中每一类图像的特征空间， 采用b a y e s i a n 决策理论来得到它们的后验概率，并在此基础上估计数据库中图像的预测 概率，最后根据预测概率对下次反馈结果进行排序。 关键词：c b i r ；1 0 9 i s t i c 回归；贝叶斯；相关反馈 a b s t r a c t t h i sd i s s e r t a 如nd i s c i l 8 s e ss o m ek 呵p r o b l e m so nc o m e n t - b 勰e di m a g e 眦i e v a lt e c h - n i q u 嚣f o c u s i n go n 也eg a pb e 觚e 饥l o w - l e v e lf e a 嘶s 锄dh i g h - l e v e ls e m 锄t i c s ar e l c v a n c e f e e d b a c ks c h 锄ef o ri m a g er e t r i e v a li sp r o p o s e 也i t 曲1 p l o y si t e 枷o nl o g i s 讹r e g r e s s i o n 觚d b a y e s i 锄( i l i m ) ，锄1 p 】h a s 泣i n go nt h ed i s t r i b 砸0 nm o d e lo ff e a t u r e s 锄dp 珂b a b i l 时d i s t r i b u - o n 也ei m a g es p a c e b a s e do nt h ed i s c l l s s i o na b o v e ，趾m e 咖够i m a g e 删b r i c 、，a ls y s t 锄i s d e s c d b e d ，锄di t se 行石v e n e s si sp v e di nm ee x p e r i m e n t s p r o b l e m sw ed i s c l l s si n 也i sp a p e ri n c l u ( 1 e ： f i i 苫t ，i tm o d e l st h ee l e m e n t so ff e a t i l r ei ni n l a g e 蝴a 8 e m o s tp e o p l e1 0 0 ko n ei m a g ei n t 黜o fs 髓m t i c so fn l ei m a g e ，h o w e v 也ec o l o r 锄【n 鹏a n ds h a p ef e a t i l l 髑o fl o w - l e v e l h a v en o tm ed i r e c tr e l 撕o no f 也es 锄n t i co f i m a g e ，s o m ef e a t i 鹏c 觚r e n e c tp a i to fs e 埘l a i l 石c ， b u ts o m en o t s bt h ef e a t i l o fi n l a g ea n dt 1 1 es i m i l a r i 够a c c o r d i n gt 0m ef e a t u r ec a n tr 印r e - s e n tt h ep e r c e 砸o no fp e o p l e a i n lt 0t h i sp r o b l 锄，m el o 百8 t i cr e g r e s s i o ni sp r 叩o s e dt 0 m o d e l 也ef e a t l l r eo fi m a g e ，a c c o r d i n gt 0t h es e l e c d o no f 瑚e rt 0s e l e c t 也ef e a t u r eb e 姗( a d - j u s tt l l ew e i g h to fe l e m 饥t si nf e a t i l r e ，s o 也e 硎吼，a ls y s t e mc 锄s e l e c t 佗a t i l r ea u t o m a t i c a u y ， i ts o l v 鹪也ep b l 锄o fd i 侬鹏n c eb e 铆e 忽也e1 0 w - l c v e lf e a t u r ea n dt l l eh i 咖l c v e ls e m a n ：t i c w e l l s e c o n 也m ep a p e rm o d e l sf e a n 鹏s p a c ei ni m a g ed a 讪l 鹪e b a y e s i 觚m e t h o di sl l s e dt 0 g e tm ep o s t e l i o rp b a b i l 蚵o f 血ei 埘盟g 鼯i nd a 僦) 鹤e ，孤d c o r d 岫唔t 0 也ep o s t 耐o rp r o b - a b i h t yi tc a n 髓t i l n a t e 也ep 川i c t i v ep b a b i l i 够o ft l l e m ，a n dt h e nr a n | 潞也ei n 诅g ei nt e m o f 也e 删c t i v e 咖a ：b i l 埘i n 也en e x tf e e d ：b a c k k e yw o r d s ：c b i 心h 百s 血r e g r 鹋s i o n ；b a y e s i a n ；r d c v 舳c ef d b a c k 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取得 的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他入已经发 表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文中作了 明确的说明。本声明的法律结果由本人承担。 学位论文作者签名： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许 论文被查阅和借阅。本人授权东北师范大学可以采用影印、缩印或其它复制手段保存、 汇编本学位论文。同意将本学位论文收录到中国优秀博硕士学位论文全文数据库 ( 中国学术期刊( 光盘版) 电子杂志社) 、 p 细，lx ) jx 皑其中_ = 1 ，2 ，j | ，且w f 。 东北师范大学硕士学位论文 因为式2 5 中的分母仅是使后验概率小于l 的系数，所以可以消去分母，可得等价的 判决法则： p ( 工iq ) 烈q ) p ( 工i ，) jx q ，f ，_ ，= l ，2 ，七；夥歹 ( 2 6 ) 在图像检索中，x 作为查询矢量，检索的目标是找到使p ( 锡i x ) 最大的图像类。根 据贝叶斯法则和判决法则( 公地6 ) ，问题可转化为满足m 觚g ( 功= 从引q ) p ( q ) 的最 l 优解。各图像类q 的先验概率密度烈q ) 可由预先统计整个数据库得到。 相关反馈过程中，五，而，吒为一组经用户评价未被拦阻训练图像，反馈的目标是 找到满足：m 强g ( x ) = p ( x iq ) p ( q ) 的第j 类图像。 2 3 基于聚类分析的模型 该方法不需要对图像特征空间进行变换，而是在原有的特征空间中对图像进行聚 类，根据用户对训练样本图像的评价，将特征空间进行划分，形成不同的图像类，使相 关图像落入同一类或距离较近的类中，而不相关图像落入距离较远的不同类中。在检索 中根据类与类之间的距离确定图像间相似性的大小。 c a n 坷血s l c e 等擅剐采用此模型的图像检索系统，对图像特征空间进行聚类，并计算 每两类之间的权重作为类间相似度的度量。通过调整类的大小和类间权重，把相似的类 拉近，并使不相似的类远离。 在实现中，首先利用k 均值算法对图像的特征空间进行初始聚类，根据类间底层特 征的距离得到初始权重，形成一个权矩阵m ，( ，为图像类的数目) 来表示不同类之间 的相似度。然后根据用户对查询结果图像的评价进行类的调整。 最后确定每幅图像与查询图像的相似度，并按顺序排列。首先计算查询向量和各图 像类的距离，找到距离最小的类作为目标类，并根据其它类与目标类间的权重对各个类 排序；同一类中的向量与查询向量的相似度由底层特征间的距离来衡量。 聚类方法在不进行空间变换的情况下，有效地调整不同图像类间的距离，其效果类 似于空间的线性变换，能较好地改善查询结果，在检索时，只需确定目标图像类及计算 查询图像与该图像类中图像的相似度，而不需要与图像库的每幅图像进行比较，减少了 检索的计算量，而且由于聚类过程不改变特征空间，有利用建立图像库的索引结构。另 外，特征空间的重新聚类结果可供下一次查询时使用，这样，系统具有简单的记忆功能， 有效地减少了同类查询的计算时间。 但是，在聚类过程中没有进行特征的选取，各种视觉特征在检索中的重要性被同 等看待，这不符合人对图像的观察。当特征的维数较多时，不仅计算复杂，而且由于训 练样本数目较少使聚类的准确性及有效性下降。 1 2 东北师范大学硕士学位论文 2 4 基于机器学习的模型 随着相关反馈技术的深入研究，许多学者将相关反馈看作模式识别中的有监督学习 或分类问题，利用成熟的机器学习理论，如：神经网络、支持向量机、b 0 0 s 血g 等，通过对 样本集的学习，得出用户查询目的与图像特征之间对应的模型，然后根据学习的模型指 导新一轮的检索。 在基于内容的检索中，反馈的正例或反例就是用户提供的经验，相关反馈通过经验 改进检索过程，因此典型的机器学习方法可以应用到相关反馈中。但是，用户通常不愿 意提供大量的相关反馈实例，使得训练样本的数量很有限，而c b 瓜中的特征维数通常 很高，所以c b i r 的相关反馈的关键问题就是在高维特征空间中如何通过少量训练样本 进行学习。 撕乜日提出了使用前向神经网络来模拟正反馈图像集合的分布，前向神经网络的 构造采用了构造式学习算法( c o 地仃u c t i v el m m ga l g o r i 也玛c l a ) 。根据反馈的信息( 包 括正反馈和负反馈) ，系统构造出由一组“超球领域代表的神经网络，仅覆盖相关的 图像，不相关的图像被排除在“超球领域”之外。用多个超球来逼近正反馈图像在特征 空间的分布，下一轮的检索结果由所有的超球的特征矢量来共同决定，反馈过程不断增 加新的神经元来描述新的图像类别。 f a n gq i 龃和m i 蛔i n gl i 提出的交替空间的算法眵刀，利用多个特征空问的相互补充， 产生更多具有代表性的样本提供给机器学习。 w 觚g 啪根据正反馈样本和负反馈样本构造s 讧分类器，核采用高斯函数。具体做 法是将检索结果图像作为训练样本，由用户标记出正样本( 其它为负样本) ，作为有类别 标号的训练样本由s 讧进行学习，构造出适合表示用户查询意图的分类器，然后用该 模型对图像库中的所有图像进行分类，对于分为“正样本类 的图像，求出每幅图像相 对于分类面的距离，离分类面越远的图像就越接近查询样例，按此距离进行降序再次排 序，返回实验结果。由于s 订对于小样本的学习推广能力很强，而实际的图像检索过程 中，用户提供的学习样本很有限，因此，这种算法很适合进行图像检索中的相关反馈。 s 讧训练器生成的支持向量往往超过了训练样本的5 0 ，使算法响应时间较长，这是阻 碍它在图像检索领域取得更大的成功的主要因素。 t 0 n g 和c h 觚g 汹3 结合主动学习认c t i v el m i l 培) 和s v l 分类器的优点，它在图像领域 中学习图像的内容，然后将学习到的图像类别模型用于图像检索。从图像检索的实际出 发，根据一般的图像检索结果中负反馈居多的情况，从负反馈入手，推断用户的检索兴 趣，修正检索的结果。 p i c s o m 啪1 中采用了一种树结构的自组织映射图( t s s o m ) 在相关反馈中进行动态 数据聚类。w r o o d 采用区域特征，用户被要求判断返回图像中被选中的区域是否和目标 区域匹配( 作为正反馈和负反馈) ；然后用k o h 0 虹钮的l ，v q 算法对这些训练样本聚类， 再根据用户的标记把聚得的类标为正或负，最后把最近邻为正的区域对应的图像检出。 东北师范大学硕士学位论文 第三章基于迭代l o g i s t i c 回归模型和贝叶斯决策的相关反馈 本章提出了基于迭代l o 酉s 6 c 回归模型和贝叶斯决策的相关反馈方法。分别分析了 l o g i s t i c 回归模型和贝叶斯决策的基本性质和特点，并总结得出了它们的优缺点。首先采 用l o 百s 缸回归模型来建模特征向量的内部分量，得到特征向量内部分量的权重，修改特 征，并利用正态分布来建模特征空间，运用贝叶斯决策理论计算数据库中图像的后验概 率，以此来估计图像的预测概率，以预测概率的概率大小来对输出图像进行排序。 3 1 相关反馈的重要性 3 1 1 基于内容的图像检索的局限性 图像检索的中心问题就是要从图像库中找出与用户提交查询相关的图像，但基于内 容图像检索系统给出的初始检索结果往往不能很好地满足用户的检索需求，这主要归因 于如下几点： 首先，计算机自动抽取的图像特征和人所理解的语义间存在很大的鸿沟，由于当前 图像理解技术的局限，建立从图像的低层特征到高层语义的映射还很困难。 其次，由于用户是不同的，而且很可能是对检索系统不熟悉，以及对用户界面和图 像库的不熟悉，用户很难给出能准确反映其信息需求的查询。 另外，由于人类视觉感知的主观性，对于同一幅图像不同的人或同一个人在不同的 时间可能有不同的认知，因此需要一种可以与用户交互的机制来获得用户的信息( 需 求) ，才能更好的检索出符合用户需求的图像。 为了克服上述困难，2 0 世纪9 0 年代中期，在文本检索领域b 1 嘲提出的相关反馈技 术被引入到基于内容图像检索领域口瓢圳。 相关反馈技术将先前图像检索中用户无法表达自己的需求变成了现在用户主动参 与到信息检索过程中，从而把检索模式从一次进行( 0 s h o ts e a r c h ) 变成交互式的多次 进行，并成为提高检索性能的有效方法。在相关反馈的交互过程中，只要求用户根据 他的信息需求对系统当前的检索结果给出是否相关h l c v 锄t ) 或者相关程度如何地判 断，然后系统根据用户的反馈进行学习来给出更好的检索结果。与文本检索中的应用相 比，在图像检索中采用相关反馈更有必要，同时也更易于应用。首先因为图像比文本 更具多义性( 由主观因素引起) ；另外，对用户来说，判断一幅图像是否相关比判断一个 文档是否相关要容易得多、快得多。 因此，相关反馈技术的研究逐渐成为一个比较活 跃的研究方向，吸引着越来越多的关注，各种相关反馈算法也不断涌现。 1 4 东北师范大学硕士学位论文 3 1 2 相关反馈的交互过程 相关反馈的目标就是从用户与查询系统的实际交互过程中进行学习，发现并捕捉用 户的实际查询意图，以此修正系统的查询策略，并得到与用户实际需求尽可能吻合的查 询结果。由于相关反馈可以实时地修改系统的查询策略，从而为图像检索系统增加了自 适应功能。 相关反馈技术的基本思想是：首先根据查询图像检索出寝结果，使用户对检索结果 进行评价和标记，指出结果中哪些是与查询图像相关的，哪些是不相关的，然后将用户 标记的相关信息作为训练样本反馈给系统进行学习，以指导下一轮检索，检索系统运用 一定的相关反馈算法，得出更加符合用户需要的检索结果。典型的相关反馈方法哺崩1 有两类，一方面是采用修改查询向量的方法使其向相关图像的中心移动来改进查询结 果。另一方面，利用反馈信息修改距离公式中各分量的权值，突出查询向量中较为重 要的分量。 目移1 相关反馈的人机交互过程图 相关反馈的交互过程可以由图3 1 表示，图中画虚线的部分为人机交互的部分。基于 内容图像检索中的相关反馈的具体过程如下： ( 1 ) 首先用户通过例子( e x 锄1 p l e ) 、或草图q k e 姚) 等方式给出查询，系统返回初 始的检索结果。 ( 2 ) 用户对当前显示的检索结果，根据自己的信息需求标记出哪些是相关的( 或 相关程度) 图像，哪些是不相关的( 或不相关程度) 图像。 ( 3 ) 系统根据用户的反馈进行学习，并返回新的检索结果给用户。用户再次进行 判断，满足检索结果就结束，不满足就返回( 2 ) 继续标记图像。 3 2l o g i s t i c 回归模型 l o g i s t i c 回归模型是由b e l 舀觚数学家p i e 鹏v e r h u l s t 啪瑚1 提出的一种统计方法，它也 是一种广义线性模型( g e m l 讫c dl i n e a rm o d d ，g u ) ，首先我们来看广义线性模型的 基本性质。 东北师范大学硕士学位论文 3 2 1 广义线性模型 广义线性模型州妇的个别特例起源很早，f i s h e r 在1 9 1 9 年曾用过它。最重要的l 0 9 i s t i c 模型，在2 0 世纪四、五十年代曾由b e r s o n ，d y k e 和p a r s o n 等人使用过。1 9 7 2 年n e l d e r 和w 酣d e 而眦在一篇论文中引入广义线性模型一词，将广义线性模型作为一族统一的模 型应用于因变量不服从正态分布的回归分析中。后来他们又将广义线性模型应用到更广 泛的领域。他们的这一发展对统计建模产生了深远的影响，至那以后研究工作逐渐增加， 到现在这种方法应用已广泛。 广义线性模型是线性模型的推广，线性模型在回归分析、时间序列以及纵向数据 分析中，当数据服从正态分布并能描述成某种线性结构时，有着极其广泛的应用。但当 数据不服从正态分布( 例如：属性数据，计数数据) 时，应用线性模型处理起来将会遇到 困难。而且现实生活中大多数的分布是不能很好的符合正态分布的，不一定是线性关系， 为此，统计建模希望能为数据分析提供一种更为灵活的模型工具。 广义线性模型的推广使它可适用于非线性结构，对于连续数据和离散数据，特别 是后者，如属性数据、计数数据等的分析都有重要的作用。 广义线性模型要求响应变量通过线性形式依赖于自变量，这保留了线性自变量的思 想，而且广义线性模型允许许多用于线性模型的方法能用于更一般的实际问题。广义线 性模型的响应变量y 都属于指数分布族，而指数分布族不仅包含了许多常见的重要分布， 如正态分布，二项分布，p o i s s o n 分布，r 分布等，而且它有良好的分析性质，在数学处 理上有很多方便。 设有响应变量j ，自变量x 。】r 为g 维向量，x 为p g 矩阵。 一般线性模型有如下特征： ( 1 ) e ( 】，) ：“：j i ( z 所，z ( 朋为x 的已知( 矩阵、向量) 函数，z 为z 的转置。 ( 2 ) z 、z ( 朋、j ，都是可取连续数据的变量。 ( 3 )】，的分布是正态或渐进正态分布。 广义线性模型进行了如下推广： ( 1 ) e ( y ) = “= j i l ( z 仞，j i j 为一严格单调、充分光滑的函数。这里h 己知，g = 办 仍 的反函数) 称为联系函数( 1 i n kf i l n c 廿0 n ) ，且有g ( m ) = g ( ( z 侈) ) = z 侈。 ( 2 ) x 、z ( 朋、，是可取连续值或离散值，应用上多为离散值。 ( 3 ) 】，的分布是指数族分布，正态是一特例。 定义：称随机变量序列x ，匕，e 为广义线性模型，如果满足结构： ( 1 ) 随机成分：墨，匕，e 相互独立，并且e 有密度函数： - ( y ii6 i ) = c ( 咒) e x p ( 6 | 夕f 一6 ( q ) ) ，f = 1 ，刀 ( 2 ) 系统成分：z 通过线性组合，= z 聊卢对】r 产生影响。这里p 是p 维参数。 ( 3 ) 联系成分：线性组合y = z ，( z ) p 与】r 的期望“( 回，g ：秽一只9 ，y = g ( d ) 可 通过单调、可微函数关联。 1 6 东北师范大学硕士学位论文 3 2 2l o g i s t i c 回归模型构造 l 、h 西s t i c 分布函数 首先给出l o g i s t i c 分布函数1 及概率密度函数的定义形式。 定义：设随机变量x = “，恐，毛) 的分布函数为 1 以x ；似劲= 二i ：， 一 x + 的( 3 1 ) l + p 一丁 其中一 0 为未知参数。则称z 为服从参数和的多元l o g i s 饥分布， 记作x 。三( 鸬习，和分别称为分布的均值和协方差。 若x 。互( 鸽d ，由式3 1 ，知z 有概率密度函数 厂( x ；，) = 一旦：芝 e z j 三f l 一 x o ，h e ) 0 ( f = 1 ，2 ，”) ，则由条件概率的定义和全概率公式得到的贝叶期定理公 式为： 聃j 彳) ：善坐丝生 ( 3 1 5 ) 只4 旧溅互) 1 9 东北师范大学硕士学位论文 在模式分析中，通常人们感兴趣的是在给定训练数据么时，确定彳在样本空间s 中的最佳概率。贝叶斯理论提供了一种直接计算这种可能性的方法，也就是说，贝叶斯 法则提供了一种计算假设概率的方法，它基于假设的先验概率( 给定训练数据的概率) ， 计算出测试空间中数据的概率( 后验概率) 。在上式中，p ；i 么) ) 代表后验概率，给定 训练数据么时骂成立的概率；尸似le ) 代表先验概率s t 嘶0 rp r o b a b i l 呦，是假设置成 立的情形下观察到数据彳的概率；p ( 恳) 指e 的先验概率。贝叶斯法则是贝叶斯学习方 法的基础，它提供了从先验概率计算后验概率的方法。 3 4 基于迭代1 0 9 i s t i c 回归和贝叶斯相关反馈方法 3 4 1 建模特征向量的内部分量 1 建模函数 在每一步迭代中，一个样本由用户来标记成为两类图像中的一类，这两类图像是： 正样本和负样本。用变量】，来表示用户的标记，其中】，：l 表示用户标记此图像为正样本， 而】，= o 表示用户标记此图像为负样本。 数据库中的图像都事先用一个底层特征来表示，第，幅图像有p 维特征向量。这样 我们的数据可以表示为( ，少，) ，= 1 ，刀，拧是图像的总个数，工，是第_ ，幅特征向量， y ，是用户对第幅图像的标记( 1 = 正样本，0 = 负样本) 。工，对每个图像都是已知的， 所要得到的是y ，的值。 对这个问题，一般可以选用1 0 9 i s t i c 回归模型来建模。l o g i s n c 回归使用二进制( o 1 ) 隶属变量，对于分类响应问题它是一个非常重要的模型。因此本文中使用1 0 豇s 佻回归 模型h 鄙来建模这个问题。从图3 2 中，可以看出，1 0 舀s 乱回归函数是一个自变量为 0 ，+ 叫， 函数值在【0 ，1 】之间的一个s 型曲线函数。而我们的特征向量的内部分量的取值正是 【o ，+ 叫，且特征向量属于某一类的概率也只能是 0 ，l 】。对于概率p ( y = l x ) ( 对于特征 向量x ，用户标记为正样本】，= 1 ) 通过l o 百t 函数来表示，对于结果是对和错，它可以处 理l o 醇问题，因此1 0 萄s d c 回归模型也叫l o 班模型。g l m 扩展了普通的回归模型来包 含非正规的响应分布。大多数统计软件都可以计算g l m 。而且它们已经成功的应用于 多个方面，包括商业应用和遗传学。对于一个二进制响应变量y 和p 个自变量x p ，x 。， 建立此模型为荆= 只y = l 功，则 l o g 豇陋( z ) 】_ 风+ 卢，l + + 纬x p ( 3 1 6 ) 记l o g 板口) = 衄a ( 1 一呦，则3 1 6 式可以表示为 协高鬻耥 翻z l = 二_ 一 ( 317 ) 、7 1 一e x p ( 屈+ 屈x l + + 成x ，) 参数p 表示当j ，= l 时，工，对于l o g i s d c 优势的影响，它受其它x ，的影响。 东北师范大学硕士学位论文 2 参数估计 模型的参数可以通过极大似然估计( m a x i m u ml i k e l i h o o d 髓t i m a t em l e ) 函数来给 出，求解的步骤一般分为以下三步： ( 1 ) 由总体概率密度写出似然函数：，( p ) = 兀a 纯) 乃【l 一似而) l 喘。 j j ( 2 ) 求出对数似然函数：l i l z ( p ) = 【乃l n a ( ) + ( 1 一y ，) l n 口( t ) 】。 柚 ( 3 ) 解方程：生竽：o ，求得矿：卢。，卢，。 “y 由于( 3 ) 中得出的方程是超越方程组，所以一般的解法不适合，一般采用最小二 乘法来拟合，渐近的方法来得出声= p 。，芦，。 3 迭代1 0 百s t i c 回归( i l r ) 模型 由于特征的维数比较高，样本图像个数( 正负样本的和) 一般比特征向量的维数要 少，1 0 西s t i c 回归模型不能很好的一次性调整整个特征向量。为了解决这个问题，可以先 对特征向量执行降维操作，最常采用方法的是主成份分析( p 血c i p a lc o m p o 批n t 知l a l y s i s ， p c a ) ，从而达到特征向量降维的效果。 p c a 是一种简化数据集的方法，它是一个线性变换。这个线性变换把数据集从一 种坐标转换到另一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标 ( 称为第一主成分) 上，第二大方差在第二个坐标( 第二主成分) 上，依次类推。这样 具有大方差的主成分所代表数据集的信息就大，而越往后的主成分所代表数据集的信息 就越少，有些几乎不代表数据集的信息；而且代表数据集信息最多的就集中的在前面几 个主成分。所以我们就可以选取方差大的主成分来代表整个数据集，以达到降维的效果， 而且对数据集的信息没有太大的损失。p c a 这种减少数据集的维数，同时保持数据集的 对方差贡献最大的特征向量的方法，是通过保留低阶主成分，忽略高阶主成分做到的。 这样低阶成分往往能够保留住数据的最重要方面。 虽然p c i a 达到了降维的效果，并且它的目的是寻找在最小均方意义下最能够代表 原始数据的投影方法，对代表数据样本非常有效；但它提取出来是数据集的共同的特征， 即代表大多数数据集的共同特征被赋予了比较大的方差，而那些不是共同特征就有可能 赋予了很小的方差。这样如果我们把所有类别的样本都放在一起，则被p c a 方法抛弃 的那些主成分有可能正是能够把不同的类别区分开来的主成分。 例如，在印刷体字符识别中，如果需要识别的需要识别的是大写字母“o ”和“q ”， 用p c a 方法能够发现这两种字母之间的相似之处，却很可能把区分字母“o 和“q ” 的那个q 的“尾巴特征抛弃掉。这样我们就很难再用p c a 降维后的特征向量来分出 字母“o 和“q ”。 2 1 东北师范大学硕士学位论文 降维的方法都或多或少会减少特征向量的信息，从而可能使特征向量损失了一些不 该损失的特征，所以本文不采用降维的方法来解决特征向量维数过高的问题，而是采用 下面的方法。 本文提出了一种处理小子集的方法，采用迭代的方法来计算，即几i 己模型。将一个 特征集分成足个小的子集，每个子集可以有不同的元素。在每个小的子集上运用这个模 型来估计每个子集里元素的比例关系。假设分为k 子集，则足个子集的概率为 ”( ) ，a o ，) ，每个子集包含m 个元素，则概率可以表示为： l o g 研a ( ) 】= 雕+ 屈：x 。+ + 雕。毛 ( 3 1 8 ) 然后将这足个子集组成一个特征向量，每个子集是一个元素，再次使用这个模型进 行建模： l o g 豇【口o ) 】= 卢o + 届l o g 打【口9 ( ) 】+ + p 1 0 9f f 【a ”( 一) 】 ( 3 1 9 ) 最后，用公式3 1 8 将l o 鲥矿k ) 】代入到公式3 1 9 中，得到最终的公式为： l o g 珥口( 力】= j 9 0 + 届( 风+ 届：x l + + 成l x 。) + + 反( 俄i + 成五+ + 屈二x 。) 如果子集中的特征向量维数仍然比较高，可以继续分成更小的子集，同样用r 模 型来计算。模型中的参数仍然采用m l e 来估计。 3 4 2 建模特征空间 数据库中的图像可以分成不同的类。每一类都是具有一定相似性的，特征向量空间 都在一个区域内，或者说这些特征向量具有一些相同的性质。从概率统计上来说，就是 符合一定的概率分布，一个类符合一个特定的分布。采用一个普遍而又实用的方法来对 一类特征向量建模h m l ，即多元正态分布。 1 正态分布 图像的特征向量可以看成是随机变量，随机变量的分布有很多种，为何要选用正态 分布，首先给出一元正态分布的特性。 对于随机变量x 的概率密度有： m ，= 去唧 一嘲 2 。， 则称x 服从参数为鸬d 2 的正态分布，记为x 一( ，矿) 。其中卢，仃2 为常数，表示均值， 即图中最高点对应的x 的值，仃为方差，它表示图形开口的大小，也就是这个类里的紧 凑程度，如果一个类的类内间距比较小，那它符合的正态分布中的仃的值就小，反之就 大。 正态分布的曲线如图3 3 ，从图上可以看出正态分布密度函数图是一条“钟形曲 2 2 东北师范大学硕士学位论文 线，通过曲线我们还可以看出以下特点： ( 1 ) 厂( 曲处处大于0 ，曲线是位于x 轴上方的连续曲线； ( 2 ) 厂( 功在x = 口处有极大值 ，两边的值都以这个点为中心向两边递减。 仃、2 石 1 l 二 图3 3 正态分布函数曲线图示 2 建模函数 鉴于以上2 点，我们可以将图像的一类特征向量空间用正态分布来建模。用r 表示 数据库中的图像集合，y 是其中的一幅图像，且y 是d 维的随机变量。 ( 1 ) 这里的特征向量空间的分布是连续的，正态分布符合这一点。 ( 2 ) 特征向量空间里的特征向量分布情况近似是成金字塔的形式，即处于最大值 位置的很少，处于中间值位置的比较多，位于最下面的值应该是最多的，形成一个“钟” 形，正好符合正态分布密度函数的曲线形状。 所以可以使用正态分布来建模一类图像的特征向量空间。对于本文的特征向量空间 是多维的情况，要使用的分布应该是多元正态分布。 则相应的多元正态分布的密度函数为： 八胸2 两静“o 刊掣 刊 ( 3 2 1 ) 则称y 符合参数为和的多元正态分布，记为j ，( 鸬马，其中是均值，z 是协方 差。与一元正态分布相同，是对应函数最大值时y 的值，表示的是各个特征向量 里对应分量的散度情况，也即是各个特征向量的紧密程度。 东北师范大学硕士学位论文 3 参数估计 对于次特定的迭代，用户接收到聊幅图像，并标记了刀幅图像作为正样本，其特 征向量分别为y l 一，少。，根据用户选择的样本，采用极大似然估计得出p 均值和协 方差，它们的极大似然估计如下： 均值向量为： 丘= 歹= 已 万 ( 3 2 2 ) 2 y22 。 万 ( 3 2 2 ) 协方差向量为： 宝= 罗。一歹) “拧一1 ) ( 3 2 3 ) 一j 。 3 4 3 图像库中图像的预测概率 由上节对特征向量空间建模后，得到两个参数( ，习需要估计，我们将这两个参数 考虑成一个参数向量p = ( 口，) ，并且可以看成是随机变量，采用b a y e s i 觚观点。在 b a y 鼹i 锄的公式中，先验概率可以由参数变量口= ( ，z ) 的密度来得到。使用b a y e s i 缸 原理，它的后验概率由以下公式给出： 孝( p 咒，y 。) 虻善( 回厂( m ，儿p ) ( 3 2 4 ) 其中( j ，l ，一，y d = u ：厂( y ，p ) 是似然函数，即特征向量空间的概率密度函数，与式 3 2 1 相同，只是它需要计算的特征向量个数为用户标记的正样本个数，一共是刀个样本。 在式3 2 4 中，我们要得到的是特征向量j ，l 一，j ，。分别属于参数向量为p = ( ，) 的 多元正态分布的后验概率鬏口y l ，一，以) ，这个概率分别对应着疗个样本y l 一，y 。的值。 这样就需要知道参数向量口= ( ，) 的先验概率鬏回，而这个先验概率很难得到，因为 我们没有先验知识，很难对这个先验概率进行估计。所以采用另外一种方法将问题进行 转化，转化为样本的预测概率，由它们的预测概率来代表样本的后验概率，同样达到了 估计样本属于参数为p = ( ，) 的多元正态分布的概率。 对于本文中一次指定的迭代，此次迭代的先验概率就是上次迭代得出的后验概率。 那么此分布的先验概率和它相应的后验概率都属于同一个共轭分布族。对于多元正态分 布，它相应的共轭分布为正态- 逆- w i s h a i t 吼5 1 1 。在这个分布中，的逆，叫做精确矩阵， 符合一个自由度为，。，和参数矩阵a i l 的、矾s h a n 分布。 q 乃话i j l 口刀( 言) ( 3 2 5 ) 对于给定的协方差和均值j l l 的条件概率为： i 虬( 硒，副七o ) ( 3 2 6 ) 2 4 东北师范大学硕士学位论文 它符合一个均值为心，协方差为的正态分布。下标0 表示这是迭代开始。分布中 的参数会随着迭代过程不断被修改。这也是选择使用共轭分布族来建模样本空间的其中 一个原因。 在第一次迭代中，用户选择刀幅图像，特征向量为y 。，y 。它们是具有均值j l l 和 协方差为z 的正态随机样本。 后验分布为： 一一胁i l 口吃( 碍) ( 3 2 7 ) 对的条件分布为： l y 1 ，儿一虬( “，毛) ( 3 2 8 ) 其中新参数的迭代公式如下： 七l = 露o = 疗 ( 3 2 9 ) ，l = ，o + 疗 ( 3 3 0 ) 舻苦胪南歹 ( 3 3 1 ) 人l = 氏+ s + ：生z l ( 歹一风) ( 歹一硒) ( 3 - 3 2 ) 十刀 刀是当前样本的个数大小，s 是样本协方差。 然而，我们需要从数据库中得到新的图像。对于密度为鬏p m ，- ，以) 的参数空间 有一个新的概率分布，它可以用一个预测概率来表示： 八y ) = l 告 y 1 ，一，只矿p ) 硼 ( 3 3 3 ) 事实上，上式的预测概率是一个多元f 分布 y f ( i ，a i ( ( 忌+ 1 ) ( 唯一刀+ 1 ) ) ，收一玎+ 1 ) ( 3 3 4 ) 它是一个均值为，协方差为，自由度为 ，的多元f - 分布，可以记为y 一“鸬己v ) ， 概率密度函数为： p ( j ，) = 兰二芸善骅瞄r 坨( v + ( y p ) ( y 一) ) v 础) ，2 ( 3 3 5 ) 至此，我们就得到了计算数据库中图像的预测概率公式。 东北师范大学硕士学位论文 3 4 4 图像的排序和输出 在得到数据库中的图像的预测概率后，我们就可以就图像进行排序并按一定的规则 输出，下面就介绍本文中使用的两种方法： ( 1 ) 按3 3 5 式得出的预测概率降序输出对应的图像。对于得到的k 幅图像，按预 测概率按降序输出这k 幅图像，作为用户新的接收图像。 ( 2 ) 首先定义一个离散的全集图像】，= m ，y ) 的概率函数： = 鑫精 3 6 ) 其中_ y ，是第f 幅图像的特征向量，是数据库中图像的总数。 在用户选择正样本的同时，负样本也随之产生了，密度函数彳和五分别对应耐负 样本，这样我们就可以得到两个预测概率( 正样本预测概率和负样本预测概率) ，可以 用以下公式来对数据库中的图像进行排序： 蜀( 烈l 9 2 ( y ) ) ( 3 3 7 ) 根据3 3 7 式的值按降序输出前k 幅图像。 3 4 5i l r b 算法的过程 本文的算法大致可以分为以下五个阶段： 第一阶段：初始化：根据查询图像，由检索系统先检索出一组图像( 特征向量为 m ，；) 供用户来选择。 第二阶段：用户选择：用户从上步给出的图像中选出正负样本，并输入到了检索系 统中。 第三阶段：权重参数：对于上步输入的正负样本，利用腿模型来建模特征向量里 分量的权重，并得到权重参数风，卢。 第四阶段：预测概率：利用第三步得到的权重参数来重新修改数据库中图像的特征 向量里分量的权重，并使用新的特征向量，采用b a y e s i 趾方法来计算数据库中每一幅图 像的预测概率( 3 3 5 式) 。 第五阶段：排序输出：根据第四步算出的预测概率按降序来对数据库中的图像排序， 并输出前足幅图像。 东北师范大学硕士学位论文 第四章实验结果与分析 在上面各章中，详细讨论了基于内容的图像检索中相关反馈各个方面的主要问题， 及本文所提出的算法。在本章中，将着重就如何综合利用这些技术进行系统设计，探讨 在实际应用中需要解决的若干重要问题，给出我们的解决方法。 4 1 系统设计 4 1 1 系统模型 综合前面已有的研究成果，可以得到一个基于1 0 9 i s t i c 回归和贝叶斯相关反馈的图 像检索系统模型，如图4 1 所示。它的检索流程主要包括如下5 步： ( 1 ) 根据查询图像检索出一组相关图像，供用户来选择。 ( 2 ) 对用户选择的图像，使用l o g i s 如回归模型对特征向量的内部分量进行建模，得 到特征向量的内部分量的权重p 。，j 6 i ， ( 3 ) 修改数据库中图像的特征向量的内部分量的权值。 ( 4 ) 使用b a y e s i 觚理论计算数据库中图像的后验概率，从而得到下次图像出现的预 测概率。 ( 5 ) 根据预测概率对要输出的前k 幅图像进行排序并输出。 图4 1 刀吣方法的检索系统框图 2 7 东北师范大学硕士学位论文 其中，数据库中图像的特征提取是在脱机状态下完成的。 本系统的检索过程分为以下两个阶段： 第一阶段( 初始检索) ：用户提供查询图像后，系统采取与图像数据库的特征提取 同样的算法对查询图像进行特征提取，然后利用基于欧式距离的相似度匹配获得结果图 像，并返回给用户。如图4 2 中的虚线以上部分所示。 第二阶段( 相关反馈人机交互) ：检索结果以人机交互的界面出现，如图4 3 。在交 互界面上用户选择自己想要的图像，系统得到用户的信息，将用户选择的样本作为正样 本，而不选择的样本就作为负样本，选择完毕后，系统将用户的信息输入到检索系统中， 运用i l r b 算法进行相关反