特征反馈ZYP.doc

（第一张）特征反馈本文提出了一个新的交互式内容，它是基于图像检索计划的，叫做特征反馈。不像传统的相关反馈，纯粹建立在低级别的视觉特征，特征反馈系统通过高层语义特征能够更加准确迅速的确定用户信息需。在每个交互迭代，特征反馈首先确定最丰富的二元特征。该二元特征被再增添新的特征，“关联特征”。基于二元特征和关联特征的反馈，语料库中的图像的反馈被进一步重新排名，以便更好的搜索到适合用户需求的信息。我们对两个图像数据集进行了大量实验，结果表明特征反馈是优于相关反馈的。（第二张）简介随着网上图像量的不断增加，以及多媒体应用程序的需求，图像检索已经引起了学术界和工业界的广泛关注。大多数图像检索系统通过上传实例图像，允许用户指定他们的信息需求。图像检索系统，是基于视觉相似之处查询例子的。图像检索的一个主要挑战是众所周知的“语义鸿沟”，它是间于低级的视觉特征和高级的语义特征来理解用户的搜索意图。（第三张）语意鸿沟形成的原因：(1)高层语义概念同底层特征之间的差距:以计算机为中心的方法的前提假设是用户可以比较容易地将图像的高层语义对应到其底层特征。在某些情况下这个假设是成立的.比如将高层语义概念(新鲜苹果)对应到底层特征(苹果的颜色和形状);而在其他情况下该假设是不成立的，比如很难将一个印着复杂花纹图案的古董花瓶直接对应到其底层特征上。因此这两层之间存在着较大的差距。(2)人类感知的主观性:对于同一视觉内容，不同的人或者是同一个人在不同的情况下可能会有不同的理解，这就是人类感知的主观性。这种主观性可能存在于不同层次上，例如某人可能对图像的颜色感兴趣，而另一人可能更多的注重纹理特征;或者两人同样都是注重纹理特征，但他们各自所理解的纹理相似性也是完全不同的。（第四张）为了克服上述问题,源于信息检索领域的用户相关反馈技术被引入到图像检索,相关反馈(relevancefeedback)原是一种在文字检索系统中使用的技术,它利用用户先前的检索结果信息进行反馈来自动调节当前查询,它根据用户先前检索结果与需求相关性的反馈信息自动地调整已有的查询使之更好地吻合用户的需求。（第五张）相关反馈的过程：1）用户提交查询实例，可能是一幅或者一组图像；2）系统获取查询实例的特征，并按照一定算法与图像库中其它图像进行特征的相似性匹配，返回查询结果给用户；3）用户从显示结果中挑选出一些自己比较满意即所谓的“正例”或不满意的图片即“反例”，提交给系统；4）系统根据用户的交互信息转入另一个查询状态，直到用户找到目标为止。相关反馈是一个监督的学习方法和主动提交技术，其关键之处是如何将“正例”和“反例”很好地组合，从而提高检索和相似性度量的精度。（第六张）根据用户反馈的不同响应途径，相关反馈技术可以分为三类：l）基于修改查询矢量或距离度量的检索在系统中每幅图像都是以一个N维特征矢量的形式来表示所选取的特征，根据用户指明“正例”或“反例”图像，查询的特征矢量被修改，使得相关项被赋予较大的权值，而不相关的项被赋予较小的权值。通过计算所有“正例”图像在某一维特征上的相关度，如果在该维特征上“正例”图像都比较相像，则给该维特征赋予较大的权值，否则就赋予较低的权值。2）基于修改图像数据库点的分布的检索改变数据库中点的分布在根本上就是通过用户的反馈来改变数据库中每幅图像与当前查询的距离，使相似的点靠近查询点，不相似的点远离查询点，是通过细化查询或距离度量方法来实现的。初始时数据库中所有图像分布是均匀的 ，但是随着用户反馈，系统将用相关规则（如贝叶斯准则）来改变数据库中每个点与查询的距离，从而使数据库中点的分布得到了改变，并逐渐趋于用户的查询结果。文档中首先通过聚类的方法将图像库中图像分为几个大类，然后根据用户的反馈进行类的分裂和合并，随着类的不断分裂，那些符合用户感知的类就是最终得到的查询结果。3）基于人工智能学习方法的相关反馈将人工智能的学习方法应用到图像检索中可以有效地改善检索效果，该类相关反馈是基于指出哪些是与查询图像相关的，哪些是不相关的，然后将用户标记的相关信息，作为训练样本反馈给系统进行学习，使得系统性能进一步提高。如文档基于支持向量机的相关反馈图像检索算法：从机器学习的角度，以支持向量机 (SVM)为分类器，在每次反馈中对用户标记的“正例”和“反例”样本进行学习，建立 SVM 分类器模型，并根据学习所得的模型进行检索。（第七张）在本文中，我们将超越传统的相关反馈，提出一种新的交互式搜索方案，名为特征反馈（AF）。特征就是指视觉特征，如颜色特征、纹理特征、形状特征、以及局部特征等等。颜色特征颜色特征是图像检索中应用最广泛的一类视觉特征,因为其对于复杂背景、图像大小与方位等具有较好鲁棒性。提取图像的颜色特征,首先要选择颜色空间。由于RGB颜色空间表示法记录了图像本质上的颜色特性,且其直接与人眼的输入通道相匹配,因此当不考虑外界因素的影响时,是一种很好的选择。由于颜色对图像或图像区域的方向、大小等变化不敏感,所以颜色特征不能很好地捕捉图像中对象的局部特征。另外,仅使用颜色特征查询时,如果数据库很大,常会将许多不需要的图像也检索出来。纹理特征纹理是所有事物表面固有的一种特性,也是图像检索中一个重要而又难以描述的特性。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点,一个很明显的缺点是当图像的分辨率变化的时候,所计算出来的纹理可能有较大的偏差。另外,由于有可能受到光照、反射情况的影响，从2一D图像中反映出来的纹理不一定是3一D物体表面真实的纹理。在检索具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候，通常的纹理特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。形状特征形状是描述图像内容的一个重要特征,是图像内容检索的重要研究方向之一，在二维坐标平面中,形状通常被认为是一条封闭轮廓线所包围的区域，因其与目标联系在一起,有一定的语义含义,因而形状特征可以看作是比颜色或纹理要高层一些的特征但是,对形状的表达比对颜色或纹理的表达从本质上要复杂得多，因为,形状特征的表达必须以图像中对象或区域的分割为基础。但是,当前的发展还无法做到准确而稳健的自动图像分割,并且平移、尺度、旋转不变性问题也不好解决，所以,基于形状特征的图像检索的使用受场合的限制,一般只能在图像包含的对象或区域可以直接获得时使用。局部特征SIFT在图像平移、旋转、尺度变换等条件下都具有较好的不变性，SIFT特征在众多的图像特征中占有举足轻重的地位，SIFT描述对象的性能几乎是各种性能描述中最好的。（第8张）关联特征在本文中，我们提出了一种新型特征反馈，叫做关联反馈。关联反馈并不是对正例图像加大权重,对反例图像减少权重,而是根据特征元素与目标性质的对应关系,用特征元素来判定哪些性质是用户关心的且在返回结果中也存在,并据此来进行取舍和调整查询，即它是一种基于离散的特征元素的反馈,根据用户的反馈和现有的结果,调整用来描述目标的特征元素的集合,并借助下一轮查询进行重新检索。关联反馈围绕描述目标的特征元素集合进行。开始是先从特征元素库中指定或选择初始的描述目标的特征元素集合,并进行检索。通过分析检索结果来判断这些特征元素是否应该保留或排除,或者是否需要引入新的特征元素，将应保留的特征元素和应引入的特征元素综合构成新的特征元素集合,而应排除的特征元素则不再出现在新的特征元素集合中。用新的特征元素集合开始新一轮的检索,如此反复进行直到取得满意的结果。（第9张、第10张）相关反馈与关联反馈的比较：相关反馈和关联反馈有许多相似之处，它们都是检索系统的交互手段,都要结合用户对检索结果的评价将用户要求反馈回系统,通过调整查询条件,使信息搜索沿着新的方向深入，虽然相关反馈和关联反馈分别借助特征向量和特征元素描述图像属性(这里均认为用户的要求和意图可用对应的持征向量或特征元素描述),但都是通过分析当前待征集来进一步构建更可能满足用户需求的新特征集。相关反馈和关联反馈也有不同之处。相关反馈通过调整特征集中各个单元(特征向量)的相对权重来构建新特征集,主要侧重的是特征集内部各特征的相互关系。关联反馈通过调整特征集中各个单元(特征元素)的有无(包括数量和种类)来构建新特征集,主要侧重的是特征集内部特征与外部特征的相互关系。最后要指出,相关反馈和关联反馈可看作互为特例。相关反馈的调整利用多值的特征向量,调整变化是渐进的关联反馈的调整利用特征元素有无,相当于二值判决,所以调整变化是跳跃的从这点看,关联反馈对应相关反馈的一种特殊情况另一方面,相关反馈利用了描述单元的取值,关联反馈则利用了描述单元的有无(也可对取值范围进行调整)从这点看,相关反馈又对应关联反馈的一种特殊情况。也正因为关联反馈允许引入和删除属性描述单元,所以可以比较方便地实现兴趣跳转,具有更大的灵活性。（第13张）数据集描述我们对两个图像数据集做了实验：帕斯卡尔 - 雅虎！图像语料库和Web微软Bing图片搜索库。帕斯卡尔 - 雅虎语料库。它包含15,339张图片，有 12695张来自帕斯卡尔VOC、还有2633张来自雅虎图片搜索引擎。这些图片是从32个对象类别（20 Pascal和雅虎12）和他们都被预先标注为64种特征，如形状，“圆”，材料“羊毛”和部分“车轮”，其中39种特征被认为是二元特征，如“眼”，“腿”等。所有的图像被分成两个子集。特别是，帕斯卡尔6,340图像被用来训练分类器，所有的64位二进制属性和学习判别距离39亲和属性的功能。其余6,355张图像在Pascal一起在雅虎的2,644图像用于图像检索。我们随机选择了10幅图像从每个类别，总共有320个示例查询。Web图片库。我们从微软图片搜索引擎里收集了120个流行的动物和物体域的文本查询。对于模棱两可的查询示例，我们感兴趣的只有一个方面。以查询“苹果”为例，我们只查找苹果作为水果时的图片。总共采集到102,657图像。我们使用了21位标注器手动删除无关紧要的图像。 76,303有关最终的图像保存为我们的实验数据。参考帕斯卡尔 - 雅虎！图像库的64种特征，我们定义了67个语义特征。我们随机选择了每一类的10张图片作为实验示例，总共获得700个示例图片。（第14张）特征选择（第15张）实验设置为了评估特征反馈有效性，我们对四种流行的相关反馈的方法和一个主动学习的方法进行了比较：（一）QPM（查询点移动法）。每次反馈迭代时，根据用户的“相关”和“无关”信息的反馈，逐步细化查询点。排名根据欧氏距离，数据库中的图像可以被准确查询。（二）SVM（向量机特征选择法）。这种方法从用户的“相关性”学习SVM分类器和“无关”的反馈和职级图像根据SVM的输出;（三）BDA（判别分析法）。从用户的反馈偏置判别分析算法学习低维子空间。数据库中的所有图像被嵌入到子空间，并根据“有关”图像的平均特征向量的欧氏距离排名；（d）SVMactive。从上面的相关反馈方法，目前用户标签检索到的图像不同，SVMactive法选择具有高度不确定性的图像标记在每次反馈迭代。标记的图像，然后利用学习用于依次排列的数据库中的图像，这是一个支持向量机分类器。（第16张）性能度量（第18张、第19张）特征学习评价图3分别显示了帕斯卡尔 - 雅虎！和Web图像数据集的AUC值。他们的检测精度都是优于其他方法的。平均AUC上的帕斯卡尔雅虎！数据集的AUC大约是0.76， Web图像数据集的AUC为0.82，这两个数据都是比较可靠的。此外，特征反馈是可以灵活使用任意二元特征的学习方法。图4使用原来的欧氏距离和马氏距离，分别详细地描述了雅虎语料库和Web图像集的的39个关联特征。从结果来看，关联特征的区分能力显著提高。（第20张、第21张、第22张）特征反馈评价图5所示帕斯卡尔雅虎图像集的超过320个查询示例的五种反馈方法的查询性能。五次反馈迭代特别是前20，40，60，80，100，和200个搜索结果图6所示Web图像数据集的700查询示例 。从结果来看，我们可以得出以下结论：1、两个数据集中，每次迭代和所有数据里，特征反馈都比其他方法好。例如，在第一次反馈迭代时，AF比SVMactive、SVM、BDA、QPM相对提高了25.2%,、25.6%、47.8%、41.1%；最后一次迭代时分别相对提高181.4%、67.0%、 154.0%、 99.0% 。2、 与其他四种方法相比，特征反馈减少了相互之间的影响图7在Web图像数据集初始查询127个图例没有相关样本时，五种反馈算法的性能。面对这种情况时，对相关反馈而言，惟一的正例就是示例图片，这种不充足的证据明显降低了它们的性能，此时特征反馈的表现明显优于其他方法。结果表明特征反馈由于