计算机视觉 课件 第11章视觉内容检索

1第十一章视觉内容检索§11.1任务介绍§11.2传统方法§11.3深度学习方法2§11.1任务介绍一、基于文本的视觉内容检索二、基于图像的视觉内容检索3视觉内容检索视觉检索主要包括基于文本的视觉检索和基于图像的视觉检索基于文本的视觉检索针对图像数据时被称为“以字找图”(text-basedimageretrieval)基于图像的视觉检索（content-basedimageretrieval,

CBIR）目标：如何在短时间内从数百万甚至更多的图像中找出与给定查询图像内容相近的图像4基于文本的视觉检索基于文本的视觉检索重点在于文本与图像特征的提取与匹配5基于图像的视觉检索基于图像的视觉检索流程图像特征提取特征匹配：基于图像特征计算它们之间的相似度。相似度的计算可以采用不同的度量方法，如欧氏距离、余弦相似度等结果排序：根据计算出的相似度，对数据库中的图像进行排序返回6§11.2传统方法一、基于文本的检索二、基于图像的检索三、近似最近邻搜索7基于文本的检索基本方法通过对图像内容进行文本标注，为每张图像形成描述性的关键词，来描述图像中的物体、场景等信息可以是人工标注，也可以借助图像识别技术进行半自动标注8基于文本的检索检索流程用户提供查询关键字，系统根据关键字找出带有相应标注的图像9基于文本的检索缺陷适用于小规模图像数据，对大规模图像数据的处理需要大量人力和财力投入，且新图像的加入需要持续人工干预某些情况下难以用简短的关键字准确描述用户真正想要的图像，特别是对需要精确查询的情况人工标注过程受标注者认知水平、语言表达和主观判断等因素影响，导致文字描述存在差异10基于图像的检索检索流程下图中橙色箭头表示离线训练过程，灰色箭头表示用户在线查询过程11基于图像的检索相同物体图像检索对查询图像中的某一物体，从图像库中找出包含有该物体的图像12基于图像的检索相同类别图像检索对于给定的查询图片，从图像库中查找出那些与给定查询图像属于同一类别的图像面临的主要问题是属于同一类别的图像类内变化巨大，而不同类的图像类间差异小13基于图像的检索大规模图像检索图像数据量大：需要适用的图像规模范围也从原来的小型图像库扩大到大规模图像库甚至是海量图像数据集。上世纪九十年代图像检索技术发展的早期阶段，研究者们在验证图像检索算法性能的时常用corel1k，该图像库共1000张图片，与今天同样可以用于图像检索的最流行的图像分类库ImageNet数据集相比，其量级已经有了成千上万倍的增长14基于图像的检索大规模图像检索特征维度高：图像特征表达的好坏直接决定了在检索过程中可能达到的最高检索精度。如果前置特征未表达好，在构建后置检索模型的时候，不但会复杂化模型的构建，增加检索查询的响应时间，而且能够提升的检索精度也是极其有限的。所以在特征提取之初，应该有意识的选取那些比较高层的特征。15基于SIFT的图像检索特征点检测方法：小波变换、傅里叶变换、高斯差分（DoG），MSER，Hessian仿射检测器，HarrisHessian检测器和FAST特点：SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性基于图像的检索16基于BOW的图像检索算法原理：方法的核心思想是提取出关键点描述子后利用聚类的方法训练一个码本，随后每幅图片中各描述子向量在码本中各中心向量出现的次数来表示该图片特点：该方法的缺点是需要码本较大基于图像的检索17基于VLAD(VectorofLocalAggregatedDescriptors)的图像检索VLAD是特征提取函数的一种，如其描述——局部聚类向量，将局部特征聚类得到一个向量。所以VLAD应用的前提是要先获得图像的局部特征局部特征可以使用SIFT特征，也可以通过CNN进行提取基于图像的检索18近似最近邻搜索产生原因与分类传统的搜索方法通过逐个与数据库中的每个点进行相似性计算然后进行排序，在大规模图像库上这种暴力搜索的方式不仅消耗巨大的计算资源，而且单次查询的响应时间会随着数据样本的增加以及特征维度的增加而增加基于树结构的图像检索方法和基于哈希的图像检索方法，通过将特征空间划分成很多小的单元，以此减少空间搜索的区域，达到次线性计算复杂度19近似最近邻搜索基于树结构的检索方法K-D树（应用最广）：K-D树在构建树的阶段，不断以方差最大的维对空间进行划分，其储存对应的树结构则不断的向下生长，并将树结构保存在内存中，（如下图所示）在搜索阶段，查询数据从树根节点达到叶节点后，对叶节点下的数据与查询数据进行逐一比较以及回溯方式从而找到最近邻。20近似最近邻搜索基于哈希的检索方法由特征提取、哈希编码、汉明距离排序以及重排四个部分组成（流程如下图所示）21近似最近邻搜索基于哈希的检索方法特征提取：对图像数据库中的图像逐一进行特征提取，并将其以图像文件名和图像特征一一对应的方式添加到特征库中；哈希编码：分为哈希函数学习阶段和正式的哈希编码阶段哈希函数学习阶段，将特征库划分成训练集和测试集，在训练集上对构造的哈希函数集进行训练学习；正式的哈希编码阶段时，分别将原来的特征代入到学习得到的哈希函数集中，从而得到相应的哈希编码22近似最近邻搜索基于哈希的检索方法汉明距离排序：在汉明距离排序阶段，对于给定的查询图像，逐一计算查询图像对应的哈希编码到其他各个哈希编码之间的汉明距离，然后按从小到大的顺序进行相似性排序，从而得到检索结果；整体重排：针对步骤汉明排序后的结果，可以选择前n个结果或者对汉明距离小于某一设置的汉明距离的结果进行重排。一般地，在重排的时候采用欧式距离作为相似性度量得到重排后的结果。23§11.3深度学习方法一、基本步骤二、基于深度度量学习的方法二、基于深度哈希表示的方法24基本步骤基本步骤图像预处理：对输入的图像进行预处理，包括尺寸调整、归一化等操作。特征提取：使用深度神经网络对预处理后的图像进行特征提取。特征嵌入：将提取出的特征嵌入到低维空间中，生成紧凑的特征向量。特征聚合：将多个特征向量聚合为一个全局特征向量。相似度计算：根据全局特征向量，计算查询图像和数据库中图像的相似度。结果排序：根据计算出的相似度，对数据库中的图像进行排序。25基于深度度量学习的方法深度度量学习目标：通过深度神经网络设计嵌入层来构造合适的嵌入空间来表示样本之间的距离，总的目标是减少类内距离，增加类间距离，从而使得同类的图像样本在嵌入空间中具有更小的距离。检索方式：新样本在嵌入空间中与样本集合中的其它样本进行相似度计算的对比，即可从样本集合中检索出与新样本属于同样类别的样本。26基于深度度量学习的方法深度度量学习研究热点1：如何在嵌入空间中设计有效的判别性损失函数来增大样本的类间距离并减小样本的类内距离。研究热点2：如何设计高效的采样策略并寻找合适的假阳性样本来促进深度神经网络的训练过程。27基于深度度量学习的方法判别性损失函数的设计对比损失函数将负样本对之间的距离拉大到一定程度并尽量缩小正样本对之间的距离。对样本在嵌入空间中的距离进行直接约束，对于样本之间的相似性关系具有较强的判别性。变体在自监督对比学习中具有广泛应用

28基于深度度量学习的方法判别性损失函数的设计三元组损失函数同时作用于正负样本对，使得负样本对之间的距离与正样本对之间的距离存在一定差距。达到了在嵌入空间中更加合适地区分正样本与负样本的效果，提高了深度度量学习算法的灵活性。

29基于深度度量学习的方法判别性损失函数的设计基于代理样本的损失函数在模型训练过程中维护的一系列可学习参数，每个代理样本表示一个类别在嵌入空间中的的样本中心。在嵌入空间中减小样本与其对应的代理样本的距离并增大样本与其他类别的代理样本距离即可。30基于深度度量学习的方法判别性损失函数的设计基于集成学习的度量学习类别1：将神经网络的嵌入层拆分为多个子层，每个子层作为单独的学习器并利用不同的训练数据和训练目标进行约束类别2：利用网络不同层的特征作为不同学习器的输出结果，使得网络能够捕获数据中的不同层次的特征信息类别3：利用注意力机制模块来从网络中学习样本的不同级别信息，从而作为不同学习器的学习结果31基于深度度量学习的方法判别性损失函数的设计利用分支策略的基于集成学习的度量学习首先将嵌入空间分为几个不同的空间簇，再用每一个空间簇中的样本来训练相应的一个学习器。32基于深度度量学习的方法

33基于深度度量学习的方法高效采样策略的设计半困难负样本挖掘算法当选择最难的负样本时，模型会过度关注这些样本，而忽略其他更简单、更有代表性的样本。这可能会导致模型在训练初期就陷入局部最小值，而不是全局最小值。半困难负样本采样聚焦于选取有挑战性的样本对但同时在一定程度上控制正负样本对之间的距离。

34基于深度度量学习的方法

35基于深度度量学习的方法

36基于深度度量学习的方法高效采样策略的设计困难自适应的负样本生成算法对嵌入向量进行线性插值以自适应地操纵它们的困难水平，并生成相应的保持标签的合成样例用于模型训练。首先将样本进行困难级别的修改，然后利用一个保持标签和困难程度的生成器将它投射到流形上最接近的点。37基于深度哈希表示的方法深度哈希表示的一般流程图像预处理：对输入的图像进行预处理，以便于后续的特征提取。特征提取：使用深度神经网络对预处理后的图像进行特征提取。哈希编码：将提取出的特征进行哈希编码，生成二进制码。相似度计算：计算查询图像与数据库中图像的哈希编码之间的汉明距离检索结果排序：根据汉明距离从小到大排序，得到本次图像检索的结果。分类：分为有监督深度哈希算法和无监督深度哈希算法38基于深度哈希表示的方法DeepSupervisedHashingforFastImageRetrieval(DSH)研究动机：传统方法依赖手工设计的特征，难以捕捉图像的高层语义信息；快速生成紧凑且能保持语义相似性的二进制哈希码是一个关键问题提出了通过深度神经网络直接学习图像的二进制哈希码39基于深度哈希表示的方法DeepSupervisedHashingforFastImageRetrieval(DSH,CVPR2016)损失函数设计思路：相似图像的哈希码相近，不相似图像的哈希码差异大分类损失：利用图像的标签信息，确保提取的特征具有良好的区分能力。量化损失：约束生成的哈希码接近二进制值(0或1)，减少量化误差。40基于深度哈希表示的方法DeepSupervisedHashingforFastImageRetrieval(DSH,CVPR2016)检索精度：DSH在CIFAR-10、NUS-WIDE等数据集上表现出较高的检索精度，与其他基准方法相比，显著提高了平均检索精度计算效率：由于使用了二进制哈希码，DSH在大规模图像数据库中的检索速度非常快，能在常数时间内完成相似性查询。41基于深度哈希表示的方法HashNet:DeepLearningtoHashbyContinuation(HashNet)量化误差问题：直接优化二进制码会带来严重的量化误差，影响检索性能渐进优化策略：通过逐步优化哈希目标，可以更好地逼近最优解，从而减少量化误差大规模数据处理：需要一种能够处理大规模数据的高效哈希方法42基于深度哈希表示的方法HashNet:DeepLearningtoHashbyContinuation(HashNet)初始化阶段：训练网络使得连续值接近目标二进制值，但不强制二进制化。逐步量化：在训练过程中逐步增加量化损失的权重，使得连续值逐渐逼近二进制值，最终得到二进制哈希码。最终优化：在哈希