【跨模态商品图像检索的算法分析案例2800字】

跨模态商品图像检索的算法分析案例目录TOC\o"1-3"\h\u15167跨模态商品图像检索的算法分析案例 1103061.1基于变分法的优化算法原理 2208321.2目标函数构建 428851.3目标函数优化 6为了解决跨模态商品图像检索过程中商品图像信息与商品文本信息数据结构差异性较大，无法进行相似性度量的问题。本文提出的跨模态商品图像检索方法是一种基于子空间学习的跨模态检索方法，基于子空间学习的方法是将异构的多模态数据投影到一个公共子空间，在此空间中，不同模态的数据具有统一表示，可以直接通过余弦距离、欧氏距离等度量它们之间的相似性。图4-1跨模态商品图像检索流程基于子空间学习的跨模态检索方法在构建目标函数的时候往往关注具有相同语义的不同模态数据在子空间中的投影距离，使其尽可能地小。为了充分利用标签信息，期望能够使有相同语义的不同模态数据在子空间中的投影距离其尽可能地小，同时使具有不同语义的不同模态数据在子空间中的投影距离，尽可能地的大。为解决这一问题，本文提出了一种基于子空间学习的跨模态商品图像检索方法。本文提出的跨模态商品图像检索方法的目标函数不仅关注具有相同语义的不同模态数据在子空间中的投影距离，使其尽可能地小，同时该模型的目标函数还关注了具有不同语义的不同模态数据在子空间中的投影距离，并使其尽可能地的大。同时，该方法利用标签信息构建了标签矩阵，通过构建目标函数的方法学习映射矩阵，使得不同模态的数据经过映射后在公共子空间中的类内距离尽可能地小，类间距离尽可能地大，从而更好地实现跨模态商品图像检索。基于变分法的优化算法原理变分法是研究泛函极值问题的一种经典数学方法，有着广泛的应用。设为一函数集合，若对于每一个函数有一个实数与之对应，则称是对应在上的泛函，记作。称为的容许函数集。最简单的一类泛函表示为 （4-1）被积函数包含自变量，未知函数及导数。（1）泛函的极值泛函在取得极小值是指，对于任意一个与接近的，都有。所谓接近，可以用距离来度量，而距离定义为 （4-2）泛函的极大值可以类似地定义。称为泛函地极值函数或极值曲线。（2）泛函的变分如同函数的微分是增量的线性主部一样，泛函的变分是泛函增量的线性主部。作为泛函的自变量，函数在的增量记为 （4-3）式（4-3）也称函数的变分。由它引起的泛函的增量记作 （4-4）如果可以表示为 （4-5）其中，为的线性项，是的高阶项，则称为泛函在的变分，记作。用变动的代替，就有。泛函变分的一个重要形式是它可以表示为对参数的导数： （4-6）这是因为当变分存在时，增量 （4-7）根据和的性质有， （4-8） （4-9）所以， （4-10）（3）极值与变分利用变分的表达式（4-6）可以得到泛函极值与变分的关系：若在达到极值（极大值或极小值），则， （4-11）这是因为对任意给定的，是变量的函数，该函数在达到极值。根据函数极值的必要条件知， （4-12）于是由式（4-6）直接得到式（4-12）。本文求解的目标函数是一个二元泛函，求解模型可以简化为如下形式 （4-13）根据欧拉-拉格朗日条件有， （4-14）通过式（4-14）可以实现对目标函数的优化求解。目标函数构建构建目标的目的是分别为商品图像和商品文本两个模态学习两个投影矩阵和。利用学到的投影矩阵，将多模态数据映射到一个公共子空间进行相似性度量。整体的目标函数如下[54]： (4-15)目标函数由四个部分组成：是线性回归项，学习将不同模态数据映射到公共空间的投影矩阵，使得来自不同模态的样本接近其真正的语义标签。是相关性分析项，使得不同模态的数据映射到公共子空间时，类间距离尽可能地大。是特征选择项，起到对不同特征空间进行特征选择的作用同时避免过拟合问题。是图正则化项，多模态图正则化能有效地保持模间和模内的相似关系。首先，要定义模态间的相似度和模态内的相似度，构建相似度矩阵W。其中，和分别表示第样本和第样本。模态间相似关系：模态间相似性关系可以理解为，不同的模态数据虽然具有不同的表示形式和不同的特征空间，但是如果它们与相同的内容或主题相关，则具有相似的语义。例如，如果它们属于同一个类别，那么它们在主题上是相似的，在学习公共空间时希望可以保持模态间的相似性关系。根据模态间的相似性关系，模态X和模态Y的模态间相似性矩阵为，则矩阵中的每个元素定义如下。 (4-16)模态内相似性关系：对于单个模态的数据，模态内的相似性关系希望得以保持。例如，有近邻关系的数据在公共空间中也应该保持近邻关系。为了保持每个模态的局部结构信息，构造了一个KNN相似图。模态的模态内相似矩阵中相应元素定义如下。 (4-17)其中，代表X模态或Y模态是和之间的欧氏距离，，，为的k个最近邻。根据模态间和模态内的两种相似性关系，将所有不同模态的数据输入到一个联合多模态图中，总体相似矩阵W定义如下。 (4-18)其中，是一个平衡模态间相似度与模态内相似度的参数；，表示式(4-18)定义的模态间相似度；，表示式(4-17)定义的模态内相似度。其次，构建学习映射矩阵的目标函数并对目标函数进行优化求解。目标函数的第一部分如下： (4-19) 其中，为F-范数，X表示图像特征，Y表示文本特征，S为标签矩阵，S的表示方式如式(4-20)。 (4-20) (4-21)其中，N为样本个数，Nt为第t类的个数，c为类别的个数。通过式(4-19)学习投影矩阵和，使投影后的矩阵在公共空间更靠近标签矩阵。目标函数的第二部分为： (4-22)式(4-22)表示在公共子空间中，不同模态不同类之间的距离越大，项越小。目标函数的第三部分是特征选择项，采用了范数，具体公式如下： (4-23)目标函数的第四部分为图正则化项，具体公式如下： (4-24)其中为拉普拉斯矩阵，并且，为对角阵，为相似矩阵。因此，目标函数式(4-15)可以写为式(4-25)的形式。 (4-25)目标函数优化的偏导数计算公式为： (4-26)为了防止出现，定义，是平滑项，通常是一个很小的值，则根据对范数的一些分析，可以用代替，推导过程如式(4-27)。 (4-27)可以证明满足下列所有条件。 (4-28)根据下面的引理，可以用半二次最小化来优化。引理[30]：是一个满足式(3-13)中所有条件的函数，对于一个固定的，存在一个双势函数，使得， (4-29)其中，s是由关于的最小化函数决定的。根据上述引理，目标函数式(4-25)可以写成如下形式： (4-30) 其中，，是范数的一个辅助向量，它的第i个元素。中的元素分别正则化如式(4-31)： (4-31)其中，，理论上可以为0，但是不能为0，否则，不能保证迭代算法收敛，为了解决这个问题，利用式(4-31)进行正则化。对目标函数式(4-30)关于U求偏导，并令偏导数等于0，可得如下等式： (4-32)通过式(3-31)可以得到如下结果： (4-33)对目标函数式(3-15)关于V求偏导，并令偏导数等于0，可得如下等式： (4-34)通过式(3-33)可以得到如下结果： (3-34)通过迭代优化，求解出相应的映射矩阵。然后利用求解得到的映射矩阵，把不同模态的特征映射到共同的子空间，在子空间中进行相似性度量实现跨模态商品图像检索。目标函数利用F-范数，通过迭代优化使得属于同一类的商品图像的特征间的距离尽可能