【《融合区域语义关联的多标签图像识别方法概述》2200字】

融合区域语义关联的多标签图像识别方法概述目录TOC\o"1-3"\h\u30209融合区域语义关联的多标签图像识别方法概述 1325001.1融合区域语义关联的多标签图像识别算法框架 1269651.2图像特征学习 272891.3相关系数矩阵 2262101.4GCN分类器学习 4在本节中将阐述融合区域语义关联的多标签图像识别算法，详细说明本算法的两个分支：图像特征提取分支和GCN分类器训练分支。1.1融合区域语义关联的多标签图像识别算法框架图3：模型总体框架GCN原本是被设计来进行半监督分类，每个GCN节点的输出结果是其预测分数，但本文中将每个GCN节点的最终输出都被设计成与标签相关的分类器。由于多标签图像识别任务需要相关系数矩阵来进行节点之间信息的更新与传递，本文中并未预先定义相关系数矩阵，所以需要从头构建相关系数矩阵。整体思路为，使用常规的图像特征学习方法提取图像特征再与设计的图卷积神经网络计算得到预测分数。具体算法步骤：输入图片，通过卷积神经网络提取输入图片的特征映射，然后应用全局最大池化得到图像层面的特征。将所有标签由词嵌入向量表示，使用这些标签建立有向图，并训练本文中GCN，最终输出为一组相互依赖的目标分类器。将分类器直接应用于学习到的图像特征得到预测分数。1.2图像特征学习传统图像特征提取基本使用的是方向梯度直方图（HOG）、局部二值模式（LBP）和高斯函数差分（DOG）等手动设计的特征。这些手动设计的特征都有其各自的优缺点，例如LBP算法，其优点是所占空间少且效率高，缺点是在图片有噪声和其他影响因素的情况下，特征提取率会降低，并且由于其只考虑图片中心与邻域的像素特征，可能会导致部分特征信息不能被有效提取。而目前卷积神经网络发展的如火如荼，已成为深度学习的主力，在此基础上，CNN也被用在了图像特征提取。卷积神经网络通过卷积层和池化层提取图像特征，经过反向传播最终确定卷积核参数，得到最终的特征。卷积层中，卷积核在图像上不断滑动运算。同时，在内积结果上取每一局部块的最大值就是最大池化层的操作。CNN用卷积层和池化层实现了图片特征提取方法。本文在实验中使用ResNet101作为实验基础模型，输入大小为448*448的图像，输出大小为2048*14*14的特征映射，然后应用全局最大池化获取图像层面的特征x：x=f其中，θcnn1.3相关系数矩阵在GCN当中，为使节点之间能够进行信息更新和传递，往往需要构建节点间的相关系数矩阵。大部分情况下，相关系数矩阵都是预先定义好的，在本文中，将以数据驱动的方式构建一个相关系数矩阵，相关性可以通过挖掘标签在数据集中的共现模式而来定义。通过该相关系数矩阵来明确地建模分类器学习的标签依赖关系。如下图所示，两个标签之间的相关性可能相对不同，当Lairport出现时，Lplane出现的概率为0.9，即P(Lairport|Lplane构建相关系数矩阵，首先需要统计训练集中标签对的出现次数，得到矩阵M∈M即一个标签与另一个标签的对应关系，其中Ni表示标签i在训练集中出现的次数，长宽为标签的个数，Mij表示标签i和标签j同时出现的次数。通过这个矩阵M，得到条件概率矩阵：Pi图4：标签依赖性但是仅仅通过这样构造相关系数矩阵存在着两个问题。首先，一个标签和其它标签的同时出现的次数可能出现长尾分布，即分布不均衡，使得我们学习出的分类器不准，并且其中某些罕见的共现可能是噪声；其次，训练和测试中同时出现的绝对数可能并不完全一致，即过拟合。训练的模型过分拟合训练集而在测试集效果不佳。避免过拟合是我们在模型构建中主要需要解决的问题之一。因此，我们必须对这种简单的相关性进行优化。本文通过对相关系数矩阵进行二值化处理的方式来解决长尾分布及过拟合的问题。我们通过设置阈值τ的方式来进行噪声的过滤。当大于阈值τ的时候，我们就将该点值置为1，反之为0。具体公式如下，其中A是二值相关系数矩阵：Aij经过以上二值化处理相关系数矩阵之后，一个节点的特征是其自身特征和相邻节点特征的加权和。但是经过二值化处理相关系数矩阵后所面临的一个直接问题是其可能导致过度平滑，即经过多次卷积后，同一连通分量内所有节点的特征都趋于一致。过渡平滑被认为是图卷积神经网络性能下降的主要原因。因此为了缓解这一问题，本文提出以下二次加权方法：Aij通过这种二次加权方法，在通过相关系数矩阵进行节点信息的更新时，节点本身的权重是固定的，相关节点的权重则由邻近分布确定。当p→1时，选择节点本身的特征；当p→0时，选择忽略相邻信息。1.4GCN分类器学习主要思路为通过GCN从标签关联性中学习并输出目标分类器W={wi}i=1C。因