【《图像描述相关技术基础综述》3300字】

图像描述相关技术基础综述目录TOC\o"1-3"\h\u21148图像描述相关技术基础综述 1229261.1卷积神经网络 1264201.2循环神经网络 274231.3Encoder-Decoder结构 4196731.4数据增强 6167171.5跨语言图像描述 7本章将详细介绍本文在图像中文描述任务中使用的相关基础模型以及框架。此外，本章还将介绍关于数据增强的方法。卷积神经网络深度学习来源于人们希望机器能模拟人类思考的方式，然后人们从视觉皮层的生物学中受到启发提出了卷积神经网络。卷积神经网络（ConvolutionalNeuralNetworks，CNN）[26]自提出以来就被一直应用至今，变种不计其数，目前大量研究任务都采用卷积神经网络。卷积神经网络基本思想：局部感受野、权值共享、池化。这些思想是其能一直经久不衰的关键因素。卷积层：卷积层是CNN的基础结构，卷积层的核心是卷积核，卷积核是一个大小固定的窗口，卷积运算可以获得卷积核周围区域的边缘等信息，通过滑动窗口就可以获得图像的全部特征信息。卷积操作示意图如图2-1所示。图2-1卷积操作示意图池化层：池化层一般连接在卷积层后面，或者再模型末尾替换全连接层。池化层用来压缩特征图，在不改变特征图数量的情况下减少模型计算量。平均池化和最大池化应用最为广泛。最大池化顾名思义是在滤波器窗口内选取最大值作为特征，最大池化操作示意图如图2-2所示。图2-2最大池化操作示意图全连接层：全连接层在模型末尾，全连接层主要用来对上一层输出特征进行整合，由于其所有神经元相互连接的特性，该层的权值参数是也是最多的。全连接层本质是一个包含有多个隐藏层的神经网络，它具备全局感受野，用来去除空间信息，全连接层在整合特征信息之后，会将整合好的信息交给最后的分类层。循环神经网络循环神经网络（RecurrentNeuralNetwork,RNN）是神经网络的一种，类似的还有深度神经网络(DeepNeuralNetworks,DNN)，卷积神经网络CNN，生成对抗网络(GenerativeAdversarialNetworks,GAN)，等等。RNN擅长处理具有序列特征的数据，它特殊的结构决定了相比于CNN，它在挖掘数据的时序信息以及语义信息方面更加有优势，这种特性使问答系统、句子关系判断、机器翻译以及词性标注这类关注时序和语义的任务获得显著进步。图2-3RNN结构示意图图2-3展示了RNN结构，图中左侧是模型的基本单元，右侧是它根据时序信息展开的完整结构。是时刻的输入，相应的，分别是对应时刻的隐藏层和输出层。RNN有两个输入：一个是当前时刻输入，用于实时更新状态，另一个是上一时刻隐藏层的状态，用于记忆状态，和CNN一样，为了减少计算量，RNN也采用权值共享。为了关注时序信息，RNN提出带时序的反向传播（BackpropagationthroughTime,BPFT），它的基本原理和反向传播一样，只是计算时需要考虑时间信息。它仍然使用链式法则，区别在于损失函数不仅依赖于当前时刻的输出层，也依赖于下一时刻。所以参数W在更新梯度时，必须考虑当前时刻的梯度和下一时刻的梯度，传播示意如图(2-4)所示；图2-4时序反向传播示意图因为时刻的导数会传播到，，...，时刻，这些连乘系数会导致梯度爆炸或消失。而且，前向传播中随着网络的深入，开始时刻的输入对后面时刻的影响逐渐减小，这类问题称之为长距离依赖。这就与最开始设计用来处理时序类信息的初衷相违背。长短期记忆（Longshort-termmemory,LSTM）被提出用来解决上述两个问题，它的特点是:细胞态(cellstate)。这个cellstate承载着之前所有状态的信息，每到新的时刻，细胞态会决定需要舍弃和添加的信息。相比于隐藏层状态，细胞态在更新过程中比较缓慢。LSTM的网络结构如图(2-5)所示，输入包括，，输出，状态为，。图2-5LSTM网络结构示意图遗忘门决定需要舍弃的信息，选择记忆阶段决定要当前状态需要保存的新信息。输出门决定了要从cellstate中输出的信息。LSTM的基本原理就是通过门控状态来对信息进行选择性的记忆，满足了需要长时间记忆信息和遗忘信息的需求。循环神经网络这些复杂的结构决定了模型的复杂度和训练难度相比于CNN都增加了不少，但是它目前在处理时序类信息具有不可替代的作用。Encoder-Decoder结构编解码结构是自然语言处理领域中广泛使用的一种基础框架。它常用于无监督自动编码、智能问答、机器翻译、图像描述等领域。编解码器主要是CNN、RNN等神经网络，根据任务需要，文本、语音、图像等各类数据都可以用来编码。编解码框架的一般形式如图2-6所示。图2-6encoder-decoder架构编码-解码结构最显著的特点之一就是端到端。模型利用编码器的神经网络将输入信息“编码”为一个中间状态，然后利用解码器的神经网络将中间状态“解码”为输出信息。编码-解码结构最早由机器翻译任务提出，此后得到广泛应用并取得很大成功。机器翻译中，输入源句子，输出目标语言的单词序列。由于输入输出都是文本，编码解码器也都是由循环神经网络构成。图像描述任务中，输入是图像，输出是单词序列。输入输出信息的不一致性，决定了图像描述模型中的编码器通常采用深层卷积神经网络将图像编码为特征向量，解码器则使用循环神经网络将编码器获得的向量解码为文本描述。NIC网络采用编解码结构，将图像特征提取与文本描述生成这两个功能模块统一在一个算法框架下。编码器将输入图像提取出特征向量。图像领域的任务已经证明了通过大规模数据集预训练的神经网络提取特征能力具有显著提升，因此NIC网络的编码器采用深层卷积神经网络结构，并使用大型图像分类数据集Imagenet进行预训练。NIC网络的解码器采用长短时记忆网络LSTM，将编码器输出的图像特征向量解码为描述文本。图像特征只在解码的初始时刻作为LSTM的输入。同时为了让解码器知道文本的开始结束，专门在每句文本前后分别加入start和end标记，单词序列都采用one-hot编码。在预测阶段使用最大概率和beamsearch两种策略生成词汇。其网络结构如图2-7所示。图2-7NIC网络结构示意图数据增强数据增强，也叫数据增广。数据增强方法的本质实际上是在现有的有限数据的基础上，在不实际收集更多数据的前提下，而让数据产生等价于更大数据量的价值，即根据现有数据样本按照规则生成增量数据的过程。数据增强方法不仅是数据样本量的增多，更多的是数据本身特征的“增强”。样本数据是整体数据的抽样，当样本数据量足够大时，样本的分布情况和总体的分布情况应相似。当收集的样本数据不属于这类情况时，可通过数据增强方法生成与真实数据分布相似样本作为额外样本；深度学习网络模型拥有极强的学习能力，然而一些无用的特征往往会对模型产生负面影响，数据增强可通过对原始数据施加特定规则生成额外数据，将这些数据加入训练过程来缓解无用信息对模型性能的影响。现阶段数据增强方法的使用方式主要被分为两种：离线增强和在线增强。离线增强作为图像预处理的一部分，在训练前对全部数据集进行增强，这样可使数据集成倍增加。离线增强比较适合小规模数据集。在线增强将完整数据集分为若干批次进行增强，每次将增强完的数据集添加到模型训练过程中，这种模式更加符合深度学习不断更新迭代的过程。由于分批次的特性，它更加适用于大规模数据集。NLP数据增强方面，有一些研究在文本分类上进行数据增强的探索。Wei等人[27]对NLP数据扩充方面的文本编辑技术进行了全面扩展，并在文本分类上取得了收益。Xie等人[28]提出用占位符标记替换一些随机单词，以此避免特定上下文过拟合的方法并且作为语言模型平滑机制，并给平滑的文本数据增加噪声。Kafleet等人[29]进行了创新，他们通过使用语义标注图像产生新问题。Ray等人[30]的工作自动为原问答对生成了必要的问题，它使用VisualGenome[31]中的其他数据为生成的问题添加了多样性。Chen等人[32]的工作提出了一种循环一致的训练方案，在该方案中，它会生成不同的问题表述，并对模型进行训练，从而使生成的问题和原始问题中的预测答案保持一致。随着GAN网络的应用，Agarwal等人[33]提出了基于GAN的重生成技术来自动删除对象，以增强模型针对语义视觉变化的鲁棒性。所有这些方法都以单一模式（仅文本或仅图像）扩充数据，并且严重依赖复杂的模块以实现轻微的性能提升。跨语言图像描述与如何产生英语描述的大量研究相比，很少有关于跨语言图像描述的研究。郭淑涛等人[34]提出了一种基于深度学习的中文图像描述模型，提出了记忆助手来解决循环神经网络梯度消失的问题，取得了一定的效果。邓珍荣等人[35]为了解决细节语义信息不足的问题，将局