【《文本流畅度的图像中文描述分析》6400字（论文）】

文本流畅度的图像中文描述分析引言图4-1跨语言图像描述近年来，结合图像和语言理解的问题受到了越来越多的关注。由于计算机视觉和注意力机制的迅速发展，图像自动描述已取得了重大进展[53,54,55]。但是，大多数工作主要集中在为图像生成英文描述。为了适应全球非英语母语者的需求，有必要生成不同语言的文本描述，这也称为跨语言图像描述任务，如图4-1所示。由于深度卷积神经网络通常需要大量的数据，因此跨语言图像描述的主要挑战是缺乏目标语言中可用的数据集。众所周知，制作大规模数据集的成本非常高。由于机器翻译的迅速发展，已经收集了一些从英语到其他语言的数据集。因此，人们自然的想到了利用机器翻译将英语数据集转换为其他语言。尽管大规模数据集和注意力机制的使用已大大改善了机器翻译质量[56,57,58]，但人们注意到，机器翻译的中文句子质量通常不尽人意。为了克服机器翻译文本的缺点，有人提出了以流畅度为导向的学习方法[44]。该方法引入了分类器以自动估计这些句子的流畅度。这里的流畅度是指“每个句子的自然阅读程度”[59]。这提供了一种有效的方法来衡量句子对训练的重要性。例如，流畅度得分较低的句子往往会被排除在训练范围之外，或者对描述模型的影响会降低。但是在这个分类器中，真相标签决定于训练中产生的流畅分数。如果分数超过0.5，则y=1，否则y=0。显然，这种方法不够稳定。例如，句子“Asportsarenaunderadomewithsnowonit”被百度翻译为“一个体育馆下一个起点下的雪在它”，这是最好的英译汉系统之一。显然，这句话不符合人们日常使用规范。对机器翻译得到的数据集进行统计，可以发现被视为负面样本的句子占了数据集的大部分。最后，负样本的积累将显着影响分类器的性能。因此，在解决这类问题之前，很难直接从机器翻译的文本中学习跨语言的图像描述来获得有用的模型。上面提到的这个问题在目标检测中更为常见。两种经典的一阶段目标检测方法都直接从大量候选框中检测目标。这些框基于像素点生成，大部分都不包含目标，这样会导致目标和背景之间的样本数量不平衡，从而影响检测性能。这些检测器对每个图像评估大量候选位置，但是只有少数位置包含目标。为了解决这个问题，一些研究工作引入了新的分类损失，例如FocalLoss[60]，它是目前处理类别失衡效果显著的方法之一。损失函数是动态缩放的交叉熵损失，其中缩放因子随正确类别的置信度而变化。在理想状态下，当置信度为1时，缩放因子为0。换句话说，此缩放因子可以自动降低训练过程中简单样本的贡献，并使模型迅速集中于困难样本。受这些方法在目标检测中的启发，本文采用FocalLoss代替原始的损失函数，从而可以更有效地处理流畅度分类器中的类不平衡问题。损失函数是动态缩放的交叉熵损失。这提供了惩罚不同流畅度句子的有效手段。不仅如此，本文提出的方法还提出了一种新的加权损失和新的采样策略，该方法更加关注流畅度得分在0.3到0.8之间的样本。这样模型就可以更有效地利用所有句子。整体框架如图4-2所示。对两个数据集的自动评估显示了该方法的可行性。图4-2图像中文描述框架总览示意图基于文本流畅度导向的图像描述生成模型文本流畅度分类器在对句子进行筛选之前，首先需要设计一个能够对句子流畅度进行自动分类的模型，以便我们可以放弃那些不流畅的句子，或者在训练过程中最大程度地降低其影响。本文设计了一个二元分类器估计它们的流畅度。首先，为了易于计算，需要先将编码后的句子的各种长度固定为统一的长度。然后，我们在模型尾部构建分类器。该分类器是LSTM改进的，它可以学习给定句子的有意义且紧凑的表示形式，然后用全连接层进行分类。为了便于表述，假定为一组带标签的句子。在这个公式中，y=1表示句子是流畅的，否则y=0。与西方语言不同，许多东亚语言（包括中文）在编写时都没有明确的单词定界符。例如英文的书写习惯是单词之间会添加空格以保证阅读性，这些空格就可以作为单词定界符。然而中文缺少此类单词定界符，为了解决这个问题，中文自然语言处理设计了中文分词与词性标注。分词系统的质量好坏直接影响了中文模型训练的有效性以及性能。因此，本文采用BO-SON[61]（基于云的平台，提供丰富的中文自然语言处理服务）将给定句子标记为一系列中文单词。BO-SON在字符编码以外加入了词语的信息，能够捕捉高阶预测变量之间的关系。玻森对新词识别和组合切分歧义做了很大的优化，包括对特殊字符的处理，对比较有规律的构词方式的特征捕捉等。BO-SON使用了一个新颖的分词改进方式，该方法捕捉了中文中常见的固定搭配词对信息。中文分词确定后就可以开始设计分类器了。给定一个单词序列，将每个单词的嵌入向量输入到LSTM模块中，使用最后一个时间步的隐藏状态向量作为特征向量。然后将向量输入分类器，输出指示句子流畅的概率。计算公式如式(4-1)(4-1)这里是仿射变换矩阵，是偏置项。流畅度分数超过0.5的简单样本也会因交叉熵损失而过度惩罚。随着这些简单样本的增加，其他类别的效果将更加显著。结果是分类器可能难以区分那些困难的例子。因此，本文选择FocalLoss：(4-2)上式中，和都是超参数。我们分别定义为：(4-3)(4-4)在实践中可以看作是类别的权重。它在平衡正样本和负样本的重要性方面非常有效。对于简单/困难的采样，将另一个调制因子添加到损耗函数中。根据实验结果，对于二进制分类，和最好分别设置为0.5和2。由于中文句子是通过机器翻译生成的，因此不流畅的句子意味着相应的英语句子难以翻译。因此，原始英语句子可能是影响句子流畅度估计的另一个因素。对于这一点，本文训练了另外一个基于LSTM的分类器，表示为它将一系列英语单词作为输入。最后可以获得一个基于LSTM的双向分类器，该分类器通过将两个单独分类器的预测结合起来来预测翻译句子的流畅程度如式(4-5)所示(4-5)其中表示中文单词序列。如果翻译成中文，句子被认为是流畅的。值得注意的是，英文句子和翻译后的中文句子之间的对应关系使模型可以使用相同的标签来训练所有分类器。图像中文描述生成模型对于图像中文描述生成模型，我们依旧采用第三章提到的经典框架即CNN+LSTM方法。为了表达的更清晰，将给定的图像记为，自动预测的中文句子记为，本文希望生成的中文文本能够简要描述图像内容。概率模型用于估计在给定的条件下，特定单词序列的后验概率图像。作为模型参数，表示概率为。可以得到概率的计算公式如公式（4-6）：(4-6)其中是一个特殊标记，表示句子的开头或结尾。因此，图像将用产生最大后验概率的句子来作为输出。公式（4-6）中的条件概率由LSTM网络以迭代的方式计算。LSTM网络维持一个单元向量和隐藏状态向量来自适应地记住提供给它的信息。训练阶段，图像和翻译的中文句子被输入模型。初试阶段，通过对图像特征进行仿射变换可以获得图像的嵌入向量，它被输入到LSTM网络以初始化和两个向量。单词序列在词嵌入向量进行线性变换后被迭代地输入到LSTM。在第次迭代中，在给定当前上下文的情况下，重新估计所有候选单词的新概率。下列公式可以表达上述过程：(4-7)(4-8)(4-9)(4-10)参数集由，和LSTM内部的仿射变换参数组成。损失是每个步骤中下一个正确单词的负对数似然率之和。本文使用SGD的小批次图像句子对。假定一个批次的训练样本记为，损失函数如公式(4-11)所示：(4-11)训练阶段，先输入图像嵌入向量，LSTM的softmax层产生所有词语的概率分布。选择具有最大概率的单词并在下一次迭代中输入LSTM。每一次迭代，我们应用波束搜索来保持前k个最佳候选者，将参数设置为5。当END令牌被选择时，迭代停止。为了提取图像特征，我们使用了经过预训练的ResNet152，该模型实现了图像分类的最新结果。ImageNet和COCO竞赛中均取得了最好的结果。图4-3残差结构残差网络是由一系列残差块组成的，网络结构如图（4-3）所示。一个残差块可以表示为式（4-12）：(4-12)残差块分成两部分直接映射部分和残差部分。是直接映射，反应在图4-3中是左边的曲线；是残差部分，一般由两个或者三个卷积操作构成，即图4-3中右侧包含卷积的部分。图4-3中的Weight在卷积网络中是指卷积操作，addition是指单位加操作。图像特征向量维度设置为2048。我们对提取的特征进行正则化，根据我们的结果显示这样会产生更好的实验结果。图像和词嵌入的尺寸以及LSTM的隐藏大小都设置为512。我们将在训练集中出现少于5次的单词用一个特殊的“UNK”令牌替换。我们将初始学习率设置为η=0.001，每十个周期衰减一次，衰减权重为0.999。基于文本流畅度的训练策略介绍了句子流畅度分类器和图像描述生成模型后，本小节讨论如何以估计的流畅度指导训练过程，从而生成更符合人类使用习惯的中文描述。本文希望将流畅程度视为衡量各个训练样本重要性的指标，这一点在概念上类似于机器学习场景，其中一些样本比其他样本更重要。一种典型的情况是从具有高度不平衡类的数据集中学习，其中人们可能会考虑减少多数采样类，减少过度采样类或重新加权样本[62,63]。根据对数据集的统计，流畅的句子相对短缺。受到这种联系的启发，本文改进了两种以流畅为导向的培训策略。策略一：分层抽样。如果没有这种策略，模型将仅保留归类为流畅的句子作为训练数据集。但是在此过程中存在两个问题，其中一个是所选数据集将包含少得多的句子，而这些句子几乎是简单的示例，另一个是，正如我们观察到的，翻译后的句子流畅程度较低的用户仍然可以包含正确的关键字，这也可以提高跨语言描述生成的准确性。为了减轻这些障碍，本文选择了一种新的抽样策略。首先，我们分别计算Flickr8k-cn和Flickr30k-cn训练集中每个流畅度的分布。根据每个流畅句子的表现，本文将其分为以下四个部分：这四个部分的比率如图4-4所示，(a)(b)图分别表示Flicker-8kcn和Flicker-30kcn的流畅度分布情况，几乎所有的句子流畅度不超过0.8。根据此统计结果，本文引入了一种基于采样的策略，该策略允许分类为非流畅的句子在保留所有分类为流畅的句子的同时有一定机会用于训练。显然，此机会应与句子流畅的概率成正比。接下来，本文将介绍改进的策略。关于流畅的句子，我们应该让它们全部参与训练。对于其余所有样本，可以设置两个参数和，分别表示其流畅分数在0到0.2和0.2到0.5之间的句子数目。对于介于0到0.2之间的句子（当为整数时），这些句子将包含在当前的批次处理中。对于其余的句子，本文使用与上述类似的方法，当为整数时，将选择它。(a)(b)图4-4数据集的流畅度分布策略二：加权损失。这种策略通过对成本敏感的学习来充分利用翻译后的句子。特别是，在计算每个小批量的损失时，本文将流畅度分数乘以训练样本的损失作为惩罚权重。特别是，单批次的加权损失计算公式如式（4-13）：(4-13)设置为：(4-14)如前面所述，低流畅度的翻译句子仍然可以包含正确的关键字，除此之外，某些句子在人类看来是流畅的。因此本文希望适当增加这些句子的权重，这些句子主要集中在介于0.2到0.5之间。因此，本文提出的方法适当地放大了这部分数据的权重。此外，我们注意到分数在0到0.2之间的其余句子根本不流畅，所以需要抑制这部分数据的权重。实验结果和分析文本流畅度分类器评估为了训练本文提出的文本流畅度分类器，先决条件是许多标记为流畅/不流畅的成对双语句子。本文希望验证对分类器的改进是否有效，因此选择使用与先前方法相同的数据集。该数据集由8k个英语句子组成，其中2k个句子是从Flickr8k[36]中抽取的，其他句子是从MSCOCO[64]中抽取的。百度翻译API将所有这些句子翻译成相同数量的中文句子。然后从这些句子中手动过滤掉人类判断出的非流畅的句子。这最终导致总共有6,593个带标签的句子。这些句子被随机分为训练/验证/测试，如表4-1所示。通过该表，本文发现流畅和非流畅句子的比率约为1：3。这表明了流畅指导策略在以下情况下的重要性：通过机器翻译从翻译的句子中学习跨语言描述模型。表4-1数据集的组成trainingvalidationtestfluent1240291294Non-fluent3353709706为了显示本文提出的方法相对于以前的方法的改进。将本文的方法与两个单向分类器和原始四向分类器进行了比较。表4-2显示了测试集上句子流畅度分类的不同方法的性能。所提出的双向LSTM实现了最高的精度，并且比以前的分类器提高了查全率。这和我们的设计初衷是吻合的，因为被错误地分类为不流畅的句子仍然有机会在随后的文本流畅度指导的训练阶段恢复。表4-3显示了分类器在评估机器翻译句子的流畅度方面的性能。表4-2不同流畅度分类器的性能MethodRecallPrecisionLSTM(English

Words)37.358.5LSTM(

Chinese

Words)50.160.8Four-way

LSTM

classifier34.281.3Our

approach41.090.0表4-3文本流畅度分类器的样本展示English

sentencesMachine

translated

sentencesThree

boys

are

playing

football三个男孩正在踢足球0.770Football

players

in

bright

blue

and

white

uniforms

jump

in

the

air

to

grab

the

ball身穿亮蓝色和白色制服的足球运动员在空中跳跃0.132An

old

lady

and

her

grand-daughter

walked

into

a

working

convenience

store一个老太太和她的孙女在一家便利店工作0.206A

woman

walking

on

a

sunny

day

by

the

brick

wall一个女人正走在一个阳光灿烂的日子，一个砖墙的前面0.043Construction

workers

working

at

night

with

the

light

on建筑工人在夜间工作的灯光下0.596A

young

boy

in

red

clothes

puts

a

trophy

on

his

head一个年轻的男孩在一个红色的衣服，拿着一个奖杯在他的头上0.034图像中文描述生成模型评估为了评估所提出方法的有效性，本文采用前面提到的Flickr8k-cn和Flickr30k-cn作为训练用数据集。Flickr8k-cn和Flickr30k-cn的具体分布在表4-4中展示。为了验证本文提出的文本流畅度为指导的图像中文描述方法的有效性，该方法和以前的方法进行了全面比较。此外，它们分别在两个数据集上进行训练和评估。然后，本文采用NLP中普遍使用的性能指标BLEU-4，ROUGE-L和CidEr。BLEU是比较候选译文和参考译文里的n-gram重合程度，重合程度越高就认为译文质量越高。选不同长度的n-gram是因为，unigram的准确率可以用于衡量单词翻译的准确性，更高阶的n-gram的准确率可以用来衡量句子的流畅性。ROUGE和BLEU几乎一模一样，区别是BLEU只计算准确率，而ROUGE只计算召回率。CidEr是BLEU和向量空间模型的结合。它把每个句子看成文档，然后计算TF-IDF向量的余弦夹角，据此得到候选句子和参考句子的相似度，同样是不同长度的n-gram相似度取平均得到最终结果。优点是不同的n-gram随着TF-IDF的不同而有不同的权重，因为整个语料里更常见的n-gram包含了更小的信息量。表4-4图像描述实验使用的两个数据集Flickr8k-cnFlickr30k-cntrainvaltesttrainvaltestimage6000100010002978310001000TranslatedChinesesentences300005000500014891550005000表4-5列出了不同方法自动计算的指标的性能。我们的方法中只采用流畅度分类器的模型比以前的方法有所改进，表明Focalloss仍然可以在平衡图像标题中的类别中发挥重要作用。Flickr8k-cn中的结果比Flickr30k-cn中的结果好，这意味着本文提出的方法在大规模数据集上的提升非常有限。分层抽样和改进的加权损失都比以前更好，这表明我们的方法确实可以涉及各种流畅度的样本。在三个评价指标上，我们的方法优于以前的方法，表明样本不平衡是客观的，可以更好地解决这些问题。在两个测试集上，提出的三种策略与基准相比均提高了所生成中文文本的流畅度。尽管图像中文描述模型在Flickr8k-cn上达到流畅度的比例很高，Fluency-only策略在图像相关性仍然具有较低的相关性。实验结果表明就相关性和流畅度两个方面而言，分层抽样的表现优于加权损失。此外，我们发现对于分层采样，每个训练时期批次的平均数量在数据集Flickr8k上为75，而在Flickr30k上为616，比加权损失的每批次的数量小于一半。与其他方法相比，分层采样在描述图像时表现更好，这也启发了我们必须同时考虑相关性和流畅度。图4-5详细展示了模型测试的结果，第一行的英语为图片原本的五个英文标签之一，”withoutfluency”表示不考虑文本流畅度，直接用机器翻译进行训练；”fluency-only”表示