CN115203406B 一种基于RoBERTa模型的长文本信息立场检测方法 （浙江大学）

一种基于RoBERTa模型的长文本信息立场检本发明公开了一种基于RoBERTa模型的长文检测任务中引入基于文本切割的RoBERTa模型，于标记关键证据；引入基于Self_training的半新文本分割过程，解决RoBERTa模型对文本长度2其中，所述立场检测模型由编码器层、层次注意2.如权利要求1所述的基于RoBERTa模型的长文述立场检测模型的关键句标记层由BiLSTM和CRF模块组成；将证据文档中所有分句的句向3.如权利要求2所述的基于RoBERTa模型的长4.如权利要求1所述的基于RoBERTa模型的长文本信息立场述索引序列在输入RoBERTa模型进行文本编码前，需先进行等长分割，得到一系列索引片5.如权利要求1所述的基于RoBERTa模型的长6.如权利要求1所述的基于RoBERTa模型的长文本信声明句向量，以声明句向量作为Query，以证据文档中每个分句的词向量序列作为Key和7.如权利要求6所述的基于RoBERTa模型的长8.如权利要求1所述的基于RoBERTa模型39.如权利要求1所述的基于RoBERTa模型的述Softmax层输出代表声明真假程度的多分4[0001]本发明涉及深度学习和自然语言处理领域，具体涉及一种基于RoBERTa模型的长[0005](2)基于循环神经网络(Recurrentneuralnetwork,RNN)、文本卷积神经网络[0006](3)基于BERT(BidirectionalEncoderRepresentationsfromTransformers)[0007]由于立场检测模型需具有捕获语义层面信息的能力，相较于方法(1)(2)，往往较长，超出BERT模型支持的最大文本长度(512个词)。作为BERT模型的改进版本，[0010](3)文本过长的文档包含大量噪声，而远程注意力不足可导致关键句周围的短程5[0014]一种基于RoBERTa模型的长文本信息立场检测方法，该方法将待检测的证据文档组成，其中层次注意力机制层包括词(word)级别注意力机制和句(sentence)级别注意力[0018]作为优选，所述索引序列在输入RoBERTa模型进行文本编码前，需先进行等长分[0020]作为优选，所述词级别注意力机制中，仅使用证据文档的词向量作为Query、6[0026]本发明在长文本信息立场检测任务中引入基于文本切割的RoBERTa模型，引入程解决了RoBERTa模型对文本长度的限制问题，使得RoBERTa模型可以更加关注全局信息，避免了因长度限制而导致的局部信息丢失。而且依赖于BiLSTM和CRF模块的关键句标记提于此描述的其它方式实施，本领域技术人员可在不违背本发明内涵的情况下做类似改进，[0032]在本发明的一个较佳实施例中，提供了一种基于RoBERTa模型的长文本信息立场每个索引片段分别进行编码并得到词向量，再对得到的词向量去除重叠部分后重新拼接，得到证据文档和声明句中每一个句子的词向量序列。7文本的所有词向量编码w可按照证据文档和声明句中每一个句子进行划分，每个句子的词[0038]作为本发明实施例的一种较佳实现方式，上述RoBERTa模型可采用RoBERTa_[0040]需注意的是，层次注意力机制层包含了word和sentence发明实施例的一种较佳实现方式，word级别注意力机制中引入了自注意力和外部注意力，[0043]作为本发明实施例的一种较佳实现方式，上述关键句标记层由BiLSTM模块和CRF8[0044]作为本发明实施例的一种较佳实现方式，所有关键句的可以将关键句集合I中的句子向量经过一个普通的注意力层，从而融合为关键句的加权平得到声明的真伪标签。需说明的是，Softmax层可以输出声明为真和声明为假的二分类概是说，在整个立场检测模型迭代训练过程中，关键句标记层中的BiLSTM和CRF模块基于Self_training的半监督学习方法迭代训练。每一轮训练的关键句标记由上一轮训练所得的立场检测模型进行预测输出，且第一轮训练时仅以声明句作为关键句。具体的Self_[0049]需注意的是，关键句标记层中的BiLSTM和CRF模块的Self_training并非独立的，而是随着整个立场检测模型一并进行迭代训练的。整个立场检测模型在一轮迭代训练时，函数为交叉熵损失函数。整个立场检测模型训练至最大迭代轮数或者证据关键句不增加、[0050]下面将上述实施例中所示的一种基于RoBERTa模型的长文本信息立场检测方法应9社交媒体上的用户帖文，长度为30词以内。证据集和声明集均来源于Politifact网站。大部分虚假(barely_true)、半真半假(half_true)、大部分真实(mostly_true)、真实[0080]将测试集与证据集的证据文档和声明句作为输入通过训[0081]应用该模型进行立场检测的一个示例中，经BiLSTM和CRF模块标记得到关键句标0123456789110001110101111