CN114580428B 融合多任务和多标签学习的司法领域深度事件抽取方法 （中国电子科技集团公司第十五研究所）

号融合多任务和多标签学习的司法领域深度本发明公开了融合多任务和多标签学习的练模型与multi-task实现触发词提取与事件分件抽取模型，通过maskedLM方法在领域数据上multi-task的形式将两个任务统一到一个损失2在人工标注的司法领域数据集上使用MaskedLM对BERT模型的息；BERT模型中的epoch的最大值为Epoches，每个epoch的batch数为batch_per_epoch；S2随机选择句子中15％的单词进行Mask，在选择为Mask的单词中，有80％真的使用上的第一损失函数在一定epoch内不再下降时采取earl3所述位置嵌入即该分词在输入文本中的位置；所述段嵌入即该分词为TrN分别为第1～第N个司法领域事件对应的触发词，Ty1～TyN分别为第1～第N个针对BERT模型中的所有的epoch，执行如下训练流程得到所学到的事件要素提取的模SS5.当验证集上的loss在一定epoch内不再下降时4丽都是长度为L的向量，具体来说，End是输入文本中触发词结束位置的one-hot表示，是模型预测的当前输入各位置为触发词结束位置的概率；Endi为向量Endi中的第i个本中的位置，分词的段嵌入即该分词为输入文本的所属段落，分词的词嵌入即该分词在TrN分别为第1～第N个司法领域事件对应的触发词，Ty1～TyN分别为第1～第N个5SSS1.特征向量后接|R|个和|R|个:,分别预测每个事件要素的起始位置和结束位SSS1.当验证集上的loss在一定epoch内不再下降时的概率p;(t):并以如下的概率预测输入句子中的分词t是要素r的结束位置e的概率p:(t):6[0002]事件抽取是自然语言处理(NaturalLanguagePro[0005]第二类是基于机器学习的事件抽取方法，通过人工提取相关特征，采用基于pipeline或者jointmodel的机器学习的方法识别事件，将事件类别及事件要素的识别转型等得到文本对应的词嵌入信息，利用词向量嵌入信息，通过双向长短期记忆网络(Bi-7[0008]基于机器学习的方法虽然不依赖于语料的内容与格式，但需要大规模的标注语[0011]有鉴于此，本发明提供了融合多任务和多标签学习的司法领域深度事件抽取方上通过多标签分类实现事件要素提取的司法[0018]在人工标注的司法领域数据集上使用MaskedLM对BERT模型的参数进行调优，在8文本信息；BERT模型中的epoch的最大值为Epoches，每个epoch的batch数为batch_per_证集上的第一损失函数在一定epoch内不再下降时采取earlysto[0029]其中，θ是BERT模型中的Encoder部分的参数，输入经过θ得到特征向量，θ0是在i0)表示在给定所学习到的参数θ和θ0的情况下，预测的词m就是被mask的文本信息；司法领域事件对应的触发词集合为TR＝{Tr1,…,TrN}与事件类型集合为TY=[0034]针对BERT模型中的所有的epoch，执行如下训练流程得到所学到的事件要素提取9分别对hot表示，是模型预测的当前输入各位置为触发词起始位置的概率。Starti为向量文本信息；司法领域事件对应的触发词集合为TR＝{Tr1,…,TrN}与事件类型集合为TY=[0058]SSS1.特征向量后接|R|个和|R|个9:,分别预测每个事件要素的起始位置和随后以如下的概率预测输入句子中的分词t是要素r的起始位置s的概率p(t):输入数据中引入[NAT](代表非文本信息，无内容)，有效解决基于schema的事件抽取任务[0094]BERT预训练模型：BERT模型出自论文《BERT:Pre-trainingofDeep步提升词向量的泛化能力。模型通过MaskedLM和NextSentencePrediction两种方法充[0095]结构：BERT模型主要利用了Transformer的Encoder结构，采用的是最原始的Transformer，但是模型结构比Transformer要深。TransformerEncoder包含6个Encoder型数据集上根据一些预训练任务训练得到。Fine-tuning阶段是后续用于一些下游任务的要在句子A，B后面增加[SEP]标志。[MASK]标志用于遮盖句子中的一些单词，将单词用[MASK]遮盖之后，再利用BERT输出的[MASK]向量预测单词是什么。例如给定两个句子"mydogiscute"和"helikespalying"作为输入样本，BERT会转为"[CLS]mydogiscute与Transformer不同，BERT的输入Embedding由三个部分相加得到：TokenEmbedding，[0108]第一个是MaskedLM，在句子中随机用[MASK]替换一部分单词，然后将句子传入[0111]预训练得到的BERT模型可以在后续用于具体NLP任务的时候进行微调(Fine-将ELMo这种分别进行left-to-right和right-to-left的模型称为shallowbidirectional语言推断(NLI)都需要模型能够理解两个句子之间的关系，但是通过训练语言模型达不到多任务学习同时学习了人类和狗的分类器以及男性和女性的Learn)，借助辅助任务学习(LearningwithAuxiliaryTas每个任务独有的特征(避免欠拟合)。在基于深度神经网络的多任务学习中常用两种方法：类别取一个(如iris分类)，或者是10个类别取一个(如手写数字识别mnist)。而multi-[0132]依据解决问题的角度，多标签分类算法可以分为两大类:一是基于问题转化的方机插入(RI:RandomlyInsert)、随机交换(RS:RandomlySwap)、随机删除(RD:Randomly据集(数据集包含有事件类型‑事件元素等标签体系数据)上上使用MaskedLM对BERT的参作中默认为第一段，即0)和词嵌入(即该分词在BERT的字典中的索引位置)，将三个嵌入输所代表的特征向量(该向量代表的是文本总体语义信息)输入到全连接层中，使之映射为一个长度为事件类型个数的向量，后接softmax来预测事件类型(如图8中task1预测当前事量，后接softmax来预测对应的分词是否为事件触发词的起始位置(如图8中task2认为同，预测每一个位置的分词是否为事件触发词的结束位置(如图8中task3认为“取”字为分别对hot表示，是模型预测的当前输入各位置为触发词起始位置的概率；Starti为向量[0170]L表示输入的最大长度，Start是输入文本中触发词起始位置的one-hot表示，是模型预测的当前输入各位置为触发词起始位置的[0182]在底层使用调优后的BERT模型提取所输入事件E的特征向量，随后以如下的概率[0189]L=L;十Le[0198](1)将基于BERT预训练模型与multi-task实现触发词提取与事件分类，联合学习别预测事件要素的起始位置和结束位置，避免了使用传统BIO策略中需要额外的约束条件[0200](3)通过在输入数据中引入[NAT](代表非文本信息，无内容)，有效解决基于[0201]使用基于预训练语言模型调优的深度学习方法，不需要手工进行特征模式