CN114611472B 一种低资源场景下的文本生成方法、装置及系统 （北京航空航天大学）

YimingWanget.al.NoisConsistencyTrainingandsupervisedExtractiveSummarization.本发明提出了一种低资源场景下的文本生监督网络与无监督网络采用基于适配器微调预并结合有监督网络的有监督学习进行文本生成依赖，并使得模型训练过程训练开销也大幅降2步骤一，为有监督网络输入少量的有监督训练样本步骤二，为大型预训练文本生成网络并行集成一个适其中，在所述有监督网络T中进行有监督训练，训练过程的一次dropout的嵌入向量，Hinput同时输入到大型的预训练文本生在基于适配器微调的预训练学习组件中，采用的适配器小型神与其线性相加后得到适配器微调预训练学习组件的最后的输出表示向量步骤三，基于无监督网络的一致性学习，并结对所述无监督网络A和所述无监督网络B进行所述无监督一致性学习，A和SB分别表示具体的所述无监督网络A与所述无监督网络B，是一对孪生网络，3在抽取式文本生成中无监督网络A和B为BERT并行集成Adapter，在生成式文本生成中为无中为BERT并行集成Adapter；在生成人工标注的文本生成数据集，x*和y*分别表示源文档数据和其对应的人工标注的目标文本最后，联合无监督网络的一致性学习与有监督网络的有监督为整个模型的参数，m为epoch数；在梯度反向计算时，θB在每个epoch没有跟更新，源文档输入模块，用于输入少量的有标注训练源文档与目低资源场景下的文本生成模块，应用权利要求1或2中一种低资5.一种低资源场景下的文本生成系统，所连接的如权利要求4所述一种低资源场景下的文本生成装置，所述服务器执行文本生成过4取式文本生成比如抽取关键词进行生成，还有生成式文本生成比如逐词生成目标文本需闻标题生成数据集的标注样本数量降低到10并保证其10％的有标签数据与大量无标签标注场景下的文本自动生成，极大地减少了文本生成方法对海量的人工标注数据的依赖，标注源文档数据，并对无监督文档复制两份，再分别对其对应的嵌入向量行了进行5[0008]步骤二，为大型预训练文本生成网络(Pre-trainedmodel)并行集成适配器的小[0010]其中，在基于适配器微调的预训练学习组件中，该网络的输入为嵌入向量为：input将同时输入到大型的预训练文本生成网络与小型的适配器网络中，在训练过程[0011]其中，在基于适配器微调的预训练学习组件中，采用的适配器小型神经网络的输出表示向量为Hu与其线性相加后得到适配器微调预训练学习组取式文本生成中为BERT并行集成Adapter，在生成式文本生成中为BART并行集成Adapter，即为分别经过dropout后得到的两组不同的6BERT并行集成Adapter；在生成式文本B在每个epoch没有跟更新即不参与梯度反向计算。而θA会随着训练过程在每个epoch里更新学针对210万的LCSTS中文新闻标题生成数据集的标注样本数量降低到10并保证其10％的有标签数据与大量无标签数据下的模型性能持平到50％左右的有标签数据的文本生成性络的参数冻结，而更新小型的适配器神经网络模块模块，缓解模型训练的开销。如采用7[0041](1)从标注语料中摘取少量有人工标注的文本生成数据，即少量的源文档与对应[0042](2)从开放式语料中获取大量无监督的源文档数据，即大量的不包含人工标注的[0044]步骤二，为大型预训练文本生成网络(Pre-trainedmodel)并行集成适配器的小量为Huruee对于有监督网络T，Hinput为x*的嵌入向量，对于无监督网络A，Hinput为[0047]首先，在基于适配器微调的预训练学习组件中，采用的适配器小型神经网络8与其线性相加后得到适配器微调预训取式文本生成中为BERT并行集成Adapter，在生成式文本生成中为BART并行集成Adapter，即为分别经过dropout后得到的两组不同的生成中为BERT并行集成Adapter，的有人工标注的源文档数据集，其中的x*和y*分别表示源文档和其对应的人工标注目标文[0056]