CN116089576B 一种基于预训练模型的完全生成式知识问答对生成方法 （南开大学）

一种基于预训练模型的完全生成式知识问一种基于预训练模型的完全生成式知识问文本中每个词的高层语义表示以及问题和答案源文本中复制单词，最终通过生成器最终的答答案引导的多头注意力机制融入到问题的输出式的模型解决在训练过程中答案和问题之间跨21.一种基于预训练模型的完全生成式知识问答对生成方法，其训练过程包括下列步根据知识问答对的任务形式，选取阅读理解型数据集进行训练，要求，单条文本只对应一个问答对，因此需要将原始数据集中的每条标准数据切分成<文步骤2)每条数据中的“文本”经过基于大型预训练模型2.根据权利要求1所述的基于预训练模型的完全生成式知识问答对生成方法，其特征3.根据权利要求2所述的基于预训练模型的完全生成式知识问答对生成方法，其特征34.根据权利要求3所述的基于预训练模型的完全生成式知识问答对生成方法，其特征层表示和步骤1中获取的目标答案表示A=(a)kr,通过预训练模型解码器的多头交叉注意力机制获得输入“文本”D=(d)与目标“答案”之间的注意力矩阵5.根据权利要求4所述的基于预训练模型的完全生成式知识问答对生成方法，其特征henc=(h)⃞1,利用下面公式得到其上下文向量cl：与步骤4)中获取的解码层隐藏向量hf相连接通过下面的线性变换gengengengengengen6.根据权利要求5所述的基于预训练模型的完全生成式知识问答对生成方法，其特征4其中部是可学习的权重矩阵，gg7.根据权利要求5所述的基于预训练模型的完全生成式知识问答对生成方法，其特征5[0003]目前，国内外已有很多工作针对自动生成高质量问答对[0004]对于问题生成任务，大多数早期工作采用基于模版的方法将输入文本转换为问题，通常需要应用一系列精心设计的通用规则或模[0005]对于知识问答任务，Wang&Jiang(2016)[8]提出了基于SQuAD数据集的经典循环神Wang&Jiang(2016)证明，学习指向答案边界比学习顺序指向构成答案跨度的标记更有效。6感知答案的问题。Liu[11]等人模仿人类提出问题的方式来引入答案线索风格感知问题生个编码器实现答案生成和问题生成之间的交互并不能保证解码输出间的跨任务信息交流不够；并且两种不同生成方式的任务共同学习会引起不平衡优化问的生成方式可以有效地解决或减缓由于任务难度不同[0015]步骤3)将步骤2中的文本浅层语义编码表示送入预训练模型的编码器，学习“文7[0023]本发明基于统一完全生成式的预训练模型以及指针网络和答案引导的多头注意种任务采用相同的生成方式可以有效地解决或减缓由于任务难度不同带来的不平衡优化[0026]图3是本发明的一种基于预训练模型的完全生成式知识问答对生成方法处理流程[0028]下面结合附图和具体实施例对本发明提供的基于标签和文本块注意力机制的极8[0034]步骤3)将步骤2中的文本浅层语义编码表示送入预训练模型的编码器，学习“文9的高层表示和步骤1中获取的目标答案表示A=(a1)k1,通过预训练模型解码器的多头交叉注意力机制获得输入“文本”D=(d)栏1与目标“答案”A=(a1)k-1之间的注意力矩阵[0049]Pvoc(w)=softmax(wahf+b")解码后隐变量hf的维度。词所对应的注意力向量和步骤3)中所得到的文本的高层语义henc=(h)烂1,利用下面公式得到其上下文向量cl：向量与步骤4)中获取的解码层隐藏向量hf相连接通过下面的变换产生一个软开关概率Pgengengengengengengen[0062]其中都是可学习的权重ggquesques[0069]HarVard’s$37.6billionfinancialendowmentisthelargestofany[0074][1]KarlMoritzHermann,TomasKocisky,EdwardGrefenstette,LasseEspeholt,WillKay,MustafaSuleyman,andPhilBlunsom.2015.Teachingmachinestoreadandcomprehend.InAdvancesinNeuralInformationProcessing[0075][2]MichaelHeilmanandNoahA.Smith.2010.Goodquestion！statisticalrankingforquestiongener‑ation.InHumanLanguageTechnologies:The2010AnnualConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLin‑gui[0076][3]XuchenYao,GosseBouma,andYiZhang.2012.Semantics‑basedquestiongenerationandimple‑mentation.Dialogue&Discourse3[0077][4]IulianVladSerban,AlbertoGarcía‑Durán,CaglarGulcehre,SungjinAhn,SarathChandar,AaronCourville,andYoshuaBengio.2016.Generatingfactoidquestionswithrecurrentneuralnetworks:InProceedingsofthe54thAnnualMeetingoftheAssociationforComputational[0078][5]SathishReddy,DineshRaghu,MiteshM.Khapra,andSachindraJoshi.2017.Generatingnaturallanguagequestion‑answerpairsfromaknowledgegraphusingarnnbasedquestiongenerationmodel.InProceedingsofthe15thConferenceoftheEu_ropeanChapteroftheAssociationforComputational[0079][6]XinyaDu,JunruShao,andClaiquestiongenerationforreadingcomprehension.InProceedingsofthe55thAnnualMeetingoftheAssociationforComputationa[0080][7]XinyaDuandClaireCardie.2017.Identifyingwheretofocusinreadingcomprehensionforneuralquestiongeneration.InProceedingsofthe2017ConferenceonEmpiricalMeth_odsi[0081][8]Rajpurkar,Pranav,Zhang,Jian,Lopyrev,Konstantin,andLiang,Percy.Squad:100,000+questionsformachinecomprehensionoftext.arXivpreprintarXiv:1606.05[0082][9]Nguyen,Tri,Rosenberg,Mir,Song,Xia,Gao,Jianfeng,Tiwary,Saurabh,Majumder,Rangan,andDeng,Li.Msmarco:Ahumangeneratedmachinereadingcomprehensiondataset.arXivpreprintarXiv:1611.09268,2[0083][10]XinyaDuandClaireCardie.Harvest_ingparagraph_levelquestion_answerpairsfromwikipedia.InProceedingsofthe56thAnnualMeetingoftheAssociationforComputationalLinguistics,pages1907–1917,20[0084][11]BangLiu,HaojieWei,DiNiu,HaolanChen,andYanchengHe.Askingquestionsthehumanway:Scalablequestion_answergenerationfromtextcorpus.NewYork,NY,USA,2020.