CN110688491A 基于深度学习的机器阅读理解方法、系统、设备及介质 （暨南大学）

基于深度学习的机器阅读理解方法、系统、本发明公开了一种基于深度学习的机器阅目标问题和一篇待阅读理解文章输入支持句查2将目标问题和一篇待阅读理解文章输入支持句查找模将目标问题、与目标问题类型对应的答案类型以及与目标问题答获取问题分类模型训练集；其中，所述问题分类训将预处理后的每个问题中的每个词语用一个实数向量表将每个问题的m×d矩阵输入到卷积神经网络模型中进将预处理后的每个问题和每篇文章进行向量表示，通过所述将预处理后的每个问题和每篇文章进行向量表示，通过训练在语义表示层中，将预处理后的每个问题中的每个在问题-段落编码层中，采用双向门控循环单元对问题和段落中的词向量分别进行编在输出层中，使用双向门控循环单元和线性层进行段落中的3位置概率最大的词语作为与问题答案相关的支持句序将预处理后的每个问题以及对应的支持句序列进行向量表示将每个问题所对应的答案类型词向量与输出的编码结果相和第三线性层分别输出支持句序列中每个词向量对应的词语作为文本片断起始位置的概支持句预测模块，用于将目标问题和一篇待阅读答案预测模块，用于将目标问题、与目标问题类型对应9.一种计算机设备，包括处理器以及用于存储处理器4对给定的文章采用一个新的模式来匹配一个问答，明确地将问题和候选答案视为两个序[0007]第二种是完形填空型的机器阅据集(Children’sBookTest,CBT)。针对该完形填空型数据集提出的研究验证模型多，性能表现最好的是深度学习方法，深度学习模型广泛使用单词和字符级双重表示。5[0012][1]LaiG，XieQ，LiuH，etal.RACE:Large-DatasetFromExaminations[C]//Proceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.2017:7readingcomprehension[C]//Proceedingsofthe56thAnnualMeetingoftheAssociationforComputationalLinguistics(ShortPaperschildren'sbookswithexplicitmemoryrepresentations[C]//InternationalConferenceonLearningRepresentations.2016:1-13.[0015][4]ZhangZ，HuangY，ZhaoH.Subword-augmentedembeddingforclozereadingcomprehension[C]//Proceedingsofthe27thInternationalConferenceonComputationalLinguistics.2018:1802-1814.machinecomprehensionoftext[C]//Proceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.2016:2383[0017][6]DevlinJ，ChangMW，LeeK，etal.Bert:Pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding[J].arXivpreprint6[0033]将每个问题的m×d矩阵输入到卷积神经网络模型中进行训练，得到问题分类模[0043]在问题-段落编码层中，采用双向门控循环单元对问题和段落中的词向量分别进[0045]在输出层中，使用双向门控循环单元和线性层进行段落中的7结束位置概率最大的词语作为与问题答案相关性层和第三线性层分别输出支持句序列中每个词向量对应的词语作为文本片断起始位置[0061]支持句预测模块，用于将目标问题和一篇待阅读理解文章输8型对应的答案类型以及支持句查找模型输出的支持句序列一起输入答案确定模型中进行9[0099]采用了ReLU函数(RectifiedLinearUnit，线性整流函数)作为该卷积层各神经[0101]3)池化层：使用k-maxpooling为卷积神经网络模型从卷积滤波器中积累更多的[0105]采用了ReLU函数(如公式(1)所示)作为全连接层各神经元的激励函数，为了避免[0106]7)Softmax层：利用归一化指数函数将来自全连接层的输出映射成问题各类别的[0110]如图5所示，本实施例的支持句查找模型基于多级注意力机制的循环神经网络模型实现，基于多级注意力机制的循环神经网络模型采用HOTPOTbaseline模型(https://转化成词向量表示；CharEmbedding表示字符嵌入，目的是将字符转化成词向量表示；Glove表示采用glove工具已训练好的词向量表达；CNN+Pooling表示生成字符向量的具体表示，即将问题中的词向量相关信息加入到段落的词语中；将上述结果再一次输入到Bi-[0124]S6034、在输出层中，使用双向门控循环单元(Bi-GRU)和线性层(LinearReLU[0137]将S803生成的每个问题所对应的答案类型词向量与S804输出二线性层和第三线性层分别输出支持句序列中每个词向量对应的词语作为文本片断起始[0150]假设第二线性层和第三线性层分别输出文本片断的起始词向量Vstart和结束词向[0159]本步骤中的问题分类模型训练集选取TREC数据集和WWWA数据集中的多个问题及[0162]问题分类模型使用word2vec词向量工具将问题用实数向量表示，问题最大长度[0170]本步骤中的支持句查找模型训练集选取阅读理解数据集HOTPOT中的多个问题及段落限制长度(--para_limit)为2250；批尺寸(--batch_size)值为24；初始学习率(--init_lr)为0.1；数据保留率(--keep_prob)为1.0；训练好的支持句查找模型保存在[0173]本步骤中的答案确定模型训练集选取阅读理解数据集HOTPOT中的多个问题及其对应的问题答案和支持句序列，以及答案类型，答案确定模型训练的批尺寸(--train_batch_size)值为16；学习率(--learning_rate)为3e-5；最大输入序列长度(--max_seq_length)为160；文档最大分块长度(--doc_stride)为128；训练好的答案确定模型保存在[0177]"EsmaSultan(21March1873\u2daughterofSultanAbd\u00fclazizandhiswifeGevheriKad\u0131n,herselfthedaughterofSalihBeySvatnba.","Shewasthehalf-sisterofAbd\u00fclmecid[0178]"TheGreatMosqueofAlgiers(Arabic:\u0627\u0644\u062c\u0627\u0645\u0639\u0627\u0644\u0643\u0628\u064a\u0631\u200e\u200e,\"JemaaKebir\")or\u201cDjama\u2019aal-Kebir\u201d(meaningGreatMosque)isamosqueinAlgiers,Algeria,locatedveryclosetoAlgiersHarbor.","Aninscriptionontheminbar(\u0645\u0646\u0628\u0631)orthepulpittestifiestofactthatthemosquewasd'Alger,Djamaaal-Kebir,ElKebirMosqueandJamiMasjid.","ItisoneofthefewremainingexamplesofAlmoravidarchitecture.","ItistheoldestmosqueinAlgiersandissaidtobetheoldestmosqueinAlgeriaafterSidiOkbaMosque.","ItwasbuiltundersultanAliibnYusuf.","Itsminaretdatesfrom1332(1324insomesourceThegalleryattheoutsideofthemosquewasbuiltin1840.","ItsconstructionwasaconsequenceofacompletereconstructionofthestreetbytheFrench."[0179]"K\u00fc\u00e7\u00fckH\u00fcseyinPasha(1757\u2alsoknownasTayazadeDamatK\u00fc\u00e7\u00fckH\u00fcseyinPasha,wasanOttomanstatesmanandadmiralwhowasKapudanPasha(GrandAdmiraloftheOttomanNavy)from11March1792to7December1803.","Hewasa\"damat\"(\"bridegroom\")totheOttomandynastyafterhemarriedanOttomanprincess,EsmaSultan."[0180]"EsmaSultan(17July1778\u20134June1848)wasanOttomanprincess,daughterofSultanAbdulHamidI,sisterofSultanMustafaIVandSultanMahmudII.","ShewastheadoptivemotherofBezmi\u00e2lemSultanandRahimePerestuSultan."[0181]"TheSultanAhmedMosqueorSultanAhmetMosque(Turkish:\"SultanAhmetCamii\")isahistoricmosquelocatedinIstanbul,Turkey.","Apopularmenstillkneelinprayeronthemosque'slushredcarpetafterthecalltoprayer.","TheBlueMosque,asitispopularlyknown,wasconstructedbetweentomb,amadrasahandahospice.","Hand-paintedbluetilesadornthemosque\u2019sinteriorwalls,andatnightthemosqueisbathedinblueaslightsframethemosque\u2019sfivemaindomes,sixminaretsandeightsecondarydomes.","ItsitsnexttotheHagiaSophia[0182]"TheLaleliMosque(Turkish:\"LaleliCamii,orTulipMosque\")isan18th-centuryOttomanimperialmosquelocatedinLaleli,Fatih,Istanbul,Turkey."[0183]"TheEsmaSultanMansion(Turkish:\"EsmaSultanYal\u0131s\u0131\"),ahistoricalyal\u0131(English:watersidemansion)locatedatBosphorusinOrtak\u00f6yneighborhoodofIstanbul,Turkeyandnamedafteritsoriginalowner[0184]"EsmaSultanisthenameofthreedaughtersofthreeOttoman[0185]"GevheriKad\u0131n(8July1856\u00a0\u20136September1884)wasthefifthwifeof32ndOttomanSultanAbd\u00fclaziz.","Shewasthemotherof\u015eehzadeMehmedSeyfeddinandEsmaSultanofthe[0186]"EsmaSultan(14March1726\u201313August1788)wasanOttomanprincess,daughterofSultanAhmedIIIandhisconsortZeynepKad\u0131n.","1899','was','an','Ottoman',][0191]S6、提出一个目标问题Q：AretheLaleliMosqueandEsmaSultanMansion[0193]分词结果：['Are','the','Laleli','Mosque','and','Esma','Sultan','Mansion','located','in','the','same','neighborhood'][0198]["TheLaleliMosque(Turkish:\"LaleliCamii,orTulipMosque\"