CN114297342B 基于阅读理解和意图识别模型的法律文书生成方法及系统 （重庆大牛认知科技有限公司）

基于阅读理解和意图识别模型的法律文书本申请提出一种基于阅读理解和意图识别2根据法律场景获取遗漏要素，根据所述遗漏要素与咨询者发起多轮所述将多轮对话的结果分别输入到基于混合注意力机制的原型网络模型与词向量相根据意图识别结果以及初轮法律要素进行推理决策，自动生成法2.如权利要求1所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在将所述长段文字陈述分别输入到抽取式阅读理解与选择题型阅读理解模型将所述抽取式阅读理解答案以及选择题型阅读理解答3.如权利要求2所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在将所述长段文字陈述与问题进行拼接，并且统一到固定长度，得到使用BERT预训练模型对所述固定长度的拼接后结果进行编码将所述编码后的特征向量输入抽取式阅读理解模型的分类器当中4.如权利要求3所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在练模型的初始权重；再使用第二数据集与一部分第一数据集再次进行训练，得到最终的5.如权利要求2所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在3将所述长段文字陈述与问题进行拼接，并且统一到固定长度，得到使用BERT预训练模型对所述固定长度的拼接后结果进行编码将所述编码后的特征向量输入阅读理解模型的分类器当中，并设置一个阈值T,判断阈值T与最大的逻辑值和次大的逻辑值的差值的大小；若最大的逻辑值和次大的逻辑值的差值不大于阈值T,则认为得到的选择题型阅读理解答案为UNKNOW答案；若最大的逻辑值和次大的逻辑值的差值大于阈值T,则直接输出所述选择题型阅读理解答案。6.如权利要求3或5所述的基于阅读理解和意图为dxd的带有tanh激活函数的线性层；第二个全连接层是维度为dx1的没有激活函数的线7.如权利要求1所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在,将所述多轮对话的结果的编码信息与N个小类原型向量进行相似将所述N个相似度值转换为每个类别以及每个类8.如权利要求1所述的基于阅读理解和意图识别模型的法律文书生成方法，其特征在4将问题向量Q分别与关键词向量K和标志向量V进行相似度计算，得到第一相似度计算将所述第一相似度计算结果与第二相似度计算结果进行加权求和，最后得所述每个类别以及每个类别的对应概率为第所述要素获取模块用于将所述长段文字陈述输入到长文本阅读理所述场景获取模块用于将所述初轮法律要素与法律要素库进行对所述多轮对话模块用于根据法律场景获取遗漏要素，根据所述遗漏要素所述意图识别模块用于将多轮对话的结果输入到意图识别模型中，得到意图识别结所述将多轮对话的结果分别输入到基于混合注意力机制的原型网络模型与词向量相所述文书生成模块用于根据意图识别结果以及初轮法律要素进行推理决56得到抽取式阅读理解答案以及选择题型阅读理[0016]所述将所述长段文字陈述输入到抽取式阅读理解模型，得到抽取式阅读理解答[0028]若最大的逻辑值和次大的逻辑值的差值不大于阈值T，则认为得到的选择题型阅[0029]若最大的逻辑值和次大的逻辑值的差值大于阈值T，则直接输出所述选择题型阅[0033]所述将多轮对话的结果分别输入到基于混合注意力机制的原型网络模型与词向7[0047]将问题向量Q分别与关键词向量K和标志向量V进行相似度计算，得到第一相似度[0050]第二方面，本申请提出一种基于阅读理解和意图识别模8本，同时采用双向自注意力机制，这种机制的模型效果远远优于之前的RNN和LSTM模型方9[0088]推理决策就是根据前期提取到的法律要素和对话获取的关键信息结合法律知识据(如交通事故中的理赔金额等)。完成整个推理过程即可输出一份准确标准的法律文书，预训练模型上的fine-tune训练模型，具体来说是在预训练模型后添加一个分类器并设计[0093]本申请将抽取式模型命名为TTM-SQ(TransferTrainedModelforSpan[0094]所述将所述长段文字陈述输入到抽取式阅读理解模型，得到抽取式阅读理解答d为隐层状态维度。本申请在经过编码后取出BERT输出的最后一层FeRrd,r为输入序列用[CLS]位置对应的start_logi采用预训练模型ALBERT作为TTM-MCc)-zi器(Atwo-layerFCNN)作为TTM-MC模型最[0121]在获取到编码器编码后的特征后，模型使用[CLS]位(CLS即classification用于[0128]损失函数(lossfunction)用来评估模型的预测值与真实值的不一致程度。损失[0140](2)甲方标注数据集(目标数据集)：甲方所标注的数据集共计13603条，包含了集。StanfordNaturalLanguageInference(SNLI)自然语言推理最常用版本。包含了对都被标注为这三个标签之一：中立，牵连，矛盾。Multi-GenreNaturalLanguage使得模型可以在目标数据集上发挥更大的优势。选择题型的阅读理解的参数选择如表7所[0167]本申请采用的是基于混合注意力机制的原型网络(HybridAttention-BasedPrototypicalNetworks)，相比于普通的原型网络(PrototypicalNetworks)能够很好的[0168]首先基于混合注意力机制的原型网络(Prototypenetwork)构建每个细分法律各[0169]原始的原型网络计算原型的方法是在suppprtset中求实例句子的平均值作为每c0-zi[0186]其他主流的分类模型，其做法一般是让模型在最后一层输出一个固定维度的向[0206]词向量相似度对比模型效果要远远差于原型网络分类模[0212]步骤S2.1.22.25：将所述一相似度计算结果与第二相似[0229]第二方面，本申请提出一种基于阅读理解和意图识别模明的发明精神所作的任何改进或修饰都应当落在本发明的保护范