CN118277538B 一种基于检索增强语言模型的法律智能问答方法 （杭州昊清科技有限公司）

一种基于检索增强语言模型的法律智能问本发明公开了一种基于检索增强语言模型问题构建过渡性提示语模板，输入至大语言模迭代后的法律知识和法律问题构建最终提示语2深层全局语义特征与卷积神经网络抽取的法律问题文本的局部特征，共同输入特征融合其中，weight为参数迭代器，在训练过程中通过参数迭代降排序模型将法律问题查询文本与其对应的正文本或负文本用第二特拼接的句子开头和结尾添加第一和第二特殊符号，得到的正样本和负样本作为训练数据，32.根据权利要求1所述的一种基于检索增强语言模型的法律智能问答方法，其特征在3.根据权利要求2所述的一种基于检索增强语言模型的法律智能问答方法，其特征在于：所述步骤1.3中的预训练嵌入模型，微调数据使用专业法律语句并构建句子三元本，句子三元组样本包含一对专业法律语句的相似对以及一个不相似的句子作为负例对似的句子向量，当S与S_的余弦距离比S与S+的余弦距离小margin时，对该句子样本进行惩4.根据权利要求1所述的一种基于检索增强语言模型的法律智能问答方法，其特征在4最大池化层对卷积层输出的特征集合进行池化操作5.根据权利要求1所述的一种基于检索增强语言模型的法律智能问答方法，其特征在t分别表示t时刻门控循环单元的前向隐层状态6.根据权利要求1所述的一种基于检索增强语言模型的法律智能问答方法，其特征在通过点积最大的法律知识索引i来实现召回，分别取相似度最高的一组法律知识作为检索7.根据权利要求6所述的一种基于检索增强语言模型的法律智能问答方法，其特征在5[0005]为解决现有技术的不足，实现提高预训练或微调语言模型在法律领域知识时效6[0019]L=max(margin+s·s+-s·s-,0)在损失达到收敛后保存微调好的嵌入模型。[0022]步骤2.1：收集各类法律问题双向门控循环神经网络建模法律问题文本的全局信息，并通过动态权重调整自注意力层，7[0029]最大池化层对卷积层输出的特征集合进行池化操作，保留文本中的局部关键特[0030]S=maxfp}。循环单元GRU，在每一时刻，为输入的词向量矩阵同时提供两个方向相反的门控循环单元8的正样本和负样本作为训练数据，其中第一特殊符号位置对应的输出为整句话的语义表归一化sigmoid函数将输出映射到0至1的范围后，从而进行法律问题查询文本和法律知识9识和查询的法律问题间的距离d,确定的超参数，对查询的正样本对和与其对应有负样[0054]y=M(yl[0071]L=max(margin+s·s+-s·s-,0)s与s-的余弦距离比s与s+的余弦距离小于阈值marg动态权重调整自注意力层进一步提取深层全[0079]将输出的词向量矩阵输入到卷积层，在卷积层通过采用k个不同大小的滑动窗口[0084]S=maxfp}[0091]将全局语义特征G输入到动态权重调整自注意力层进行特征的增强，在自注意力[0096]最终，通过特征融合层将卷积池化得到的局部特征S和动态权重调整自注意力层[0104]召回过程通过在法律知识集合中[0106]通过法律知识索引可实现对法律知识文本的召回，最后分别取相似度最高的[0108]将查询与其对应的正样本或负样本用特殊符号"[SEP]"拼接，并在拼接的句子开头和结尾添加特殊符号"[CLS]"和"[SEP]"得到正样本或负样本，其中"[CLS]"位置对应的公式如下：[0113]y=M(yl[0117]使用二次迭代后的法律知识DY和法律文本q一起作为提示语，输