CN119204025B 一种基于检索增强进行大型语言模型事实校验的方法、系统、设备及介质 （山东浪潮科学研究院有限公司）

一种基于检索增强进行大型语言模型事实本发明提供一种基于检索增强进行大型语用事实单元在用户输入任务的基础上对大语言本发明通过引入可信知识库的文档检索和事实2S1.基于用户输入任务从可信知识库进行文档检索，并在检索过程中根据文档评估结S3.基于检索的文档集为每个事实单元设置标签，根据各事实单元与文档集的相似度S5.使用优化的事实单元在用户输入任务的基础上对大语言模型的输出进行修订，并S132.获取检索到的每篇文档R;的来源和引用情况sane，确定来源的信任度评分Auth()=ourcexssource+nauxsete；S133.对检索的文档R;根据发布时间与当前时间的时间差ΔT并通过如下公式计算更S134.对检索到的每篇文档R;根据相关性评分Rel(R,)、权威性评分Auth(R;)以及更3score(R,)=a·Rel(R)+F·Auth(R更新频率评分Rec(R)的权重系数；S135.对检索到的每篇文档R;根据综合评分score(R,)与设定阈值T的关系确定用于R={R;∣score(R,)≥T}。S32.通过语义相似度算法计算各事实单元与第S42.对设置有未提及标签的事实单元按照可信度评分由低到高的顺序选择进行保留S51.基于优化后的语句集和用户输入任务并使用内容优化策略对大语言模型的原始可信文档检索模块，基于用户输入任务从可信知识库进行文档检4根据关键实体和关键词从动态更新的可信知识库中对检索到文档的相关性、权威性和更新频率指标进行评估，根据评对第一文档集中的文档进行重新排序，并筛选出于关键实体和关键的第二文档集，再对第二文档集中文档进行冗余信息删除以及低优先级内容截断或融合，事实验证模块，基于检索的文档集为每个事实单元设置标签，根事实纠正与内容优化模块，根据标签对事实单元进行纠正和处理事实修订模块，使用优化的事实单元在用户输入任务的基础上对大8.一种电子设备，包括存储器、处理器及存储述基于检索增强进行大型语言模型事实校验的方时实现如权利要求1至6任一项所述基于检索增强进行大型语言模型事实校验的方法的步5[0008]S1.基于用户输入任务从可信知[0010]S3.基于检索的文档集为每个事实单元设[0012]S5.使用优化的事实单元在用户输入任务的基础上对大语言模型的输出进行修6S;ource，再结合预设的来源权重wsourcAuth()：[0024]S133.对检索的文档根据发布时间与当前时间的时间差ΔT并通过如下公式计[0027]S134.对检索到的每篇文档根据相关性评分RelV为更新频率评分Rel(R1)的权重系数；[0030]S135.对检索到的每篇文档根据综合评分score(R1)与设定阈值T的关系确定[0031]R={∣score(R1)≥T}。[0033]S21.将大语言模型的原始输出分解为独立的不含代词的事实陈述，并进行预处7[0041]S42.对设置有未提及标签的事实单元按照可信度评分由低到高的顺序选择进行[0045]S51.基于优化后的语句集和用户输入任务并使用内容优化策略对大语言模型的方面所述基于检索增强进行大型语言模型事实校验机程序被处理器执行时实现如第一方面所述基于检索增强进行大型语言模型事实校验的8[0058]图1为本发明基于检索增强进行大型语言模型事实校验的方法一个实施例的流程[0059]图2为本发明基于检索增强进行大型语言模型事实校验的方法另一个实施例的流[0061]在下文将详细描述基于检索增强进行大型语言模型事实校验的方法的具体步骤9[0066]请参阅图1所示是一具体实施例中基于检索增强进行大型语言模型事实校验的方[0067]S1.基于用户输入任务从可信知索到的文档与用户输入任务的相关性进行删减和压缩，得到了更加精简且相关的文档集，[0072]S3.基于检索的文档集为每个事实单元设[0076]S5.使用优化的事实单元在用户输入任务的基础上对大语言模型的输出进行修[0078]本实施例的一种基于检索增强进行大型预压模型事实校验的方法通过引入可信[0080]S1.基于用户输入任务从可信知[0091]R'=compress(.)；[0093]S2.从大语言模型的原始输出中提取出事[0094]S21.将大语言模型的原始输出分解为独立的不含代词的事实陈述，并进行预处r[0102]实现将LLM生成的元素输出分级为独立的、不含代词的事实陈述，完成细粒度分[0105]S3.基于检索的文档集为每个事实单元设[0115]S42.对设置有未提及标签的事实单元按照可信度评分由低到高的顺序选择进行；[0123]S5.使用优化的事实单元在用户输入任务的基础上对大语言模型的输出进行修[0124]S51.基于优化后的语句集和用户输入任务并使用内容优化策略对大语言模型的S;ource，再结合预设的来源权重wsourcAuth()：[0138]S133.对检索的文档根据发布时间与当前时间的时间差ΔT并通过如下公式计[0142]S134.对检索到的每篇文档根据相关性评分Rel[0146]S135.对检索到的每篇文档根据综合评分score(R1)与设定阈值T的关系确定[0147]R={RZ∣score(R1))≥T}。[0157]对设置有假标签的事实单元进行纠正，替换为与第三文对设置有未提及标签的事实单元按照可信度评分由低到高的顺序选择进行保留或删除处[0159]基于优化后的语句集和用户输入任务并使用内容优化策略对LLM的原始输出进行的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限[0162]如图3所示，以下是本公开实施例提供的基于检索增强进行大型语言模型事实校[0170]本申请实施例提供的基于检索增强进行大型语言模型事实校验的方法可以应用[0173]处理器可以包括一个或多个处理单元，比如：处理器可以包括中央处理器（imagesignalprocessor，ISP）、控制器、存储器、视频编解码器、数字信号处理器（digitalsignalprocessor，DSP）、基带处理器、和/或神经网络处理器（neural_一个或多个处理器中。[0176]上述电子设备实现了本申请基于检索增强进行大型语言模型事实校验的方法通[0177]本实施例提供的存储有基于检索增强进行大型语言模型事实校验的方法的电子