CN119415664A 基于长期记忆的检索增强生成方法、系统、电子设备及存储介质 （山东浪潮科学研究院有限公司）

基于长期记忆的检索增强生成方法、系统、本发明提供一种基于长期记忆的检索增强检索到的相关信息和全局记忆生成最终答案提2基于用户提出的查询，生成初步答案，并将所述初步答案作为检索对数据库中的数据进行读取和聚合，并使用基于Transformer的大语言模型通过多层的数据进行读取和聚合，并使用基于Transformer的大语言模型通过多层注意力机制将长原始输入token的表示步骤：原始输入token通过Transformer模型的处理，转换成查记忆token的更新步骤：使用与原始输入token相同的注意力机制和使用记忆token的局记忆构建算法使用长上下文数据集来学习从原始上下文中形成记忆，在监督微调阶段，全局记忆构建算法使用预设任务的数据来生成基于形成的;3将所述初步答案草稿作为检索线索以表征用户查询背使用大语言模型和提示工程对生成的检索线索进行评估，若不满足需求则重新生成，基于收集到的数据对基于Transformer的大语言模型进行微调，以使所述基于Transformer的大语言模型更好地理解9.一种电子设备，包括存储器、处理器及存储在行时实现如权利要求1至7任一项所述基于长期记忆的检索增强生成方4广泛应用。对数据库中的数据进行读取和聚合，并使用基于Transformer的大语言模型通过多层注意力机制将长文本压缩成较小的记忆单元，同时保留关键语义信息形成全局记忆，5记忆token的更新步骤：使用与原始输入token相同的注意力机制和使用记忆;基于收集到的数据对基于Transformer的大语言模型进行微调，以使所述基于Transformer的大语言模型更好地理解6机程序被处理器执行时实现上述所述基于长期记忆的检索增强生成方法提供了一种有效的解决方案。[0017]图1为本发明实施例提供的一种基于长期记忆的检索增强生成方法的实施流程图3为本发明实施例提供的一种基于长期记忆的检索增强生成方法的详细实施流图4为本发明实施例提供的一种基于长期记忆的检索增强生成系统的结构示意7[0022]参阅图1所示是一具体实施例中基于长期记忆的检索增强生成方法的流程图，包多层注意力机制将长文本压缩成较小的记忆单元，同时保留关键语义信息形成全局记忆，编码。编码器将文本转换为一系列的特征向量，这些向量包含了文本的语义信息。在8[0035]S3：记忆token的初始化步骤：在每个上下文窗口之后，附加预设数量的记忆;9;[0051]在一实施例中，图3为根据本发明实施例提供的一种基于长期记忆的检索增强生的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限[0058]如图4所示，以下是本公开实施例提供的基于长期记忆的检索增强生成系统的实显著提高了对复杂查询和长文本数据的处理[0070]处理器可以包括一个或多个处理单元，比如：处理器可以包括中央处理器（imagesignalprocessor，ISP）、控制器、存储器、视频编解码器、数字信号处理器（digitalsignalprocessor，DSP）、基带处理器、和/或神经网络处理器（neural_一个或多个处理器中。[0082]上述电子设备实现了本申请基于长期记忆的检索增强生成方法主题名称的利用[0087]对所公开的实施例的上述说明，使本领域专业技术