CN119396986A 基于序列生成的检索增强生成方法 （北京大学）

本发明提供一种基于序列生成的检索增强通过序列生成模型对检索得到的候选相关文本提升基于提示词进行微调或者提示学习的下游2基于所述查询文本，得到当前轮次的初始化上下文序列，并基于所选相关文本中匹配得到当前轮次的最相关文本序列；基于所述当前最相关文本序列更新所述初始化上下文序列，基于更基于得到的最相关文本序列，确定所述查询文本的目标提示词，以基于所述查询文本、所述候选相关文本以及所述序列生成模型所述基于所述当前预测文本块向量，从所述候选相关文本中匹配得到当前分别计算所述当前预测文本块向量和各候选文本段基于计算得到的各语义相似度，从所述各候选文本段中匹配得到本序列。4.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在5.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在基于所述样本查询文本和所述多个样本相关文本进行互信息计算将所述样本查询文本和所述最优上下文片段输入至所述初始序基于所述样本预测文本块和所述最优上下文片段，得到3分别对所述多个样本相关文本进行分段处理，得到各样本基于所述样本查询文本和各样本相关文本片段进行互信息计算聚合所述各样本相关文本中的优选上下文片段，得到循环预测单元，基于所述当前最相关文本序列更新所述初始8.一种电子设备，包括存储器、处理器及存储行时实现如权利要求1至6任一项所述基于序列生成的检索增4通常需要结合任务相关的提示词(prompt)述候选相关文本中匹配得到当前轮次的最相关文本序列；5分别计算所述当前预测文本块向量和各候选文本段关文本序列。6机程序被处理器执行时实现如上述任一种所述基于序列生成的检索增执行时实现如上述任一种所述基于序列生成的78当前最相关文本序列的文本向量添加至初始化上下文序列中，排列在查询文本向量之后，[0028]式中，vnert表示下一预测文本块向量；Decoder表示仅含解码器的序列生成模到的候选文本片段作为类似单词的基本单元，利用序列生成算法来优化组合候选相关文9[0034]此处的回复文本向量指的是用于回复查询文本的文本向量，当查询文本为提问[0035]具体地，可以通过将基于查询文本预先生成的查询文本分别计算所述当前预测文本块向量和各候选文本段关文本序列。similarty(vnexr,v)表示当前预测文本块向量vnert与第i个候选文本段向量之间的语义相似度。[0047]在一实施例中，图2是本发明提供的基于序列生成的检索增强生成方法的流程示意图之二，如图2所示，首先，将查询文本向量(QueryEmbedding)和各候选文本段向量(Context1Embedding、Context2Embedding...)输入至序列生成模型（Transformer后，基于从各候选文本段中匹配得到当前轮次的最相关文本序列更新初始化上下文序列，表示模型Mgen在给定样本查询文本q和第i个样本相关文本中第i个文本段的情况下生成答案o的概率；Mgen(olq)表示模型Mgen在给定样本查询文本q的情况下生成答案o的概[0057]需说明的是，本发明实施例提供的方法，通过训练一个基于Transformer首先，将样本查询文本向量（QueryEmbedding）和各相关文本段向量（Context1测文本块向量和对基于样本查询文本得到目标回答帮助程度最大的最优上下文片段进行最终的序列生成模型。在一实施例中，图4是本发明提供的构建样本数据的方法流程示意过条件互信息确定最优上下文序列，即从多个文本块Embedding中确定基于查询得到查询argnaxijfcxmin(tfe)表示从第i个样本相关文本中选取CXMI分数最高的样本相关文本[0066]基于上述任一实施例，图5是本发明提供的基于序列生成的检索增强生成装置的到的候选文本片段作为类似单词的基本单元，利用序列生成算法来优化组合候选相关文分别计算所述当前预测文本块向量和各候选文本段关文本序列。生成模型是基于样本查询文本对初始序列生成模型[0074]此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以是基于样本查询文本对初始序列生成模型进行所述序列生成模型是基于样本查询文本对初始序列生成模型进行以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单