CN119377372B 答案获取方法、计算机程序产品、设备和存储介质 （苏州元脑智能科技有限公司）

基于相似性权重以及注意力权重确定加权向量2将所述问题以及多个目标文档向量化，得到问题向量序列以及多个目标文档向量序其中，基于注意力机制对所述问题向量序列以及所述多个目标文档向量序列进行处基于门控机制确定问题与每一目标文档对应的注意力权重；基于3.根据权利要求1所述的方法，其特征在于，所述将所述问题以及多个目标文档向量将所述问题转换为问题向量序列；基于向量检索模块将所述多个目标文档转换为多个目标文档向量序基于相似性权重计算公式、所述问题向量序列以及所述向量序列以及所述多个目标文档向量序列计算问题与每一目标文档对应的相似性权重包基于所述相似性权重计算公式、所述查询权重矩阵、所述键权重3基于门控机制公式计算问题与每一目标文档对应gategate列Q和第i个目标文档向量序列Ri进行拼接,αi表示问题和第i个目标文档信息之间的目标根据所述每一目标文档对应的相似性权重确定的每一目标文档基于所述注意力权重学习问题与每一目标文档的目标上下文信息，将所述注意力权重与注意力权重对应的目标文档向量序列标文档向量序列；基于每一目标文档的问题关键信息、每一目标文档对问题的贡基于第二训练方法对目标大语言模型的编码器层以及解码基于所述第一损失以及第二损失计算总损失，并基于总损失对获取目标问题以及检索文档，所述检索文档包括第一检索文4其中，Lretrieval表示第一损失，exp(Q1·R+将目标问题以及检索文档输入目标大语言模型的编码器层以及基于所述参考答案以及第二损失函数计算公式R1)表示在t个时间步编码器层以及解码器层预测答案At的概率，T表示参考答案的基于所述第一损失、所述第二损失以及总损失函数计算公式计算Ljoint=λ1Lretrieval+λ2Lgeneration；2表示第二损失权重。被处理器执行时实现权利要求1_12中任一项所述的5[0006]将问题以及多个目标文档向量化，得到问题向量序列以及多个目标文档向量序6向量序列Q和第i个目标文档向量序列Ri进行拼接,ai表示问题和第i个目标文档信息之间标文档向量序列；7[0046]在其中一个实施例中，基于第一训练方法对目标大语言档，P,(AIQ,R)表示在t个时间步编码器层以及解码器层预测答案A8[0075]相关技术一中，推测型检索增强生成（SpeculativeRetrieval_Augmented9种策略检索的数据质量会一定程度上影响模型[0081]但是该实施方式中，是以在大语言模型的外部添加一个嵌入模型实现文本向量无法提供关键信息反而影响输出质量、检索知识库如果存在网络延时会影响推理性能等[0091]获取到用户特征向量与文档集中每一文档的文档特征向可以是将问题文本分割成独立的词汇或词组。词性标注可以是指为每个词汇分配一个词性个节点都会根据其自身的特征向量以及与之相邻的节点的特征向量（通过边传递的度值高的最终表示对应的K数量的文档作为目标文档，这里K的取值可以根据实际需要设强生成技术以及大语言模型构建的目标大语言模型的[0101]其中，输入层的作用是筛选与问题相关的多个目标文档以及将用户输入的问题向量检索工具FAISS（FacebookAISimilaritySearch）转换为向量嵌入表示Embedding[0109]本申请中设置的目标大语言模型的输入层中的文档检索模块检索与问题相关的[0111]具体地，基于注意力机制对问题向量序列以及多个目标相关的信息。如图5所示，本申请中的编码器层包括注意力机制模块以及门控机制模块模型能够有效地将来自不同来源的上下文进行对齐和关注，从而帮助模型更好地捕捉两个向量以及多个目标文档向量计算注意力权重，基于注意力权重可以筛选出更加关键的信息。[0123]Query=XI;[0124]key=x;向量序列Q和第i个目标文档向量序列Ri进行拼接,ai表示问题和第i个目标文档信息之间[0137]本申请中设置将问题向量序列与多个目标文档向量序列输入交叉注意力机制模档对应的目标文档向量序列的加权乘积，a2R2表示第二个目标文档对应的注意力权重与就包括多少目标文档对应的注意力权重与目标文档对应的目标文档向量序列的加权乘积。而每一目标文档对应的问题的贡献以及目标文档的问题关键信息也参与构建加权向量集入动态生成解码器的解码层并逐token生成答案。[0145]编码器处理整个输入序列后，输出的隐藏状态序列通常被称为encoder_outputs。其中每个隐藏状态序列对应于输入序列中的一个token，这个序列的形状是计算损失。[0148]在动态生成解码器进行解码的过程中，可以利用注意力分数去剔除不相关的内[0153]在一实施方式中，本申请还包括构建数据集，其中，数据集主要包括维基百科[0160]本申请在目标大语言模型的输入层中进行训练如Sentence_BERT方法，目的是为对目标大语言模型的输入层进行训练目的是为了让模型学习用户输入的目标问题和相关到第二损失包括：将目标问题以及检索文档输入目标大语言模型的编码器层以及解码器档，P,(AIQ,R)表示在t个时间步编码器层以及解码器层预测答案A标准的交叉熵损失训练编码器层以及解码器层可以优化生成答失将用户输入目标问题到检索文档直至生成答案A整个流程进行训练，不断优化检索质量个目标文档向量序列；档向量序列计算问题与每一目标文档对应的相向量序列Q和第i个目标文档向量序列Ri进行拼接,ai表示问题和第i个目标文档信息之间标文档向量序列；档，P,(AIQ,R)表示在t个时间步编码器层以及解码器层预测答案A实现一种答案获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，[0246]将问题以及多个目标文档向量化，得到问题向量序列以及多个目标文档向量序档向量序列计算问题与每一目标文档对应的相向量序列Q和第i个目标文档向量序列Ri进行拼接,ai表示问题和第i个目标文档信息之间标文档向量序列；[0293]在其中一个实施例中，基于第一训练方法对目标大语言档，P,(AIQ,R)表示在t个时间步编码器层以及解码器层预测答案的概[0313]将问题以及多个目标文档向量化，得到问题向量序列以及多个目标文档向量序档向量序列计算问题与每一目标文档对应的相向量序列Q和第i个目标文档向量序列Ri进行拼接,ai表示问题和第i个目标文档信息之间标文档向量序列；档，P,(AIQ,R)表示在t个时间步编码器层以及解码器层预测答案A通过计算机