CN119493849B 问答任务处理模型训练方法、装置、设备及存储介质 （苏州元脑智能科技有限公司）

调整第二中间问答任务处理模型，得到目标模2根据初始训练数据集和第一模型训练算法，对待训练的问答任务处理模型进行调整，根据所述初始训练数据集和所述第一中间问答任务处理模型根据所述初始训练数据集和第二模型训练算法，对所述待训练的问根据所述第一目标训练数据集调整所述第二中间问答任务根据所述初始训练数据集和所述第三中间问答任务处理模型确定所述第三中间问答任务处理模型输出的所述问答任3在所述初始训练数据集中获取所述问答任务的参考结果在所述正确率大于第一预设阈值的情况下，将所述第三中间问在所述正确率小于或等于所述第一预设阈值的情况下，将所述第二目标训练数据集作为所述第一目标训练数据集在根据所述第三标注信息，确定所述第一推理步骤所在根据所述第一中间步骤、所述目标位置、所述问答任务以及所述将所述第一中间推理过程位置与所述目标位置相同的步骤作为所述第一中间步骤对将第一预设信息作为所述第一中间步骤的第一标注信息，其中，所述第一于表征根据所述第一中间步骤得到所述参考结果的概将第二预设信息作为所述第二中间步骤的第一标注信息，其中，所述第二于表征根据所述第二中间步骤得到所述参考结果的概将所述第一中间步骤和所述第二中间步骤均作为所述第在所述目标位置是所述推理过程的结束位置的情况下，将所述将所述第二中间步骤的第一标识作为第一提示信息，将所述问答任在所述目标位置是所述推理过程的非起始位置的情况下，将将所述问答任务和所述第二提示信息输入所述第一中间问答任述目标位置相同的步骤作为所述第一中间步骤对应的第二中间步骤之后，所述方法还包4确定所述第一中间步骤和所述第二中间步骤在所述第一相似度大于或等于第五预设阈值情况下，在根据所述第三标注信息，确定所述第一推理步骤所在在第四预设数量个所述第二中间推理过程中确定第三中间推理确定所述第三中间推理过程在第四预设数量个所述第二中间推理过程中所占的第一在第三预设数量个所述第一推理步骤中确定第一评价参数最小且第一评价参数小于确定所述第三中间步骤的第二标识，并从第三预设数量个识与所述第二标识相同且第一评价参数等于预设数值将第一预设信息作为所述第四中间步骤的第一标注信息，其中，所述第一于表征根据所述第四中间步骤得到所述参考结果的概将第二预设信息作为所述第三中间步骤的第一标注信息，其中，所述第二于表征根据所述第三中间步骤得到所述参考结果的概将所述第三中间步骤和所述第四中间步骤均作为所述第确定所述第三中间步骤和所述第四中间步骤在所述第二相似度大于或等于第七预设阈值情况下，在根据所述第三标注信息，确定所述第一推理步骤所在在第四预设数量个所述第四中间推理过程中确定第五中间推确定所述第五中间推理过程在第四预设数量个所述第四中间推理过程中所占的第二在第三预设数量个所述第一推理步骤中确定第二评价参数最小且第二评价参数小于5根据所述第五中间步骤、所述问答任务以及所述第一中间确定所述第五中间步骤的第三标识，将所述第六中间推理过将第一预设信息作为所述第六中间步骤的第一标注信息，其中，所述第一于表征根据所述第六中间步骤得到所述参考结果的概将第二预设信息作为所述第五中间步骤的第一标注信息，其中，所述第二于表征根据所述第五中间步骤得到所述参考结果的概将所述第五中间步骤和所述第六中间步骤均作为所述第将所述问答任务和所述第三提示信息输入所述第一中间问答任务处在第五预设数量个所述第七中间推理过程中确定在所述基准数据集中提取所述问答任务和所述问答任获取初始问答任务处理模型和第六预设数量个训练样本，其中，根据所述预测结果和所述目标结果，调整所述初始问答任务处理模型第一调整模块，用于根据初始训练数据集和第一模型数据集生成模块，用于根据所述初始训练数据集和所述第一中间问答任务处理模型，得到所述第一中间问答任务处理模型处理所述问答任务的第一推理步骤和所述第一推理6作为所述第一推理步骤，所述第二中间步骤得到所述参考结果的概率小于第四预设阈值；第三调整模块，用于根据所述第一目标训练数据集调整所述第存储器和处理器，所述存储器和所述处理器之间互相通信连接指令，所述计算机指令用于使计算机执行权利要求1至11中任一项所述的问答任务处理模7[0001]本发明涉及自然语言处理技术领域，具体涉及一种问答任务处理模型训练方法、模型处理问答任务的第一推理步骤和第一推理步骤的第一标注信息，并根据第一推理步第一中间问答任务处理模型处理问答任务的推理过程中的任答任务处理模型，生成包含模型处理问答任务的步骤和标注信息的第一目标训练数据集，8第一中间问答任务处理模型处理问答任务的第一推理步骤和第一推理步骤的第一标注信其中，第一推理步骤是第一中间问答任务处理模型处理问答任务的推理过程中的任一步[0015]第三调整模块，用于根据第一目标训练数据集调整第二上述第一方面或其对应的任一实施方式的问答任务使计算机执行上述第一方面或其对应的任一实施方式的问答任务9[0033]在本实施例中提供了一种问答任务处理模型训练方法，可用于上述的计算机设数据包含问答任务和问答任务对应的参考答案即参考结果。将SFT中的问答任务输入待训理步骤是第一中间问答任务处理模型处理问答任务的推理过程中的任训练的LLM进行进一步的微调，因此，第二模型训练算法例如：结合SFT方法和RFT方法对[0047]获取初始训练数据集中的SFT数据和RFT数据，该SFT数据包含问答任务和问答任[0048]通过SFT方法调整待训练的问答任务处理模型，使LLMs能够基于高质量标签数据答任务处理模型，生成包含模型处理问答任务的步骤和标注信息的第一目标训练数据集，第三中间问答任务处理模型处理问答任务的第二推理步骤和第二推理步骤的第二标注信务处理模型。将初始训练数据集包含的SFT数据中问答任务输入第三中间问答任务处理模任务有100个输出结果，其中90个输出结果与对应的参考结果相同，则正确率为90/100=理模型开始执行后续步骤，直到正确率大于第一预设阈值或者迭代次数等于第二预设阈[0063]在一些可选的实施方式中，根据初始训练数据集和第一得到第一中间问答任务处理模型处理问答任务的第一推理步骤和第一推理步骤的第一标缀，通过添加新的推理步骤st+1将状态转化为pt+1，其中pt+1是pt和st+1的连接，即[0066]将初始训练数据集包含的SFT数据中问答任务输入第一中间问答任务处理模型，同推理过程处理问答任务后，输出的问答任务的输出结果。第二预设数量例如：100、骤得到问答任务标准答案的概率较低。根据第一推理步骤所在推理过程的第三标注信息，Step_DPO数据集作为第一目标训练数据[0080]将第一中间推理过程位置与目标位置相同的步骤作为第一中间步骤对应的第二过第一推理步骤得到问答任务标准答案的概率小于第四预设阈值。第三预设阈值例如：[0082]第一预设信息例如：正样本步骤（chosen）。第二预设信息例如：负样本步骤个错误的则将新生成的sz作为负样本。第三预设数量个第一推理步骤中确定第一评价参数最小且第一评价参数小于第六预设阈参考结果的概率大于第三预设阈值；将第二预设信息作为第三中间步骤的第一标注信息，其中，第二预设信息用于表征根据第三中间步骤得到参考结果的概率小于第四预设阈值；将第三中间步骤和第四中间步骤均作为第一推[0105]第一预设信息例如：正样本步骤（chosen）。第二预设信息例如：负样本步骤个第四中间推理过程中所占的第二比例，根据第二比例确定第一推理步骤的第二评价参[0115]选取第一个衍生出的4个过程中错误个数最多的步骤，并且该步骤的得分小于等预设数量个第一推理步骤中确定第二评价参数最小且第二评价参数小于第八预设阈值的[0117]上述过程如图4所示，选取所有步骤中衍生出的错误个数最多即分数最小的步骤[0118]第一预设信息例如：正样本步骤（chosen）。第二预设信息例如：负样本步骤[0123]在第五预设数量个第七中间推理过程中确定输出结果与参考结果相同的第六中在此基础上通过模型生成了代码推理的过程偏以及与模型输入相对应的目标输出组成。RFT数据是指在强化学习微调过程中所使用的数12n向量a和向量b均包含词汇集V中的词汇，n的具体数值根据实际需求设到第一中间问答任务处理模型处理问答任务的第一推理步骤和第一推理步骤的第一标注[0154]第三调整模块504，用于根据第一目标训练数据集调整第二中间问答任务处理模第三标注信息，确定第一推理步骤所在的推理过程的输出结果与参考结果相同的情况下，三标注信息，确定第一推理步骤所在的推理过程的输出结果与参考结果不相同的情况下，第四中间推理过程中所占的第二比例，根据第二比例确定第一推理步骤的第二评价参数；[0168]本发明实施例还提供一种计算机设备，具有上述图5所示的问答任务处理模型训主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处[0174]该计算机设备还包括通信接口30，用于该计算机设备与