CN119443267A 一种基于特征分类器的思维链推理数学问题求解方法及系统 （浙江大学）

一种基于特征分类器的思维链推理数学问本发明公开了一种基于特征分类器的思维数学问题集并选取正向与反向思维链示例进行拼接组成新集合；(2)将新集合元素分别输入模择池化差值处理后的注意力权重矩阵作为节点特征进行存储；(3)遍历生成的所有推理路径生集；(4)使用支持向量机算法训练特征分类器；(5)通过训练好的特征分类器，参与预训练语言2应的两个示例和使得df+qi得到正确答案，d+qi得到错误答案，组成新集合Q,qf=(qi,df,d);,步骤(4)训练好的特征分类器C选择正确概率更高的单词继续推理；最终得到完整推理过2.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在使用pθ表示具有参数θ的预训练大语言模型所拟合的概率分布，用ii,,,,3.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在对于新集合Q,内的所有元素，对于qf=(qi,df,d),通过拼接得到预训练语言模型的输入文本p"=(df,q:),PF=(df,q),冻结模型的所有参数，将其作为预训练语言模型,jj3插入左右两个子节点文本属性分别设置为以及如果是句子终,4.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在,i②、节点的r属性值为0％或100即考虑经过该节点的推理路径答案均为错误或者均45.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在然后将这些相似度加权求和，其中αiyi6.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在分别计算二者的生成当前文本所用的注意力权重矩及序列长度维度的线性插值处理，得到对于示例da下的特征矩阵Aa以及示例db下的特征矩用，在该情况下选择在特征分类器C中符号函数内数值较大项作为当前生成的文本预测内确的推理路径生成的正确性分别起正向和负向作用；该情况下选择C(x)＝1的文本作为当用，在该情况下选择在特征分类器C中符号函数内数值较小项作为当前生成的文本预测内思维链提示生成模块：用于获取待处理的数学推理路径树生成及特征筛选模块：用于生成单词级别的推理特征分类器训练模块：用于特征分类器的训练，基于特58.一种基于特征分类器的思维链推理数学问题求解6[0004]如公开号为CN116595159A的中国专利文献公开了一种数学题解答模型训练方法7提得到质量和准确性较高的问题求解过程和答案。其中qf=(qi,df,d⃞);′[0015]步骤(1)中，使用思维链提示生成方法找到对应的两个示例和具体过程个问题qi，遍历数学问题集找到对应的示例df和df,使得POId,an)概率最大的情况′qf=(qi,df,d目)。8qf=(q,df,d目),通过拼接得到预训练语言模′root到节点ni的路径都可以表示一条推理路径然ni分别插入左右两个子节点文本属性分别设置为以及如果是句子终止符，则标记子节点为叶子节点；如果是句子终止符，则标记子节点′′[0031]首先步骤(2)生成的树的集合G包含了m棵树，对应于数学问题集Q里每一个问题9[0041]步骤(5)中，若推理路径不同则使步骤(4)训练好的特征分类器C选择正确概率更化以及序列长度维度的线性插值处理，得到对于示例da下的特征矩阵Aa以及示例db下的特作用，在该情况下选择在特征分类器C中符号函数内数值较大项作为当前生成的文本预测对于正确的推理路径生成的正确性分别起正向和负向作用；该情况下选择C(x)＝1的文本向作用，在该情况下选择在特征分类器C中符号函数内数值较小项作为当前生成的文本预[0053]1、本发明将重点置于文本级别的预测生成方面。与当下主流的序列级别技术相[0056]4、本发明对于思维链提示下的预训练语言模型推理的可解释性工作也具有一定[0062]如图1所示，一种基于特征分类器的思维链推理数学问题求解方法，包括以下步,的思维链示例和使得得到正确答案，得到错误答案，组成新集合Qqf=(q,df,d目)。,[0068]在步骤(1)中，获取待解决的原始数学问题集并选取正向与反向思维链示例进行正向示例和反向示例思维链提示方法如下：表示输入长度为N的文本序列。当输入前i个文本序列时，语言模型根据概率pθ(xi+1)＝pθ[0072]式中，y＝{r,a}为生成的推理步骤r和推理结果a。在率最大的情况下得到的答案正确，与此同时pofIdf,a)概率最大的情况下得到的答正向与反向示例可以得到新的集合Q,＝{q1,,q,2…q,m},m≤n其中qf=(qi,df,d引)。[0073]在步骤(2)中，将新集合元素分别输入模型进行推理构建文本级别的推理路径生[0074]遍历步骤(1)组合生成的新集合Q,，对于qf=(qi,df,d⃞),通过简单拼接得到模型的输入文本pf=(df,q1),pf=(df,q1),冻结模型的所有参数进行，将其作为预训,[0075]f(Aj,l)函数对于多头注意力权重矩阵主要进行了两步操作，第一步使用线性差ni分别插入左右两个子节点文本属性分别设置为以及如果球是句子终止符，则标记子节点为叶子节点；如果是句子终止符，则标记子节点,,[0083]首先步骤(2)生成的树的集合G包含了m棵树，对应于数学问题集Q里每一个问题[0088]2)节点的r属性值为0或100，即考虑经过该节点的推理路径答案均为错误或者均[0093]在步骤(5)中，通过是对数学问题集的测试集进行求解阶段，主要包含四部分内[0094]首先是示例选取，对于待推理数学问题集的问题qi随机选取两个问题示例da与db的平均池化以及序列长度维度的线性插值处理，可以得到对于示例da下的特征矩阵Aa以及作用，在该情况下选择在特征分类器C中符号函数内数值较大项作为当前生成的文本预测于正确