CN119476479A 一种推理数据合成方法和系统 （苏州大学）

微调方法处理后的数学大语言模型生成样本问题；通过问题偏好优化方法对样本问题进行优题微调方法和问题偏好优化方法处理后的数学2步骤S3：通过问题偏好优化方法对所述样本问题进步骤S4：将经过所述问题微调方法和所述问题偏好优化在模型训练过程中，通过问题微调方法在所述数学大语言据集合成的总数据集进行问题微调，并且只微调一轮，其中，所述数学大语言模型为过问题微调方法在所述数学大语言模型利用预设数据集进行问题微调时采用的损失函数;其中，E,-o表示从分布Q中对采样的问题q取期望值，eos表示标记问题结束的词通过第一大型语言模型对所述样本问题进行优化，在优化过程中通过再将优化后的样本问题再对经过问题微调方法处理后的数学大语言模3;其中，TO表示当前正在优化的数学大语言模型，Try表示参考数学大语言模型，表示偏好问题对在数据集D上的期望，D表可解性过滤：用于通过预设语言模型过滤不可解的问题，用构建具有分类头的难度评分器，所述分类头用于计算每;;w和l为难度评分器的损失函数，d,是第i个问题的预测难度分数，表示第i个通过第二大型语言模型为每个过滤后的问题生成多个回答，并使用Internlm2_7b_4第二优化模块：用于通过问题偏好优化方法对所述样本样本问题再对经过问题微调方法处理后的数学大9.一种电子设备，包括存储器、处理器及存储在5决上述技术问题,知识驱动方法应运而生。该方法通过构建知识库或概念图并从中提取关题驱动方法和知识驱动方法均依赖高性能语言模型(如GP6eepSeek_Math_7B_RL或Qwen2_Math_7B_Instruc；两个不同特征的数据集在难度分布和问学大语言模型利用预设数据集进行问题微调时采用的词元，s和q分别表示上下文提示和问题，t表示问题中词元的位置，T表示问题总长[0018]再将优化后的样本问题再对经过问题微调方法处理后的数学大语言模型进行训7表示偏好问题对在数据集D上的期望，D表[0025]在本发明的一个实施例中，所述难度过滤中计算每个问题的难度分数的方法包w和b分别是分类头的权重和偏置，h表示输入问题序列的向量化表示[0032]通过第二大型语言模型为每个过滤后的问题生成多个回答，并使用Internlm2_7b_reward作为奖励模型以评估每个回答的评分，并选择所述奖励模型评分最高的解答作8人工智能在推理能力方面的突破提供了关键支持，具有广阔的应用前景和重要的技术价9果语言模型，该模型已学会根据问题_答案对（例如{<|begin_of_sent的词元，s和q分别表示上下文提示和问题，t表示问题中词元的位置，T表示问题总长[0063]值得注意的是，仅使用英语问题训练的QFT模型展现出了生成其他语言问题的能[0064]（二）问题偏好优化方法：在本实施例中，问题偏好优化(QuestionPreference过程使模型能够生成有意义且多样化的问题，但在可解性和难度两个方面仍存在改进空始问题作为非首选数据。本实施例对直接偏好优化(DirectPreferenceOptimization，参考数学大语言模型（经过QFT之后的模型表示偏好问题对在数据集D上的期经过问题微调(QFT)和问题偏好优化(QPO)后，本实施例获得了两个问题生成器（基于实施例通过识别包含非英语字符的问题并过滤掉这些样本问题，有效地去除了非英语问w和b分别是分类头的权重和偏置，h表示输入问题序列的向量化表示l包含3%的预热比例，并针对不同模型类型采用了差异化的峰值学习率（Llama3和[0081]本发明构建的推理数据合成方法在实际应用中展现出了显著的性能优势和广泛领域优化的基础模型上均取得了显著进步（如图2所示平均性能提升幅度达5.6%至奥林匹克基准测试中分别取得了89.7、73.4和38.5的优异成绩。考虑到Qwen2_Math_7B_建的数据集与公开可用的数据集（如MetaMath、DART_Math和Numina_Math本发明对计语言Java和直译式脚本语言Java[0098]这些计算机程序指令也可存储在能引导计算机或