2025年推理模型综合测评报告-InfoQ

极客邦科技双数研究院InfoQ:研究中心2025CONTENT“思考”4•客观抗作弊：编译器/单元测试判分，且沙箱执打分奖励打分奖励①②①②生成答案③打分奖励：验证函数进行判分，并生成相应的奖励信号52024年9月-12月2024年9月-12月6推理模型把大模型从单纯的内容生成器升级为「可验证的逻辑执行器」，伴随着推理模型把大模型从单纯的内容生成器升级为「可验证的逻辑执行器」，伴随着①单场景推理深度、②跨工具编排广度、③在线自进化能力的同步跃升，更多新商业⽤••7HLE等公开集，用作对齐基准，95422122%29%代码解释、纠错、翻译、生成及测试；化学、物理、12025-01-2022025-01-203Claude-3.7-Sonnet-2025-02-24使用POE网页版，模型选择Claude-3.7-Sonnet-Reasoning4GLM-Z12025-04-1452025-04-1562025-04-16使用ChatGPT官方网页版，联网关闭72025-04-258Qwen3-235B-A22B2025-04-29888引用测试中，推理模型幻觉呈现更加隐蔽的特点，并且擅于虚构各类具体数据或者生成具体论文/报告/产品名称，让推理模型的输出引用测试中，推理模型幻觉呈现更加隐蔽的特点，并且擅于虚构各类具体数据或者生成具体论文/报告/产品名称，让推理模型的输出推理模型在以数字、符号为代表的代数和分析领域得分较高，但涉推理模型在文本长度增加、场景复杂度增加的情况下，准确性存在推理模型在对话意图识别优势明显，部分模型对中文汉字的字形结构存在基础认知，例如左右、上下、独字以及包围结构等，但在认在面对化学、物理、生物、医药、工程学等领域的复杂问题时，推174.83%272.66%372.09%4546.04%测评结果仅基于上文所列模型，测评截止时间为2025年5月22日-235B-A22B-1.5--235B-A22B-1.5--pro-R1-1.5--pro-R1-235B-A22B-235B--1.5--pro-R1-R1-R1-1.5--proClaude--R1--3.7---235B-A22BSonnet-235B-A22B235B-A22BSonnet-235B-A22B核心发现：处在基准区之外的各能力维度，在「得分率-思考时长」这两项指标之间仍未形086.70%58.52%备注：各维度能力得分率TOP3模型中，若存在同得分率，则按照该维度平均思考时长排列•归纳推理得分率最高，获得86.70%•类比推理得分率最低，仅为58.52%Qwen3-235B-A22B77.44%76.83%75.00%74.39%74.39%**题目**：某法学院学生小王要在微积分、逻辑学、拓扑学、离散选逻辑学或离散数学作为辅修课；(2)如果选逻辑学作为主修课，将选微积分或拓扑学作为辅修课；(积分为辅修课，才选离散数学作为主修课；(4)只有离散数学或微积分成为辅修课，拓扑学才作为主修课。根据**选项**：C.逻辑学、离散数学E.离散数学、拓扑学**要求**：小王需从四门课程（微积分、逻辑学、拓扑学、离散数学）中选择**—门主修课**和**—门辅修课**，且必须满足-**组合1**：主修微积分，辅修离散数学-规则①：辅修∈{逻-**组合2**：主修离散数学，辅修微积分-规则③：辅修=微积分→-**结论**：至少—种组合成立→**可能**-**组合1**：主修微积分，辅修拓扑学-规则①：辅修∉{逻辑学,离散数学}→-**组合2**：主修拓扑学，辅修微积分-规则④：辅修∈{离散数学,微积分}→-**结论**：至少—种组合成立→**可能**-**组合1**：主修逻辑学，辅修离散数学-规则②：辅修∉{微积分,拓扑学}→-**组合2**：主修离散数学，辅修逻辑学-规则③：辅修≠微积分→-**结论**：两种组合均不成立→**不可能**-**组合1**：主修拓扑学，辅修逻辑学-规则④：辅修∉{离散数学,微积分}→-**组合2**：主修逻辑学，辅修拓扑学-规则②：辅修∈{微积分,拓扑学}→-**结论**：至少—种组合成立→**可能**-**组合1**：主修离散数学，辅修拓扑学-规则③：辅修≠微积分→-**组合2**：主修拓扑学，辅修离散数学-规则④：辅修∈{离散数学,微积分}→-**结论**：至少—种组合成立→**可能**只有**选项C**的两种组合均违反规则，因此是不可能的组**答案**：[C]88.35%66.76%62.50%备注：各维度能力得分率TOP3模型中，若存在同得分率，则按照该维度平均思考时长排列•代数得分率最高，获得88.35%•几何得分率最低，仅为62.50%78.98%Qwen3-235B-A22B77.84%77.84%**题目**：1.**分组处理**：-后两个正弦项：\(\sin96^\circ-\sin132^\circ\)2.**应用和差公式**：3.**合并表达式**：4.**处理余弦差**：-应用余弦差公式：\(\cos6^\circ-\cos114^\circ=-2\sin60^\circ\sin(-54^\circ)=2\sin60^\circ\sin54^\circ\)5.**代入并简化**：-\(\sin60^\circ=\frac{\sqrt{3}}{2}\)-应用积化和差公式和三角恒等式，最终得到：\[4\sin18^\circ\sin54^\circ\cd7.**数值验证和结果**：-通过数值计算和三角恒等式验证，最终结果为\(\frac{\sqrt{3}}{2}\)。\[\boxed{\dfrac{\sqrt{3}}{2}}\]**题目**：**要求**：以[能]或[不能]格式输出），n=4时，D=6。需要四个节点的树，所有6个距离都是1-6的不同数。树的结构可能有多种，比如链状（四个节点A-B-C-D（O-A-CBC=3（O-B-A-C？不，路径是B-A-O-C，长度3）。具体计算所有点对：O与A:1；O与B:2；O与C:1；A与B:1；A与C:2（A-O-C）；B与C:3（B-A-O-C）；所以距离集合是{1,1,1,2,2,3}，仍然重复。这说明当n≥3时，可能无法构造这样的树，因为树的直核心发现：推理模型对话意图识别已基本达标，72.50%50.42%备注：各维度能力得分率TOP3模型中，若存在同得分率，则按照该维度平均思考时长排列69.53%Qwen3-235B-A22B**题目**：口＋勿能组成什么字**要求**：[答案1](;[答案2]…)**解析**：1.**吻**：结构为**口（左）＋勿（右）**，读音2.**囫**：结构为**口（外框）＋勿（内）**，读音），**题目**：从所给的四个选项中，选择最合适**示例**：可，芮，拼**选项**：A.衍B.南C.神D.音**要求**：[答案字母]左右结构），规律可能是笔画数递增2，结构从独体题目：乐（5画，独体）→李（7画，上下结构）→?（9画，），C。例的规律（笔画递增2，结构变化独体→上下→C46.04%22.50%69.58%22.50%备注：各维度能力得分率TOP3模型中，若存在同得分率，则按照该维度平均思考时长排列•编程算法题得分率最高，获得69.58%•复杂科学推导得分率最低，仅为22.50%56.67%Claude-3.7-Sonnet-ReasoningQwen3-235B-A22B45.00%45.00%```ACTUAL:8.03675093498287DESIRED:7.500224891788638Claude-3.7-SonnetClaude-3.7-Sonnet-Reasoning回答错误原因在于计算折扣回报的方式有误。原代码中的折扣计算不如何应用折扣因子方面。在REINFORCE算法中，未来的奖励应该按照累积折扣Python-运行-复制#计算REINFORCE损失93.75%86.46%84.38%备注：各维度能力得分率TOP3模型中，若存在同得分率，则按照该维度平均思考时长排列•事实错误得分率最高，获得93.75%80.58%Qwen3-235B-A22B76.39%介绍下中国的南北分界线-长江。），*这个人在职业生涯中属于相对小众的领域**材料**：管制员们引导飞行员们飞向跑道，那是他们的责任，他们对此项工作也最为擅长。因此，没有尝试完所有的方法，管制员是不会放弃努力的。他认为即使是在这次极端紧急的情况下，大多数飞行员都很快地，我凭直觉知道哈得孙河也许是我们唯一一的选择，进而思想指挥行动。我们俩都知道，我们面临的困境使我们选择的余地极少。我们高度低，速度小，重达150000磅（68吨）的飞机还没有发动机。简而言之，我们的我知道，如果选择经过密集的居民聚集区返航，我必须确保成功。一一旦返航亚机场，如果在降落时偏离跑道哪怕是几英尺，结果也将很惨。飞机即使我们能够滑翔到达拉瓜迪亚机场跑道上空，仍然存在着潜在的风险。杰夫将必须停止重启发动机，把注意力集中到做好飞机降落到跑道上的准备，我也必须精准地控制飞机）？），帕特里克通过雷达屏幕能观察到，我大约位于乔治·华盛顿桥上方900英尺（274米）处。他说：“仙人掌1529，你正飞越乔治**答案**：**答案**：您放弃了迫降**拉瓜迪亚和泰特伯勒机场**，最终在**哈得孙河**迫降成世界模拟器世界模拟器视觉-动作推理字节跳动-Seed1.5-VL智谱-GLM-PC等字节跳动-doubao-1.5-ui-tars①推理模型可生成多层