概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)_第1页
概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)_第2页
概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)_第3页
概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)_第4页
概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)_第5页
已阅读5页,还剩11页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

概率估计的校准训练:用已知答案的问题训练估计者(校准问题、反馈机制、改进跟踪)本文档提供:表2二元与区间两类校准问题设计表;表3问题难度与知识域匹配表;表4反馈机制设计对照表;式(1)二元判断的Brier分数;式(2)区间估计的90%区间命中率;式(3)校准偏差指数;表5改进跟踪记录表;表6停摆排查表;四条决策规则和一处矛盾;表7三套场景表;完整案例一个。2026-11-03表1目录与定位表这一节的标题读完你能拿到什么这一节在全文中的功能一、先判“偏在哪”:过度自信还是信心不足,两类问题的校准方向相反表2二元与区间两类校准问题设计表在训练开始前确定用哪类问题、诊断哪种偏差二、校准问题不能随便找:有已知答案、难度匹配、不依赖专家当前知识域表3问题难度与知识域匹配表把“找一些题来练”变成可复用的选题规则三、反馈不是“告诉你对错”:结果反馈、性能反馈和策略反馈三层表4反馈机制设计对照表把反馈从一次性告知变成可触发改进的机制四、两个数就够诊断:Brier分数和区间命中率式(1)、式(2)、式(3)用可复算的指标代替“感觉准多了”五、改进跟踪:同一个估计者,训练前后要能放在同一张表上比表5改进跟踪记录表和式(3)把“训练有效”从一次性的结论变成持续可核对的记录六、跑了一轮就停在“做过一次培训”,先查这五处表6停摆排查表定位校准训练没有进入实际估计流程的环节七、什么时候重训、什么时候停止:四条规则和一处矛盾四条决策规则和矛盾权衡规则处理“训练强度”和“训练迁移”之间的取舍八、完整版、精简版、极简版按估计者数量和决策后果选表7三套场景表按场景选择执行范围按第一列在正文找对应那节,按第二列判断这节有没有你要的东西,按第三列判断这节是否对应你当前卡住的位置。风险估计者在项目风险工作坊中给出一条风险的“发生概率:70%”。六个月后事件没有发生。下一次工作坊中,同一位估计者对同类风险给出“概率:65%”。两次估计都无法被检验——因为没有人记录过“70%”意味着“在10次类似判断中大约7次为真”,也没有人在事后核对过这个频率。校准训练的第一步不是教估计者“调低数字”,是让他们在一个有已知答案的环境中,反复经历“我说80%,实际对了多少”的反馈循环。概率判断的校准(calibration)指的是:当估计者说“80%把握”时,在多次同类判断中,实际正确的频率是否接近80%。实验研究反复发现,未受训练的估计者系统性地校准不良,多数情况下表现为过度自信——赋予的概率比其知识所支持的程度更接近确定性。Lichtenstein和Fischhoff的开创性研究发现,在一次包含200个问题并提供全面反馈的训练之后,校准可以有显著改善。但训练的效果不是均匀的:在二元判断任务上习得的校准,可以迁移到其他离散选择任务,但向连续分布估计(区间估计)的迁移很有限,后者几乎不改善。反馈的性质至关重要——不清晰的反馈可能使结果更差,而任务结构反馈(关于信息与任务之间关系的反馈)比单纯的結果反馈更有效。一、先判“偏在哪”:过度自信还是信心不足,两类问题的校准方向相反校准训练使用的问题通常分为两类:二元判断(对一个陈述判断真假,并给出正确概率)和区间估计(对一个未知量给出上下界,使真实值以给定概率落在区间内)。两类问题诊断的偏差方向可能相反。一项针对情报分析人员的校准训练研究发现,参与者在区间估计任务上初始表现为过度自信(90%区间包含真实值的频率低于90%),在二元判断任务上初始表现为信心不足(给出的概率低于实际正确率)。训练后,区间任务的校准改善,但二元任务的信心不足反而加剧——训练的主要效果是将偏差向“更不自信”的方向推移,而不是同时纠正两个方向的偏差。这意味着校准训练的第一步是诊断,不是训练。如果估计者在二元问题上已经信心不足(平均给出的概率低于实际正确率),再用“降低信心”的反馈去训练,会使偏差加重。诊断的依据是式(1)和式(2)的基线分数:二元任务看Brier分数和平均信心与实际正确率之差;区间任务看90%区间的实际命中率。两个方向都偏时,训练的重点不同。表2二元与区间两类校准问题设计表问题类型问什么估计者输出什么诊断的偏差方向基线指标训练重点示例二元判断一个可真可假的陈述真/假,以及“你答对的概率”(50%至100%)平均信心高于实际正确率→过度自信;低于→信心不足Brier分数;平均信心−实际正确率过度自信:练习等效赌注法和预mortem;信心不足:练习接受更高的信心水平“A城市2020年人口多于B城市”,答“真”,信心80%区间估计一个数值型未知量下限和上限,使“真实值有90%概率落在区间内”实际命中率低于90%→过度自信(区间过窄);高于90%→信心不足(区间过宽)90%区间命中率;区间宽度过度自信:练习“先给极宽区间、再用等效赌注收窄”;信心不足:练习收窄区间“C城市2020年人口是多少”,给[500万,1200万],90%置信两类问题不应在同一轮训练中混在一起诊断。二元任务的校准分数和区间任务的命中率反映的是不同的判断过程,混在一起的平均分会掩盖方向相反的偏差。训练设计可以先选一类作为主训练类型,另一类作为辅助,并在记录中分开报告。二、校准问题不能随便找:有已知答案、难度匹配、不依赖专家当前知识域校准问题的核心约束是:答案已知,但估计者在回答时不知道。这看起来是废话,但操作中有三个容易出错的地方。第一,问题不能依赖估计者当前的专业知识域——如果问题恰好落在其专业范围内,他可能靠知识答对,而不是靠概率判断,校准训练就变成了知识测验。第二,问题难度需要匹配:太容易的问题(正确率90%以上)无法区分校准好坏,太难的问题(正确率接近50%,即随机水平)使估计者只能猜,也无法提供有效反馈。第三,训练前后使用的问题集需要在难度上可比,否则“训练后分数提高”可能只是因为后测题更容易。在结构化专家判断(SEJ)的实践中,校准问题也被称为种子变量(seedvariables):真实值对研究团队已知、对参与者未知的问题,用于评估专家的统计准确性和信息量。种子变量的选择需要确保答案可核验、不偏向特定国家或地区的数据、并且与后续关注的问题在类型上有可类比性。训练的最终目的不是在这些种子问题上得高分,是让估计者在真实估计任务(答案未知)中表现出更好的校准。表3问题难度与知识域匹配表筛选维度合格标准不合格的后果怎么核对示例答案可核验有公开、权威的来源可以确认答案,且答案不随时间变化反馈无法给出“正确答案”,训练失去基础每个问题附来源和答案,第二个人可以复核城市人口取某年统计年鉴值,不取实时估算不依赖当前专业域问题内容与估计者日常判断的风险主题不同估计者靠专业知识而非概率判断作答,校准分数失真选题时标注主题,避开估计者的工作领域风险经理的专业是供应链,训练题用地理人口和基础科学常识二元题难度适中未训练组的正确率大致在60%至80%之间正确率过高或接近50%,无法区分校准好坏预测试或使用已校准的题库预测试中平均正确率约70%,难度合适区间题难度适中未训练组的90%区间命中率大致在30%至60%之间(明显过度自信)命中率已经接近90%,训练没有改善空间预测试或使用已有题库预测试命中率约40%,存在过度自信,适合训练训练前后难度可比前后测问题集在预测试中的正确率或命中率无统计显著差异分数变化来自难度差异而非校准改善用独立样本预测试,或使用匹配设计前测平均正确率69.2%,后测68.6%,无显著差异问题数量方面,Lichtenstein等人指出,大约需要200个判断才能获得一个人校准程度的合理可靠测量,要学会持续良好校准,可能需要数倍于此的数量。训练设计中一个可执行的起点是:每轮训练包含至少60至80个问题(二元和区间合计),分2至3次完成,每次之后提供反馈。200题的单次密集训练在研究中有效,但在组织环境中不一定可行;分次训练配合即时反馈,可以在保持反馈质量的同时降低单次认知负担。三、反馈不是“告诉你对错”:结果反馈、性能反馈和策略反馈三层反馈是校准训练中最重要的变量,也是最容易被简化为“对答案”的环节。研究区分了至少三个层次的反馈,它们的有效性不同。结果反馈(outcomefeedback)只告诉估计者“这道题你答对了/答错了”或“真实值是这个”。单纯的結果反馈对校准的改善有限,在某些研究中甚至无效。性能反馈(performancefeedback)告诉估计者“你的整体校准表现如何”:平均信心与实际正确率的差距、区间命中率与90%的差距、Brier分数在训练前后的变化。策略反馈/任务结构反馈(taskstructurefeedback)告诉估计者“为什么会出现这种偏差、可以用什么方法调整”:例如“你在区间题上系统性地把区间设得太窄,90%区间只命中了40%,试试先给一个极宽的范围,再用等效赌注法收窄”。策略反馈比单纯的分数反馈更可能产生可迁移的改善。表4反馈机制设计对照表反馈层次给什么什么时候给对校准的作用单独使用的局限必须搭配什么结果反馈每道题的正确答案、估计者的答案、是否正确每道题之后或每轮之后提供原始信息,但不足以改变判断习惯不清晰的反馈可能使结果更差性能反馈和策略反馈性能反馈本轮的平均信心、实际正确率、Brier分数、区间命中率;与上一轮或基线的比较每轮结束后让估计者看到“偏了多少、方向是什么”只看分数不知道“怎么改”策略反馈策略反馈针对偏差方向的具体调整方法:等效赌注法、预mortem、先宽后窄诊断出偏差方向之后、下一轮训练之前提供可执行的调整动作,支持迁移策略不匹配偏差方向时无效诊断(表2)和后续练习个性化反馈基于个体历史记录的偏差模式(例如“你在区间题上总是过窄,在二元题上略微信心不足”)多轮训练之后针对个体模式,比通用策略更有效需要足够的个体历史数据至少3至5轮记录反馈的频率和即时性也影响效果。即时反馈(每轮之后,而非训练全部结束后一次性给)更有利于学习。反馈中包含个人讨论比纯书面数字更难被忽视。在组织环境中,可操作的做法是:每轮训练结束后,由主持人(或训练系统)给出本轮的性能指标,针对偏差方向讲解一个调整策略,然后进入下一轮练习;全部训练结束后,给出个体层面的偏差模式总结和改进建议。四、两个数就够诊断:Brier分数和区间命中率校准训练不需要复杂的评价体系。两个核心指标覆盖两类问题:二元判断用Brier分数,区间估计用90%区间命中率。两者都可以从训练记录中直接计算,不依赖模型或外部数据。式(1)二元判断的Brier分数对N个二元判断,第i个判断的估计概率为pi,实际结果为yi(事件发生/陈述为真时yi=B变量定义:BS为Brier分数,取值0至1;pi为估计者给出的概率(以小数表示,例如80%记为0.80);yi为实际结果(0或1)。BS越低,概率预测的校准和区分综合表现越好。完全正确的确定性预测(pi=1且yi=1,或pi两个常见错误:把“答对的比例”当作校准指标,忽略了信心水平——一个人可以在正确率70%的情况下给出平均信心95%,Brier分数会反映这种过度自信,正确率不会;只用全体估计者的平均Brier分数,不计算个体分数,个体层面的偏差被群体平均掩盖。校验方法:手里有逐题的pi和yi;按式(1)手算;将BS与“总是给出50%”的基准Brier分数(示例:10道二元题,估计者给出的概率为0.9、0.7、0.8、0.6、0.9、0.7、0.8、0.6、0.9、0.7,实际结果为1、0、1、0、1、1、0、1、0、0。逐项平方误差之和约为0.01+0.49+式(2)区间估计的90%区间命中率对N个区间估计,第i个估计的下界为Li,上界为Ui,真实值为H变量定义:H为90%区间的实际命中率;1{⋅}为指示函数,真实值落在区间内取1,否则取0。一个校准良好的估计者,H应接近0.90。两个常见错误:只报告平均区间宽度,不报告命中率——宽区间容易命中,但失去信息量;把区间估计的“命中”与二元判断的“正确”混在一起计算一个总准确率,两种任务的偏差方向可能相反,混合指标掩盖方向。校验方法:手里有逐题的Li、Ui、Ti;按式(2)计算示例:20道区间题,真实值落在区间内的有8道,H=式(3)校准偏差指数B变量定义:B为校准偏差指数;p为二元判断中估计者给出的平均概率;y为实际正确率(即yi=1的比例)。B>0表示过度自信(平均信心高于实际正确率),B两个常见错误:只计算B不计算Brier分数,B=0可能由“过度自信和信心不足在不同题目上相互抵消”造成;用B的绝对值大小直接判断校准质量,B校验方法:手里有p和y;计算B;结合校准曲线(按信心分箱,比较每个箱内的预测概率与实际频率)判断B是否由某一信心区间的系统性偏差驱动。五、改进跟踪:同一个估计者,训练前后要能放在同一张表上比校准训练的产出不是“一次培训的满意度评分”,是估计者在训练前后的指标变化,以及这些变化是否在后续的实际估计任务中保持。改进跟踪记录需要能够回答三个问题:训练前的基线是什么、训练后的即时变化是什么、训练后在实际任务中的校准是否维持。表5改进跟踪记录表字段填什么什么算填完用途示例估计者标识姓名或匿名编号可追溯到个体个体层面的跟踪估计者A训练轮次与日期第几轮、日期每轮有日期区分即时效果和维持效果第1轮,2026-03-10;第2轮,2026-03-24问题类型二元/区间每轮分别记录两类问题的偏差方向可能相反,分开跟踪二元20题、区间20题Brier分数(二元)按式(1)计算有计算记录二元校准的综合指标前测0.310,后测0.22090%区间命中率(区间)按式(2)计算有计算记录区间校准的核心指标前测0.40,后测0.75校准偏差指数B按式(3)计算有计算记录偏差方向前测+0.26,后测+0.05平均区间宽度区间的平均(Ui与命中率并列判断区间是否“既准又有信息量”前测平均宽度400万,后测900万实际估计任务中的跟踪后续真实风险估计的校准是否可核对(如事件是否发生、事后复盘)有跟踪记录或说明“无法跟踪”检验训练是否迁移到真实任务训练后3个月内,5条概率估计中有3条的实际结果与估计方向一致跟踪的重点不是“分数越高越好”。Brier分数下降、区间命中率接近0.90、B接近0,是校准改善的信号。但如果区间命中率从0.40升到0.75的同时,平均区间宽度扩大了3倍,改善可能部分来自“把区间放得很宽”,而不是判断质量的实质提升。改进跟踪需要同时看命中率和宽度,两者一起判断。训练效果的维持也需要跟踪。研究显示,单次训练的效果可以在数周内保持,但如果不持续练习和反馈,校准可能回退。可操作的做法是:在训练结束后的前三个月,每月安排一次短轮次(10至15题)的维持练习,并记录指标;如果指标回退到基线附近,启动一轮完整训练。六、跑了一轮就停在“做过一次培训”,先查这五处校准训练工作坊完成之后,估计者的概率判断没有变化,或者变化在几周后消失,按表6顺序查。第一检查点不打开训练记录,先打开最近的实际风险估计记录。表6停摆排查表检查点打开什么看什么什么算正常不正常时怎么改一最近的实际风险估计记录训练后的概率估计是否仍表现为系统性偏差(例如区间仍然过窄、二元信心仍然偏高)实际估计中的偏差方向与训练后测一致地缩小如果实际估计没有变化,检查训练任务与实际估计任务之间的相似性;差异过大时,补充与实际任务更接近的练习二表2的基线诊断训练前是否诊断了偏差方向二元和区间分别有基线指标和方向判断补基线诊断;没有基线时,训练后的变化无法解释三表4的反馈层次反馈是否只停留在结果反馈至少有性能反馈和策略反馈补性能反馈(指标)和策略反馈(调整方法);单纯的“对答案”不足以改变判断习惯四表5的改进跟踪是否有训练前后的个体指标记录每个估计者有前测、后测和至少一次维持练习记录补记录;无法补前测的,从当前轮次开始建立基线五训练问题的难度匹配(表3)前后测难度是否可比前后测在预测试中无显著难度差异使用匹配设计或等难度题库;难度不可比时,分数变化不能归因于训练示例:检查点一发现训练后实际估计中的区间宽度没有变化。检查点三发现反馈只有“正确答案”和“你答对了没有”,没有给出“你的区间系统性过窄”的策略反馈。补入策略反馈(先给极宽区间,再用等效赌注法收窄)后,下一轮训练中区间命中率从0.40升至0.72,实际估计中的区间宽度也开始变化。七、什么时候重训、什么时候停止:四条规则和一处矛盾决策规则:规则一:如果训练后测中,二元Brier分数下降不足10%且校准偏差指数B的方向未改变,或区间命中率向0.90的移动不足0.15,则该轮训练未产生可观察的校准改善。检查反馈层次(表4)和问题难度匹配(表3),修正后重新训练一轮,而不是重复同一套训练。规则二:如果训练后测显示校准改善,但在训练结束后三个月的维持练习中,指标回退到基线附近(Brier分数回升至基线的80%以上,或区间命中率回落至基线的0.10以内),启动一轮短轮次(10至15题)的复习训练;如果复习后仍回退,检查实际估计环境中是否存在持续强化过度自信的因素(例如只奖励“高信心”的表达、不记录事后结果)。规则三:如果估计者在二元任务上初始信心不足(B<规则四:如果校准训练的问题集与实际估计任务在类型和难度上差异过大,训练后测的改善不能自动推断为实际估计质量的提升。在表5中记录“训练任务与实际任务的相似性评估”,相似性低时,增加与实际任务结构更接近的练习(例如使用过去已复盘的真实风险作为“已知答案”的问题),并跟踪实际估计的事后校准。矛盾陈述:校准训练在受控的已知答案问题上改善校准的效果,已有较多证据支持;但训练效果向真实估计任务的迁移并不自动发生——离散选择任务上的学习不向连续分布估计迁移,受控问题上的校准也不一定改变实际工作中的判断习惯。训练越严格、问题越标准化,受控环境内的效果越明显,但可能与实际任务的距离越远;训练越贴近实际任务,答案越难获得,反馈越模糊,训练效果越难验证。实质分析:这个矛盾的根源在于“有已知答案”和“与实际任务相似”之间的张力。校准训练需要已知答案来提供反馈,而实际风险估计的答案在估计时未知、在事后可能多年才揭晓或永远无法揭晓。可操作的解法是分层迁移:先用标准化的已知答案问题建立校准技能(二元和区间分别训练),再用“已复盘的真实风险”作为桥梁问题(答案是历史结果,但问题结构与实际估计相似),最后在实际估计流程中嵌入事后校准跟踪(每次估计记录概率,事件发生后记录结果,逐步积累校准数据)。没有桥梁层和实际跟踪层,训练效果停留在训练室内。权衡规则:按“估计者人数”和“决策后果”分配训练深度。估计者人数少、决策后果高(资本分配、安全关键判断)的场景,值得投入完整的三层训练(标准化问题→已复盘真实风险→实际跟踪);估计者人数多、决策后果中等,标准化问题加即时性能反馈的最小组合即可,实际跟踪以抽样方式进行;决策后果低或可逆,一次性的标准化训练配合事后校准的简单记录足够。退路:如果组织无法获得足够的已复盘真实风险作为桥梁问题,或者实际估计的事后结果在可接受时间内不可得,不把“训练后测改善”直接等同于“实际估计改善”。在训练记录中标注“训练迁移未验证”,并在实际估计中采用区间复核或多估计者交叉核对作为补充的控制手段,而不是依赖单个估计者的校准训练结果。八、完整版、精简版、极简版按估计者数量和决策后果选估计者人数在5人以内、决策后果高、需要个体层面校准跟踪的场景,走完整版;估计者人数中等、决策后果中等,走精简版;首次引入校准训练或决策后果有限、可逆,走极简版。三套版本的差异写在表7。表7三套场景表场景跑什么用哪个公式不能妥协的底线修复后重跑什么完整版表2两类问题诊断、表3五项选题规则、表4四层反馈、式(1)(2)(3)、表5个体跟踪、表6五项排查式(1)、式(2)、式(3)训练前有基线诊断;二元和区间分开跟踪;反馈包含性能反馈和策略反馈;训练后有维持练习和实际跟踪记录全量重跑:表6五项、基线诊断、个体指标变化精简版表2选定一类主训练问题、表3前四项选题规则、表4结果反馈+性能反馈+策略反馈、式(1)或式(2)(按主训练类型)、表5核心字段、表6前三项式(1)或式(2)训练前后有可比的指标;反馈包含策略层;训练问题不依赖专家当前专业域只重跑主训练类型的指标和反馈层次检查极简版表2中偏差方向诊断、表3中“答案可核验”和“难度适中”两项、表4结果反馈+性能反馈、表5中训练前后各一次记录、表6第一项不计算完整式(1)至(3),以“训练前后平均信心与实际正确率的差距是否缩小”替代问题答案可核验;训练前后有对比记录;反馈不只是“对答案”只重跑表6第一项:训练后的实际估计是否表现出偏差方向的变化完整版适用于资本分配、安全关键判断等后果高、估计者人数有限的场景。精简版保留从诊断到性能反馈的最小链条,策略反馈以一次讲解的形式提供。极简版的核心不是完成完整的校准训练体系,是先回答两个问题:训练问题有没有已知答案,训练前后有没有可比的记录。完整案例:某风险团队的概率估计校准训练示例案例,细节为合理设定。起点:团队有4名风险估计者,在项目风险工作坊中给出的概率估计事后多次被质疑“过于自信”。没有校准训练记录,也没有人核对过估计的校准情况。第一轮试错。团队用一套公开的常识问题做了一次2小时的训练,每道题只告诉答案对错。训练后参与者反馈“知道了自己有些题会错”,但下一轮工作坊中的概率估计没有变化。信号:训练后测的Brier分数与前测几乎相同(0.28vs0.30),校准偏差指数B仍为+0.20。当时以为“训练时间不够”,试了延长到4小时,增加题量到80题,结果后测指标仍然没有实质改善。新信息:问题不在训练时长和题量,在反馈只有结果层,没有告诉估计者“偏在哪个方向、用什么方法调整”。推翻“多练即可”的假设,换路:按表4补入性能反馈和策略反馈。第二轮试错。补入性能反馈(每轮后报告平均信心与实际正确率、Brier分数)和策略反馈(针对过度自信,教授等效赌注法:在给出区间或概率后,问自己“如果有一个游戏A:答案在你的区间内赢1000元;游戏B:转盘有90%概率赢1000元,你选哪个”。如果选B,说明区间太窄,需要放宽,重复直到indifference)。信号:区间任务的90%命中率从0.42升至0.71,Brier分数从0.30降至0.24。但二元任务的Brier分数没有改善,且平均信心从训练前的0.72降至0.58,实际正确率约0.65,出现了信心不足(B<第三轮试错。分开跟踪后,二元任务使用“先列出支持和反对证据,再给概率”的策略,区间任务继续使用等效赌注法和预mortem(先假设自己的区间是错的,列出可能的原因,再放宽区间)。信号:二元任务的B从−0.07回到+0.02附近,区间命中率维持在0.78,但平均区间宽度扩大了约2.5倍。当时以为“宽度扩大是校准改善的代价”,试了不处理,实际估计中的区间变得过于宽泛,失去了区分力。新信息:改进跟踪需要同时看命中率和宽度,宽度的大幅扩大可能抵消命中率改善的实质价值。推翻“命中率接近90%即完成”的假设,换路:在表5中增加平均区间宽度与量级的比值,要求区间“既命中又有信息量”。第四轮试错。引入宽度约束后,区间任务的训练重点从“放宽”调整为“先放宽再收窄”:先给出极宽区间确保命中,再用等效赌注逐步收窄,直到在命中和信息量之间取得平衡。信号:90%命中率稳定在0.82至0.86之间,平均区间宽度回落到初始宽度的约1.6倍,Brier分数和B在二元任务上保持稳定。当时以为训练可以结束,检查点一发现实际估计任务中的区间宽度没有变化。新信息:训练室内的改善没有自动迁移到实际工作,因为实际估计中的问题结构与训练问题差异较大,且实际估计没有事后校准跟踪。推翻“训练后测改善即迁移”的假设,换路:加入桥梁层——用团队过去已复盘的真实风险事件作为“已知答案”的问题,问题结构与实际估计一致,答案来自历史结果;并在实际估计流程中记录概率,事件发生后回填结果,逐步积累实际校准数据。终点:4名估计者完成基线诊断,二元和区间分开跟踪;训练使用标准化已知答案问题(每轮二元20题、区间20题,共3轮),反馈包含结果、性能和策略三层;区间任务引入等效赌注法和预mortem,二元任务引入证据列举策略;训练后区间命中率从0.42升至0.84,二元B从+0.20降至+0.02,平均区间宽度控制在初始的1.6倍以内;用5个已复盘的真实风险作为桥梁问题,实际估计中的偏差方向与训练后测一致地缩小;表5记录每个估计者的基线、后测和三个月维持练习结果。表8案例变量表变量案例中情形如果变量不同处置变化初始偏差方向区间过度自信,二元轻度过度自信若二元初始信心不足(B<二元训练不采用“降低信心”策略,改为“有依据时接受更高信心”反馈层次初始只有结果反馈,后补性能和策略反馈若已有性能和策略反馈第一轮和第二轮试错不发生,直接进入训练和跟踪等效赌注法的效果区间命中率从0.42升至0.71若使用后命中率仍低于0.60检查问题难度是否过高(表3),或策略讲解是否充分区间宽

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论