回测通过率不是模型质量结论：先拆开置信水平、样本期和搜索次数再定放行

回测通过率不是模型质量结论：先拆开置信水平、样本期和搜索次数，再定放行本文档提供：回测参数放行审查表（表2，共12项，含置信水平、样本期、例外计数口径、多重检验修正、依赖结构检查）；监管三区边界在不同置信水平和样本期下的移动对照表（表3，含99%与98%的绿黄红边界、250天与1000天的边界变化）；拒绝率与误判率估算表（表4，含名义5%下自相关、偏态、多重搜索对假阳性率的影响，以及两类错误的量化方向）；完整示例一个（某市场风险模型250天回测出现5个例外，团队在黄色区间内四次试错后转向参数审查，终点产出回测参数说明书和放行记录）；决策规则六条与矛盾处理一组。2026-11-04这一节的标题读完你能拿到什么这一节在全文中的功能一、拿到回测结果，先问三个参数再问通过与否表1回测结果定位表，含置信水平、样本期、例外计数口径三个入口问题把读者从“看通过率数字”推到“先锁定参数组合”二、同样的例外数，置信水平一换，绿区边界就移了表2监管三区边界随置信水平和样本期变化的对照给出通过率对参数依赖的定量锚点，阻断“5例外就是合格”的直觉三、名义5%的检验，在自相关和偏态下实际拒绝率可能是19%表3依赖结构和分布形态对拒绝率的扭曲方向与幅度把误判从概念变成可估算的偏离量四、搜了20个策略再挑最好的，未修正的通过率不是5%表4搜索次数与多重检验修正后的判定阈值对照在多重检验场景下重新设定“什么样算通过”五、完整示例：5个例外落在黄区，四次试错后才找到该改的参数案例全过程，含参数调整顺序、误判方向、终点产出的回测参数说明书演示参数、拒绝率、误判三件事在审查动作中的联动六、卡住时查决策规则与矛盾处理决策规则六条，矛盾四段式一组在参数冲突、样本期不足、修正方法选择时给出下一步动作按第一列在正文找对应那节，按第二列判断这节有没有要用的东西，按第三列判断这节是否对应当前卡住的位置。一、拿到回测结果，先问三个参数再问通过与否回测报告递给审查人时，第一页通常写着“例外数”和“通过/不通过”。这个结论只在三个参数同时固定的条件下成立：置信水平是多少、样本期有多长、例外怎么计数。三个参数中任何一个换了值，同一个例外数对应的判定结论可能翻转。表1的任务不是评价模型好坏，是在打开回测报告之前先把这三个参数从报告里找出来，填进去，再决定下一节查哪张表。表1回测结果定位表序号问什么从哪取答案观察到什么算填完填完后去哪1回测的置信水平是单尾99%还是其他值回测报告参数页或模型验证文档写明“单尾99%”或“双侧95%”等，例：单尾99%99%→表2第1行；非99%→表2“置信水平移动”列2样本期是250个交易日、500天还是其他长度回测报告窗口定义写明交易日数和起止区间，例：最近250个交易日250→表2第1行；其他长度→表2“样本期移动”列3例外计数口径是实际损益、假设损益还是两者取大回测报告计数说明写明“实际损益例外”“假设损益例外”或“取两者较大值”取大值→表3第3项关注口径一致性；单一口径→表3第4项查缺失值处理4回测窗口之前有没有做过参数搜索或策略筛选模型开发记录或研究日志写明搜索次数或候选模型数，例：测试过14组参数，取最优搜索次数>1→表4全部适用5收益率序列有没有自相关或偏态/厚尾描述统计表或自相关检验写出一阶自相关系数或偏度值，例：lag-1自相关0.18自相关≠0→表3第1—2行；偏态≠0→表3第3—4行示例行按第1行执行：回测报告参数页写“单尾99%置信水平”，填“单尾99%”，进入表2第1行。第2行示例：窗口写“最近250个交易日”，进入表2第1行。第3行示例：计数说明写“实际损益例外与假设损益例外分别计数，取较大值”，进入表3第3项。第4行示例：研究日志写“候选参数组合共17组，按回测夏普比率取最优”，搜索次数17>1，进入表4。第5行示例：描述统计表写“lag-1自相关0.18，偏度-1.1”，进入表3第1行和第3行。表1填完后，如果第1、2、3行中有任何一行填不出具体值，回测报告退回补参数，不进入判定环节。参数没有锁定之前，通过率数字不携带判定信息。二、同样的例外数，置信水平一换，绿区边界就移了监管框架给出的是三区边界，不是一条“通过线”。以单尾99%置信水平、250个交易日为基准，绿色区对应0到4个例外，黄色区对应5到9个，红色区对应10个及以上。这个边界不是人为约定的“容忍度”，它是从二项分布算出来的：在真实覆盖率为99%的假设下，250天中出现5个或更少例外的概率约为95.88%。绿色区边界对应的是“不拒绝模型准确”的95%置信水平，红色区边界对应的是“拒绝模型准确”的99.99%置信水平。边界对参数的依赖可以用两组数字直接展示。置信水平从99%降到98%，250天窗口下绿色区的上界从4个例外移到少于9个例外——同一个“5个例外”，在99%下落在黄色区，在98%下仍然落在绿色区。样本期从250天延长到1000天，99%置信水平下绿色区的上界从4个例外移到14个例外，红色区的起点从10个移到24个。这意味着“5个例外”这个数字本身没有固定的判定含义：它在250天99%下是黄区，在1000天99%下仍然在绿区。表2三区边界随置信水平和样本期移动对照参数组合绿色区（例外数）黄色区（例外数）红色区（例外数）5个例外落在哪单尾99%，250天0—45—910—250黄色区单尾98%，250天0—89—??以上绿色区单尾99%，1000天0—1415—2324以上绿色区示例：99%，500天按二项分布重算上界，不沿用250天边界重算重算需查表重算，不能直接套用示例行按第1行执行：某回测报告参数页写“单尾99%，250个交易日，实际损益与假设损益取较大值，共5个例外”，表2第1行判定为“5个例外落在黄色区”，进入黄色区的处置动作：不直接放行，也不直接拒绝，先查表4多重检验修正和表3依赖结构，确认名义拒绝率是否被高估或低估。表2的用法不是让读者记住所有边界，是让读者在拿到任何一个例外数时先确认它对应的参数组合。参数组合不在表2已列的行里，按二项分布重算该组合的绿区上界，不沿用最近一行的边界。三、名义5%的检验，在自相关和偏态下实际拒绝率可能是19%监管三区边界在基准参数下是校准过的，但校准的前提是250天窗口内的例外近似独立同分布。金融收益率序列通常不满足这个前提。一阶自相关和偏态会系统性地改变检验的实际拒绝率，使“名义5%”不再等于“实际5%”。在模拟搜索环境中，lag-1自相关为0.2时，忽略自相关的检验在名义5%水平下的假阳性率上升到18.79%到19.65%之间。对t统计量做自相关调整的年化因子后，同一情形的假阳性率回落到5.52%。负偏态下Student-t检验的拒绝率为7.60%，非正态标准误和独立同分布自助法各自修复一种形态的同时破坏另一种，没有一个检验在偏态和厚尾下同时校准。这些数字对回测审查的含义是：当收益率序列存在自相关或偏态时，名义5%下观察到的“显著”或“通过”，实际错误拒绝真实原假设的概率可能接近20%，而不是5%。表3的作用是把回测报告里看不到的依赖结构和分布形态，翻译成对拒绝率偏离方向的判断。表3依赖结构和分布形态对拒绝率的扭曲序号查什么从哪取数偏离方向审查动作1lag-1自相关是否显著非零收益率序列自相关检验忽略自相关时假阳性率上升，名义5%下可达18.79%—19.65%在回测参数说明书中记录自相关系数；判定阈值按自相关调整后的标准误重算，不直接用名义5%2自相关调整是否已执行检验方法说明未调整→假阳性率偏高；已调整→回落到约5.52%要求提供调整后的t统计量或p值；未提供的，表4修正不通过3收益率是否负偏态偏度值Student-t检验拒绝率升至7.60%在偏度绝对值>0.5时，不采信单一Student-t结论，增加非参数检验对照4是否存在厚尾或极端值主导峰度或极值占比厚尾下选择偏向带大正离群值的序列检查回测结果是否由少数极端日驱动；剔除最大1%交易日后的结论方向是否改变5例外计数中缺失值如何处理回测计数说明缺失日计为例外会推高例外数，漏计会压低核对应计未计日数；缺失日单独列示，不混入例外计数示例行按第1行执行：收益率序列lag-1自相关0.18，表3第1项判定为“显著非零，偏离方向为假阳性率上升”，审查动作是在参数说明书中记录0.18，并要求提供自相关调整后的p值。第3行示例：偏度-1.1，绝对值>0.5，表3第3项判定为“不采信单一Student-t结论”，增加符号检验或bootstrap对照。四、搜了20个策略再挑最好的，未修正的通过率不是5%回测通过率的第二个参数依赖来自搜索空间。如果模型开发过程中测试了多个参数组合、多个策略变体或多个样本期，最终报告的“通过”是在若干次检验中挑出来的最大值。在零假设全部为真的情况下，做20次独立检验，至少一次落在名义5%拒绝域的概率约为64%。未修正的通过率不再对应5%的错误拒绝率。多重检验修正方法之间的选择本身也影响拒绝率。在已发表信号中，Bonferroni修正下的虚假发现率约为59.6%，BHY修正在5%水平下把同一组信号的虚假发现率降到26.3%。BHY在检验数量较大时比Bonferroni更有功效，但控制的是错误发现率，不是family-wise错误率，两者不是同一个判定目标。表4给出的是审查动作：先确认搜索次数，再确认修正方法，最后确认修正后的判定阈值是否仍然支持“通过”。表4搜索次数与修正后的判定阈值搜索次数/候选数未修正判定阈值（名义5%）Bonferroni修正后阈值BHY修正后阈值（5%FDR）审查结论1p<0.05p<0.05p<0.05未修正与修正一致，表3依赖检查仍适用5p<0.05p<0.01按排序和依赖结构重算未修正结论不足以放行20p<0.05p<0.0025按排序和依赖结构重算必须报告修正后p值，未报告的不放行示例：17组参数取最优原始p=0.030.05/17≈0.0029，原始p不通过需按17次检验排序重算原始结论“通过”在修正后转为“不通过”示例行按第4行执行：研究日志记录17组候选参数，最优组原始p=0.03，Bonferroni修正阈值为0.05/17≈0.0029，原始p大于修正阈值，表4判定“修正后不通过”。审查动作不是直接拒绝模型，是把结论从“通过”改为“未通过多重检验修正”，并要求开发团队报告全部17组的p值分布，而不是只报最优组。表4的搜索次数从研究日志或模型开发记录取，不从回测报告取。回测报告只呈现最终候选，搜索次数在报告之外。搜索次数填不出具体数字的，按“至少2次”处理，进入修正流程。五、完整示例：5个例外落在黄区，四次试错后才找到该改的参数示例案例，细节为合理设定。某银行市场风险模型验证团队收到一个内部VaR模型的季度回测报告：单尾99%，最近250个交易日，实际损益例外与假设损益例外取较大值，共5个例外。按表2第1行，5个例外落在黄色区。团队的目标是判断这个模型是否继续用于内部模型法。起点。手里材料：回测报告（250天，5例外，黄区）、模型开发日志（记录测试过12组参数，取回测夏普最优组）、收益率序列描述统计（lag-1自相关0.18，偏度-1.1，峰度6.8）。第一轮试错。看到了什么信号：5个例外在250天99%下落在黄区，监管框架对黄区的描述是“提出疑问但不构成结论”。当时以为问题在哪：以为问题在例外数刚好压线，如果把置信水平从99%降到98%，5个例外就回到绿区，模型可以继续使用。试了什么、结果是什么：按98%重算250天边界，绿区上界移到8个例外，5个例外确实落在绿区。试完发现了什么：降低置信水平改变了判定的原假设，不是模型变好了，是判定标准变松了。表1第1行如果允许随意更换置信水平，任何模型都可以通过。换哪条路：不调整置信水平，维持99%，承认5个例外在黄区的事实，转向查例外本身的统计性质。第二轮试错。看到了什么信号：5个例外中有4个集中在两个相邻月份，且这4天的实际损失与假设损失差异方向一致。当时以为问题在哪：以为例外聚集说明模型在特定市场状态下失效，样本期内存在状态切换。试了什么、结果是什么：把250天窗口按波动率状态分成高波动和低波动两段，分别数例外。高波动段约60天，包含4个例外；低波动段190天，包含1个例外。试完发现了什么：例外不是均匀分布的，二项分布假设下的“独立同分布”前提不成立。上一轮“改置信水平”的假设被推翻，问题不是阈值松紧，是例外计数背后的依赖结构。换哪条路：查自相关和状态聚集，按表3第1—2项处理。第三轮试错。看到了什么信号：收益率序列lag-1自相关0.18，表3第1项判定“假阳性率可能被高估”。当时以为问题在哪：以为只要报告里注明自相关，审查就可以接受原结论。试了什么、结果是什么：要求开发团队提供自相关调整后的p值，团队回复“原检验未做调整”。按模拟数据，0.2自相关下名义5%的实际假阳性率可达18.79%—19.65%，未经调整的“黄区”结论不能直接用于放行判定。试完发现了什么：自相关不改变例外数本身，但它改变了“5个例外相对于模型真实质量意味着什么”的判断。表3的审查动作不是重新数例外，是重新算拒绝率。换哪条路：在参数说明书中记录自相关值，把判定依据从“例外数落在哪一区”改为“例外数在依赖结构下的实际拒绝率是多少”。第四轮试错。看到了什么信号：开发日志记录12组参数取最优，表4搜索次数>1。当时以为问题在哪：以为12组搜索只影响夏普比率的显著性，不影响回测例外计数。试了什么、结果是什么：对12组候选分别计算回测例外数，最优组的5个例外不是12组中最少的，有3组的例外数在绿区但夏普比率略低。搜索空间里“例外数少”和“夏普高”不是同一个选择目标。试完发现了什么：前三轮都在模型质量层面找原因，第四轮暴露的是选择偏差——最终报告的5个例外是在12组中挑了一个“夏普最优”，不是“例外最优”，也不是全部候选的代表。换哪条路：不继续在单一模型的例外数上争论，按表4要求开发团队报告全部12组的例外数和p值分布，对“5个例外”做多重检验修正后再判定。终点。收口产出三份文本。第一份：回测参数说明书——写明单尾99%、250天、例外计数取较大值、lag-1自相关0.18、偏度-1.1、搜索次数12，以及表3第1—3项的调整动作和表4的修正要求。第二份：放行记录——结论从“黄区，建议继续使用”改为“黄区且依赖结构未校准、多重检验未修正，暂不放行；补做自相关调整后的p值和12组候选的例外数分布，重审后再定”。第三份：审查动作清单——下一轮回测报告必须附带自相关调整后的p值、全部候选参数的例外数表、以及偏态下的非参数检验对照，缺一项退回。变量表。变量案例中情形如果变量不同处置变化置信水平单尾99%单尾98%绿区上界从4移到8，5例外落在绿区；判定阈值随之上移，但不得仅因换参数而放行样本期250天500天或1000天绿区上界按二项分布重算；1000天99%下绿区到14例外，5例外仍在绿区，需重新评估样本期选择理由自相关lag-1=0.18lag-1≈0自相关调整不再必要，表3第1—2项可简化为“已检验，不显著”搜索次数12组取最优仅1组预注册参数表4不触发多重检验修正，但表3依赖检查仍适用偏度-1.1偏度接近0Student-t拒绝率偏离收窄，表3第3项可从“不采信单一检验”降为“记录并对照”表后一句：变量表中“自相关”和“搜索次数”对判定路径的影响权重较高，表1第4、5行填完后应优先确认这两项，再决定表3和表4的审查顺序。六、卡住时查决策规则与矛盾处理决策规则。规则一。如果回测报告的例外数落在黄色区，且表1第4行搜索次数大于1，则不放行，先按表4报告修正后p值和全部候选的例外数分布；如果修正后p值仍不满足修正阈值，退路是将结论改为“未通过多重检验修正”，不将黄区例外数单独作为放行依据。规则二。如果收益率序列lag-1自相关绝对值大于0.1且回测检验未做自相关调整，则名义拒绝率不可直接采信；如果开发团队无法提供调整后p值，退路是按表3第2项判定“修正不通过”，维持不放行，不因“例外数在绿区”而豁免。规则三。如果样本期短于250个交易日，则绿区边界不能沿用250天的0到4；如果审查人无法按二项分布重算该样本期的边界，退路是将结论标记为“样本期不足，边界未校准”，不进入三区判定。规则四。如果置信水平不是单尾99%，则表2的边界整体移动；如果移动后的边界使原“黄区”变为“绿区”，退路是记录边界移动事实和移动理由，但不将“换置信水平后变绿”等同于模型质量改善，放行决定仍需通过表4和表3审查。规则五。如果例外数中缺失日被计为例外或漏计，则例外计数口径不可比；退路是先按表3第5项拆分缺失日，重新计数，再进入三区判定，不直接在原始计数上争论放行与否。规则六。如果多重检验修正方法和搜索次数匹配不上（例如搜索次数20但只报告了Bonferroni修正，未报告BHY对照），则修正结论不完整；退路是要求补充至少一种控制FDR的修正结果，补充前不放行。矛盾四段。矛盾陈述。回测通过率要低到能拦住坏模型，就必须把阈值设紧；但阈值设紧会同时推高好模型被误拒的概率。监管三区边界本身就是为了平衡这两类错误而划的，文件明确写明不存在一个单一阈值能同时压低“好模型被误拒”和“坏模型被误纳”。审查人面对黄区时，收紧判定会误伤真实覆盖率合格的模型，放松判定会放过真实覆盖率不足的模型。实质分析。这个矛盾不能靠“选一个更聪明的阈值”解决，因为两类错误在同一个例外计数上反向移动。可操作的方向是把判定从“例外数落在哪一区”拆成两步：第一步用三区边界做初筛，黄区不直接放行也不直接拒绝；第二步用表3和表4的修正信息判断例外数的实际统计含义——如果自相关未调整、搜索次数未修正，黄区的“疑问”方向偏向“名义拒绝率不可信”，此时不放行的依据不是例外数本身，是判定基础未校准。如果依赖结构和多重检验都已处理，黄区仍然落在5到9之间，才回到模型质量层面讨论。权衡规则。黄区触发时，先查判定基础是否校准，再查模型质量。判定基础未校准的，修正成本低于误放行成本，优先补自相关调整和多重检验修正；判定基础已校准且黄区持续存在的，按监管框架的supervisoryresponse分级处理，不将“黄区”直接等同于“红区”的处置强度。搜索次数大且修正后不通过的，不放行；搜索次数为1且依赖结构不显著的，黄区可以作为“有条件继续使用”的依据，但条件必须写明为“下一周期回测附带全部修